Khi Nhật Bản xâm lăng Trung Quốc, họ bỏ tù Giám mục Kowalski vì ngài là người Mỹ. Ngài phải chịu đau khổ gần 3 năm trong trại tù binh Nhật Bản, hầu như biệt giam. Sau khi Nhật Bản thất bại vào tháng 8-1945, Giám mục Kowalski trở về ngay với công việc của mình. Tuy nhiên, ngài chỉ được tự do đến 1949 khi cuộc Cách mạng Cộng sản nắm chính quyền.
Giám mục Kowalski lại bị bắt vào tù. 28 tháng ngài đã phải chịu mọi loại cực hình, đói khát và bệnh tật. Khi ngài kiệt sức, chính quyền cộng sản vứt vị giám mục này tại một biên giới gần gần lối vào lãnh thổ Hong Kong. Trong thời gian này, Giám mục Kowalski được phục hồi không còn đau đớn và cuối cùng ngài tỉnh lại đủ sức khỏe để ra đi. Ngài được hồi hương tới Hoa Kỳ năm 1953. Đây là lần đầu tiên ngài trở về quê nhà kể từ khi ngài được bổ nhiệm sứ vụ truyền giáo ở Trung Quốc.
Hãy nhìn vị giám mục này, chúng ta tự hỏi làm thế nào mà ngài đã sức mạnh bền bỉ để đương đầu với những tai hoạ như thế. Thật dễ hiểu, sự quan tâm vô cùng sâu sắc của ngài dành cho Giáo hội Trung Quốc. Chẳng hạn, như rèn luyện hãm mình, Giám mục Kowalski không dùng thịt (các bác sĩ của ngài khuyên ngài dùng ít thịt mỗi ngày để bảo đảm sức khoẻ). Vì ngài không thích dùng gan, vị giám mục này quyết định dùng món gan hấp không gia vị hay hành mỗi ngày trừ ngày thứ Sáu.
Giám mục Kowalski đã tận hiến cho Mẹ Maria và cầu nguyện lần hạt Mân Côi cho tất cả những người cộng sản Trung Quốc cải tâm cải tính. Ngài đã hứa hẹn trở lại Trung Quốc, nhưng điều đó không bao giờ xảy đến! Ngài đã có những cuộc thảo luận; ngài cử hành nghi thức phê chuẩn và tôn phong; và đã hết lòng hiến dâng cho Mẹ Maria cho đến khi sức khoẻ của ngài suy yếu vào cuối những năm 60 tuổi.
Khi Giám mục Kowalski còn đương nhiệm, ngài đã phân phát những tấm thiệp kinh nhỏ như một nhắc nhở của sự kiên tín. Ngài luôn yêu cầu mọi người tham dự Bí tích Thêm Sức để cầu nguyện cho những tù nhân Giáo hội Trung Quốc. Giám mục Kowalski có vài lời khuyên trong tấm thiệp nhỏ của ngài:
Nói ít, nghe nhiều.
Xem TV ít, nghĩ nhiều.
Đi xe ít, đi bộ nhiều.
Ngồi ít, quỳ nhiều.
Nghỉ ít, làm nhiều.
Vì mình ít, vì người nhiều.
Ghét ít, yêu nhiều.
Ăn ít, sống lâu.
(“Eat less, live longer”)