Ngài qua đời vàotối ngày 27 tháng 11 năm 1978, hưởng thọ 79 tuổi, sau 28 năm làm Giám mục, 2 năm với tước Hồng y. Ba ngày sau, lễ tang của Ngài được tổ chức, do Tổng Giám mục kế vị Trịnh Văn Căn chủ sự cùng đồng tế với 11 Giám mục, 50 linh mục. Hai vạn Giáo dân đã đến quảng trường Đức Mẹ Hà Nội tiễn đưa, Ngài được chôn cất trong lòng Nhà thờ chính tòa Hà Nội.
Nếu có dịp hành hương Nhà thờ chính tòa Hà Nội, hẳn bạn sẽ rất đỗi ngạc nhiên khi viếng mộ Đức Hồng y Khuê. Phần mộ của Ngài đặt ngay dưới chân bậc tam cấp dẫn lên Cung Thánh, là một viên đá lót sàn rất đơn sơ khắc hai dòng chữ “ĐỨC HỒNG Y JM TRỊNH NHƯ KHUÊ”. Theo lời kể từ một vị Linh mục trong tòa Tổng Giám mục cũng như Giáo dân ở đây cho biết, đó chính là ước nguyện của Đức Hồng y. Ngài mong muốn được chôn cất tại vị trí này, để khi Giáo dân lên rước Thánh Thể, mỗi khi đặt bước chân lên phần mộ Ngài thì hãy nhớ đến và cầu nguyện cho Ngài.
Lạy Chúa, xin cho linh hồn thầy cả Giuse Maria sớm được hưởng Tôn nhan Chúa. Amen.
Mùa thu Hà Nội, 2017, GB. Đ.H.Phúc.
