Đình Hạ Tân toạ lạc trong khuôn viên rộng 1056 m2 tại đầu xóm Hạ Tân, thôn Vĩnh Bảo, xã Vĩnh Khúc. Mặt tiền đình hướng Tây nhìn ra sông Bắc Hưng Hải.
Theo thần tích và sắc phong còn lưu giữ: đình là nơi tôn thờ hai vị Thành hoàng làng là tướng quân Lê Phụng Hiểu (thời Lý) và tướng quân Phạm Ngũ Lão (thời Trần).
Lê Phụng Hiểu (982 - 1069) quê làng Băng Sơn, xã Dương Sơn, huyện Hồng Hoá (nay là Hoằng Hoá), tỉnh Thanh Hoá. Ngay từ thuở nhỏ, ông đã rất yêu thích các môn võ học như đấu quyền, múa kiếm, ném đao. Khi trưởng thành, ông là người khỏe mạnh, võ nghệ hơn người. Ông trở thành một vị đại tướng của triều Lý, phụng sự ba triều vua là Lý Thái Tổ, Lý Thái Tông và Lý Thánh Tông. Đặc biệt, ông có công lớn trong việc dẹp loạn Tam vương, phò vua Lý Thái Tông (Lý Phật Mã) lên ngôi báu. Lê Phụng Hiểu là người trung thành, thẳng thắn, hết mình phụng sự triều đình, được vua tin tưởng phong chức song ông không ham danh vọng, quyền quý. Ông sống cuộc đời đạm bạc, thanh bần với ruộng đồng. Sau khi mất, ông được nhân dân nhiều nơi suy tôn là Thành hoàng làng và lập đền thờ, trong đó cúa đình Thượng Tân.
Tướng quân Phạm Ngũ Lão (1255 - 1320), người làng Phù Ủng, huyện Đường Hào (nay là xã Phù Ủng, huyện Ân Thi, tỉnh Hưng Yên). Ông là người giỏi binh thư yếu lược, được Trần Quốc Tuấn yêu mến gả con gái cho và tiến cử với triều đình. Trong hai lần chống quân xâm lược Mông - Nguyên, ông đã lập nhiều chiến công, bảo vệ chủ quyền đất nước. Sau này, ông còn tham gia đánh giặc Ai Lao, giặc Chiêm Thành và đều giành thắng lợi. Không chỉ là một vị tường tài, Phạm Ngũ Lão còn là người có tấm lòng nhân ái, luôn yêu thương, quan tâm đến đời sống của binh lính và nhân dân.
Đình Hạ Tân được khởi dựng từ rất sớm, ban đầu là nếp nhà nhỏ dựng bằng các vật liệu đơn giản. Trải qua nhiều lần trùng tu vào thời Lê và Nguyễn nên đình có quy mô như hiện nay với kết cấu kiểu chữ Tam gồm: 05 gian Đại bái, 03 gian Trung từ và 03 gian Hậu cung. Hai bộ vì giữa toà Đại bái làm kiểu giá chiêng con nhị. Các vì cạnh làm kiểu ván mê. Các mảng chạm khắc tập trung ở toà này với các đề tài tứ linh, tứ quý thể hiện trình độ cao của các nghệ nhân đương thời. Tại đình còn lưu giữ được 09 đạo sắc phong thời Nguyễn, 01 tấm bia thời Hậu Lê (1762), bát hương, hoành phi, kiệu,…
Hằng năm, từ ngày 12 đến ngày 14 tháng 11 và ngày 28 tháng 12 âm lịch, nhân dân địa phương lại tổ chức lễ hội để tưởng nhớ công lao của hai vị Thành hoàng. Bên cạnh các nghi thức như tế lễ (tế nam, tế nữ), rước kiệu Thánh,… làng còn tổ chức các trò chơi như đu quay, đánh bóng chuyền,… đan xen với các tiết mục giao lưu văn nghệ. Đây là dịp ôn lại truyền thống lịch sử của địa phương, cố kết tình cảm cộng đồng. Với các giá trị tiêu biểu nêu trên, đình Hạ Tân được xếp hạng là di tích “Kiến trúc nghệ thuật” cấp tỉnh tại Quyết định số 604/QĐ-UBND ngày 26/4/2012.