Đình Thượng Tân toạ lạc ở xóm Thượng Tân, thôn Vĩnh Bảo, xã Vĩnh Khúc.
Đình là nơi tôn thờ hai vị tướng Lê Phụng Hiểu (thời Lý) và Phạm Ngũ Lão (thời Trần). Tướng quân Lê Phụng Hiểu (982 - 1069) quê làng Băng Sơn, xã Dương Sơn, huyện Hồng Hoá (nay là Hoằng Hoá), tỉnh Thanh Hoá. Ngay từ thuở nhỏ, ông đã rất yêu thích các môn võ học như đấu quyền, múa kiếm, ném đao. Khi trưởng thành, ông là người khỏe mạnh, võ nghệ hơn người. Ông trở thành một vị đại tướng của triều Lý, phụng sự ba triều vua là Lý Thái Tổ, Lý Thái Tông và Lý Thánh Tông. Đặc biệt, ông có công lớn trong việc dẹp loạn Tam vương, phò vua Lý Thái Tông (Lý Phật Mã) lên ngôi báu. Lê Phụng Hiểu là người trung thành, thẳng thắn, hết mình phụng sự triều đình, được vua tin tưởng phong chức song ông không ham danh vọng, quyền quý. Ông sống cuộc đời đạm bạc, thanh bần với ruộng đồng. Sau khi mất, ông được nhân dân nhiều nơi suy tôn là Thành hoàng làng và lập đền thờ, trong đó cúa đình Thượng Tân.
Tướng quân Phạm Ngũ Lão (1255 - 1320), người làng Phù Ủng, huyện Đường Hào (nay là xã Phù Ủng, huyện Ân Thi, tỉnh Hưng Yên). Ông là người giỏi binh thư yếu lược, được Trần Quốc Tuấn yêu mến gả con gái cho và tiến cử với triều đình. Trong hai lần chống quân xâm lược Mông - Nguyên, ông đã lập nhiều chiến công, bảo vệ chủ quyền đất nước. Sau này, ông còn tham gia đánh giặc Ai Lao, giặc Chiêm Thành và đều giành thắng lợi. Không chỉ là một vị tường tài, Phạm Ngũ Lão còn là người có tấm lòng nhân ái, luôn yêu thương, quan tâm đến đời sống của binh lính và nhân dân.
Đình Thượng Tân được khởi dựng từ sớm, ban đầu toạ lạc ở ngoài đê. Đình có quy mô lớn với 05 gian Đại bái và 03 gian Hậu cung, hai dãy Giải vũ, kết các cấu kiện kiến trúc được làm bằng gỗ lim vững chắc, chạm trổ rất công phu các hoạ tiết hoa văn. Trải qua thời gian, nhân dân đã tiến hành di dời đình vào bên trong đê và trùng tu lớn vào năm 2014 - 2016. Hiện nay, đình có kiến trúc kiểu chữ Nhị (二) gồm Đại bái và Hậu cung. Tòa Đại bái 03 gian 02 chái, làm kiểu bốn mái truyền thống. Hậu cung 03 gian, các bộ vì làm kiểu vì kèo quá giang đơn giản. Tại đình còn lưu giữ 06 đạo sắc phong thời Nguyễn và nhiều đồ thờ có giá trị.
Hằng năm, vào ngày 13 tháng 11 và ngày 28 tháng 12 âm lịch, nhân dân địa phương lại nô nức mở hội để tưởng nhớ đến công lao của các vị Thành hoàng.
Đình Thượng Tân được UBND tỉnh xếp hạng là di tích “Lịch sử” cấp tỉnh tại Quyết định số 189/QĐ-UBND ngày 26/01/2011.