Đền Bình Dân tọa lạc trên một khu đất cao ráo, thoáng đãng tại thôn Bình Dân, xã Tân Dân. Căn cứ vào thần tích và sắc phong lưu giữ tại di tích thì đền là nơi tôn thờ Tướng quân Đinh Kim Ngô, tên húy là Đinh Anh Vũ. Ngài là một vị đại tướng thời Lý có công đánh dẹp giặc Chiêm Thành và Ai Lao, đem lại cuộc sống yên bình cho nhân dân. Sau khi hóa, ngài vẫn âm phù quốc gia, anh linh hiển ứng nên được nhiều triều đại ban sắc phong, giao cho nhân dân địa phương nơi ngài sinh ra (Bình Dân, Khoái Châu, Hưng Yên) và nơi ngài hóa (Thanh Hóa) lập đền thờ phụng.
Đền Bình Dân được khởi dựng dưới thời vua Lê Dụ Tông (1705 - 1729) với quy mô khá lớn bằng gỗ lim. Nhà vua còn cho đúc tượng Đại tướng Đinh Kim Ngô bằng đồng và lập bia đá ghi công đức của ngài. Năm 1968, ngôi đền bị phá hủy hoàn toàn. Đến năm 2008, nhân dân địa phương đã tiến hành phục dựng lại đền trên nền đất cũ với kết cấu kiến trúc kiểu chữ Công gồm Tiền tế 05 gian, Phương đình 01 gian và Hậu cung 03 gian. Các bộ vì làm kiểu vì kèo đơn giản, không trang trí hoa văn. Nhìn chung, các hạng mục công trình rất đồng bộ, vững chắc, đáp ứng nhu cầu sinh hoạt văn hóa tín ngưỡng của nhân dân.
Tại di tích còn lưu giữ một số hiện vật tiêu biểu như: chuông đồng (thời Nguyễn), bia đá và 04 pho tượng đá (thời Lê), 25 đạo sắc phong,… rất có giá trị về lịch sử, điêu khắc, mỹ thuật.
Hằng năm, lễ hội truyền thống của đền Bình Dân được tổ chức vào ngày 13 tháng 8 âm lịch để tưởng nhớ đến công lao của Đại tướng Đinh Kim Ngô. Trong lễ hội có tổ chức tế lễ, rước kiệu và các trò chơi dân gian độc đáo thu hút đông đảo nhân dân trongv ùng tham dự. Theo Quyết định số 2477/QĐ-UBND ngày 23/12/2013, đền Bình Dân được UBND tỉnh xếp hạng là di tích “Lịch sử” cấp tỉnh.