Đình Hạ được xây dựng trên thế đất cao thoáng, với tổng diện tích là 1900 m2 tại làng Đan Nhiễm, thị trấn Văn Giang. Mặt tiền di tích quay về hướng Tây, phía trước có hồ nước rộng
Theo thần tích và các bản văn tế bằng chữ Hán còn lưu giữ tại di tích: Đình là nơi thờ hai vị Thành hoàng là Chu Lương và Chu Đống. Hai vị là hai anh em ruột con của tướng quân Chu Công Mẫn và phu nhân Phạm Thị Hương. Chu Công Mẫn được Ngô Vương phong làm tướng trấn đạo Kinh Bắc. Khi đất nước bị chia cắt vào cuối Ngô, 12 sứ quân nổi dậy cát cứ, ông đem quân về đóng tại Tế Giang - đại bản doanh đặt tại làng Đan Nhiễm, vừa dẹp loạn yên dân, lại dạy dân làm ăn sinh sống nên được dân chính trong vùng yêu mến, quy thuận. Sau khi ông mất, hai con trai ông là Chu Lương và Chu Đống đã đem quân theo phò giúp Đinh Bộ Lĩnh và trực tiếp đánh dẹp sứ quân ở vùng Bắc Ninh, Hưng Yên giữ vững trật tự ổn định của đất nước, dựng lên nước Đại Cồ Việt vào thế kỷ X. Sau khi hai ông mất, vua Đinh truy phong Chu Lương là Hộ Quốc tướng súy, Chu Đống là Bảo Tộ nguyên thần.
Tương truyền, ngôi đình khởi dựng vào thời Đinh - Tiền Lê và được trùng tu lớn vào thời Nguyễn (1922) và năm 2015. Hiện nay, đình có kết cấu kiểu “Nội Công ngoại Quốc” gồm: Đại bái, Ống muống, Hậu cung và hai dãy Giải vũ. Tòa Đại bái 03 gian 02 chái làm kiểu chồng diêm hai tầng tám mái. Ống muống 02 gian và Hậu cung 03 gian 02 chái kiến trúc kiểu chồng rường đấu kê. Hiện vật tiêu biểu mà đình Hạ còn lưu giữ được là: Thạp gốm xanh ngọc, bản ngọc phả, 03 quyển văn tế, 01 cuốn thư cổ khắc bài thơ chữ Hán, kiếm thời Nguyễn, 03 đạo sắc phong,…
Lễ hội hằng năm tại đình diễn ra vào ngày mồng 5, mồng 6 tháng Giêng âm lịch để tưởng nhớ đến công lao của vị các vị Thần hoàng.
Với những giá trị tiêu biểu còn hiện hữu, đình Hạ được UBND tỉnh xếp hạng là di tích “Lịch sử - Văn hoá” cấp tỉnh tại Quyết định số 2111/QĐ-UBND ngày 23/10/2006.