Đình Tiền Thắng được xây dựng trên khu đất cao ráo, thoáng đãng tại thôn Tiền Thắng, xã Bảo Khê.
Vị thần chính được thờ tại đình là Đông Hải Đại Vương Đoàn Thượng (1181 - 1228), một nhân vật lịch sử có công lớn với triều Lý. Với tư tưởng “Trung quân ái quốc”, phù Lý diệt Trần, ông nuôi trí lớn muốn khôi phục lại giang sơn nhà Lý nhưng bị thất bại. Cảm mến tài năng, đức độ của ông, nhân dân địa phương đã lập đình để tôn thờ ngài. Phối thờ tại đình còn có ba vị là: Ngũ Ôn Đại thần, Hoa Lâm Kiều Quốc Chủ Đại vương và Diêm La Trung Chính tôn thần. Các vị đều là những nha tướng dưới quyền tướng quân Đoàn Thượng, có nhiều công lao với nước, với dân.
Ngôi đình còn ghi dấu nhiều sự kiện lịch sử quan trọng của địa phương trong thời kỳ kháng chiến chống Thực dân Pháp. Do tọa lạc gần bốt Dốc Lã, lại nằm bên đường 39 nên rất thuận lợi cho việc tập kết lực lượng, vũ khí và nắm bắt tình hình của địch. Do vậy, các đơn vị Trung đoàn 42 của tỉnh đội Hưng Yên quân khu Tả ngạn đã lấy đình làm điểm tập kết để đánh bốt Dốc Lã, phá vỡ phòng tuyến phòng thủ của địch bảo vệ cho thủ phủ Hưng Yên.
Đình Tiền Thắng được khởi dựng từ sớm với quy mô kiến trúc kiểu chữ Tam gồm: 07 gian Đại bái, 05 gian Trung từ và 03 gian Hậu cung, các cấu kiện kiến trúc được làm từ gỗ lim vững chắc. Tại đình chạm trang trí nhiều bức cốn với các đề tài mang điển tích dân gian như: tứ linh, tứ quý, hổ phù,... Nhưng trong thời kỳ kháng chiến chống Pháp, ngôi đình đã bị phá huỷ hoàn toàn. Sau hoà bình lập lại, chính quyền và nhân dân địa phương đã phục dựng lại đình trên khuôn viên cũ. Hiện tại, đình Tiền Thắng có kết cấu chữ Nhị (二) gồm: 03 gian Đại bái và 03 gian Hậu cung, kết cấu bộ vì tạo tác kiểu vì kèo với các cấu kiện được bào trơn đóng bén.
Tại đình còn lưu giữ được một số hiện vật, cổ vật có giá trị về mặt lịch sử và mỹ thuật như: 09 đạo sắc phong thời Lê và Nguyễn, chuông đồng thời Nguyễn (1913), đại tự, câu đối, cuốn thư, bát hương, ngai thờ,...
Hằng năm, vào ngày 15 tháng 7 âm lịch nhân dân địa phương tổ chức lễ hội để cùng nhau ôn lại công lao của vị Thành hoàng làng, qua đó thể hiện đạo lý “Uống nước nhớ nguồn” của các thế hệ hôm nay đối với các bậc tiền nhân.
Với những giá trị tiêu biểu, đình Tiền Thắng được UBND tỉnh ban hành Quyết định số 2205/QĐ-UBND xếp hạng là di tích “Lịch sử” cấp tỉnh vào ngày 21/12/2012.