Cụm di tích đình - đền - chùa Hải Yến được xây dựng trên thế đất “long chầu, hổ phục” tại trung tâm thôn Hải Yến, xã Hải Triều. Trong những năm 1944 - 1945, cán bộ Việt Minh thường xuyên về đình tuyên truyền, vận động phong trào cách mạng tại địa phương. Đội tự vệ Hải Yến được thành lập và luyện tập ngày đêm tại đình để chuẩn bị cho cao trào cách mạng giành chính quyền năm 1945. Năm 1946, cụm di tích được sử dụng là nơi diễn ra các cuộc họp bàn kế sách chặn đánh địch trên đê sông Luộc và đường 39. Trong cung cấm đình, dưới bệ tượng đào hầm bí mật để bảo vệ và nuôi giấu cán bộ cách mạng về hoạt động tại địa phương.
Đình - đền Hải Yến được xây dựng để thờ Thành hoàng làng Cao Sơn Đại vương. Thần tích làng Hải Yến chép lại rằng: Cao Sơn Đại vương tên thật là Chiêu Công Nguyễn Thái Bảo. Ông sinh ra và lớn lên tại phủ Đường An, huyện Gia viễn, tỉnh Ninh Bình. Ngay từ nhỏ, Chiêu Công đã tỏ ra là một người thông minh, nhanh nhẹn. Năm 11 tuổi, thân phụ của Ngài qua đời, hai mẹ con trở về Hải Triều trang, huyện Tiên Lữ, phủ Khoái Châu sinh sống (nay là xã Hải triều, huyện Tiên Lữ, tỉnh Hưng Yên). Lớn lên Chiêu Công có trí tuệ, tài năng hơn người, văn võ song toàn khắp nơi trong vùng ai nấy đều khâm phục. Khi đó, Thục Phán mở khoa thi Hoằng Thùy, ông đỗ cao nhất và được tấn phong là “Từ chinh điển sử tào liêu lục bộ”. Chiêu Công trở về quê vinh quy bái tổ, lập ấp. Thời gian đó, đất nước có giặc xâm chiếm, Cao Sơn được triều đình cử đi dẹp giặc. Thắng trận trở về, Cao Sơn được Thục Vương khen ngợi và thăng chức “Tổng quốc suý Đại tướng quân”. Về sau, khi quân Triệu Đà xâm lược nước ta, Cao Sơn lại thân chinh cầm quân đánh giặc. Quân giặc liên tiếp mở các cuộc tấn công vào lực lượng của Cao Sơn. Quân sỹ ngày một suy giảm, Cao Sơn bị trúng tên giặc. Ông phóng ngựa về bản doanh tại trang Hải Yến và mất tại đây. Hôm đó là ngày mồng 07 tháng 03. Trải qua các triều đại, Ngài đều được ban mỹ tự và suy tôn làm “Thượng đẳng phúc thần” muôn đời thờ phụng tại cụm di tích đình - đền Hải Yến.
Đình Hải Yến được xây dựng từ sớm với bố cục mặt bằng tổng thể bao gồm nhiều hạng mục công trình: Nghi môn, Đại bái, Hậu cung và khu phụ trợ. Trải qua thời gian, đình đã được trùng tu tôn tạo vào thời Hậu Lê (1740) và thời Nguyễn. Hiện tại, đình có kết cấu kiến trúc hình chữ Nhất gồm 05 gian. Mặt tiền đình nhìn hướng Đông. Trên các bức cốn chạm khắc đề tài tứ linh đan xen tứ quý với nét chạm như nét vẽ, khỏe khoắn, dứt khoát. Hệ thống bẩy hiên chạm tứ quý (song, mai, trúc, cúc). Các bộ vì ở đây được tạo tác theo kiểu chồng rường đấu kê. Công trình kiến trúc cong đồng bộ, vững chắc mang phong cách mỹ thuật thời Nguyễn.
Nằm bên phải đình là công trình kiến trúc đền Hải Yến hay còn gọi là đền Cao Sơn. Theo truyền thuyết khi Cao Sơn (Chiêu Công) hóa về trời, nơi đây mối xông lên cao tựa như núi, nhân dân cho đó là sự linh ứng bèn lập đền thờ. Đền có bố cục hình chữ Nhất gồm 03 gian. Kiến trúc kiểu con chồng đấu sen, để trơn không trang trí hoa văn. Đền được trùng tu tôn tạo lớn vào các năm 1994 và 2000.
Chùa Hải Yến (Hồng Ân Tự), được khởi dựng vào thời Lý. Nơi đây từng diễn ra nhiều trận kịch chiến giữa quân của Chiêu Công và quân của Triệu Đà. Chùa là nơi thờ Phật, có kết cấu kiến trúc hình chữ Đinh gồm: 05 gian Tiền đường và 03 gian Thượng điện. Hệ thống vì chính được tạo tác theo kiểu con chồng đấu kê. Các cấu kiện kiến trúc được làm bằng gỗ còn tương đối đồng bộ, vững chắc. Ngoài ra, chùa còn có một số các hạng mục công trình như: nhà Tổ, nhà Mẫu, nhà giảng, khu phụ trợ,… đáp ứng nhu cầu sinh hoạt văn hóa tâm linh của nhân dân sở tại và du khách thập phương.
Cụm di tích đình - đền - chùa Hải Yến còn bảo lưu được một số hiện vật có giá trị như: chuông đồng, cây hương đá, 04 tấm bia đá, 04 bát hương đá thời Nguyễn, hệ thống tượng phật,…
Để tưởng nhớ, tỏ lòng tri ân công đức Thành hoàng làng Cao Sơn Đại vương đối với cộng đồng, dân tộc nói chung và nhân dân thôn Hải Yến nói riêng. Hằng năm, vào ngày mồng 07 tháng 03 âm lịch, chính quyền và nhân dân địa phương lại long trọng tổ chức lễ hội tại cụm di tích đình - đền - chùa Hải Yến thu hút đông đảo các tầng lớp tham gia, dự hội.
Với những giá trị tiêu biểu mang trong mình, ngày 5/2/1994 Bộ Văn hóa - Thông tin đã ban hành Quyết định số 226-QĐ/BT xếp hạng cụm di tích đình - đền - chùa Hải Yến là di tích “Kiến trúc nghệ thuật” cấp Quốc gia.