Đình, chùa Kệ Châu được xây dựng tại thôn Kệ Châu, xã Phú Cường trên khu đất thoáng rộng ở giữa cánh đồng.
Đình Kệ Châu là nơi tôn thờ Linh Lang Đại vương con vua Trần Thánh Tông, Trung Thành Đại vương thời Hùng Vương, Duyên Hỷ Đại vương và Đinh Công Đại vương. Các vị đều có công với nước, với dân và được tôn làm thành hoàng làng.
Đình được xây dựng thời Lê với kiến trúc “nội Công ngoại Quốc” ở vị trí rìa làng gần với bờ sông Hồng. Đến năm 1981, nhân dân tiến hành di chuyển đình về vị trí hiện nay để tránh sạt lở. Hiện nay, đình có kiến trúc chữ Quốc gồm: Đại bái, Thiêu hương, Hậu cung và hai dãy Giải vũ. Đại bái gồm 03 gian 02 dĩ, các bộ vì kiến trúc kiểu giá chiêng con nhị. Thiêu hương được dựng kiểu tứ trụ với bốn trụ lớn bên trên làm mái cong, các đầu đao nhọn. Các bộ vì làm kiểu chồng rường đơn giản. Hậu cung 03 gian, kiến trúc kiểu vì giá chiêng con nhị. Các cấu kiện kiến trúc đều được làm từ vật liệu gỗ và chạm trang trí hoa văn.
Nằm liền kề với ngôi đình là chùa Kệ Châu, có tên chữ Linh Huệ tự. Đây là nơi thờ Phật và các môn đệ của Phật, nơi giải tỏa tâm linh của mỗi con người sau những bộn bề của cuộc sống thường nhật. Chùa được khởi dựng từ thời Lê với kiến trúc chữ Đinh, kết cấu khung chịu lực bằng gỗ lim vững chắc. Năm 1981, chùa cũng được di chuyển từ ngoài gần bờ sông Hồng về vị trí hiện nay, tạo thành cụm đình - chùa tọa lạc gần nhau. Thực tại, ngôi chùa có kiến trúc chính kiểu chữ Đinh gồm Tiền đường và Thượng điện. Tòa Tiền đường 05 gian, các bộ vì kiểu chồng rường con nhị với hai hàng cột cái nâng các bộ vì. Thượng điện có kết cấu các bộ vì kiểu vì kèo đơn giản. Tại đây bài trí các lớp tượng chính của chùa.
Cụm di tích còn lưu giữ được số lượng hiện vật, đồ thờ tự tương đối lớn và phong phú về chủng loại, tiêu biểu trong số đó là 19 đạo sắc phong do các triều đại ban tặng, lục bình, bát hương, chuông, câu đối, cửa võng,…
Hằng năm, tại đình - chùa Kệ Châu tổ chức lễ hội vào ngày mồng 2 tháng 3 âm lịch để ghi nhớ đến công ơn của các vị Thành hoàng.
Đình, chùa Kệ Châu được UBND tỉnh ban hành Quyết định số 107/QĐ-UBND ngày 21/10/2008 xếp hạng là di tích “Lịch sử - văn hoá” cấp tỉnh.