Đình, chùa Cao Đường toạ lạc ở thôn Cao Xá, phường Lam Sơn. Xưa kia, ngôi đình tọa lạc ở gần bờ sông Hồng, tách biệt hẳn với khu dân cư còn ngôi chùa nằm ở vị trí đầu làng trong khuôn viên gần một mẫu. Do có nguy cơ sạt lở nên năm 1950, nhân dân mới di dời đình và chùa về vị trí hiện nay tạo thành cụm di tích đình, chùa làng nằm liền kề nhau giữa khu dân cư đông đúc.
Đình Cao Đường là nơi tôn thờ vị thánh Đức Á Nương Huyền công chúa. Bà là người có công giúp dân, giúp nước đem lại cuộc sống ấm no, bình yên cho nhân dân. Sau khi bà mất nhân dân đã tôn làm Thành hoàng làng.
Chùa Cao Đường (Cao Minh tự) thờ phật Thích Ca Mầu Ni, là nơi khuyên răn con người sống hướng thiện, tu nhân tích đức. Nơi gửi gắm những khát vọng, mong ước tốt đẹp của người dân.
Cụm đình, chùa Cao Đường được khởi dựng từ sớm và nằm cách biệt nhau. Qua những biến động của thiên nhiên, chính quyền và nhân dân địa phương di dời về vị trí giữa làng. Dấu ấn kiến trúc hiện nay của cụm đình, chùa Cao Đường là từ thời Nguyễn. Hiện tại, đình có kiến trúc chữ Nhất với 03 gian Đại bái. Các cấu kiện mang phong cách kiến trúc Nguyễn, được làm từ gỗ lim vững chắc với nhiều mảng chạm khắc đẹp, tinh xảo các đề tài dân gian như: tứ quý hoá rồng, hoa dây, đao lửa,… mang giá trị mỹ thuật cao. Tại đình còn lưu giữ nhiều cổ vật có giá trị như: 07 đạo sắc phong thời Lê và Nguyễn, 01 cỗ ngai thời Nguyễn, đại tự và câu đối thời Nguyễn,…
Chùa Cao Đường có kiến trúc kiểu chữ Đinh gồm Tiền đường 03 gian 02 dĩ và 02 gian Thượng điện, kết cấu kiến trúc gỗ. Tại chùa còn lưu giữ nhiều bức đại tự và câu đối có niên đại thời Nguyễn. Đây là những hiện vật rất có giá trị mà cha ông chúng ta còn lưu giữ được đến hôm nay.
Đình, chùa Cao Đường là cụm di tích rất có giá trị. Nơi đây trở thành trung tâm sinh hoạt văn hoá tín ngưỡng của nhân dân thôn Cao Xá, đồng thời là nơi giáo dục truyền thống yêu nước và giữ gìn bản sắc văn hoá dân tộc.
Hằng năm, tại đình, chùa Cao Đường diễn ra lễ hội vào ngày 14 tháng 4 âm lịch để ghi nhớ công ơn của vị Thành hoàng tôn kính. Trong lễ hội có tổ chức tế lễ, rước kiệu thành hoàng vòng quanh làng và diễn ra các trò chơi dân gian như: chọi gà, đánh cờ, kéo co.
Với những giá trị kiến trúc hiện hữu, đình, chùa Cao Đường được UBND tỉnh xếp hạng là di tích “Kiến trúc nghệ thuật” theo Quyết định số 1766/QĐ-UBND ngày 31/8/2010.