Đình, chùa Ngà được xây dựng ở giữa xóm Ngà, thôn Duyên Linh, xã Đình Cao.
Đình Ngà là nơi tôn thờ 03 vị: Linh Lang Đại vương sống thời Lý, Quý Minh Đại vương thời Hùng Duệ Vương và Đông Hải Đại vương Đoàn Thượng thời Lý - Trần. Các vị là những người có công với đất nước, đem lại cuộc sống ấm no hạnh phúc cho nhân dân nên được tôn làm Thành hoàng làng.
Chùa Ngà thờ Phật Thích Ca Mầu Ni, thờ Mẫu và thờ Tổ. Đồng thời, đây cũng là nơi khuyên răn con người sống hướng thiện, nơi mọi người rũ bỏ những lo toan, bộn bề của cuộc sống thường ngày để tìm lại chính mình.
Tại cụm di tích còn diễn ra nhiều sự kiện lịch sử quan trọng của địa phương trong 02 cuộc kháng chiến chống Pháp và chống Mỹ của dân tộc. Nhân dân đã đào hầm tại đình để các đồng chí cán bộ trú ẩn, hội họp để tuyên truyền đường lối cách mạng. Đình còn là địa điểm sơ tán của bộ đội tên lửa, bộ đội thông tin của quân khu III. Đồng thời, nơi đây cũng là lớp học của con em trong làng.
Đình Ngà được khởi dựng từ thời Hậu Lê và trùng tu vào thời Nguyễn năm Tự Đức thứ 22 (1869). Hiện nay, đình có kiến trúc kiểu chữ Đinh gồm 05 gian Đại bái và 03 gian Hậu cung. Các cấu kiện đều làm từ vật liệu gỗ. Hệ thống vì làm kiểu chồng rường giá chiêng. Đình còn lưu giữ nhiều mảng chạm khắc đẹp với các đề tài mang điển tích dân gian như: tứ linh, tứ quý, hoa dây, hổ phù,… Nét chạm đẹp thể hiện trình độ cao của các nghệ nhân đương thời.
Chùa Ngà được khởi dựng từ sớm gồm nhiều hạng mục công trình, các cấu kiện được làm từ gỗ lim vững chắc. Nhưng đến những năm 1944 - 1945, chùa bị phá dỡ, sau đó nhân dân dần phục dựng lại từng hạng mục công trình. Hiện nay, chùa có kiến trúc kiểu chữ Đinh gồm 03 gian Tiền đường và 02 gian Thượng điện. Các cấu kiện được làm đơn giản hơn xưa. Các bộ vì chính được làm kiểu chồng rường con Nhị, hai vì hồi tạo tác kiểu vì giá chiêng bào trơn đóng bén đơn giản, không chạm khắc hoa văn.
Hiện tại, đình - chùa Ngà còn lưu giữ được một số hiện vật có giá trị như: bia đá thời Hậu Lê, đại tự, câu đối, cửa võng,…
Từ những giá trị tiêu biểu đó, đình chùa Ngà được UBND tỉnh xếp hạng là di tích “Kiến trúc nghệ thuật” theo quyết định số 469/QĐ-UBND ngày 22/03/2012.