Tương truyền, đình Cẩm Sơn được xây dựng trên thế đất hình rồng tại thôn Cẩm Sơn, xã Cẩm Xá. Đình nằm trên khuôn viên rộng gần 4000 m2.
Đình là nơi tôn thờ Thành Hoàng làng Lê Quý Công (có tên huý là Hồng) dưới thời vua Lý Nam Đế. Ông có công giúp vua trị thuỷ, cầu mưa, dẹp giặc Ai Lao, đem lại ấm no hạnh phúc cho nhân dân. Trong hai cuộc kháng chiến chống Pháp và chống Mỹ, đình trở thành nơi nuôi giấu nhiều cán bộ cách mạng, là nhân chứng lịch sử trước tinh thần đấu tranh kiên cường bất khuất chống giặc giữ làng. Dưới mái đình, anh em đội du kích đã tập trung tại đây để đi đánh bốt Hội, nơi điều dưỡng của thương bệnh binh,…
Đình được xây dựng thời Nguyễn, niên hiệu Duy Tân thứ 09 (1915). Hiện nay, đình có kết cấu chữ Nhị gồm: Đại bái và Hậu cung. Đại bái gồm 05 gian xây kiểu tường hồi tay ngai. Hệ thống các bộ vì kiểu chồng rường con nhị. Đặc biệt toà Đại bái có các bức cốn chạm hoa văn rồng phượng và hoa lá cách điệu mang đậm nét kiến trúc nghệ thuật thời Nguyễn. Hậu cung 03 gian, các bộ vì làm kiểu vì kèo đơn giản. Đình hiện tại còn lưu giữ một số hiện vật tiêu biểu như: bát hương, bức châm và bộ đỉnh đồng cổ.
Hằng năm, lễ hội được tổ chức vào hai ngày 13 tháng Giêng và ngày mồng 06 tháng 08 âm lịch để kỷ niệm ngày sinh và ngày hoá của thần.
Đình Cẩm Sơn được UBND tỉnh xếp hạng là di tích “Kiến trúc nghệ thuật” theo Quyết định số 2111/QĐ-UBND ngày 23/10/2006.