Đình Tiểu Quan được xây dựng trên một khu đất có địa thế đẹp tại thôn Tiểu Quan, xã Phùng Hưng. Theo truyền ngôn của các cụ cao niên trong làng, xưa kia, phía trước đình có một nhánh sông chảy qua. Bên bờ sông có hai biểu tượng “bút” và “nghiên”. Còn phía sau đình là một gò đất cao giống như một chiếc tàn che cho đình. Bởi thế, từ xưa tới nay, làng Tiểu Quan có nhiều nhà khoa bảng, nhiều người đỗ đạt, thành danh.
Đình là nơi tôn thờ thành hoàng làng Ngũ Lang Đại vương, con trai thứ 5 của vua Hùng thứ 17, có công đánh giặc, giữ yên bờ cõi đất nước, đem lại cuộc sống thái bình cho nhân dân. Trong thời kỳ kháng chiến chống Pháp và chống Mỹ xâm lược, đình là nơi tổ chức mít tinh trọng thể, tuyên bố giải tán chính quyền cũ, thành lập Ủy ban cách mạng lâm thời; là nơi nuôi giấu bộ đội và các cán bộ về đây hoạt động; là trường học cho con em trong vùng.
Đình Tiểu Quan được khởi dựng vào năm 1672. Trải qua thời gian, ngôi đình xưa không còn. Năm 2011, chính quyền và nhân dân địa phương đã tiến hành phục dựng đình trên nền đất cũ với quy mô lớn kiểu chữ Đinh gồm 03 gian 02 chái Đại bái, 02 gian Hậu cung theo lối bê tông giả cổ. Hiện nay, tại di tích còn lưu giữ một số hiện vật có giá trị như: Khám thờ, ngai thờ, bài vị, hoành phi, sắc phong thời Nguyễn,…
Hằng năm, lễ hội tại đình được tổ chức vào các dịp ngày 15 tháng 02 và ngày 15 tháng 12 âm lịch. Hội chính là ngày 15 tháng 12 với nhiều hoạt động thu hút đông đảo nhân dân trong vùng tham gia.
Từ những giá trị đó, ngày 01/4/2015, Chủ tịch UBND tỉnh đã ra Quyết định số 757/ QĐ-UBND xếp hạng đình Tiểu Quan là di tích “Lịch sử” cấp tỉnh.