Đình Chay - Phủ Bà tọa lạc trên một khu đất đẹp, thoáng đãng tại thôn 2, xã Quảng Châu. Cụm di tích nằm sát chân đê, tách biệt với khu dân cư, bao quanh là cây cổ thụ râm mát.
Đình Chay là nơi tôn thờ nhị vị đại vương là Đô Công và Lang Công. Các ngài là những người con của quê hương đã cùng với Tản Viên Sơn Thánh giúp vua Hùng Duệ Vương giữ yên bờ cõi. Đối với địa phương, các ngài đã bỏ tiền của giúp đỡ người dân có cuộc sống ấm no, hạnh phúc nên được nhân dân tôn làm thành hoàng làng.
Phủ Bà tôn thờ thánh mẫu Thượng Ngàn. Bà là hiện thân của tấm gương tiêu biểu, mẫu mực của người phụ nữ, được người dân ca ngợi và tôn thờ phổ biến trên đất Việt. Đình Chay - Phủ Bà được khởi dựng từ sớm và trải qua nhiều lần trùng tu, tôn tạo vào thời Nguyễn. Năm 1973, ngôi đình bị phá hủy một số hạng mục chỉ còn lại tòa Hậu cung. Đến năm 2013, nhân dân địa phương đã trùng tu, tôn tạo lại ngôi đình với kiến trúc kiểu chữ Nhất gồm 03 gian, được làm giả cổ theo phong cách truyền thống. Các bộ vì được tạo tác kiểu vì kèo đơn giản. Phủ Bà có kết cấu kiến trúc kiểu chữ Đinh gồm 03 gian Tiền tế và 03 gian Hậu cung. Các cấu kiện làm từ vật liệu gỗ vững chắc với các bộ vì được tạo tác kiểu vì kèo quá giang bào trơn đóng bén, không trang trí hoa văn.
Hiện nay, cụm di tích còn lưu giữ được một số hiện vật như: Đại tự, câu đối, ngai, khám và hệ thống tượng thờ. Đây là những hiện vật có giá trị cần được bảo tồn.
Hằng năm, cụm di tích tổ chức lễ hội vào các dịp mồng 7 tháng Giêng (ngày hóa của hai vị thần); ngày mồng 10 tháng 8 (ngày sinh của thần); ngày 18 tháng 11 âm lịch (lễ hội của Phủ) để tưởng nhớ đến công lao của các vị thần. Tuy lễ hội hiện nay không tổ chức với quy mô lớn như xưa song vẫn đảm bảo các nghi lễ truyền thống, đáp ứng tốt nhu cầu tín ngưỡng của nhân dân sở tại.
Đình Chay - Phủ Bà được UBND tỉnh xếp hạng là di tích “Lịch sử” cấp tỉnh theo Quyết định số 1726/QĐ-UBND ngày 17/10/2014.