Nhà thờ họ Đào được xây dựng trên mảnh đất lâu đời của dòng họ Đào tại thôn Đào Xá, xã Vĩnh Xá. Đây là một dòng họ lớn trong thôn còn có tên gọi là Đào Thế hay Đào Cả, có công khai phá, xây cơ lập nghiệp trên mảnh đất này.
Nhà thờ họ Đào là nơi tôn thờ các cụ 04 đời của dòng họ Đào Thế, trong đó có những người đức độ hiền từ như cụ Nhã Trọng, cụ Thế Hiển, người tài ba lỗi lạc, trung quân ái quốc như cụ Thế Khoát, người thiên tính thông minh như Quan Lương,… Các cụ đã làm rạng rỡ cho dòng tộc và góp sức mình vào công cuộc dựng xây đất nước.
Theo văn bia còn truyền lại, nhà thờ họ Đào được xây dựng từ đời thứ 6 vào năm Ất Mão niên hiệu Duy Tân (1915). Di tích được xây dựng theo kiến trúc chữ Đinh gồm 03 gian Tiền tế và 01 gian Hậu cung. Mặt tiền nhà thờ quay hướng Nam. Trải qua thời gian nhà thờ họ Đào vẫn giữ được dáng vẻ uy nghi thuở ban đầu. Nhà thờ còn giữ được một số hiện vật có giá trị như: 03 ngai thờ, 01 bức cuốn thư, 01 bức đại tự cổ, 03 bộ tam sự đồng, 04 tấm bia đá.
Hằng năm, tại dòng họ Đào Thế diễn ra ba lễ tiết chính vào ngày 14 tháng Giêng, ngày mồng 04 đến mồng 08 tháng 04 và ngày giỗ chính là 14 tháng 07 âm lịch. Con cháu dòng họ tập trung tại từ đường dâng hương tế tổ tỏ lòng thành kính và biết ơn người có công khởi lập nên dòng họ.
Nhà thờ họ Đào được xếp hạng là di tích “Lịch sử - văn hoá” cấp tỉnh theo Quyết định số 2522/QĐ-UBND ngày 07/12/2006 của Ủy ban nhân dân tỉnh.