Nhà thờ họ Nguyễn toạ lạc ở trung tâm thôn Lê Xá, xã Vũ Xá. Xưa kia, thôn Lê Xá còn có tên gọi là làng Lỗ thuộc xã Vực Đường, huyện Thiên Thi. Tên di tích cũng được gắn liền với tên dòng họ Nguyễn ở địa phương với nhiều chi họ khác nhau.
Nhà thờ họ Nguyễn là nơi tôn thờ Quận Công Nguyễn Huy Vượng và các anh em của ông. Nguyễn Huy Vượng (1731 - 1785) là con người toàn tài, sống hết mực thanh bạch, có công với nước, với dân. Cụ đỗ Tiến sỹ thời vua Lê Hiển Tông và được bổ làm quan tại huyện Thiên Thi (Ân Thi). Sau đó, cụ được Vua Lê ban chức Thái Tể Quận công. Khi đất nước có giặc, cụ vâng lệnh nhà Vua cầm quân đi dẹp giặc và đã lập được công lớn, được Vua ra chiếu chỉ ban thuởng, phong chức Tiến Công Thứ Lang. Sau khi mất, cụ được vua Lê Cảnh Hưng ban sắc phong cho thờ phụng tại dòng họ. Đến thời vua Khải Định, cụ đã được vua phong làm Thành hoàng làng để toàn dân trong thôn, xã phụng thờ.
Theo lời kể của con em dòng họ Nguyễn thì nhà thờ được xây dựng cách đây ngót 200 năm, quy mô ban đầu nhỏ hẹp, kiến trúc đơn giản. Đến năm 1915, dòng họ tu tạo nhà thờ theo kiểu kiến trúc chữ Nhất gồm 03 gian 02 dĩ. Các bộ vì chính làm kiểu con chồng đấu kê. Các hạng mục, cấu kiện kiến trúc còn đồng bộ, khá vững chắc với nhiều mảng chạm khắc đẹp, độc đáo mang đậm dấu ấn thời Nguyễn; đồng thời cũng thể hiện được tài năng của các nghệ nhân đương thời.
Tại nhà thờ còn lưu giữ được nhiều hiện vật có giá trị lịch sử mỹ thuật như: cuốn thư, ngai thờ, câu đối, chuông đồng, 02 đạo sắc phong thời Lê và Nguyễn.
Hằng năm, vào ngày mồng 07 tháng Giêng âm lịch, con em dòng họ Nguyễn và nhân dân trong làng tổ chức lễ hội để kỷ niệm ngày mất của Quận Công Nguyễn Huy Vượng với các hoạt động dâng hương, văn nghệ, thể thao thu hút đông đảo nhân dân tham gia.
Từ những giá trị đó, nhà thờ họ Nguyễn được UBND tỉnh xếp hạng là di tích “Lịch sử - văn hoá” cấp tỉnh vào ngày 07/12/2006 tại Quyết định số 2522/QĐ-UBND.