Đền Phủ Vị được xây dựng trên thế đất “Tiền tam thai hậu bát toạ” tại thôn Phương Thượng, xã Phương Chiểu. Đây là khu đất cao ráo, thoáng đạt với tổng diện tích nội tự là 1852m2. Đền có mặt chính hướng Đông nhìn ra khu dân cư đông đúc. Ba phía còn lại giáp cánh đồng và đường liên xã.
Đền Phủ Vị thờ Hoàng Điện Thái Chiêu Nghi Nguyễn Thị Ngọc Toản là Cung phi triều Mạc. Bà Ngọc Toản xuất thân từ một tiểu thư con quan trong triều, là một phụ nữ thông minh, tài năng, đức độ và uyên bác. Khi nhà Mạc mở khoa thi để kén chọn người tài ra làm quan giúp dân, giúp nước, bà đã cải trang là trai cùng thày dạy học đi thi. Sau khi chấm quyển, bà đỗ nhất Hội nguyên (Tiến sỹ). Khi nhà Vua mở yến tiệc thiết đãi những người đỗ cao thì thấy ông tân khoa có dung mạo giống người con gái có sắc đẹp. Sau khi cất vấn, nhà Vua biết rõ sự tình thì càng thêm mến phục người con gái tài sắc vẹn toàn. Nhà Vua liền lấy làm vợ và phong nàng làm Cung phi. Nhà Vua thường gọi nàng là Bà chúa Sao Sa.
Sau một thời gian làm Cung phi, bà không có con nên đã xin Vua cho về tu hành tại chùa Quốc Sư (nay là chùa Quốc thuộc xã Liên Phương, TP Hưng Yên). Bà được phong điền ấp “từ cầu Bản Hạ chí cầu Mang” cùng 200 mẫu ruộng lộc điền. Khi nhà Lê cần người tài giỏi để dạy học cho con cháu trong hoàng tộc đã mời bà hồi triều. Vua Lê phong Bà làm Chánh Vương Phủ. Các quyển văn đình thí và tấu chương của các quan đều do bà xét định. Chúa Trịnh phải khen bà là nhà Bác học. Bà đã mang hết tài năng của mình để truyền lại cho thế hệ tiếp nối về học thức và lòng yêu nước thương dân. Sau khi bà mất, xét về công lao, đức hạnh nhà vua đã phong cho bà là Trung đẳng tôn thần Điện thái Chiêu nghi. Bà được nhân dân nhiều nơi trong vùng lập đền thờ trong đó có Phủ Vị.
Đền được xây dựng từ đầu thế kỷ XIX gồm các hạng mục: Thiêu hương, Trung từ, Hậu cung. Đến năm Đinh Mùi niên hiệu Duy Tân (1907) xây thêm toà Tiền tế phía trước đền. Hiện nay, đền có kết cấu kiến trúc kiểu “Tiền Nhất hậu Đinh”. Toà Tiền tế 05 gian, kiến trúc làm bằng gỗ lim, bào trơn đóng bén chắc khoẻ. Thiêu hương làm kiểu chồng diêm hai tầng tám mái. Tiếp đến là 05 gian Trung từ, kiến trúc vững chắc, chạm khắc cầu kỳ. Trên các hàng cột gỗ lim to khoẻ là hệ thống vì kèo giá chiêng chồng rường con nhị đặt trên đấu sen. Trang trí tập trung vào hai vì chính giữa chạm tỷ mỉ, hệ thống đầu dư trang trí đầu rồng, các bức cốn trang trí tứ linh, tứ quý. Toà Hậu cung được xây dựng kiểu bốn mái cong hình mái thuyền. Kiến trúc phần mộc đơn giản, chủ yếu là bào trơn đóng bén, có hai hàng cột đỡ vì kèo. Cung cấm 03 gian, kiến trúc đơn giản, gian trong cùng là nơi đặt tượng bà Ngọc Toản.
Hiện nay, Phủ Vị còn lưu giữ được nhiều hiện vật có giá trị như: cuốn thư, đại tự, câu đối, cửa võng, ngai thờ, bia đá, bát bửu,... Các hiện vật này đều được chạm trổ cầu kỳ, tinh xảo. Tại đền, còn lưu giữ nhiều loại tài liệu giấy có giá trị, tiêu biểu là 03 đạo sắc phong thời Nguyễn, một cuốn thần tích,... Đây là những di sản văn hoá phi vật thể vô giá mà chúng ta cần bảo vệ và giữ gìn.
Đền Phủ Vị hằng năm thường tổ chức lễ hội từ ngày 11 đến ngày 15 tháng Giêng âm lịch để tưởng nhớ đến công lao của Thánh Mẫu Nguyễn Thị Ngọc Toản. Diễn ra đồng thời với các nghi lễ là các trò chơi dân gian truyền thống như: chọi gà, đánh cờ tướng,... và nhiều hoạt động thể thao, giao lưu văn nghệ thu hút đông đảo nhân dân địa phương và du khách tham gia.
Ngày 20/4/1995, đền Phủ Vị được Bộ Văn hóa - Thông tin ban hành Quyết định số 1568-QD/BT xếp hạng là di tích “Kiến trúc nghệ thuật” cấp Quốc gia.