Chùa được xây dựng trên cánh đồng làng Vô Ngại, xã Ngọc Lâm, mặt tiền chùa hướng Đông Nam.Chùa Bà Dề là nơi tôn thờ đức Phật Adiđà và An Hoa công chúa (triều Lê). Bà là người có công giúp nhân dân Vô Ngại khai khẩn đất hoang, mở mang ruộng đồng. Bà lập chùa tu hành, khi mất được nhân dân địa phương tôn làm “Phật Bà” thờ phụng muôn đời.
Chùa được khởi dựng từ khá sớm với quy mô nhỏ, làm bằng gỗ. Trải qua thời gian, chùa xưa đã bị phá hủy. Đến thời Nguyễn, chính quyền và nhân dân địa phương đã tiến hành phục dựng lại chùa trên nền móng cũ với kết cấu kiến trúc hình chữ Đinh gồm: 03 gian Tiền đường và 02 gian Thượng điện. Năm 2007, nhân dân thôn Vô Ngại xây dựng một ngôi chùa mới thay thế cho ngôi chùa cũ nằm trong khuôn viên di tích với quy mô lớn, có bố cục hình chữ Đinh gồm: 05 gian Tiền đường và 03 gian Thượng điện. Các cấu kiện kiến trúc được làm theo lối bê tông giả cổ. Hiện nay, tại chùa còn lưu giữ được một số hiện vật tiêu biểu có giá trị như: tượng An Hoa công chúa, bia đá,...
Từ những giá trị đó, chùa Bà Dề được UBND tỉnh xếp hạng là di tích “Lịch sử” theo Quyết định số 3246/QĐ-CTUBND ngày 30/12/2016.