Đền Bái Khê nằm ở đầu thôn Bái Khê, xã Cương Chính. Đền toạ lạc trên khu đất đẹp, cao ráo hình chiếc thuyền rồng. Trước cửa đề là một giếng cổ quanh năm không bao giờ cạn nước, tượng trưng cho mắt rồng. Phía Đông Bắc là con sông Nghĩa Trụ chảy qua nối liền với sông Luộc tạo cho ngôi đền ở vào thế đắc địa, bền vững. Do vậy, người dân trong làng bao đời nay luôn được hưởng cuộc sống ấm no, hạnh phúc, mùa màng tốt tươi.
Theo Ngọc phả Thần tích do Hàn lâm Đông các Đại học sĩ Nguyễn Bính phụng soạn năm Nhâm Thân (1572), triều Lê Anh Tông niên hiệu Hồng Phúc nguyên niên và một số sắc phong hiện còn lưu giữ tại di tích thì đền bái Khê là nơi thờ bà Động Tần Lang tức Động Tần Hồng Loan công chúa - một nữ tướng thời Hai Bà Trưng. Bà là người có công trong cuộc đấu tranh chống quân Tô Định vào những năm 40 - 43 của thế kỷ thứ I. Động Tần Lang lệnh cho quân sỹ dựng doanh trại đóng quân ngay tại bến Bái Khu chống giặc, được Trưng Vương phong là Động Tần Hồng Loan công chúa. Bà thống lĩnh đoàn quân thị vệ nữ tiến binh đánh thẳng vào thành khiến Tô Định thua phải tháo chạy về nước. Ba năm sau, Mã Viện lại đem quân đánh chiếm nước ta. Trưng Vương cử Động Tần công chúa chặn quân của Mã Viện. Do sức mỏng nên quân ta yếu thế, không cự lại được quân giặc. Công chúa bị thương nhưng vẫn quyết tâm giao chiến, phá vòng vây giặc chạy về đồn Bái Khu. Về đến đây, bà khấn vái trời đất rồi tự mình hoá trên lưng ngựa. Thấy lạ, dân làng làm lễ bái tạ và dựng đền thờ tại nơi bà hoá. Đến triều Lê, tướng Lê Đổ trên đường đem quân đánh giặc Ngô đã nghỉ chân tại đền, bà đã âm phù đánh thắng giặc nên được vua Lê Thái Tổ phong là Thượng đẳng thần.
Đền Bái Khê được xây dựng từ xa xưa, qua nhiều lần trùng tu kiến trúc hiện nay mang dấu ấn thời Lê đan xen Nguyễn với quy mô tương đối lớn. Toàn bộ ngôi đền có kết cấu kiến trúc hình chữ Tam các hạng mục xây liền kề nhau và còn tương đối đồng bộ. Toà Tiền tế gồm 03 gian 02 chái, kết cấu vì kèo kiểu giá chiêng, vì nách kiểu chồng rường. Trung từ 03 gian 02 chái, các bộ vì làm kiểu giá chiêng bào trơn đóng bén. Hậu cung 03 gian, kiến trúc đơn giản. Gian trung tâm Hậu cung đặt tượng bà Động Tần Hồng Loan công chúa. Phía sau Hậu cung đền là nơi an táng bà Động Tần Hồng Loan, với diện tích chừng 10 m2. Phần mộ được xây cao, xung quanh lát gạch vuông và tường bao thấp.
Tại đền còn lưu giữ được nhiều hiện vật có giá trị tiêu biểu là 01 cuốn thần tích, 07 đạo sắc phong thời Nguyễn, 01 chuông đồng thời Nguyễn, đôi đèn lồng cổ, tượng bà Động Tần Loan, choé,...
Hằng năm, lễ hội đền Bái Khê được tổ chức vào các ngày 15 tháng 03 (ngày sinh của thánh); ngày 06 tháng Giêng (ngày hóa của Thánh) và ngày 15 tháng 8 (ngày cấp sắc đầu tiên) âm lịch. Trong những ngày lễ hội, ngoài phần tế lễ trang trọng, chính quyền và nhân dân địa phương còn tổ chức nhiều hoạt động văn hóa mang tính truyền thống như: đấu vật, chọi gà, cây đu, diễn lại các tích chèo cổ,… thu hút đông đảo quần chúng nhân dân tham gia.
Nhằm bảo tồn, phát huy giá trị của di tích, đáp ứng nhu cầu sinh hoạt văn hóa tín ngưỡng của nhân dân sở tại và du khách thập phương. Ngày 26/6/1995, Bộ Văn hóa - Thông tin đã ra Quyết định số 2233-QĐ/BT xếp hạng đền bái Khê là di tích “Lịch sử” cấp Quốc gia.