Chùa Cỏ thôn Bích Tràng toạ lạc trên một khu đất cao ráo, thoáng đãng tại đầu thôn Bích Tràng, xã Tiền Phong. Mặt tiền chùa quay hướng Nam, phía trước là dòng sông Cửu An hiền hòa.
Chùa ngoài thờ Phật còn thờ bà Hương Thảo, một nữ tướng của Hai Bà Trưng. Lịch sử chép rằng: vào những năm 40 - 43 của thế kỷ thứ I, cuộc kháng chiến của Hai Bà Trưng chống lại quân Mã Viện diễn ra ác liệt. Thế giặc mạnh, Hai Bà đã nhảy xuống sông Hát tự vẫn. Lúc đó, bọn giặc kéo đến trại cỏ nhằm phá huỷ doanh trại của Hương Thảo, bằng tài mưu trí, Bà đã đốt cỏ xung quanh chiến luỹ tiêu diệt được rất nhiều giặc. Trong trận này, nghĩa quân đã thắng lớn nhưng Hương Thảo cũng hy sinh. Tưởng nhớ đến công ơn của Bà, nhân dân đã dựng chùa Cỏ để tôn thờ Bà.
Trong hai cuộc kháng chiến chống Pháp và chống Mỹ, chùa Cỏ là nơi diễn ra nhiều sự kiện lịch sử quan trọng của địa phương, nơi đây được dùng làm trụ sở giao tế của tỉnh, nơi các đồng chí cán bộ cách mạng trong đó có đồng chí Hoàng Quốc Việt về hoạt động. Phía sau chùa hiện còn hai hầm bí mật được xây dựng để các đồng chí cán bộ ẩn nấp.
Chùa được khởi dựng từ sớm và qua nhiều lần tu sửa. Hiện nay, chùa có kết cấu kiến trúc chính chữ Đinh gồm 03 gian Tiền đường và 02 gian Thượng điện. Các hạng mục được làm đơn giản. Các bộ vì làm kiểu giá chiêng bào trơn đóng bén chắc khoẻ. Nơi đây bài trí các lớp tượng chính của chùa.
Phía trước khu thờ Phật là ngôi nhà được dùng làm trụ sở giao tế của tỉnh từ năm 1966- 1975, là trụ sở cấp trên về làm việc. Ngôi nhà được làm theo kiến trúc mới. Sau khi các đồng chí lãnh đạo chuyển đi, nơi đây trở thành kho lưu trữ tài liệu của tỉnh. Ngôi nhà gồm 04 gian, hiện 01 gian bài trí ban thờ nữ tướng Hương Thảo còn 03 gian làm nơi tiếp khách.
Tại chùa còn lưu giữ một số hiện vật tiêu biểu như: đỉnh đồng, chân nến, chuông, tượng thờ,… có giá trị lịch sử.
Hằng năm vào ngày mồng 8 tháng Giêng âm lịch, nhân dân địa phương tổ chức lễ kỷ niệm ngày nữ tướng Hương Thảo hy sinh. Theo tục xưa, nhớ lại trận hỏa chiến năm ấy nên trước khi làm lễ, dân làng đều đốt mấy nắm cỏ khô đặt trong đỉnh trầm, sau dùng lửa này châm cho đèn hương như truyền cho con cháu ngọn lửa truyền thống.
Chùa Cỏ thôn Bích Tràng được xếp hạng cấp tỉnh ngày 21/01/ 2008, thuộc loại hình di tích “Lịch sử - văn hoá” tại Quyết định số 107/QĐ-UBND của UBND tỉnh.