Đã từ lâu ba cây duối trên đê sông Hồng thuộc địa phận Cao thôn thu hút sự chú ý của khách qua đường 39, phần vì chúng mọc giữa một không gian thoáng đãng, phần vì thấy lùm cây xù xì, lá rất dầy, rậm, chứa đầy vẻ huyền bí. Theo các cụ cao niên trong làng kể lại, thì ba cây duối này có niên đại đã hơn 200 năm.
Tương truyền, xưa kia có người quê ở mạn Phù Cừ, chuyên nghề làm thuốc. Một hôm, ông đi chữa bệnh cho một người ở xa về đến đây thì trời tối, ông ngồi nghỉ bên đường và chẳng may đột ngột qua đời. Sáng hôm sau, dân làng thấy chỗ ông nằm, mối đã xông lên thành mộ. Cho là chết thiêng, dân làng lập miếu thờ và tôn ông làm thần bảo hộ của làng. Nhưng lạ thay, mấy lần miếu cứ xây xong sang hôm sau lại đổ (?). Sau dân làng cho rằng ông chết không cửa không nhà, nên miếu xây phải lộ thiên. Kế đó họ đem trồng ở đây ba cây duối . Ba cây duối chụm lại che chắn thay mái lợp cho ngôi miếu nhỏ lộ thiên ở bên trong. Tán lá che bóng mát cho khách qua đường nghỉ chân. Bà lão bán hàng nước bên gốc ruối hàng ngày quét dọn chu đáo, ngày sóc, ngày vọng đều thắp hương cúng vái.
Theo lời kể của người dân Cao thôn, hàng năm cứ đến ngày mồng hai tháng chín âm lịch lại có người ở mạn Phù Cừ, xưng là cháu sáu đời của ông thày thuốc đến ngôi miếu ba cây duối làm lễ khấn bái.