Căn cứ vào thần tích, các tư liệu liên quan cho biết, đình làng Phả Lê được khởi dựng từ sớm. Nơi đây là trang ấp của Hoàng Ân, một vị tướng tài ba thời Vua Hùng Vương thứ 18. Ngày ấy, Phả Lê thuộc bộ Vũ Ninh, xứ Kinh Bắc. Trải qua nhiều lần thay đổi địa giới hành chính, thôn Phả Lê nay thuộc xã Việt Hưng, huyện Văn Lâm, tỉnh Hưng Yên.
Tương truyền, cây đa ở đình làng được trồng vào đời nhà Nguyễn, cùng với thời gian trùng tu lại đình, cách ngày nay hơn một trăm năm. Nghe nói sau khi trùng tu sửa đình, các cụ đã phải chọn lựa kỹ mới tìm được cây đa này về trồng? Cây có hai thân, mọc theo thế trực song song nhau; tán cây trải rộng góc sân, che rợp một phần ao trước cửa đình. Từ trên cao, một nhánh rễ cây buông xuống ôm lấy hai thân chính. Nhìn dáng cây có thế đứng Phu thê tương giao người ta liên tưởng đến biểu tượng hạnh phúc, đầm ấm.
Trong những năm chiến tranh, ngay trước cổng đình, thực dân Pháp cho xây bốt nhằm trấn áp hoạt động của du kích địa phương. Trước khi rút chạy chúng đã cho nổ mìn phá bốt, mảnh đạn bay xung quanh phạt gẫy một số cành, găm cả vào thân cây. Dấu vết mảnh đạn xưa hiện vẫn hằn trên thân cây.