Đình Kim Ngưu toạ lạc trên khu đất cao thoáng ở giữa thôn Kim Ngưu, xã Tân Tiến.
Đình thờ Tứ vị Đại vương là Cao Thái Uý, Nguyễn Phán Thủ, Trần Ông Lã và Đại tướng quân vệ Tả Kim Ngô (Thời Lý). Các vị đã có công âm phù giúp Thái uý Lý Thường Kiệt và các triều vua đánh giặc cứu nước, đem lại cuộc sống yên bình, hạnh phúc cho nhân dân bản địa. Trong thời kỳ kháng chiến, đình là nơi hoạt động cách mạng của lực lượng du kích, cán bộ Việt Minh.
Đình Kim Ngưu được khởi dựng từ sớm và đã được di chuyển ra nhiều vị trí khác nhau. Năm 1936, dưới triều vua Bảo Đại nhà Nguyễn, ngôi đình được phục dựng ở vị trí hiện nay với kết cấu kiến trúc làm kiểu “nội Công ngoại Quốc” gồm: 05 gian Đại bái, 01 gian Trung từ, 03 gian Hậu cung và hai dãy Giải vũ. Các mảng chạm khắc tập trung ở hệ thống vì toà Đại bái với đề tài tứ linh, tứ quý, hoa cúc dây, rồng cách điệu,... rất mềm mại và uyển chuyển mang đậm nét kiến trúc, mỹ thuật thời Nguyễn. Hiện nay, đình còn lưu giữ được một số hiện vật có giá trị như: ngai và bài vị, kiệu bát cống, đỉnh đồng,...
Hằng năm, lễ hội tại đình Kim Ngưu được tổ chức vào ngày 12 tháng 02 âm lịch thu hút đông đảo nhân dân trong thôn và khách thập phương về tham dự.
Đình Kim Ngưu được xếp hạng là di tích “Kiến trúc nghệ thuật” cấp tỉnh tại Quyết định số 340/QĐ-UBND ngày 07/02/2013.