Cư dân Việt cổ tụ cư ở làng Tứ Xã liên tục từ 4000 năm đổ lại đây. Dấu tích để lại là các hiện vật khảo cổ của các nền văn hóa Phùng Nguyên ở xóm Kiếu, ở gò Đồng Đậu II, Gò Mun, đại diện cho một nền khảo cổ của cả nước được ghi danh cho quê hương Tứ Xã anh hùng. Còn các hiện vật đồ đá, đồ đồng của con người thời Đông Sơn – tương ứng với lịch sử thời Hùng Vương thì người ta tìm thấy ở khắp nơi trên gò đồi đến đồng bãi của làng Tứ Xã.
Thời Hùng Vương, Tứ Xã có tên là Ko Lang. Ko Lang là một bộ tộc hùng mạnh nhất của mười lăm bộ tộc thời Hùng Vương.
Các dòng họ đến tụ cư ở Tứ Xã có thể có những họ gốc ở từ thời Hùng Vương, nhưng cũng có những dòng họ đến muộn hơn. Hầu hết họ từ Thanh Hóa, Sơn Tây, Hưng Yên lên, nói chung là người từ đàng Trong và từ vùng đồng bằng lên, ít khi từ vùng thượng du xuống. Theo truyền thuyết, từ thời Hùng Vương thứ sáu có một bà họ Bùi đã sinh ra Thánh Gióng. Còn ở Phú Thọ thì đầu Công nguyên đã có hai ông tướng đầu quân dưới trướng Hai Bà Trưng chống giặc phương Bắc là Bùi Thạch Đa và Bùi Thạch Đê. Hai ông là tổ họ Bùi ở xã Hiền Quan, huyện Tam Nông, Phú Thọ. Họ Bùi là một dòng họ lớn từ thời tiền sử đến nay. Ở Tứ Xã hiện có 10 họ Bùi, chứng tỏ các họ Bùi này hầu hết có gốc gác ở đây đã từ rất lâu. Trong tiến trình phát triển của làng Việt, thì buổi đầu các điểm tụ cư của người Việt còn được gọi là Kẻ với một tên nôm thuần Việt có một âm tiết. Tứ Xã vì thế có tên là Kẻ Gáp. Gáp, nguyên nghĩa là gặp, là nơi gặp gỡ giữa phương Nam và phương Bắc, giữa văn hóa Lạc Việt và văn hóa điền Hoa Hạ điều đó chứng tỏ làng này đã ra đời từ thời tiền sử. Làng ngày một đông dân, từ khi còn nhất xã, nhất thôn phát triển lên thành nhiều xã. Vì Tứ Xã là tên làng được ấn định trong sổ bộ của triều đình nên từ đó ta quen gọi là làng Tứ Xã (một làng có bốn xã). Do dân đông và mâu thuẫn giữa các tông phái mà các họ chia tách là điều thường xảy ra. Vì thế Tứ Xã mới có đến 10 họ Bùi. Chưa kể các họ Bùi từ nơi khác đến.
Làng Tứ Xã đã qua nhiều biến động lịch sử. Thời Trần, thời Lê triều đình đã từng an tháp tù binh Chàm đến đây. Về mặt nhân chủng, ta biết cư dân Tứ Xã đã có sự hỗn huyết của các nhóm tộc người. Xác định sự thuần chủng ở đây là không thể.
Các họ Bùi ở Tứ Xã cũng có nguồn gốc rất khác nhau. Cho dù gốc gác họ từ một cụ Tổ sinh ra, nhưng do nhiều biến động mà nay ta chỉ biết có mười họ gồm các họ: Bùi Gia, Bùi Thanh, Bùi Văn, Bùi Hữu… Các họ còn giữ được gia phả cũng không thể quá ba chục đời. Có hiện tượng này là do tổ tiên ta trước kia, không chú trọng việc thờ tổ họ, không coi trọng gia đình lớn. Bằng chứng ở người Mường Phú Thọ không có tổ chức họ, không có từ đường thờ tổ họ. Người Mường còn giữ được nhiều tàn tích của người Lạc Việt xưa. Tìm hiểu về mặt tổ chức xã hội của người Mường ta thấy rõ điều này. Con cháu ba bốn đời của người Mường góp giỗ cúng các cụ ba bốn đời đổ về. Các cụ từ đời thứ năm được con cháu chôn bài vị gọi là ngũ đại mai thần chủ, rước các cụ lên thờ ở bàn thờ dòng dõi ở các nhà con trưởng. Bàn thờ dòng dõi của người Mường được tính từ cụ Tổ Hùng Vương về đến ông bà năm sáu đời đổ lên.
Dân ta chỉ quan tâm đến gia đình nhỏ. Vì vậy việc thờ gia tiên mới có ở tất cả các gia đình. Nhà giàu làm án gian, sập thờ sơn son thiếp vàng. Trên có long ngai, bài vị, mâm bồng, đài, cây nến, con hạc, bình hoa hoặc đỉnh đồng… Nhà nghèo hơn thì làm xích đông thờ hoặc khó khăn nhất cũng có bát hương đặt trên xích đông, trên chốc hòm, nóc tử để thờ gia tiên. Việc thờ tổ họ chỉ có ở người Kinh về sau này. Vì trước đó một bộ phận lớn của người Việt Mường do bị tiếp biến văn hóa với người từ phương Bắc xuống và từ biển vào nên trở thành người Kinh. Người Kinh cũng từ đó mới có tục làm nhà từ đường thờ tổ họ. Sự biến đổi từ người Việt Mường thành người Kinh cũng chỉ mới diễn ra cách đây trên dưới nghìn năm nên lý lịch các dòng họ chưa thể kéo dài đến báy tám mươi đời. Ở Việt Nam ta, từ khi có chữ Hán xâm nhập vào, ở các dòng họ khoa bảng hoặc các dòng họ có bậc đế vương công thần thì mới ghi được gia phả để lưu danh hậu thế. Trong dân gian thì mãi về sau mới quan tâm đến việc viết gia phả. Do tha hương cầu thực, chiến tranh hoặc do nạn chu di tam tộc mà nhiều người phải ly tán, mai danh ẩn tích thay tên đổi họ đến một đời nào đó mới dám trở về họ cũ và lấy mốc các đời cha, đời ông làm căn cứ tổ họ của mình.
Đó là hiện tượng các dòng họ Bùi ở Tứ Xã mà ta thấy hiện nay cũng như các họ khác trong làng đều chỉ có đến mười lăm, hai mươi đời đổ lại. Tuy Tứ Xã đã có tuổi thọ ba bốn ngàn năm nhưng gia phả các họ đều không lâu dài vì vậy. Mười họ Bùi ở Tứ Xã có số đinh chiếm một phần tư số đinh trong toàn xã. Con cháu các họ Bùi làm ăn khá giả. Họ góp phần xây dựng quê hương trở thành một xã phát triển mạnh. Về quân đội có người trở thành Anh hùng lực lượng vũ trang nhân dân, Chiến sỹ thi đua toàn quân, Trung tướng, Thiếu tướng. Xã có một số người thành Tiến sỹ khoa học, có em đỗ đạt giành huy chương quốc tế, nhiều người thành nhà văn, nhà báo…
Tứ Xã được công nhận là đơn vị Anh hùng thời kỳ chống Pháp, chống Mỹ là có công đóng góp của con dân các họ Bùi trong làng.
Để tăng cường mối đoàn kết các dòng họ Bùi, huyện Lâm Thao đã mở Đại hội thành lập Ban liên lạc các dòng họ Bùi trong toàn huyện. Ban liên lạc chọn Tứ Xã làm xã điểm mở Đại hội để thành lập Ban liên lạc với các họ Bùi trong toàn xã vì Tứ Xã đông dân nhất huyện và người họ Bùi cũng chiếm phần đông trong xã. Việc tổ chức mở đại hội thành lập Ban liên lạc các họ Bùi trong làng đã góp phần tăng cường mối cố kết cộng đồng làng xã. Đây là dịp để mỗi người họ Bùi nhìn lại và tự hào về cha ông mình đã từng góp phần xây dựng và bảo vệ đất nước ngày một tươi đẹp hơn. Là người dân người làng, nay được họp mặt mới nhận ra mình xa xưa có chung dòng máu để từ đó thêm gần gũi nhau hơn.
Ban liên lạc ra đời sẽ góp phần vào công tác khuyến học ở địa phương. Các dòng họ lâu nay đã có quỹ khuyến học, khen thưởng cho học sinh có thành tích học tập xuất sắc. Nhưng nay những em đạt giải cao ở các kỳ thi quốc gia và quốc tế sẽ được Ban liên lạc các họ Bùi động viên khen thưởng. Mỗi gia đình khi có công to việc lớn, lãnh đạo Ban liên lạc sẽ đến thăm hỏi động viên tặng quà. Gia đình nào gặp khó khăn Ban liên lạc sẽ động viên bằng mọi cách giúp họ vượt qua khó khăn.
Nguyễn Hữu Nhàn