Theo các cụ truyền lại, thì làng Cao Xá, Cao Đại, Vĩnh Tường ngày xưa có tên gọi là làng Kiêu Xá. Làng Kiêu Xá lúc bấy giờ rất rộng, người thưa, cả làng chỉ có khoảng 40 đến 50 hộ, với 200 – 300 nhân khẩu. Sinh sống ở làng Kiêu Xá hồi ấy chỉ có ba dòng họ, là: Họ Nguyễn, Họ Tô, Họ Đặng… Sau thời gian, tiếp tục có cư dân của các dòng Họ Lê, Họ Trần, Họ Phan, Họ Trương đến lập nghiệp sinh sống tại làng Kiêu Xá.