Cao Văn Lầu sinh ngày 22 tháng 12 năm 1892 tại xóm Cái Cui, làng Chí Mỹ, sau sát nhập với làng Thuận Lễ trở thành xã Thuận Mỹ, huyện Vàm Cỏ, tỉnh Long An.

Khi Cao Văn Lầu được bốn tuổi (năm 1896), ông Chín Giỏi (chưa rõ tên thật, cha Cao Văn lầu) vì nghèo, vì bị áp bức nên đã cùng vợ và sáu đứa con nhỏ xuống ghe, tìm đất khác sinh sống.

Buổi đầu, ông Chín Giỏi đến tá túc trên đất của một người bà con ở Gia Hội (Bạc Liêu). Sau chín tháng đi làm mướn cật lực mà không đủ ăn, gia đình ông lại phải dời sang Xà Phiên (nay thuộc Long Mỹ, tỉnh Hậu Giang), khẩn hoang làm ruộng. Khoảng một năm sau, hơn 40 công đất, nhờ khó nhọc mới có được, bị địa chủ chiếm lấy. Nhờ người giới thiệu, gia đình ông Chín Giỏi dọn về Họng Chàng Bè (Giá Rai, Bạc Liêu) để tiếp tục khẩn hoang, nhưng rồi số đất này về sau cũng về tay người khác.

Xót cảnh trắng tay của ông Giỏi, hương sư Chơn ở làng Vĩnh Lợi tổng Thạnh Hòa, cho ông cất một căn chòi lá ở trên đất công điền gần chùa Vĩnh Phước An (nay thuộc phường 2, thị xã Bạc Liêu). Ở đó, vợ chồng ông và các con phải đi làm thuê, đi câu để chạy ăn từng bữa.

Hòa thượng Minh Bảo (? - 1912), trụ trì chùa Vĩnh Phước An, thấy gia đình ông Chín Giỏi vất vả quá mà không đủ ăn, nên đề nghị cho Cao Văn Lầu, lúc đó mới 8 tuổi, vào chùa ở để chia sẻ gánh nặng. Kể từ đó chú bé Lầu, vừa kinh kệ, vừa được nhà sư dạy cho chữ Nho.

Năm 1903, nhờ cha đến xin, Cao Văn Lầu được phép trở về nhà để học chữ Quốc ngữ. Nhưng chỉ học đến "lớp nhì năm thứ hai" (Cours moyen 2e année) tức lớp 4 ngày nay, thì ông Lầu phải thôi học vì nhà gặp thêm cảnh khó: anh đi ở rể, chị lấy chồng, cha già yếu... Vậy là, năm 15 tuổi (1907), Cao Văn Lầu phải thay cha và anh chị đi làm những việc nặng nhọc để nuôi gia đình.

Lúc bấy giờ tại xóm Rạch Ông Bổn có một thầy đàn nổi tiếng tên Lê Tài Khí, tục gọi Hai Khị hay Nhạc Khị. Ông thầy này bị mù cả hai mắt thêm có tật ở chân, nhưng ngón đàn của ông thật điêu luyện.

Năm 1908, Cao Văn Lầu nhờ cha dẫn đến thầy Hai Khị để xin học đàn mỗi đêm. Nhờ yêu thích và siêng năng, ông mau chóng sử dụng thành thạo các loại nhạc cụ như đàn tranh, cò, kìm, trống lễ; và trở thành một nhạc sĩ nồng cốt trong ban cổ nhạc của thầy.

Năm 1912, ông bắt đầu đi hát với Sáu Thìn và cô Phấn với bài Tứ đại oán Bùi Kiệm thi rớt.

Năm 21 tuổi (1913), Cao Văn Lầu vâng lệnh cha mẹ đi cưới vợ, đó là cô Trần Thị Tấn, một cô gái nết na ở điền Tư Ô (Chung Bá Khánh).

Khoảng thời gian này, ông sáng tác được một bản ngắn mang tên Bá điểu, sau đổi lại Thu phong, gồm tám câu nhịp bốn. Sau nữa, bản nhạc này được soạn giả Trịnh Thiên Tư đặt thêm lời ca và có tên mới là Mừng khi gặp bạn.

Năm 1917, ông sáng tác thêm một khúc gồm 22 câu, theo một chủ đề của thầy Nhạc Khị đề xướng là "Chinh phụ vọng chinh phu" (chủ đề được rút ra từ bản Nam ai "Tô Huệ chức cẩm hồi văn") nhưng chưa kịp sửa chữa và trình thầy thì gặp nghịch cảnh đau lòng. Vợ ông đã ba năm mà vẫn chưa có dấu hiệu thai nghén, theo tục xưa, cha mẹ buộc ông phải trả vợ về nhà cha mẹ ruột.

Khoảng một năm sau, trong tâm trạng nhớ thương vợ, bản nhạc trên được đem ra soạn lại. Nghe bạn đồng môn tên Ba Chột góp ý, ông bỏ bớt 2 câu trùng lắp, bài nhạc còn chẵn 20 câu nhịp đôi.

Tết Trung Thu năm 1918 (15 tháng 8 âm lịch năm Mậu Ngọ, nhằm ngày 19 tháng 9 năm 1918), ông cùng các bạn đến thăm thầy, luôn tiện trình bày bản nhạc chưa có tên trên. Nghe xong, thầy Nhạc Khị hết sức khen ngợi.

Đêm đó có nhà sư Nguyệt Chiếu cùng tham dự, thầy Nhạc Khị liền nhờ nhà sư đặt tên cho bản nhạc. Nhà sư nói:"... tuy nhạc và lời ca còn vài điểm bất nhất, nhưng cái chung vẫn diễn tả được tâm tư của nàng Tô Huệ. Vậy cứ theo tích này mà đặt tên cho bài là "Dạ cổ hoài lang" (Nghe tiếng trống đêm nhớ chồng)." Kể từ đêm đó, bài ca này được loan truyền nhanh chóng.

Năm 1919, ông Lầu làm nhạc công trong gánh hát cải lương của Ba Xú (Bạc Liêu).

Cách mạng tháng Tám thành công, ông tham gia Mặt trận Liên Việt ở ấp Vĩnh Phước, xã Vĩnh Lợi, tỉnh Bạc Liêu.

Năm 1947, ông nhận nhiệm vụ đặc biệt là cứu và đã cứu được một số cán bộ bị thực dân Pháp bắt.

Từ 1918 đến năm 1974, ngoài bản "Dạ cổ hoài lang", mà sau này phát triển thành bản "vọng cổ", làm thay đổi một phần bộ mặt cải lương; ông Cao Văn Lầu còn sáng tác thêm 10 bản nữa, nhưng đa phần chỉ lưu hành ở Bạc Liêu.

Ông mất lúc 13 giờ ngày 13 tháng 8 năm 1976 tại Thành phố Hồ Chí Minh, thọ 84 tuổi.