Leadbellyjev je život bio težak i nasilan. Rođen je kao crnac u vrijeme kada su crnci bili „kmice“, na dubokom Jugu u kojem su „kmice“ trebali znati svoje mjesto, koje je za Leadbellyjevu obitelji bilo napoličarenje. Ali Leadbelly nije dugo znao svoje mjesto. Odslužio je jednu kaznu za ubojstvo u okovima u Teksasu, a drugu u Louisiani. Godine 1939., nakon što je stekao ugled kao folk-pjevač, ponovno se sukobio sa zakonom, ovaj put u New York, gdje je osuđen na godinu dana zatvora za napad nožem. U međuvremenu je stalno usavršavao svoju glazbu koja mu je davala red u životu koji je u svakom drugom pogledu bio kaotičan.