Victor Perez počeo je trenirati boks s 14 godina zajedno sa svojim starijim bratom Benjaminom Kidom Perezom. Stekao je veliku slavu zahvaljujući pomoći i vodstvu Leona Belliera, a bio je u vezi s francusko-talijanskom glumicom Mireille Balin.
155 cm visok i 50 kg težak Perez osvojio je krunu Međunarodnog boksačkog saveza nokautiravši u drugoj rundi američkog prvaka Frankieja Genara postavši najmlađi svjetski boksački prvak u povijesti. Perez je uhićen u Parizu 21. rujna 1943., a u Auschwitz je stigao 10. listopada 1943. kao dio „Transporta 60“.
Zatvoren je u Auschwitz III – Monowitz. Ondje je bio prisiljen sudjelovati u boksačkim mečevima kao zabava za naciste. 1945. Victor je preživio 140 borbi u 15 mjeseci, a pobijedio je u njih 139! Perez je bio jedan od zatvorenika u „Maršu smrti“ koji su napustili logor 18. siječnja 1945.