Navzdory své úspěšné herecké kariéře se Ladislav Frej v soukromí potýkal s obrovským trápením. Legendární doktor Sova mladší z Nemocnice na kraji města či náčelník Břetislav Kubát ze seriálu Malý pitaval z velkého města, kterému bude 26. listopadu 84 let, měl vždy slabost pro krásné ženy, ale osud mu příliš štěstí ve vztazích nedopřál. Jeho první manželkou byla Alena Sklenarikova, s níž měl syna Davida, po rozvodu a jejich emigraci syna dlouhá léta neviděl. Druhé manželství s herečkou Gabrielou Wilhelmovou neustálo dvě neúspěšná těhotenství, po rozvodu ale zůstali přáteli. Třetí manželkou byla herečka Evelyna Steimarová. Dvakrát přišli o miminko v osmém měsíci těhotenství, což způsobila jejich nekompatibilita, ta byla také důvodem k rozvodu. Třicet let pak strávil Frej po boku Věry Galatíkové, s níž měl syna Ladislava a dceru Kristýnu. Galatíková bohužel podlehla rakovině. Frejovou dosud poslední partnerkou byla o generaci mladší servírka Gabriela, ale i ji vzala herci zákeřná choroba.

