Fostul afacerist a fost căsătorit pentru prima dată cu Viorica Ciceu, care a murit la vârsta de 30 de ani, în 1994, din cauza unei boli grave. Din această căsnicie, milionarul are doi băieți, Honorius și Silvius.
„Prima mea soţie a murit în 1994, când Honorius şi Silvius erau mici. A avut o boală cumplită şi în doar şase luni a plecat dintre noi. Am luptat mult atunci, dar n-am avut ce să fac”, povestea afaceristul acum câțiva ani.
La patru ani după ce a rămas văduv cu doi copii mici, Prigoană s-a căsătorit cu Delia Gabriela Prigoană, o femeie care împărtășea pasiunea lui pentru afaceri. Aceasta a fost o relație discretă, fără imagini publice cu cei doi împreună. Cuplul s-a despărțit în 2003, cu o lună înainte ca Adriana Bahmuțeanu să intre în viața lui Silviu Prigoană.
Silviu Prigoană și Adriana Bahmuțeanu s-au căsătorit în 2003, însă primul lor divorț a avut loc chiar după luna de miere. În ianuarie 2004 și-au reînnoit jurămintele, dar în mai 2004 s-au despărțit din nou. În august 2005 s-au căsătorit pentru a doua oară, iar la începutul anului 2007 au divorțat din nou. În mai 2009 s-au recăsătorit, dar fericirea lor a durat doar trei ani, iar în vara anului 2012 au avut o ceartă majoră și s-au despărțit din nou. În 2013, de Paște, s-au împăcat, însă acestă reconciliere a fost urmată de un al cincilea și ultimul divorț.
Mihaela și Silviu Prigoană s-au întâlnit în 2015, iar un an mai târziu și-au oficializat relația în fața lui Dumnezeu. Deși mulți nu credeau că vor rezista, având în vedere istoria sa cu divorțuri și conflicte cu fosta soție, cei doi sunt acum căsătoriți de mai mulți ani și au reușit să păstreze o relație calmă, fără scandaluri sau controverse.