Cesarz Kaligula został przez potomnych zapamiętany jako jeden z najgorszych i perwersyjnych władców Cesarstwa Rzymskiego. Jeśli wierzyć przekazom historyków starożytności poza terrorem władca wyróżniał się niezwykle dziwnym poczuciem humoru i kontrowersyjnymi „romansami”.
Oktawian August, jego pradziadek, z pewnością byłby w szoku, gdyby zobaczył co też Kaligula wyprawia. W czasie swoich rządów żył w oficjalnym konkubinacie z własnymi rodzonymi siostrami. Ponadto bardzo często pozwalał sobie na obcowanie z kobietami zamężnymi i to przy wiedzy ich mężów. Znamy przekaz mówiący, że cesarz zaszczycił swoją obecnością Gajusza Pizona i Liwię Orestyllię podczas zaślubin. Po całej ceremonii Kaligula udał się ze świeżą małżonką Pizona do swoich komnat, by potem powrócić i oznajmić, że zawarł związek małżeński na wzór Romulusa, który według legendy miał zlecić porwanie Sabinek do Rzymu.
Zaledwie po kilku dniach cesarz rozwiódł się z Liwią, gdyż jego uwagę przykuła piękna Lolia Paulina. Był tak oczarowany jej urodą, że wezwał ją i męża do Rzymu i kazał się im rozwieść. Małżeństwo Kaliguli i Pauliny trwało jedynie kilka tygodni; cesarz jak wcześniej rozwiódł się i pod karą śmierci zakazał jej uprawiania miłości z innymi mężczyznami. Ostatecznie Kaligula poślubił Cezonię, córkę piekarza, która była według zwyczaju była zbyt niskiego urodzenia, by zostać cesarzową.
Poza „oficjalnymi” relacjami Kaligula pozwalał sobie na folgowanie z zamężnymi kobietami na ucztach. W czasie bankietów uprowadzał na bok żony, by po jakimś czasie wracać jakby nigdy nic do stołu, przy którym czekali ich mężowie.
Kaligula nie gardził także mężczyznami. Niejaki Waleriusz Katullus skarżył się publicznie, że cesarz zbyt mocno się z nim obchodził. Ponadto Kaligula utrzymywał seksualne relacje z mężem swojej siostry Druzylii – Markiem Lepidusem oraz aktorem pantominy Mnesterem. Drugi kochanek był ulubieńcem cesarza, a także najlepszym tancerzem swoich czasów. Cesarz nie pozwalał na jakiekolwiek zakłócanie występu Mnestera i surowo karał nawet kaszlnięcia na widowni.
Szalonym pomysłem Kaliguli było podobno zorganizowanie luksusowego domu publicznego w pałacu cesarskim. Kaligula wcielił się w rolę sutenera, a siostry i patrycjuszki pełniły rolę prostytutek.