U petodnevnom oružanom sukobu, uoči Božića 1920. godine, talijanska regularna vojska imala je zadatak da iz Guvernerove palače, i iz Rijeke, milom ili silom istjera Gabriellea D'Annunzija.
Gabrielle D'Annunzio u Guvernerovoj palači
Krajnji istočni prozor Bijelog salona, iza kojega se nalazio D'Annunzijev radni stol, najviše je stradao kada je Palača pogođena s talijanske topovnjače Andrea Doria.
Oštećenja Bijelog salona nakon bombardiranja 1920. godine

D'Annunzijeva riječka avantura započela je nakon Drugoga svjetskog rata kada je razočaran odustajanjem talijanske vlade od aneksije Rijeke (koja je Italiji za prelazak na stranu Antante bila obećana tajnim Londonskim ugovorom 1915. godine) u pratnji dobrovoljaca i legionara krenuo prema gradu. U Rijeku su ušli 12. rujna 1919. godine i uselili se u Guvernerovu palaču s čijeg se balkona sljedećih godinu dana D´Annunzio obraćao Riječanima.
Talijanska vlada odlučila je poduzeti žestoke mjere protiv D'Annunzija te ga istjerati iz Rijeke, no on objavljuje rat regularnoj talijanskoj vojsci.
Sukobi su trajali pet dana, od 24. do 28. prosinca, i poznati su pod imenom cinque giornate di Fiume (pet riječkih dana) ili Krvavi Božić, a glavna meta bila je Guvernerova palača. Nakon što je izgubio podršku, D'Annunzio se predao i otišao iz grada 18. siječnja 1921. godine u rezidenciju Vittoriale degli Italiani na obalu jezera Garda.
Burni događaji u Rijeci i Guvernerovoj palači nastavljeni su: u ožujku 1922. godine palača je pogođena je s 28 topovskih hitaca kada su na nju nasrnule talijanske fašističke trupe u namjeri da iz nje istjeraju Riccarda Zanellu, koji je bio na čelu privremene vlade novoosnovane Slobodne države Rijeka.
U vrijeme guvernera Gaetana Giardina, 1923. godine, provedena je rekonstrukcija zida i uređenje pročelja kako bi palača bila spremna za svečano proglašenje aneksije Rijeke Kraljevini Italiji. Aneksiju je upravo ovdje 1924. godine objavio talijanski kralj Vittorio Emanuele III.
