Palača je sve do kraja Drugoga svjetskog rata imala političku funkciju te je bila sjedište vlasti, pa su se u skladu s time mijenjali simboli na pročelju.
Izvorno se u dekorativnoj kartuši u atici pročelja nalazio ugarski grb i vijorila ugarska zastava.

Kada je posljednji mađarski guverner grof Zoltán Jekelfalussy 29. listopada 1918. godine predao Guvernerovu palaču i sve svoje ovlasti predstavnicima novoosnovane Države Slovenaca, Hrvata i Srba, preko ugarskoga grba razvijena je riječka karmin crvena, žuta i plava zastava, a na koplje je umjesto mađarske postavljena hrvatska trobojnica.
Iste godine 17. studenoga talijanski general Di San Marzano, predstavnik Talijanskoga nacionalnog vijeća, ušavši u palaču preuzeo je vlast u ime Italije, Saveznika i Sjedinjenih Američkih Država te spustio hrvatsku, a podignuo talijansku zastavu.
Godinu dana poslije 12. rujna 1919. Gabriele D' Annunzio preuzeo je vlast u Rijeci i preko ugarskoga grba postavio zvijezdu poznatu kao Stela di Fiume.

Na Božić 1920. godine prilikom istjerivanja D´Annunzia iz Rijeke palača je pogođena s topovnjače te je uništen dio pročelja i interijera.


U rujnu 1921. godine palača je nakratko postala sjedište privremene vlade Slobodne Države Rijeka na čelu s Riccardom Zanelleom. Šest mjeseci poslije talijanske fašističke trupe pogodile su palaču s 28 topovskih hitaca, Zanella je prisiljen na predaju, a s vrha se vijorila bijela zastava.

Privremeni, vojni guverner Rijeke Gaetano Giardin zapovjedio je rekonstrukciju zida i uređenje pročelja kako bi talijanski kralj Emanuel III. u palači službeno proglasio pripojenje Rijeke Kraljevini Italiji 16. ožujka 1924.


Palača je postala sjedište Kvarnerske provincije, na pročelju je postavljen grb Kraljevine Italije, a četiri godine poslije i natpis Palazzo del Governo, koji se i danas nazire.

Nakon Drugoga svjetskog rata u palači je bilo sjedište Gradskoga narodnooslobodilačkog odbora. Talijanski grb i natpis su uklonjeni, a u kartušu je postavljena petokraka zvijezda.
Sredinom 1947. nakon iseljenja Odbora donesena je odluka da se palača stavi u funkciju kulture. Palača postaje sjedište Doma kulture, pod čijim okriljem djeluju mnogobrojne udruge i ustanove, a na atiku se postavlja natpis Dom kulture Vladimir Švalba Vid. Nakon ukidanja Doma 1955. uklanja se natpis, a petokraka zvijezda skinuta je početkom devedesetih godina. Ukidanjem Doma Palača postaje sjedište Narodnoga muzeja Rijeka sljednik kojega je Pomorski i povijesni muzej Hrvatskog primorja Rijeka, pod čijom je danas upravom.
