Palača je sagrađena 1552.g. i lijep je primjer renesansne gospodarsko – ladanjske kuće. Frane Gariboldi je početkom XVI st. doselio iz Milana u Hvar, postao hvarski građanin, stekao kuću i dućan u prometnom dijelu Hvara i grobno mjesto u franjevačkoj crkvi.
Na Visu je imao svoje posjede pa je uskoro sagradio palaču na čijem je vanjskom visokom pročelnom zidu iznad portala postavio natpis u kojem ističe da je građanin Hvara i svoje milansko podrijetlo:
LAVS DEO FRANCISCVS GARIBOLDVS MEDIOLANENSIS
NVNC CIVIS LESINAE PRO SE IPSO AC FILIIS ET
HEREDIBVS SVIV HOC OPVS CONSTRVXIT MDLII
Iza ogradnog zida prostire se popločano dvorište koje je kasnije diobama pregrađeno i skraćeno, a u njemu se nalazi i bunar. Kućno pročelje raščlanjeno je profiliranim prozorima i obrubljeno kamenim vijencem krova okićenim kamenim akroterijima u obliku kugle. U prizemlju se nalazi konoba, a od prizemlja do središnjih vrata na prvom katu iznad kojih je latinski natpis
GLORIA LAVS ET HONOR TIBI SIT
CHRISTE REDMEPTOR
vode lijepe kamene stube.
Nad vratima je istaknut reljefni grb u čijem polju se nalaze utvrda i četiri zvijezde, a s obje strane su inicijali Franina imena F.G.
U unutrašnjosti kuće je središnja dvorana sa sazidnim renesansnim umivaonikom profiliranog okvira, kasnije pretvorenim u vrata terase nadograđene u XVIII st. Kuća je proširena na zapad i dobila oblik slova L, a taj dio se uzdiže na šest lukova koji se oslanjaju na četverokutne stupove. U ovom dijelu kuće nalazi se i zidni umivaonik gotičkog luka iskićen reljefno izrađenim lišćem i zupcima.
Sa zapadne strane kuće prostrani je perivoj s palmama i čempresima koje je u XIX st. zasadio i uredio graditelj Marinković.
