Gospina batarija je glavna utvrda koju je Austrija izgradila za vrijeme svog gospodstva na otoku. Sagrađena je tridesetih godina XIX st. u samom središtu viškog zaljeva, na mjestu koje se nazivalo Levaman.
Nakon talijanske okupacije Visa, utvrda je preimenovana u Batteria della Madonna, a kao svjedok tome je ploča koja se nalazi iznad ulaza u utvrdu.
Utvrda je opkoljena jarkom dubokim oko dva metra, a obrambeni zidovi su nakošeni i izrađeni od lijepo obrađenog kamena. Ulaz u utvrdu nalazi se s istočne strane, izgrađen je lučno, s bunjasto obrađenim kamenom. U tvrđavu se ulazilo preko pomičnog drvenog mosta, u prostrano pravokutno dvorište na čijem kraju se nalazi bunar za opskrbu tvrđave vodom. Sa sjeverne strane dvorišta nalazi se visok nasip obzidan viskom kosim zidom na kojem su nekoć bili smješteni topovi. Ispod nasipa je lijep parabolični kameni svod sa skladišnim prostorima i tamnicom. S južne strane je glavna zgrada s prizemljem i katom u kojoj su bili smješteni zapovjedništvo otoka i vojarna za časnike i vojnike.
Za vrijeme znamenite Viške bitke 18.–20. srpnja 1866.g. odigrala je značajnu ulogu, oštetivši u direktnom sukobu talijanski brod Formidabile kojim je zapovijedao francuski admiral Simone Antonio Pecoret de Saint-Bon, u službi talijanske kraljevske flote. Bitka je završila porazom nadmoćnije talijanske flote i gubitkom njihova dva broda - zapovjednog broda Re d'Italia i Palestro.
Nakon što je vojarna 1873. demilitarizirana, u nju su smješteni ubožnica s kapelicom i dječji vrtić. Nasipi su pošumljeni, a mali prozori na zgradi uvelike prošireni.
