Zgrada ribarnice izgrađena je početkom 20. stoljeću na jugoistočnom dijelu viške luke, a predstavlja vrijedan primjer neoklasicističke arhitekture javne namjene.
Građena je kao izdužena prizemnica s visokim krovištem na četiri vode. Sjeverna i južna duža strana zgrade je raščlanjena masivnim slijepim arkadama profiliranih lukova, a nose ih plitki pilastri s jednostavnim geometriziranim polukapitelima.
Donji dio zidova naglašen je s tri reda pravilnih klesanaca, dok je gornji žbukan i razlikuje se od slijepih arkada tamnijim tonom žute boje. Unutrašnjost ribarnice je osvjetljena kroz lunete arkada.
Zgrada ribarnice upisana je u Registar kulturnih dobara Republike Hrvatske.