Ime nosi po utvrdi koja je od gusara branila jugoistočnu obalu Visa a nalazila se stotinjak metara iznad seoceta.
Podstražje je sagrađeno na nekoć najprometnijem raskrižju pojorskih cesta koje ga povezuju sa svim uvalama i priobalnim naseljima viškog jugoistoka, a to su Milna i Ženka, Bargujac, Rukavac i Srebrna.
U njemu su dva vrlo posjećena obiteljska domaćinstva: Postrožje i Ferol, a smještaj je moguće naći u nekolicini apartmana i adaptiranih starih kamenih kuća.
