A szabálytalan, nyújtott négyszög alaprajzú külsőtornyos, belső, középső és külső várból álló vár az Almás-patak által közrefogott, mocsaras területből alacsonyan kiemelkedő, a XIII. században Lázár-szigetnek nevezett részen épült.

A belső vár magját a görög származású és birtokos Antimus család egyik tagja, Antimus Oswald vetette meg, aki a sziget északnyugati részén 1420 körül egy 10 m átmérőjű, 1,5 m falvastagságú, három emeletes magas, tetőzet nélküli, kerek, feltehetően pártázatos tornyot épített. Ezt egy erős fapalánkkal keríthette, melynek erősített kapuja keletre nézett. A palánkfalon belül épült még egy kis méretű lakóház vagy palota, ahol a vár akkori ura lakhatott, valamint lőszer tárolására kisebb épületek és egy szárazmalom. Később e belső várat délről és nyugatról a középső vár fogta közre, melynek emeletes kapuja - ahol az alvárnagy lakott - dél felé nyílt. A kapu közelében a várnagy lakása - itt lakott később gróf Zrínyi Miklós is - és ettől kissé távolabb egy gazdasági épület helyezkedett el.

A belső várat a külső várral a vizesárok átvezető fahíd kötötte össze A külső várban különböző lakó-és gazdasági épületek és egy szárazmalom épült. Az itteni sarokbástyákat a belső várhoz hasonló és építésű földfal kötötte össze. A külső vár kapujától mintegy 80 m hosszú, középen védőtoronnyal ellátott cölöpökön nyugvó fahíd vezetett az Óvárosba.

Mint említettük, a vár alapjait a Lázár-szigeten Antimus Oswald rakta le 1420 körül. A várost azonban már korábban egy 1408-ban kelt oklevél említette, mint e család tulajdonát. Az 1463-ban a Garaiak kezére jutott uradalom Garai Jóbtól 1471-ben enyingi Török Ambrus kezére került, melyet halála után fia, Bálint örökölt. A vár az első nagyobb ostromot a kettős királyság idején, 1530-ban állta ki, amikor is Szapolyai János ostroma ellen Török Bálint sikeresen védte meg.

Buda várának 1541-ben, a török által történt elfoglalása után a fogságba esett Török Bálint felesége, hogy a vár ne kerüljön az ellenség kezére, 1543-ban Ferdinándnak adta át, aki Segesdi Györgyöt nevezte ki várkapitánynak. (Ezzel egyidejűleg a várat tovább erősítették és állandó katonaságot helyeztek el benne.) Utóda Tahi Ferenc királyi lovászmester, majd 1553-ban Dersffy Farkas lett. Dersffy a következő évben meghalt, és helyére Kerecsényi László került.

Tujgon budai pasa 1554-ben körülzárta ugyan a várat, de ostrom alá nem vette. A következő évtől Horvát Márk lett a várkapitány, aki 1556-ban Ali pasa 25 000 főnyi seregének 41 napi ostromát sikeresen verte vissza: majd amikor a török Nádasdy Tamás és Zrínyi Miklós felmentő seregeinek közeledtéről értesült, az ostromot abbahagyta és elvonult.

Az ostrom során súlyosan sérült falak és bástyák helyreállításához Kerecsényi a királytól kért pénzt, és mivel támogatást nem kapott, lemondott tisztségéről. Utódja Farkasits Gergely 1557-ben meghalt, és Ferdinánd 1561. október 3-án Zrínyi Miklóst nevezte ki a vár parancsnokának. Zrínyi a sérült falakat és bástyákat helyreállítatta, de miután további segítséget a királytól ő sem kapott, visszaadta a megbízást, melyet azonban a török közeledtének hírére 1566-ban újra elvállalt.

Szulejmán szultán az évben mintegy 100 000 főnyi hatalmas sereggel 200 ágyúval érkezett a vár elfoglalására, melynek körülzárása augusztus 1-én megkezdődött, és augusztus 7-én már az ostromot is megindította,. Szigetvár őrsége ekkor 2300 fő volt, kiegészülve különböző mesteremberekkel, asszonyokkal és gyerekekkel. A vár tisztjei voltak: Zrínyi Miklós, helyettese nővérének, Margitnak fia, Alapy Gáspár, a gyalogosok parancsnoka Szekcsőy Máté, gyalogostisztek: Báthay Péter, Bosnyák Máté, Botos Péter, Dandó Ferenc, Deák Balázs, Dezső András, Eszpethy Balázs, Győry Mátyás, Horváth György, Kobak Miklós, Kürtös János, Medvey Benedek, Órsics István, Poky Gergely, Popratovics Farkas és Radován Jakab, a lovasság tisztjei: Bajomy János, Bika András, Csáky György, Novákovics János, Orosztonyi Péter, Patasics Péter, míg Novák János a lovas puskások hadnagya volt.

Hosszú, véres és a támadó töröknek is sok veszteséget okozó ostrom után szeptember 7-én a vár nem volt tovább tartható, ezért Zrínyi Miklós megmaradt katonái élén, a belső vár kapuját megnyitva a török seregre vetette magát, ahol több tiszttársával és katonájával együtt hősi halált halt. Még ezután is volt ellenállás a várban, ugyanis Kecskés György és Novák János néhány vitézzel a belső vár kerek tornyában zárkózott el, ahol reménytelen helyzetben, de tovább ellenálltak a töröknek. A túlerő végül őket is legyőzte, és kitűzhették a török zászlót a vár fokára. A győzelmet Szulejmán már nem érhette meg, ugyanis a vár elfoglalása előtt meghalt.

Az ostrom után Iszkander bég parancsnoksága alatt a török azonnal megkezdte a rommá lőtt vár helyreállítását. A császáriak 1574.-ben két ízben is ostromolták, sikertelenül. Végül is az olasz származású gróf Vecchi Gábor császári ezredes 1688. április 4-én seregével a várat körülzárta, melyet a mintegy 510 főnyi török őrség Hasszán bég parancsnokságával, közel egyévi ostromzár után 1689. február 13-án feladott.

II. Rákóczi Ferenc szabadságharca idején 1706-ban a kurucok sikertelenül ostromolták. Mária Terézia a katonai jelentősségét vesztett várat 1700-as évek közepén a várossal együtt Neffczern Jakab bárónak adományozta, akitől 1761-ben Czeglédi Szily Ádám vette meg, kitől 1769-ben a Festetics család birtokába került, majd a XIX. század közepétől az Andrássyaké lett.