Aangezien we niet lang in Pembroke zouden verblijven, besloten we na het avondeten direct het advies van de lokale bevolking op te volgen. Een kroeg en een kasteel; in omgekeerde volgorde.
Pembroke Castle ligt aan één van de grotere straten in de stad, dichtbij het water en de havens. Het kasteel werd in 1093 door de Noormannen gebouwd. Hoewel ze in 1066 al erg geinteresseerd waren in Wales, was het bouwen van een kasteel niet noodzakelijk. Graaf Roger of Montgomery besloot uiteindelijk tot het bouwen van het kasteel, dat twee grote aanvallen van de Welsh opstandelingen wist te doorstaan.
In 1189 werd William Marshal graaf van Pembroke. Hij was ook degene die besloot tot het verstevigen van het kasteel en uitbreiding met de grote wachttoren. Deze werkzaamheden duurden ruim 30 jaar. Toen in 1234 een van zijn vijf zonen verantwoordelijk werd voor het kasteel, volgden nog meer uitbreidingen. Deze waren in 1241 voltooid. De jaren erna wisselde het kasteel nog enkele malen van eigenaar, totdat in het jaar 1400 Owain Glyndŵr, degene die Cardiff Castle verwoestte, een opstand tegen de Engelsen begon. Pembroke bleef tijdens die opstand buiten schot door strategische onderhandelingen met Glyndŵr.
Vervolgens nam een nieuwe familie haar intrek in Pembroke Castle. De halfbroer van Henry VI, Jasper Tewdwr, bouwde gedurende zijn verblijf het fort om in een wat huiselijkere plaats zodat het beter bewoonbaar werd. Naar mate de jaren verstreken, verloor het kasteel diverse belangrijke taken. Toen de eigen rechtbank van Pembroke, die gevestigd was in het kasteel, werd opgegeven en men de bevelen van de koning opvolgde, had het kasteel slechts een monumentale waarde.
Aan die vrede kwam een eind toen de burgeroorlog uitbrak. Hoewel het in de rest van Zuid-Wales relatief rustig bleef, werd Pembroke uiteindelijk toch aangevallen omdat ze de verkeerde kant in de strijd kozen; namelijk die van de mensen die een republiek nastreefden, de roundheads. Hulptroepen kwamen vanuit Milford Haven om Pembroke bij te staan. Uiteindelijk kwam er in 1648 een eind aan de burgeroorlog.
Vrijwel direct kozen de leiders van Pembroke de zijde van de koningsgezinden. Dit stoorde leider van de “roundheads” zo erg dat Oliver Cromwell persoonlijk terugkeerde naar Pembroke om daar de drie leiders te veroordelen voor verraad. In een zeven weken durende strijd nam Cromwell het kasteel in, en liet hij het vernietigen. Althans, hij deed een poging, want op slechts wat aanzienlijke schade na, bleef het kasteel staan. Meer schade ontstond doordat de lokale bevolking stenen wegnamen voor eigen gebruik.
Tot 1880 gebeurde er vrij weinig met het kasteel, totdat J.R.Cobb tot een grote restauratie besloot over te gaan. Gedurende 3 jaar werd veel, maar niet alles hersteld. Na deze jaren van restauratie duurde het nog tot 1928 voordat een nieuwe eigenaar zich meldde. Sir Ivor Phillips kreeg de ruine van het kasteel in zijn bezit. Hij zette zich in voor een volledige restauratie, en zorgde er zodoende voor dat bijna alles in oorspronkelijke middeleeuwse staat hersteld werd. Na zijn dood werd door de familie en de gemeente een speciaal fonds opgezet om het behoud van het kasteel te waarborgen, dat tot op de dag van vandaag er zorg voor draagt dat het kasteel er veilig en netjes bij staat.
