Il Castello angioino di Gallipoli, circondato quasi completamente dal mare, si erge con la sua imponente mole all’estremità orientale dell’isola che ospita il borgo antico. Edificato, molto probabilmente, già dall’XI secolo su preesistenti fortificazioni romane, fu ricostruito nel XIII secolo in epoca bizantina. Fu più volte rimaneggiato dai conquistatori che si susseguirono nel corso dei secoli.
Posto a guardia della città e del porto, un tempo crocevia di fiorenti commerci, presenta una pianta quadrangolare munita di tre torrioni circolari e di una torre poligonale. Tra il XV e il XVI secolo, sotto i domini degli Angioini e degli Aragonesi, il castello fu soggetto di sostanziali modifiche: venne isolato da un fossato su tutti i lati e, nel 1522, la necessità di rendere efficiente il sistema di difesa divenuto obsoleto, portò alla realizzazione della cortina di levante, il Rivellino. Progettato dall’architetto senese Francesco di Giorgio Martini, il quale lavorò per conto di Alfonso II di Napoli, si presenta staccato dal perimetro della fortezza ed isolata nelle acque. L’accesso è consentito mediante un ponte levatoio in legno tuttora esistente. La torre ospita ancora le originarie catapulte e i cannoni usati per difendere la città. Nel Seicento, il ponte levatoio che collegava il castello alla terraferma fu sostituito da uno in muratura. L’interno ospita grandi sale con volte a botte e a crociera, vari cunicoli e camminamenti. La forma della fortezza rimase invariata sino alla seconda metà dell’Ottocento; fra il 1870 e il 1879 fu riempito il fossato e la facciata fu coperta con la costruzione del mercato ittico.
Nelle varie epoche vi trovarono rifugio, tra gli altri, Corradino di Svevia (1268), Filippo e Roberto d’Angiò (1306-1327), la regina di Napoli Giovanna II (1414) e Ferdinando I (1463).
Secondo alcuni storici nel castello di Gallipoli nacque il pittore Giuseppe Ribera, lo Spagnoletto.