La storia del castello di Otranto è legata soprattutto al triste episodio dell'assedio dei turchi del 1480, in seguito al quale il Re di Napoli Ferdinando d'Aragona decise di ampliare con i torrioni dotati di cannoniere la struttura difensiva già esistente sui resti di un fortino preesistente di epoca Bizantina.
I turisti oggi possono ammirare le torri e il bastione detto ''il Fortino'' e, terminata la visita al castello, camminare tra la strade di uno dei borghi più belli d'Italia, da sempre punto di incontro tra le culture di oriente ed occidente.
Congiuntamente ad esso gli spagnoli eressero poderose mura a protezione del centro cittadino intervallate da tre torri principali: Ippolita, Alfonsina (deve il nome ad Alfonso d'Aragona il liberatore della città) e Duchessa (forse la moglie del duca Alfonso). Queste tre torri insieme al Castello, racchiudono, come uno scrigno prezioso, l'antico borgo di Otranto.
Lo spuntone che protende verso il mare, detto "Punta di diamante", è opera dei vicerè spagnoli (1578) e fu costruito da Scipione Campi e Paduan Schiero di Lecce.
Intorno al Castello gira un ampio e profondo fossato. Il Castello, al suo interno, presenta subito una piazzetta d'ingresso e un ballatoio superiore nel suo perimetro.
Le sale circolari presenti nelle torri hanno finestre con bocche di fuoco.
Di particolare interesse è la sala triangolare, opera dell'architetto Ciro Ciri, costituita da un asse longitudinale che sostiene le pareti realizzate con pietre posizionate a spina di pesce.
Le sale superiori del Castello avevano lo scopo di disorientare il nemico.
Le sale inferiori alla piazzetta sono ricche di scorciatoie, sotterranei e vie di fuga.
Lo stemma degli Angioini campeggia sopra un piombatolo.
Ultimamente il Castello è stato ristrutturato ed è stato riportato alla luce l'antico fossato ed il ponte levatoio. È da sottolineare che il celebre romanzo "Castello di Otranto" scritto nel settecento dal letterato inglese Horace Walpole ha trovato la propria ambientazione all'interno delle mura idruntine.