Non è possibile datare con precisione la costruzione del castello ma gli storici locali parlano di una "poderosa rocca eretta dai Normanni nella seconda metà del XII sec. a difesa della città, caposaldo militare della linea difensiva dell'Ofanto" allorquando "erano frequenti le incursioni dei pirati che depredavano le coste dell'Adriatico".
Il primo documento scritto è in un decreto del 1240 con cui Federico II includeva l'edificio tra i castelli del Giustizierato di Terra di Bari.
Tra le testimonianze di questo periodo rimane unica l'aquila sveva, simbolo dell'autorità federiciana, ora murata nella lunetta della finestra a destra di chi entra nell'atrio.
Nel 1308, durante il Regno degli Angioni, furono arrestati e custoditi nel castello i Templari della casa priorale primaziale dell'Italia Meridionale; la carcerazione durò fino al 1312, cioè fino alla soppressione dell'Ordine. Con gli Angioini il castello, come tutta la città, ebbe un nuovo assetto ad opera del vero braccio destro di Carlo d'Angiò, Pietro d'Angicourt, famoso architetto francese che contribuì alla diffusione in Italia meridionale del linguaggio gotico.
Gli Aragonesi riportarono l'edificio all'originaria vocazione difensiva, facendone una fortezza inespugnabile ed una vera e propria macchina da guerra e, tra il 1458 ed il 1481, intervennero rafforzando la cinta muraria.
Ferdinando I d'Aragona nel 1461, all'indomani della sua incoronazione avvenuta nell'adiacente cattedrale, assediato da eserciti filo-angioini, vi si rifugiò fino all'intervento dello Scandeberg.
Durante la prima occupazione spagnola del 1502-1503 il castello ospitò il Gran Capitano Consalvo da Cordova e parte dell'esercito spagnolo e fu durante quel periodo che il castello visse il momento di maggior gloria, in occasione della Disfida di Barletta, quando fece da cornice a molti degli episodi che accompagnarono quella contesa.
Nel 1527, come ricorda una targa all'entrata, l'imperatore Carlo V fece aggiungere il fossato ed i 4 bastioni angolari a lancia ed aperture di fuoco disposte radialmente e lungo le cortine, adeguandosi ai canoni di fortificazione dell'epoca.
In seguito non ci furono interventi di rilievo fino al 1867 quando nel corso di un'asta pubblica il Comune di Barletta lo acquistò per la somma di L.30.000, concedendolo poi all'autorità militare che ne fece un deposito d'armi ed un carcere.
Nel 1976 un complesso intervento di restauro ha consolidato la struttura, facendone la sede delle collezioni del museo-pinacoteca della città.