Nel 1255, secondo il cronista pseudo-Iamsilla, la città, a tradimento, fu sorpresa da Manfredi di Svevia, e il castello venne devastato dai Saraceni di Lucera guidati da Federico Lancia. I capi del comune, vennero condannati a morte e la popolazione fu esiliata.
Dopo il 1266 il castello fu ristrutturato da Carlo I d'Angiò .
Secondo il prof. Marcello Rotili, che ha diretto le campagne di scavo, i restauri della seconda metà del XIII secolo comportarono la sostituzione dei tratti crollati della cinta, il consolidamento di quelli danneggiati e la costruzione di torri a sezione quadrangolare.
Il donjon normanno, crollato per il cedimento della falda di arenaria, venne ricostruito in forma poligonale.
Il dominio aragonese rappresentò per Ariano un periodo particolarmente favorevole. Il castello fu sottoposto ad un processo di adeguamento strutturale in conseguenza delle mutate tecniche belliche, dopo l'introduzione della polvere da sparo. I lavori, effettuati durante il governo di Ferrante d'Aragona, verosimilmente in seguito ai danni arrecati dai terremoti del 1456 e del 1466, sotto la direzione del procurator fabricae Oliviero di Pontelandolfo, portarono al rifacimento della cinta muraria e delle torri angolari, ricostruite secondo l'impianto cilindrico con base a scarpa, che incorporarono le precedenti di costruzione angioina di forma poligonale.
Il governatore spagnolo impose a tutti i cittadini di estrarre pietre e di trasportarle fino al castello. Quest'obbligo creò non pochi problemi ai contadini e nel 1489 l'Università di Ariano propose la sospensione dei lavori di estrazione e di trasporto delle pietre durante il periodo della coltivazione dei campi.
Altri imponenti interventi di ristrutturazione furono realizzati nel 1499 per volere di Alberico Carafa e nel 1557 per interessamento di Ferrante Gonzaga, onde sventare il pericolo di un’invasione francese, ma, già nel 1585, come si deduce dall’inventario del 26 novembre redatto dal castellano Valerio Teutonico, il castello versava in uno stato di deplorevole abbandono, e nel 1623, secondo la descrizione del "tavolario" Bitrio Sansonetti, appariva “tutto diruto et inhabitabile”.
Al processo di lenta decadenza, già innescato nell'ultimo quarto del XVI secolo, seguirono l'abbandono e il progressivo smantellamento delle strutture murarie utilizzate come cava di pietre e di materiali, per la pavimentazione stradale e la costruzione di edifici cittadini.