Il Castello Aragonese di Venosa è stato edificato nel 1470 dal nobile Duca di Venosa e di Andria, Pirro del Balzo.
Originariamente ideato come una fortezza, nel corso degli anni il Castello è stato trasformato in una dimora signorile da Carlo e da Emanuele Gesualdo.
La storia del Castello di Venosa è direttamente legata alla figura di Pirro del Balzo, divenuto signore di Venosa senza un grande consenso da parte della popolazione, il Duca voleva difendersi dagli attacchi di Giovanni Antonio Orsini, zio di sua moglie Maria Donata Orsini, discendente della dinastica che governava la città.
La costruzione del castello presenta importanti caratteristiche architettoniche, è formato infatti da 4 torri cilindriche erette nei quattro angoli del castello, intorno all’edificio c’è un profondo fossato e di fronte all’entrata del castello una piazza con una fontana monumentale che fu donata alla città di Venosa da Re Carlo d’Angiò.
Nonostante Pirro del Balzo si sentiva al sicuro nel suo castello fortezza, dopo la congiura dei Baroni, il Duca di Venosa venne assassinato, pare strangolato all’interno del castello.
Successivamente il Castello divenne la dimora di Carlo Gesualdo, Madrigalista principe della Città, si narra che nel castello, proprio ad opera di Don Carlo Gesualdo, si consumò un duplice assassinio, quello di sua moglie Maria d’Avalos e di suo cugino Fabrizio Carafa Duca D’Andria, i due furono sorpresi a letto e furono uccisi.
Diverse sono quindi le vicende legate al castello, credenza popolare tramandata nei secoli è quella legata alla notte del 24 Ottobre, la festa di San Felice. Secondo un antica leggenda, infatti, in quella notte nel fossato che circonda il Castello di Venosa si tiene una processione di anime del purgatorio e di martiri cristiani.
Dal 1991 il Castello è sede del Museo Archeologico Nazionale di Venosa, museo che custodisce reperti archeologici dell’area.