II Castello è il monumento più caratteristico della città e si pensa sia stato costruito da Roffredo Gaetani nel decennio 1319-1329. E’ costituito da un edificio lungo 39 metri e ha il pian terreno ed il primo piano con tre torri incorporate ai tre angoli destinati alla difesa. Il magnifico maschio è una torre quadrata che regge sulle spalle la torre cilindrica. La prima fu costruita intorno al secolo XIII; la seconda nel secolo XV. La torre quadra è formata da conci di pietra squadrata smontati, forse, dall’anfiteatro romano esistente nelle vicinanze della chiesa di Mater Domini. La base della torre quadra è lunga m. 14, l’altezza m. 20; la cilindrica, di pietra di taglio, è alta m. 13. Le due torri misurano m. 33. Il castello e il maschio sono coronati da una serie di beccatelli; tra l’uno e l’altro vigevano le caditoie. Il castello, simbolo della città, restaurato nel 1992 (ad eccezione del maschio), ospita nei suoi saloni il Museo Civico che raccoglie materiali lapidei e ceramici d’epoca romana.