Ce bâtiment, patiné par les siècles , se dresse non loin des berges de la Basse , au centre des faubourgs disparus, comprenant les tanneries et les anciennes fabriques de pareurs , tisserands ou blanquers qui illustrèrent le commerce du Roussillonnais. Contemporain de la Bastille , il fut édifié vers 1368 , sur l'ordre de l'Infant Don Juan d'Aragon , par le maître d'œuvre Guillaume GITARD , qui utilisa dans sa construction un élément des plus résistants, le " terbol " ou pouzzolane artificielle faite en briques pilées mêlées à la chaux . Tous les revêtements sont en briques .
Louis XI le transforma en 1478 en prison d'Etat. Les fenêtres furent garnies de grillages , le pont-levis fut supprimé et, pour assurer une sortie à la ville vers le faubourg , on juxtaposa le petit castillet à la bâtisse primitive . Ce fut la porte de Notre Dame du pont , édifiée en 1481 par un architecte de Montpellier. Charles Quint puis Vauban renforcèrent l'ensemble, véritable bastion de défense . Lors de la démolition de l'enceinte fortifiée de la ville en 1904, le Castillet resta seul isolé . Même après cette mutilation ce curieux édifice est resté très beau de couleur et de lignes . Depuis, il est le siège d'un très intéressant musée d'Arts et de Traditions populaires du Roussillon baptisé la Casa Pairal. Le Castillet est le monument emblématique de la ville .
(source : www.perpignantourisme.com)