Surplombant la ville moderne, le centre historique médiéval de Fontarabie est d´une beauté singulière, avec ses hôtels particuliers, ses fortifications et ses bâtiments traditionnels aux couleurs vives.
En raison de son emplacement stratégique, la ville s’est fortifiée au fil des siècles. Les remparts, les deux portes d’entrée, le dé de Santa María, les bastions de la Reina et de Santiago, ainsi que la fortification de San Nicolás sont autant de vestiges de cette structure défensive. La place d’Armas et ses environs sont le centre névralgique de la vieille ville. C’est sur cette place que se dresse le château de Charles Quint, dont l’origine remonte à l’an 980. Il abrite aujourd’hui un Parador de Turismo. Non loin de là se trouve l’église Santa María de la Asunción y del Manzano, un édifice du XVIe siècle où se mêlent les éléments gothiques, Renaissance et baroques. Les rues adjacentes offrent un bel ensemble d’immeubles remarquables, dont on admirera les avant-toits sculptés, les blasons et les balcons en fer forgé.