Durante los siglos XV, XVI, XVII, son varias las familias nobles que deciden instalarse en Ágreda. Entre ellas está la familia Castejón, que convive con los Camargo, los Fuenmayor, los Castelmoncayo, los marqueses de Falces, de Velamazán...

En la antigua ciudadela de los Castejones, todavía se pueden contemplar dos grandes casonas S.XVI que formaban parte del conjunto de Palacios que creó la familia Castejón, junto a las ruinas de la Iglesia de San Martín. Existe también otro palacio del S.XV que todavía conserva sus ventanas ojivales.

La iglesia gótica de San Martín fue patronato de la familia Castejón, y en su interior estuvo ubicada la Imagen de la Virgen de los Milagros hasta su traslado a la actual basílica en el 1857. Actualmente sólo podemos contemplar las ruinas del ábside.