Se trata de un edificio del que sólo se conservan algunos muros exteriores y que pertenecía a los posibles fundadores de la villa, la orden del Temple. Junto a la iglesia parroquial, representan los dos edificios más antiguos del casco urbano. También fue utilizado parla Orden de la Merced y remodelado en la segunda mitad del Siglo XVI. En el Siglo XVII, el Conde de Monterrey le dio utilidad como Casa-Palacio y Cuartel General de sus tropas en sus continuos enfrentamientos con Portugal.