Se trata de uno de los edificios más antiguos de la localidad aunque hoy solo se conserven dos muros. No se conoce documentación que permita situar cronológicamente la fundación del edificio aunque, según la tradición popular, en obras recientes apareció una piedra labrada con la fecha 1301, sin embargo tal documento se encuentra desaparecido por lo que no puede tomarse como fecha fundacional. El edificio actual se encuentra muy remodelado y presenta un gran número de fases constructivas. Algunos historiadores han establecido sus orígenes en la fundación de la Villa, sin embargo no hay pruebas fehacientes. Desde un punto de vista arquitectónico sabemos que el edificio fue remodelado durante la segunda mitad del siglo XVI y que correspondería a un palacio de amplias proporciones que ocuparía gran parte de la manzana donde se encuentra. En el Siglo XVII, el Conde de Monterrey le dio utilidad como Casa-Palacio y Cuartel General de sus tropas en sus continuos enfrentamientos con Portugal. Posteriormente fue arruinado.