En 1.385 año de la batalla de Aljubarrate, el Condestable D. Nuno Alvarez Pereira entró en Villanueva del Fresno para liberar a unos prisioneros que, previamente Soldados Gascones de Guarnición en la villa, habían apresado en Portugal.
De él partía la muralla que circundaba la Villa y que por una y otra parte remataba en el Castillo, situado para donde nace el sol. Extendiéndose la villa en forma prolongada.” Según relata el Conde de Ericeira. Además de esta muralla, existía otra de fuertes y altos muros, con torreones bien trazados, que protegía la fortaleza.
En ésta, que constituía el núcleo de toda la fortificación, se elevaban tres torres; la más alta de ellas, conocida por “Torre del Castillo” era de planta cuadrangular, de grandes dimensiones y recios muros. Rodeaba la muralla exterior una barbacana bien hecha y un foso no muy ancho. Disponía pues de tres retiradas.