Destacando sobre la arquitectura civil se alza este Palacio, construido en el siglo XIX, de arquitectura ecléctica, aunque con reminiscencias coloniales, mezcla un original estilo neoclásico con influencias coloniales.
Su gran tamaño le confiere de una presencia notable entre las construcciones que le rodean.
Una de las figuras más importantes de Puebla de la Calzada sería el Marqués de la Vega, descendiente de los Silveira. A finales del siglo XIX D. Jorge Díez-Madroñero López de Ayala y Dña. María Antonia Conejo de Coca llegarían a construirse un palacio en la antigua casona de la calle Badajoz en magnífico y decorado edificio. En su torreón lucen las armas de Silveira y en las esquinas las de Díez-Madroñero y Conejo Cortés; en el patio cubierto de la entrada aparecen las armas de los López de Ayala. Anteriormente estos señores comenzaron los negocios industriales con la fábrica de harinas en Puebla y el salto de Lobón proporcionando luz eléctrica a la zona como nos refiere Gragera Castillo.