El edificio que está designado actualmente como Casa de la Cultura, fue la ermita del Espíritu Santo y Hospital del mismo nombre. Construida por encargo de Doña María Canseco y Simancas, (para lo que tuvo que vender propiedades y alhajas). Seriamente dañada en 1643 a manos de las tropas portuguesas, fue reedificada en 1668 de nuevo a costa de Doña María Canseco.
Desde 1669 hasta 1690 y bajo la advocación de esta Virgen, la ermita funciona como Templo Parroquial, en ella se ofician los bautismos, bodas, funerales y en ella se realizaban los enterramientos, gratuitos para aquellos que carecían de medios económicos.
En el siglo XIX fue objeto de desamortización, perdiendo su vinculación religiosa.
Antes de la ampliación definitiva del edificio como actual Casa de la Cultura, también ha servido de cárcel, escuela y de taberna.