Tres etapas constructivas se pueden apreciar en las partes que aún no están totalmente arruinadas: al gótico corresponde el acceso al interior, formado por un arco apuntado de ladrillo, sobre jambas de granito con rudas impostas; renacentistas son las arcadas exteriores que rodeaban la entrada y barrocos los restos de algunas de las bóvedas. De todo ello destaca el atrio porticado compuesto por arcos de medio punto hechos de ladrillo que descansan sobre elegantes columnas de granito con sencillo capitel. Nada se sabe de su fundación; mas se piensa que existía en época de los Templarios, porque en la Edad Media existían ermitas dedicadas a San Lázaro en casi todos los pueblos comarcanos destinadas en su mayor parte a lazaretos en los que se acogía a los leprosos. En 1511 estaba abierta al culto y en el altar mayor había una representación del misterio del Santo titular; poseía ciertas tierras y una huerta.