El Castillo
Fue en la Edad Media cuando San Esteban adquirió mayor protagonismo. Sus fortalezas formaban parte de la frontera entre las dos culturas.
Posee dos fortalezas: Castro Moro, al nordeste de la población, del que apenas queda ya nada más que el cerro donde se ubicaba, y dos lienzos de muralla de tapial que avanzan hacia el sur y hacia el oeste; y el Castillo cuyo lienzo se yergue orgulloso vigilando la población, con una altitud de 920 metros.
El nombre Castro Moro, hace referencia a quién lo construyó, así como la forma de colocar el aparejo en la construcción, que también se puede ver muy bien en el cubo de la Puerta de San Gregorio frente a la Parroquia.
Aún es posible apreciar en las laderas de Castro Moro las líneas de defensa que lo encerraban, especialmente en su lado sur.
Así mismo existe en el oeste el inicio de la muralla de tapial que desciende desde su cumbre.
También se perciben restos del pasaje amurallado que unía ambos castillos, de anchura variable y adecuándose al relieve, formando dos centros enlazados con recinto defensivo.
Por su parte, el Castillo aprovecha totalmente el espacio roqueño, siguiendo su trazado irregular.
Los escarpados riscos, y la cercanía a la población y el río, le dotan de un gran valor estratégico.
Se conservan en la actualidad el lienzo del lado norte, un pozo llamado Lairón que fue posiblemente un aljibe, otra construcción que pudo haber sido algún almacén, y restos de cimentación de otras dependencias.
Las interpretaciones sobre esta doble ubicación de las fortalezas pueden ser variadas, e incluso contrapuestas: bien componen un mismo sistema defensivo, integrado por dos núcleos unidos por murallas, bien son ocupados alternativamente por musulmanes y cristianos según el predominio militar de una y otra cultura, incluso ambas situaciones han podido producirse en distintos momentos históricos.
Las murallas que parten del Castillo, aún con lo poco que queda de ellas, permiten seguir su trayectoria: paralela al camino del Castillo, descendiendo desde las bodegas hasta la carretera, al lado del cuartel viejo, restos de lo que pudiera ser un torreón en la calle herradores y siguiendo paralela al río encontramos la única puerta que queda de la muralla. En la parte superior del arco el escudo de los condes de San Esteban; continuando por la calle Posadillas, el torreón y cerca de él la Puerta de San Gregorio entre los dos cubos, continúa su trayectoria, cerrándose en las inmediaciones del túnel.