Declarado Conjunto Histórico en el año 1982. San Martín del Castañar destaca por su arquitectura tradicional y es un ejemplo claro de como las limitaciones de suelo obligan a construir en altura, donde los voladizos de los tejados estrechan las calles para resguardar las paredes de las abundantes lluvias. Paseando por sus calles es fácil abstraerse mientras se leen las frases de las 60 jardineras de madera con vocablos serranos que nos muestran el rico patrimonio oral de la Sierra de Francia.

«Sumergirse en su arquitectura y detalles artísticos es adentrarse en una historia viva y un patrimonio cultural fascinante»

El castillo fue construido en el siglo XV como palacio-fortaleza del obispo, donde parece que vivía una hija del conde de Miranda y su esposo. A partir del siglo XVI fue utilizado como cárcel de los presos de los pueblos cercanos. Actualmente, es propiedad del Ayuntamiento y alberga el Centro de Interpretación de la Reserva de la Biosfera de las Sierras de Béjar y Francia.

Tiene dos torres, la vieja, de la que solo conserva la parte inferior de sus cuatro muros, y la nueva, que conserva dos lienzos, ofreciendo la posibilidad de subir y disfrutar de una panorámica impresionante de las Sierras de Francia, Béjar-Candelario y el valle que forma el río Francia. En el interior del castillo, se encuentra un lugar sorprendente: el cementerio del municipio. Este peculiar detalle recuerda la importancia histórica del castillo y su vínculo con la comunidad a lo largo del tiempo. Es un recordatorio conmovedor de la vida y la muerte.

A los pies del castillo, se encuentra una joya singular: la plaza de toros. Destaca por su forma rectangular irregular donde hoy en día se siguen celebrando novilladas durante las fiestas y por ser una de las plazas de toros más antiguas de España.

La iglesia dedicada a S. Martín de Tours, lo que refleja una vez más la influencia francesa en la zona, fue declarada Bien de Interés Cultural en 1981. Comenzaría su construcción en el siglo XIII, época de la que se conserva el cuerpo de naves, individualizadas mediante grandes arcos de ladrillo de estilo gótico-mudéjar y la puerta septentrional. En los siglos siguientes se hicieron sucesivas reformas (la puerta meridional gótica, la bóveda de crucería, la torre, la capilla mayor y el cimborrio…) hasta el estado actual. En el retablo, de estilo barroco, destaca la figura del Cristo del Miserere y de San Martín de Tours. En el exterior, cuenta con un pórtico de columnas de estilo jónico del siglo XVI y una estela romana en el atrio. Destacan también la ermita del humilladero, el puente medieval y la plaza mayor con una gran fuente y un soportal de gran tamaño donde se celebraba el concejo abierto.

A las afueras del municipio se encuentra el Monasterio de Gracia, construido por el obispo Sancho López en 1430 para cedérselo a los franciscanos. En el siglo XVIII llegó a contar con 47 frailes. En el siglo XIX fue saqueado durante la guerra con los franceses, a partir de entonces se ha ido deteriorando hasta su estado actual donde la naturaleza lo ha invadido. Se dice que en su momento acogió entre otras reliquias una espina de la corona de Cristo, un trozo de la cruz, tres pedazos de la vara de Moisés y un pedacito de pan de la última cena.

A dos kilómetros de San Martín del Castañar encontramos el poblado visigodo de la Legoriza, un campamento minero-metalúrgico explotado desde finales del siglo VI a comienzos del siglo VIII, con gran importancia para la fabricación de armas.