El castillo de Sax conoció distintas fases constructivas hasta llegar a tener la apariencia que hoy en día se puede contemplar. Son muchos autores los que opinan que su actual fábrica es del siglo XIV, aunque ya en época musulmana existía en este mismo lugar un alcázar que recibía también la denominación de Sax. La parte más antigua del castillo es la zona norte, y la más moderna corresponde a la torre del Homenaje.
El Castillo es una de las tres grandes fortalezas de la comarca, junto con las de Villena y Biar. Formaba parte de la línea defensiva de fortificaciones de esta zona desde la época musulmana.
Se compone básicamente de dos grandes torres cúbicas unidas por lienzos de muralla con almenas. La base de una de las torres es posiblemente romana, y la otra, considerada como la del Homenaje, es musulmana, del siglo XII, aunque sus fundamentos son del siglo X.
En su interior se encuentra una notable escalera con vuelta de arcos ojivales que asciende hasta los pisos superiores. La torre del homenaje se encuentra en el segundo recinto, cimentada sobre una caverna de roca, con más de 15 metros de altura y tres plantas de sillería encadenada. La primera y la segunda de estas plantas poseen una vuelta de medio cañón apuntada, con saeteras en esta última y en la tercera de ellas. La comunicación entre las plantas se realiza a través de una escalera que, adosada al muro, se encuentra cubierta con arcos apuntados y escalonados.