Son muchos los hallazgos arqueológicos que demuestran una presencia humana en Planes de la Baronía desde la Prehistoria. En primer lugar, destaca la Cueva de En Pardo, con restos que demuestran una presencia humana entre el Paleolítico Superior y el pleno iberismo. Los de la Cueva del Barranco de la Encantada son del Epipaleolítico, mientras que los de la Peña Roja de Catamarruch pueden situarse ya en el Neolítico. Al periodo siguiente, el Eneolítico, pertenece el poblado del Tros de la Bassa y los restos del Alturó del Mas del Moro y de las Cuevas de la Vila. Se hallaron muestras de arte rupestre esquemático en el abrigo de la Gleda y en el Barranco de Garrofers, y levantino en el Barranco de la Peña Blanca y en las ya mencionadas Cuevas de la Vila. Con el Bronce aparecen poblados en la zona de la ermita del Cristo y en la del castillo, declarado BIC, y otros materiales en la Peña de Margarida.

Por último, el iberismo queda reflejado en el ya mencionado poblado de la ermita del Cristo, en los Llombos y en el poblado situado en la sierra del Xarpolar. Sin duda, la proximidad de este municipio a los lugares donde tuvieron lugar las rebeliones del sarraceno Al-Azraq (1208-1276), valido de Alcalà de la Jovada, fue determinante en el desarrollo de su historia. Fue en el año 1245 cuando los moros de los valles de Planes, Gallinera, Alcalà, Cocentaina y Alcoy, viéndose cercados por las huestes del Rey de Aragón y sin posibilidad de defensa, se rindieron al Conquistador mediante pacto de vasallaje, estipulado con los sarracenos notables de aquella zona, entre ellos Al-Azraq. En el llamado pacte del pouet el jeque moro se reservaba, por ser herencia familiar, los castillos de Alcalà y Perpuxent (l’Orxa), mientras que pasaban a dominio de Jaime I todos los lugares y castillos de La Marina y del Valle de Gallinera.

Será en el 1259, terminada con victoria la primera rebelión de Al-Azraq, cuando don Jaime decide apropiarse del dominio directo del Castillo de Planes, por ser el más próximo a la guarida del sarraceno en el Valle de Alcalà. Los cristianos que, progresivamente, irán instalándose en Planes, en un intento por respetar el carácter tolerante del rey, intentarán mantener la convivencia pacífica con los moriscos que decidieron permanecer en estas tierras después de la conquista. Tener un buen trato con los antiguos pobladores también garantizaba que los campos siguieran trabajándose y proporcionando sus riquezas. Aún así, esta convivencia tendrá sus contratiempos, sobretodo por las sucesivas rebeliones capitaneadas por Al-Azraq, que finalizarán el 23 de abril de 1276 en el barranco de la Batalla, en les proximidades de Alcoy, donde se le dará muerte.

Posteriormente, el castillo y la villa de Planes irán pasando a manos de diversas familias de la nobleza, no sin problemas ni situaciones traumáticas, especialmente en el periodo entre mediados del siglo XIV y mediados del XVI. Hay que recordar que Planes perteneció al señorío de Cocentaina hasta el año 1425, cuando pasó a ser Baronía.

Entre los señores y las familias nobiliarias que poseyeron Planes de la Baronía están la casa de Jérica, que posee la villa entre 1276 y 1372, Pedro el Ceremonioso y su hijo Juan I (1377-1426), Francesc Sarçola (1426-1434), los Centelles (1434-1466), los Català (1466-1500), los Olzina (1500-1554), Miguel Fenollar (1554), la administración real de Felipe II (1554-1594), los duques de Maqueda (1594-1685), los Ponce de León (1685-1769) y el marquesado de Cruïlles (1769-1837). No se sabe exactamente en qué momento los marqueses de Cruïlles venden sus posesiones particulares de la villa de Planes, una vez que dejan de ser señores.

En el volumen correspondiente (XIII) del diccionario de Madoz, publicado en 1849, todavía se indica que en el castillo de Planes “tiene su habitación, trajes y bodegas el marqués de Cruïlles, señor de la población”. El personaje aludido debe ser el cuarto marqués de Cruïlles, Vicente Salvador, muerto en 1915.