El castillo de Planes se sitúa en la parte más alta del pueblo, a 472m. de altitud. Las casas de la población se acercan hasta tal punto al castillo que casi forman parte de él. Presenta un recinto poligonal de 220 metres de perímetro y una superficie interior de aproximadamente 2900m². La fecha de construcción se sitúa en época almohade, entre los siglos XII- XIII, aunque no se sabe con total certeza si en su interior existió un asentamiento continuado o tan sólo se utilizaba como refugio en caso de asedio.

Lo cierto es que el castillo de Planes era uno de los que presentaban un sistema defensivo más complejo, con un antemural y una entrada en codo, situada en la parte suroeste. La muralla dirigida hacia el norte está prácticamente reconstruida con un muro de mampostería perteneciente a reformas de época cristiana, debido a algún desprendimiento accidental. Es en esta parte donde se sitúa la torre más grande de las ocho existentes actualmente y posiblemente la única que fue construida en todo el paramento norte. Después de la conquista cristiana el castillo fue posesión de los diferentes señores de la Baronía. En el siglo XX todavía era de propiedad privada, hasta que en el año 1992 el Ayuntamiento lo adquirió definitivamente.