El castell de Planes es situa a la part més alta del poble, a 472m. d’altitud. Les cases de la població s’acosten fins a tal punt a l’castell que gairebé formen part. Presenta un recinte poligonal de 220 metres de perímetre i una superfície interior d’aproximadament 2900m². La data de construcció se situa en època almohade, entre els segles XII-XIII, tot i que no se sap amb total certesa si en el seu interior va existir un assentament continuat o tan sols s’utilitzava com a refugi en cas de setge.

La veritat és que el castell de Planes era un dels que presentaven un sistema defensiu més complex, amb un antemural i una entrada en colze, situada a la part sud-oest. La muralla dirigida cap al nord està pràcticament reconstruïda amb un mur de maçoneria pertanyent a reformes d’època cristiana, a causa d’algun despreniment accidental. És en aquesta part on se situa la torre més gran de les vuit existents actualment i possiblement l’única que va ser construïda en tot el parament nord. Després de la conquesta cristiana el castell va ser possessió dels diferents senyors de la Baronia. Al segle XX encara era de propietat privada, fins que l’any 1992 l’Ajuntament el va adquirir definitivament.