Der Ortsteil Allendorf erstreckt sich über eine Fläche von 4,01 Quadratkilometern, auf denen 649 Einwohner leben. Urkundlich wurde er als Aldendorf erstmals 1307 erwähnt.

Historikern ist der Ort vor allem aufgrund seiner geschichtlichen Bedeutung durch das Rittergeschlecht von Hohenfels bekannt, das von 1174 bis 1570 nachgewiesen ist. Auf dem gleichnamigen Berg zwischen Allendorf und Buchenau stand nämlich eine Doppelburg dieses Rittergeschlechts, deren Überreste noch heute sichtbar sind. Sie bestand aus einer Turmburg mit Ringmauer und Halsgraben auf einer Fläche von rund 560 Quadratmetern, die den älteren Teil der Anlage bildete, und einer jüngeren ovalen Burg mit einer Fläche von rund 390 Quadratmetern, von der noch Teile des Kellergewölbes und einige Mauerreste erhalten sind. Wann die ältere Burg erbaut wurde, lässt sich nicht nachvollziehen. Die jüngere jedoch wurde um das Jahr 1250 errichtet. Urkunden, die zu dieser Zeit auf der Burg ausgestellt wurden, zeugen davon, dass die Anlage noch 1277 bewohnt gewesen sein muss.

Die Historiker gehen aber davon aus, dass die Burg 1293 durch Landgraf Heinrich I. von Hessen im Machtkampf gegen die Ritterschaft zerstört und nicht wieder aufgebaut wurde. Seit Ende der 90er Jahre des vergangenen Jahrhunderts fanden immer wieder Grabungen durch die Philipps-Universität am Hohenfels statt, bei der zuletzt ein großer Schlüssel, ein eiserner Küchen-Dreifuß, eiserne Nägel und eine Art Schafschere gefunden wurden.

Heute kümmert sich ein Burgverein um die frei zugängliche Burgruine. Er hat in der Nähe der frei zugänglichen Ruinen auch Infotafeln aufgestellt, dank derer sich Besucher über die Geschichte des Ortes informieren können. Die mittelalterliche Geschichte Allendorf spiegelt sich auch in dessen Ortswappen wider. Das greift nämlich den im Wappen der Herren von Hohenfels geführten Adlerflügel auf und zeigt ihn als einen Doppelflügel mit jeweils wechselnder Farbe.