Au sud du village de Buoux, après l'entrée officielle (fermé) au fort, sur la piste qui monte dans le Vallon de Serre. Puis à la côte de 550 m on se rabat sur le fort sur un sentier de chasseurs.

Celui-ci passe près du flanc sud-est du rocher. Le sentier continue, mais passant dans les buissons il est possible de s'approcher de la base. Beaucoup de restes d'arbres, de fil de fer et d'autres éléments dérangeants barrent le chemin intuitif (on ne voit pas grand chose dans la forêt méditerranéenne). Quand on arrive à la base de l'escalier taillé dans la roche, on se trouve devant un amas de barbelés, de grillages et barres. Cela signifie: "on ne rentre pas ici sans payer en bas!", aussi quand ils ont ferme pour des causes non définies. Au pied de la roche même il n'est pas vraiment possible de passer le grillage sans se blesser, mais en le descendant vers l'entrée (qui est éloignée de plus de 200 m) le grillage devient moins défensif et franchissable à l'aide de quelques branches. Cependant, accompagné d'enfants qui n'avait pas vraiment été silencieux dans la forêt, nous ne voulons pas leur donner de mauvais exemple et rebroussons chemin.

Cet escalier est un des seuls élements que l'on voit d'en bas.

L'occupation de la vallée de l'Aiguebrun et notamment de la commune de Buoux par l'homme remonte au Paléolithique moyen (Moustérien), comme l'ont révélé les fouilles de la baume des Peyrards. L'occupation du site se situerait entre -130000 et -50000 ans environ. L'habitat devait consister selon Henry de Lumley en une cabane de 11,50 m de long sur 7 m de profondeur, adossée à la paroi et dont l'emplacement était délimité par une ligne de gros blocs. Plusieurs foyers étaient installés à l'intérieur.

C'est au plus tard au Néolithique que le peuplement s'organise non loin de ce lieu sur les hauteurs du fort de Buoux. L'existence de cet oppidum remonte probablement au moins à cette période. À l'époque gauloise, ce dernier a pu être un refuge des Albici. Sans doute au IXe siècle naît un premier village à Saint-Germain, sous le fort actuel. Il disparaît peut-être vers le milieu du Moyen Âge ou plus tardivement pour des raisons inconnues.

Après 1125 et au XIIIe siècle, Buoux appartient aux Pontevès et est rattaché aux seigneurs d'Apt. C'est probablement le moment où le fort médiéval se développe. Celui-ci dure jusqu'au XVIIe siècle (1660), lorsque la place forte est démolie conformément à la politique voulue par Louis XIV.

Du XIIe au XVe siècle, l’abbaye Saint-André de Villeneuve-lès-Avignon y possède un prieuré (au lieu-dit la Vieille-Église).