L'occupation de la vallée de l'Aiguebrun et notamment de la commune de Buoux par l'homme remonte au Paléolithique moyen (Moustérien), comme l'ont révélé les fouilles de la baume des Peyrards. L'occupation du site se situerait entre -130000 et -50000 ans environ. L'habitat devait consister selon Henry de Lumley en une cabane de 11,50 m de long sur 7 m de profondeur, adossée à la paroi et dont l'emplacement était délimité par une ligne de gros blocs. Plusieurs foyers étaient installés à l'intérieur. C'est au plus tard au Néolithique que le peuplement s'organise non loin de ce lieu sur les hauteurs du fort de Buoux. L'existence de cet oppidum remonte probablement au moins à cette période. À l'époque gauloise, ce dernier a pu être un refuge des Albici. Sans doute au IXe siècle naît un premier village à Saint-Germain, sous le fort actuel. Il disparaît peut-être vers le milieu du Moyen Âge ou plus tardivement pour des raisons inconnues. Après 1125 et au XIIIe siècle, Buoux appartient aux Pontevès et est rattaché aux seigneurs d'Apt. C'est probablement le moment où le fort médiéval se développe. Celui-ci dure jusqu'au XVIIe siècle (1660), lorsque la place forte est démolie conformément à la politique voulue par Louis XIV. | 
