Charbuy apparait dans les textes sous le nom de Carbangiacus au 7e siècle, mais le territoire semble occupé bien avant cela. Il aurait notamment été légué au 5e siècle par l’évêque saint Germain d’Auxerre à son église, parmi l’ensemble de ses vastes propriétés dans la région. Il devient alors un « fief » des évêques d’Auxerre, qui y font édifier le château de Beaurepaire, détruit au 14e siècle. La commune a la particularité d’être composée de 17 hameaux répartis sur 64 kilomètres de voie, dont certains tels que Riot, Brécy ou le Ponceau existent depuis l’époque médiévale.
Le château du Rosaire est construit au 19e siècle sur les fondations d’anciens édifices. Il abrite l’école maternelle, la bibliothèque et l’école de musique.
Sur la commune se trouve la pierre Saint-Martin, un rocher placé au carrefour de quatre communes : Appoigny, Branches, Charbuy et Perrigny.


