鉅平是東漢泰山郡的屬縣，屬兗州，位於泰山南麓、汶水沿岸，地處泰山郡通往魯國、兗州腹地的路線上。漢代起即設縣，三國時屬曹魏泰山郡。
此地與西晉名將羊祜關係密切。羊祜是泰山南城人，曹魏末年受封鉅平子，入晉後進爵鉅平侯，後世因此稱他「羊鉅平」。