上蔡位於淮北平原，是古蔡國的故都。周初封蔡叔度於此，後來蔡國南遷新蔡，這裡才稱「上蔡」。秦朝在此設縣，丞相李斯就是上蔡人。
兩漢時上蔡是汝南郡的屬縣，汝南郡治平輿，上蔡位在郡境北部，屬豫州。汝南人口稠密，是東漢大郡，漢末戰亂中，袁術、曹操、劉備等勢力都曾在此一帶角逐。曹操平定中原後，上蔡歸入曹魏版圖，地處魏國腹地，在魏吳對峙中屬於後方。