下蔡古稱州來，春秋時蔡昭侯遷都於此，相對於上蔡、新蔡而稱下蔡。秦漢置縣。西漢屬沛郡，東漢改屬九江郡，隸揚州。
下蔡位於淮河中游北岸，與淮南重鎮壽春隔淮相望，扼守淮河渡口，是淮北通往壽春的要道。漢末三國時，壽春長期是曹魏經略淮南的中心，九江郡在魏改稱淮南郡，下蔡也隨之隸屬淮南郡。魏吳在淮南對峙期間，下蔡是壽春北面的重要據點。