歷陽是東漢九江郡的屬縣，位於長江北岸，與江東隔江相望，扼守橫江、當利等渡口，是江北通往江東的要津。東漢時揚州刺史曾以歷陽為治所。
興平年間，袁術任命吳景、孫賁進攻揚州刺史劉繇，兩人屯駐歷陽，久攻不下。孫策率眾前來會合，自歷陽渡江，擊破樊能、張英，從此展開平定江東的事業。三國時期，歷陽處於魏、吳兩國之間的江淮邊境。西晉永興元年（304 年）以歷陽縣為治所設置歷陽郡。