臨武是東漢荊州桂陽郡的屬縣，西漢時已經設置，位於南嶺山脈北麓，地近荊州與交州的交界，是湘南通往嶺南的邊地小縣。
赤壁之戰後，劉備南征荊南四郡，桂陽太守趙範投降，臨武隨桂陽郡歸入劉備勢力。215 年孫劉兩家以湘水為界平分荊州，桂陽劃歸孫權，此後臨武長期屬於東吳。