始安是東漢零陵郡的屬縣，位於荊州最南端，越過五嶺即通往交州，是湘江與灕江水系相接的要地。
東漢末年，荊南諸郡先後歸劉備、孫權；建安二十四年（219 年）孫權奪取荊州後，始安隨零陵郡歸屬東吳。吳末帝孫皓甘露元年（265 年），以零陵南部都尉轄地設立始安郡，郡治即在始安縣。始安郡從此成為吳國控扼嶺南交通的南方郡。