黟縣是東漢丹陽郡的屬縣，位於皖南山區，相傳秦代已經設縣，《續漢書・郡國志》寫作「黝」。這一帶山深林密，是山越聚居的地方，長期不服郡縣管轄。
建安十三年（208 年），孫權派賀齊討伐黟、歙兩縣的山越。黟縣首領陳僕、祖山等率二萬戶據守林歷山，賀齊派兵攀上山崖，裡應外合，將他們攻破。戰後孫權把歙縣分為數縣，與黟縣合設新都郡，由賀齊任太守，黟縣從此脫離丹陽郡。西晉時新都郡改名新安郡，黟縣仍屬新安郡。