臨沂是東漢琅邪國的屬縣，屬徐州。縣城在沂水西岸，因臨沂水而得名，北依沂蒙山區，南接沂沭河平原，是魯南通往徐州的要道。
漢末徐州先後由陶謙、劉備、呂布據有，後歸曹操。三國時臨沂屬曹魏徐州琅邪國。
臨沂是琅邪王氏的郡望。曹魏太尉王祥與其弟王覽都是臨沂人，王祥以孝行聞名。其後王氏子孫在兩晉南朝顯赫一時，王導、王羲之都出自這一族。