汝陰是東漢豫州汝南郡的屬縣，位於淮北平原，在汝南郡東部，地近潁水，是豫州東南通往淮水流域的要地。西漢初年，夏侯嬰受封為汝陰侯，封邑就在這裡。
漢末三國時，汝南一帶先後經歷袁術、曹操等勢力的爭奪，後來歸入曹魏，成為魏國與東吳在淮水沿線對峙的後方。曹魏景初二年（238 年），朝廷從汝南郡分出汝陰郡，以汝陰縣為郡治，仍屬豫州，不久廢除。西晉泰始二年（266 年）重新設置汝陰郡。