峴山位於東漢南郡襄陽縣城南，臨漢水，是襄陽南面的屏障，扼守南北往來的通道。
漢末劉表任荊州牧，以襄陽為治所。初平年間，袁術派孫堅南攻劉表。孫堅擊敗黃祖，進圍襄陽，後在峴山一帶遭黃祖部眾伏擊，中箭身亡。此後襄陽長期是荊州北部的軍事重鎮，峴山也隨之成為兵家必經之地。
西晉時羊祜鎮守襄陽，常登峴山置酒賦詩。羊祜死後，襄陽百姓在山上立碑紀念，見碑的人無不落淚，杜預因此稱之為「墮淚碑」。