祖厲是東漢武威郡的屬縣，因縣境的祖厲河得名。祖厲河由南向北匯入黃河，縣城地處隴西高原通往河西走廊的路上。
西漢時祖厲縣屬安定郡。漢武帝元鼎五年（前 112 年）西巡，越過隴山、登上空同，「西臨祖厲河而還」，可見此地當時已是漢朝西北邊境的前沿。東漢時祖厲改隸武威郡，與鸇陰同為武威郡東南端靠近黃河的屬縣。漢末三國時這一帶屬涼州，羌胡雜居，地方勢力割據，戰亂頻繁。