羊祐晉朝南城人，字叔子，祖先世代為官，俸祿高達二千石，到羊祐為第九世，歷代都以清廉德行，聞稱於世。
　　晉主要攻滅孫吳，命羊祐都督荊州，鎮守南夏襄陽。羊祐以德懷柔遠近，深得江漢民心。部屬將帥有人提議用欺詐計策取勝吳國，羊祐便以醇酒讓他飲醉，使他不能在會議時陳說。羊祐在軍中常穿便服，身不披甲胄。與吳將陸抗兩軍對持，更加勤修德政，對吳人開誠布信，廣招吳人歸附，來降者想要離去，悉皆聽便。有一次行軍吳國境地，割稻穀充軍糧，命計算價值，送絹布償還所欠。
　　吳將陸抗曾經害病，羊祐贈他醫藥，陸抗毫無疑心，把藥服下，左右勸諫不可服，陸抗說：「世間那會有毒人的羊叔子呢？」陸抗常對部屬說：「羊祐專修仁德，我乃專行暴力，這樣下去，不用兵戰，人心自然都會歸服對方了。」
　　羊祐五十八歲去世，南州人聽說羊祐去世，莫不哀號痛哭，停止營業，街頭巷尾哭聲相接，孫吳守邊將士也為之哭泣，羊祐一生仁德感召人心，竟有如此深厚。襄陽百姓在襄陽縣南峴山，建立石碑，逢年過節祭祀不斷，來往人士，望見石碑，莫不思慕流淚，因此名叫墮淚碑。