对于羊祜的这些作法，陆抗心中很清楚，因此，在很长的一段时间里，晋、吴两国的荆州边线处于和平状态。
羊祜与陆抗对垒，双方常有使者往还。
陆抗称赞羊祜的德行度量，“虽乐毅、诸葛孔明不能过也”。
一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来，并说，“这是我最近自己配制的药，还未服，听说您病了，就先送给您吃。”
吴将怕其中有诈，劝陆抗勿服，陆抗不疑，并说，“羊祜怎会用毒药害人呢？”
仰而服下。
当时人都说，这可能是春秋时华元、子反重见了。
吴主孙皓听到陆抗在边境的做法，很不理解，就派人斥责他。陆抗回答，“一乡一镇之间，不能不讲信义，何况一个大国呢？如我不讲信义，正是宣扬了羊祜的德威，对他毫无损伤。”
孙皓无言以对。
…………
咸宁二年(276年)十月，司马炎改封羊祜为征南大将军，恢复其贬降前的一切职权，开府仪同三司，可以自行辟召僚佐。当初羊祜便认为，要想伐吴，必须凭借长江上游的有利地势。
经过七年的练兵和各项物质准备，荆州边界的晋军实力远远超过了吴军，而两年前吴军主帅陆抗病死，吴国境内又因为吴主孙皓的高压统治使各种矛盾日益激化。这表明晋灭吴的条件和时机已经成熟。
羊祜不失时机的上疏请求伐吴，奏上历史有名的《请伐吴疏》，白话翻译，达一千多字，不逊于《出师表》，有兴趣的哥们儿，可找来一读。
奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖（xù）、冯紞（dǎ
）等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
羊祜叹道，“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾!”
…………
咸宁三年(277年)，司马炎下诏封羊祜为南城侯，设置相的官职，与郡公同级。羊祜坚意不接受这次加封，司马炎也就答应了。
羊祜每次被司马炎提拔封赏，常持恬淡退让态度，至诚之心世人皆知，他的德操志趣，往往不在官职的行列等次上。所以英名美德传播远近，朝野上下有目共睹，朝中大臣议论，羊祜应居宰相之位。
司马炎将东南军政要务托付给羊祜。
羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。
这时，就有人到他的家里给他送礼，让他帮着向朝廷举荐自己，一度踏平槛石，往来如蚁。他也为此飘然。
他的母亲孔老太太（孔融的女儿）这时还健在，她劝羊祜，“在朝为臣有举荐贤士之责，然，贤士不以金帛求取仕途；反之，均为利己小人尔。你要净心拭眼，不可贻误朝纲。”
羊祜这才顿开茅塞，对举荐人才分外小心，对于那些猫头鼠眼，不坏善意的势利小人，一概拒之门外；对那些贤士人才，他会拼力举荐，凡是他所荐拔的人，都不知荐拔人是谁。
羊祜的女婿劝羊祜说，“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”
女婿的话，听上去，没有什么错，羊祜无话可说，但是，当时在场的姐姐景献皇后羊徽瑜反驳说，“这种说法是不对的。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们不应有这种想法。”
羊祜讨伐孙吴有功，应当增封爵位与封地，于是请求皇帝将自己应增的爵位封地赐给舅父的儿子蔡袭，于是晋武帝下诏封蔡袭为关内侯，食邑三百户。
…………
同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口，羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。
羊祜说，“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”
使者也无法责问羊祜了。
…………
咸宁四年(278年)八月，羊祜染病，请求入朝。返回洛阳正逢姐姐景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。司马炎下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，羊祜对张华说，“吴人暴政已到极点，此时伐吴可不战而胜。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗?”
张华很赞赏羊祜的主张。
羊祜又对张华说，“能实现我这个愿望的是你啊!”
司马炎打算让羊祜卧病统领征吴诸将，羊祜说，“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊!关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
同年十一月羊祜病逝，享年五十八岁，并在临终前举荐杜预自代。
…………
羊祜死后，举天皆哀。司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。
荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。
羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，司马炎手举酒杯，流着眼泪说，“这是羊太傅的功劳啊!”。