征南大将军羊祜，久镇襄阳，垦田得八百余顷，足食足兵。襄阳与吴境接壤，吴主孙皓，系吴主孙权长孙，粗暴骄盈，好酒渔色。祜本欲乘隙图吴，因吴左丞相陆凯，公忠体国，制治有方，所以虚与周旋，未敢东犯。及凯已病殁，乃潜请伐吴，适益州兵变，又致迁延。祜有参军王浚，奉调为广汉太守，发兵讨益州乱卒，幸即荡平。浚得任益州刺史，讲信立威，绥服蛮夷。武帝征浚为大司农，祜独密表留浚，谓欲灭东吴，必须凭借上流。浚才可专阃，不宜内用，武帝乃仍令留任，且加浚龙骧将军，监督梁益二州军事。当时吴中有童谣云：“阿童复阿童，衔刀浮渡江。不畏岸上兽，但畏水中龙。”浚籍隶弘农，小名正叫做阿童，小具大志，丰姿俊逸。燕人徐邈，有女慧美，及笄未嫁，邈甚是钟爱，令女自择偶，迄未当意。会邈出守河东，浚得选为从事，年少英奇，颇为邈所赏识。邈因大会佐吏，使女在幕内潜窥，女指浚告母，谓此子定非凡器。独具慧鉴。邈闻女言，即将女嫁浚为妻，琴瑟和谐，不消细说。事与贾午相似，但彼为苟合，此实光明。嗣投羊祜麾下，祜亦加优待，每事与商。祜兄子暨尝伺间语祜道：“浚好大言，恐滋他患，宜预加裁抑，休使胡行!”祜粲然道：“如汝怎能知人?浚有大才，一得逞志，必建奇功，愿勿轻视!”徐女尚垂青眼，何况羊叔子。及浚得监督梁益二州，祜欲借上流势力，顺道伐吴，并因浚名与童谣相符，即表闻晋廷，请饬浚密修舟楫，为东略计。武帝依言诏浚。浚即大作战舰，长百二十步，可容二千余人，舰上用木为城，架起楼橹，四面开门，上可驰马往来，又在各船头上，绘画首怪兽，以惧江神。绘兽惊神，未免近愚。工作连日不休，免不得有木头竹屑，被水漂流，随江东下。吴建平太守吾彦，留心西顾，瞧见江心竹木，料知上流必造舟楫，当即捞取呈报，谓晋必密谋攻吴，宜亟加戍建平，堵塞要冲。吴主皓方盛筑昭明宫，大开苑囿，侈筑楼观，采取将吏子女，入宫纵乐，还有何心顾及外侮?得了吾彦的表章，简直是不遑细览，便即搁过一边。吾彦不得答诏，自命工人冶铁为锁，横断水路，作为江防。
适吴西陵督军步阐，惧罪降晋，吴大司马陆抗，凯从弟。自乐乡督兵讨阐，围攻西陵。祜奉诏往援，自赴江陵，别遣荆州刺史杨肇攻抗。抗分军抵御，击败杨肇。祜闻肇败还，正拟亲往督战，偏西陵已被抗攻入，步阐被诛，屠及三族。祜只好付诸一叹，率兵还镇。武帝罢杨肇官，任祜如旧。祜乃敛威用德，专务怀柔，招徕吴人。有时军行吴境，刈谷为粮，必令给绢偿值，或出猎边境，留止晋地，遇有被伤禽兽，从吴境奔入，亦概令送还。就是吴人入掠，已为晋军所杀，尚且厚加殡殓，送尸还家。如得活擒回来，愿降者听，愿归者亦听，不戮一人。吴人翕然悦服。祜又尝通使陆抗，互有馈遗。抗送祜酒，祜对使取饮，毫不动疑。及抗有小疾，祜合药馈抗，抗亦即取服。部下或从旁谏阻，抗摇首道：“羊叔子岂肯鸩人?”叔子即祜表字。抗又遍戒边吏道：“彼专行德，我专行暴，是明明为丛驱雀了。今但宜各保分界，毋求细利。”羊祜对吴，无非笼络计策，即陆抗亦为所愚。吴主皓反以为疑，责抗私交羊祜。抗上疏辩驳，并陈守国时宜十二条，均不见行。皓且信术士刁元言，谓：“黄旗紫盖，出现东南。荆扬君主，必有天下。”乃大发徒众，杖钺西行，凡后宫数千人，悉数相随。行次华里，正值春雪兼旬，凝寒不解，兵士不堪寒冻，互相私语道：“今日遇敌，便当倒戈。”皓颇有所闻，始引兵还都。陆抗忧国情深，抑郁成疾，在镇五年，竟致溘逝。遗表以西陵建平，居国上游，不宜弛防为请。吴主皓因命抗三子分统部军，抗长子名元景，次名元机，又次名云，机云善属文，并负重名，独未谙将略。吴主却令他分将父兵，真所谓用违其长了。
术士尚广，为吴主卜筮，上问休咎。尚广希旨进言，说是岁次庚子，青盖当入洛阳。吴主大喜。已而临平湖忽开，朝臣多称为祯祥。临平湖自汉末湮塞，故老相传：“湖塞天下乱，湖开天下平。”吴主皓以为青盖入洛，当在此时，因召问都尉陈顺。顺答说道：“臣止能望气，不能知湖的开塞。”皓乃令退去。顺出语密友道：“青盖入洛，恐是衔璧的预兆。今临平湖无故忽开，也岂得为佳征么?”嗣复由历阳长官奏报，历阳山石印封发，应兆太平。皓又遣使致祭，封山神为王，改元天纪。东吴方相继称庆，西晋已潜拟兴师，羊祜缮甲训卒，期在必发，因首先上表，力请伐吴，略云：
先帝顺天应时，西平巴蜀，南和吴会，海内得以休息，兆庶有乐安之心，而吴复背信，使边事更兴，夫期运虽天所授，而功业必由人而成。蜀平之时，天下皆谓吴当并亡，蹉跎至今，又越十三年，是谓一周。今不平吴，尚待何日?议者尝谓吴楚有道后服，无礼先强，此乃诸侯之时耳，今当一统，不得与古同论。夫适道之言，未足应权，是故谋之虽多，而决之欲独。凡以险阻得存者，谓所敌者同，力足自固，苟其轻重不齐，强弱异势，则智士不能谋，而险阻不可保也。蜀之为国，非不险也，高山寻云霓，深谷肆无影，束马悬车，然后得济，皆言一夫荷戟，千人莫当，及进兵之日，曾无藩篱之限，斩将搴旗，伏尸数万，乘胜席卷，径至成都，汉中诸城，皆鸟栖而不敢出，非皆无战心，力不足以相抗也。至刘禅降服，诸营堡者索然俱散，今江淮之隘，不过剑阁，山川之险，不如岷汉，孙皓之暴，侈于刘禅，吴人之困，甚于巴蜀，而大晋兵众，多于前世，资储器械，盛于往时，今不于此平吴，更阻兵相守，征夫苦役，日寻干戈，经历盛衰，不可长久，宜乘时平定以一四海，今若引梁益之兵，水陆俱下，荆楚之众，进临江陵，平南豫州，直指夏口，徐扬青兖，并会秣陵，鼓旆以疑之，多方以误之，以一隅之吴，当天下之众，势分形散，所备皆急，一处倾坏，上下震荡，虽有智者，不能为谋。况孙皓恣情任意，与下多忌，将疑于朝，士困于野，平常之日，独怀去就，兵临之际，必有应者，终不能齐力致死，已可知也。又其俗急速，不能持久，弓弩戟??，不如中国，唯有水战，是其所长，但我兵入境，则长江非复彼有，还保城池，去长就短，我军悬进，人有致节之志，吴人战于其内，徒有凭城之心，如此则军不逾时，克可必矣。乞奋神断，毋误事机，臣不胜待命之至。
这表呈上，武帝很为嘉纳，即召群臣会议进止。贾充荀勖冯，力言未可，廷臣多同声附和，且言秦凉未平，不应有事东南。武帝因饬祜且缓进兵。祜复申表固请，大略谓：“吴虏一平，胡寇自定，但当速济大功，不必迟疑。”武帝终为廷议所阻，未肯急进。祜长叹道：“天下不如意事，常十居八九，当断不断，天与不取，恐将来转无此机会了。”既而有诏封祜为南城郡侯，祜固辞不拜。平时嘉谟入告，必先焚草，所引士类，不令当局得闻，或谓祜慎密太过，祜慨然道：“美则归君，古有常训。至若荐贤引能，乃是人臣本务，拜爵公朝，谢恩私室，更为我所不取呢。”又尝与从弟书道：“待边事既定，当角巾东路，言归故里，不愿以盛满见责。疏广见汉史。便是我师哩。”如此志行，颇足令后人取法。咸宁四年春季，祜患病颇剧，力疾求朝，既至都下，武帝命乘车入视，使卫士扶入殿门，免行拜跪礼，赐令侍坐。祜仍面请伐吴，且言：“臣死在朝夕，故特入觐天颜，冀偿初志。”武帝好言慰谕，决从祜谋。祜乃趋退，暂留洛都。武帝不忍多劳，常命中书令张华，衔命访祜。祜语华道：“主上自受禅后，功德未著，今吴主不道，正可吊民伐罪，混一六合，上媲唐虞，奈何舍此不图呢?若孙皓不幸早殁，吴人更立令主，虽有众百万，也未能轻越长江，后患反不浅哩。”华连声赞成。祜唏嘘道：“我恐不能见平吴盛事，将来得成我志，非汝莫属了。”华唯唯受教，复告武帝。武帝复令华代达己意，欲使祜卧护诸将。祜答道：“取吴不必臣行，但取吴以后，当劳圣虑，事若未了，臣当有所付授，但求皇上审择便了。”未几疾笃，乃举杜预自代。预已起任度支尚书，应第二回。至是因祜推荐，即拜预为镇南大将军，都督荆州诸军事。预尚未出都，祜已疾终私第，享年五十八。武帝素服临丧，恸哭甚哀。是时天适严寒，涕泪沾着须鬓，顷刻成冰，及御驾还宫，特赐祜东园秘器，并朝服一袭，钱三十万，布百匹，追赠太傅，予谥曰成。