潘岳的父親與楊仲武的祖父是舊交，而潘岳的妻子是楊仲武的姑母，所以兩人屬於世親聯姻的關係。語本《文選·潘岳·楊仲武誄》：「爾舅惟榮，爾宗惟瘁，幼秉殊操，違豐安匱，撰錄先訓，俾無隕墜，舊文新藝，罔不必肄，潘楊之穆，有自來矣。」後人即稱姻親關係為「潘楊之睦」。《文選·沈約·奏彈王源》：「其為虛託，不言自顯，王滿連姻，寔駭物聽。潘楊之睦，有異於此。」