呼韩邪询问其余人，众人纷纷反对。左大将激动道：“单于，万万不可啊！都是君主，凭什么要向汉朝天子称臣？如果单于称臣，我等称什么？岂不是连汉朝臣子都不如？想当初，我匈奴单于给汉朝太后吕雉去信，信中道：‘孤曾数至边境，愿游戏中国。今闻陛下丧夫，恰孤丧妻，两主不乐，无以自娱，愿与陛下互通有无，成戏水鸳鸯。’气势何其雄壮！如今陛下向汉帝称臣，不怕辱没了先单于吗？何况西域小国臣服于我匈奴，如果咱们臣服汉朝，必会让西域等小国耻笑，他们还肯臣服于我吗？”
左伊秩訾王冷笑道：“左大将这话不对！现在汉朝方盛，连乌孙、乌桓等都臣服于汉朝，咱们臣服并不丢人。何况自且鞮侯单于以来，我匈奴势力逐渐退出了西域，如今连僮仆都尉都取消了，还谈什么统治西域？而且咱们生存都是问题，还考虑那么多做什么？如果不臣服汉朝，前有狼后有虎，顷刻覆灭！只有臣服汉朝，才能避免腹背受敌，一心一意对付呼鲁吾斯！到时候等单于重新占据王庭，匈奴益发强大，西域诸国还会重新臣服于我！”
左大将怒道：“这是叛徒说的话！我匈奴向来重气节，战死沙场者，壮士也！岂能贪生怕死，苟且偷生？何况单于与呼鲁吾斯之争是兄弟之争，与汉朝之争是敌我之争，岂能背叛母国，投降敌人？如果上天不佑护单于，即便咱们被呼鲁吾斯剿灭，匈奴威名依然远播四方，咱们的子孙依然能够为诸国敬仰！汉朝虽强，始终不能兼并我匈奴，必然被万世耻笑！”
呼韩邪单于一拍案几，起身道：“都不必说了，孤意已决！派右贤王、左伊秩訾王代孤前往，向汉朝称臣！”左伊秩訾王大喜，立刻与单于之子右贤王铢娄渠堂前往长安。左大将大怒，不堪受辱，当即自裁。
郅支单于早料到呼韩邪必然与汉军联手，立刻派其子右大将驹于利受前往长安，请求称臣。
病已召集群臣，询问如何答复两单于。众人莫衷一是，御史大夫杜延年上奏道：“陛下，不如两者都答应，让匈奴内斗去！至于两位单于，微臣以为呼韩邪单于有大志，郅支单于过于残暴，谁一统匈奴对咱们都是巨大的威胁，不如保持南北分治的局面！另外赐其印绶，封王，以昭示陛下恩德。稳住两单于后，咱们就可以减免戍兵，休养生息。”
群臣纷纷附议，病已大喜，同意两单于臣服请求，赐其印绶。并裁减戍卒三分之二，使其回家务农。
匈奴刚臣服，天就出现日食。杨恽居家叹息道：“三年两次日食，上天降灾，陛下该负主要责任！”为了排遣失意，杨恽整日与门客宴饮，将家财尽情挥霍。原本杨家并不富裕，后来杨恽母亲司马英去世后，杨敞叙弦，娶了富家女。待杨敞去世，后母不久也过世了。后母无子，于是将上千万家财全部给了杨恽。
见杨恽常常聚集门客妄议朝政，安定太守孙会宗去信杨恽，劝谏道：“大臣废退，应该闭门谢客，自省自查，不该广交宾客，惹人非议。”杨恽大笑，修书一封回复孙会宗。事后通读，见自己文采斐然，于是誊录一份聊以慰藉。
信中道：
“恽本朽木，无文才武略，仰仗先人余业，忝列宿卫。遇霍家谋反，无意获爵位，终究没能胜任，遭遇大祸临头。思恽家隆盛时，乘朱轮者十人，位在列卿，爵为通侯，总领侍中，参议朝政。吾上不能建功立业，宣扬陛下德行；下不能与群僚同心协力，辅佐朝廷裨补缺漏，尸位素餐，被别人指责久矣。每每思之，未尝不感慨叹息。因贪恋权势，未能及时隐退，以至于遭人诬陷，身幽北阙，妻子满狱。
后反省自查，深感过错太大，德行有亏，是以打算长为农夫埋没于世，身率妻子戮力耕桑，报答陛下厚恩。没想到已经沦落至此，仍遭人非议！圣人常说：各言尔志，弗能禁止！道不同，不相为谋，今为百姓，非士大夫，君岂能以卿大夫之制责备？
……
足下是西河人，西河魏地是魏文侯的故乡，那里有高士段干木、田子方，皆有气节的慷慨之士，懂得什么时候该出来做官，什么时候该辞官不作。近年来君离开了家乡，到了安定郡，竟忘了高士的气节和品质，贪恋官位，追逐尘俗。听闻安定郡位于山谷中间，那里的人十分贪婪鄙夷，难道是当地的风俗习惯改变了君的品性？今日方看清君之品性和志向，故不揣愚昧，多言几句。既志不同，毋多谈，与君共勉！”
杨恽洋洋洒洒修书，浑然不知大祸临头。一日其侄子典属国杨谭探望杨恽，带了好酒好菜。杨谭是杨恽长兄安平侯杨忠的儿子，杨忠去世后，他继承了杨忠的爵位。杨谭边敬酒边劝慰道：“叔父，现在陛下圣明，连杜延年、黄霸等人都能赦免擢拔，何况您？您有功于朝廷，陛下迟早会重用您！”杨恽大笑道：“有功又有什么用？陛下忘恩负义，不值得我为他效力！”
杨谭感慨