赵胡面对诏令并慑于汉朝廷的威势,他不敢予以拒绝,也不敢跟严助入长安晋见天子。情急之中,只好和几个近臣商量,称自己本愿同严助一同入朝晋见天子,以示谢恩,无奈自己继位时间不长,身体多病,不能去往长安,一旦病情有所好转,即刻赴长安晋见天子。为了表达自己的诚意,特命太子赵婴齐跟严助一同赴长安为皇帝“宿卫”。
严助见赵胡如此说,不便强求,只好带上太子赵婴齐返回长安。
严助走后,赵胡同朝臣反复商量是否亲自去长安晋见天子之事。以丞相吕嘉为首的臣僚不同意赵胡亲赴长安,并劝谏说:“汉兴兵诛郢,亦行以惊动南粤。先王言事天子期毋失礼,要之不可以怵好语入见。入见则不得复归,亡国之势也。”
臣僚们的劝谏,勾起了赵胡对亡祖父赵佗当年所留遗训的回忆,想起了汉、越几十年来相互存有戒心和敌视的历史。从此之后,他对汉廷一直称自己有病在身,不肯去长安入见皇帝。
汉武帝见赵胡迟迟不肯入朝晋见自己,便以牙还牙,以种种借口,把太子婴齐质于长安不肯放回。赵佗当年的遗训应验了。
后来,丞相吕嘉用计,设法使太子婴齐返回南越。但赵胡自太子入朝后,委靡不振,如同大伤了元气一般,不再见辅佐大臣。吕嘉等群臣以国家基业为重,数次入王宫进谏,总算使赵胡有了些起色,但已无力挽回南越国江河日下的颓局了。