赵胡面对诏令并慑于汉朝廷的威势，他不敢予以拒绝，也不敢跟严助入长安晋见天子。情急之中，只好和几个近臣商量，称自己本愿同严助一同入朝晋见天子，以示谢恩，无奈自己继位时间不长，身体多病，不能去往长安，一旦病情有所好转，即刻赴长安晋见天子。为了表达自己的诚意，特命太子赵婴齐跟严助一同赴长安为皇帝“宿卫”。
严助见赵胡如此说，不便强求，只好带上太子赵婴齐返回长安。
严助走后，赵胡同朝臣反复商量是否亲自去长安晋见天子之事。以丞相吕嘉为首的臣僚不同意赵胡亲赴长安，并劝谏说：“汉兴兵诛郢，亦行以惊动南粤。先王言事天子期毋失礼，要之不可以怵好语入见。入见则不得复归，亡国之势也。”
臣僚们的劝谏，勾起了赵胡对亡祖父赵佗当年所留遗训的回忆，想起了汉、越几十年来相互存有戒心和敌视的历史。从此之后，他对汉廷一直称自己有病在身，不肯去长安入见皇帝。
汉武帝见赵胡迟迟不肯入朝晋见自己，便以牙还牙，以种种借口，把太子婴齐质于长安不肯放回。赵佗当年的遗训应验了。
后来，丞相吕嘉用计，设法使太子婴齐返回南越。但赵胡自太子入朝后，委靡不振，如同大伤了元气一般，不再见辅佐大臣。吕嘉等群臣以国家基业为重，数次入王宫进谏，总算使赵胡有了些起色，但已无力挽回南越国江河日下的颓局了。