上以道远劳苦，又为百姓所患，乃使太中大夫吾丘寿王举籍阿城以南，盩厔以东，宜春以西，提封顷畮，及其贾直，欲除以为上林苑，属之南山。又诏中尉、左右内史表属县草田，欲以偿鄠、杜之民。寿王奏事，上大说称善。时东方朔在傍，进谏曰：“夫南山，天下之阻也。汉兴，去三河之地，止霸、浐以西，都泾、渭之南，此所谓天下陆海之地，秦之所以虏西戎、兼山东者也。其山出玉石、金、银、铜、铁、良材，百工所取给，万民所卬足也。又有粳、稻、梨、栗、桑、麻、竹箭之饶，土宜姜、芋，水多蛙、鱼，贫者得以人给家足，无饥寒之忧；故酆、镐之间，号为土膏，其贾畮一金。今规以为苑，绝陂池水泽之利而取民膏腴之地，上乏国家之用，下夺农桑之业，是其不可一也。盛荆、棘之林，广狐、菟之苑，大虎、狼之虚，坏人冢墓，发人室庐，令幼弱怀土而思，耆老泣涕而悲，是其不可二也。斥而营之，垣而囿之，骑驰东西，车骛南北，有深沟大渠。夫一日之乐，不足以危无堤之舆，是其不可三也。夫殷作九市之宫而诸侯畔，灵王起章华之台而楚民散，秦兴阿房之殿而天下乱。粪土愚臣，逆盛意，罪当万死！”上乃拜朔为太中大夫、给事中，赐黄金百斤。然遂起上林苑，如寿王所奏。
上又好自击熊、豕，驰逐野兽。司马相如上疏谏曰：“臣闻物有同类而殊能者，故力称乌获，捷言庆忌，勇期贲、育，臣之愚，窃以为人诚有之，兽亦宜然。今陛下好陵阻险，射猛兽，卒然遇逸材之兽，骇不存之地，犯属车之清尘，舆不及还辕，人不暇施巧，虽有乌获、逄蒙之技，不得用，枯木朽株，尽为难矣。是胡、越起于毂下而羌、夷接轸也，岂不殆哉！虽万全而无患，然本非天子之所宜近也。宜夫清道而后行，中路而驰，犹时有衔橛之变，况乎涉丰草，骋丘虚，前有利兽之乐，而内无存变之意，其为害也不难矣。夫轻万乘之重不以为安，乐出万有一危之涂以为娱，臣窃为陛下不取。盖明者远见于未萌，而知者避危于无形，祸固多藏于隐微而发于人之所忽者也。故鄙谚曰：‘家累千金，坐不垂堂。’此言虽小，可以谕大。”上善之。
世宗孝武皇帝上之上建元四年（甲辰，公元前一三七年）
夏，有风赤如血。
六月，旱。
秋，九月，有星孛于东北。
是岁，南越王佗死，其孙文王胡立。
世宗孝武皇帝上之上建元五年（乙巳，公元前一三六年）
春，罢三铢钱，行半两钱。
置五经博士。
夏，五月，大蝗。
秋，八月，广川惠王越、清河哀王乘皆薨，无后，国除。
世宗孝武皇帝上之上建元六年（丙午，公元前一三五年）
春，二月，乙未，辽东高庙灾。
夏，四月，壬子，高园便殿火。上素服五日。
五月，丁亥，太皇太后崩。
六月，癸巳，丞相昌免；武安侯田分为丞相。分骄侈，治宅甲诸第，田园极膏腴；市买郡县物，相属于道；多受四方赂遗；其家金玉、妇女，狗马、声乐、玩好，不可胜数。每入奏事，坐语移日，所言皆听。荐人或起家至二千石，权移主上。上乃曰：“君除吏已尽未？吾亦欲除吏。”尝请考工地益宅，上怒曰：“君何不遂取武库！”是后乃稍退。
秋，八月，有星孛于东方，长竟天。
闽越王郢兴兵击南越边邑，南越王守天子约，不敢擅兴兵，使人上书告天子。于是天子多南越义，大为发兵，遣大行王恢出豫章，大农令韩安国出会稽，击闽越。
淮南王安上书谏曰：“陛下临天下，布德施惠，天下摄然，人安其生，自以没身不见兵革。今闻有司举兵将以诛越，臣安窃为陛下重之。
越，方外之地，剪发文身之民也，不可以冠带之国法度理也。自三代之盛，胡、越不与受正朔，非强勿强服，威弗能制也，以为不居之地，不牧之民，不足以烦中国也。自汉初定已来七十二年，越人相攻击者不可胜数，然天子未尝举兵而入其地也。臣闻越非有城郭邑里也，处谿谷之间，篁竹之中，习于水斗，便于用舟，地深昧而多水险，中国之人不知其势阻而入其地，虽百不当其一。得其地，不可郡县也；攻之，不可暴取也。以地图察其山川要塞，相去不过寸数，而间独数百千里，险阻、林丛弗能尽著；视之若易，行之甚难。天下赖宗庙之灵，方内大宁，戴白之老不见兵革，民得夫妇相守，父子相保，陛下之德也。越人名为籓臣，贡酎之奉不输大内，一卒之用不给上事；自相攻击，而陛下发兵救之，是反以中国而劳蛮夷也。且越人愚戆轻薄，负约反覆，其不用天子之法度，非一日之积也。壹不奉诏，举兵诛之，臣恐后兵革无时得息也。
间者，数年岁比不登，民待卖爵、赘子以接衣食。赖陛下德泽振救之，得毋转死沟壑。四年不登，五年复蝗，民生未复。今发兵行数千里，资衣粮，入越地，舆轿而隃领，拕舟而入水，行数百千里，夹以深林丛竹，水道上下击石，林中多蝮蛇、猛兽，夏月暑时，欧泄霍乱之病相随属也；曾未施兵接刃，死伤者必众矣。前时南海王反，陛下先臣使将军间忌将兵击之，以其军降，处之上淦。后复反，会天暑多雨，楼船卒水居击棹，未战而疾死者过半；亲老涕泣，孤子啼号，破家散业，迎尸千里之外，裹骸骨而归。悲哀之气，数年不息，长老至今以为记，曾未入其地而祸已至此矣。陛下德配天地，明象日月，恩至禽兽，泽及草木，一人有饥寒，不终其天年而死者，为之忄妻怆于心。今方内无狗吠之警，而使陛下甲卒死亡，暴露中原，霑渍山谷，边境之民为之早闭晏开，朝不及夕，臣安窃为陛下重之。
不习南方地形者，多以越为人众兵强，能难边城。淮南全国之时，多为边吏，臣窃闻之，与中国异。限以高山，人迹绝，车道不通，天地所以隔外内也。其入中国，必下领水，领水之山峭峻，漂石破舟，不可以大船载食粮下也。越人欲为变，必先田馀干界中，积食粮，乃入，伐材治船。边城守候诚谨，越人有入伐材者，辄收捕，焚其积聚，虽百越，奈边城何！且越人绵力薄材，不能陆战，又无车骑、弓弩之用，然而不可入者，以保地险，而中国之人不耐其水土也。臣闻越甲卒不下数十万，所以入之，五倍乃足，輓车奉饷者不在其中。南方暑湿，近夏瘅热，暴露水居，蝮蛇蠚生，疾疢多作，兵未血刃而病死者什二三，虽举越国而虏之，不足以偿所亡。
“臣闻道路言：闽越王弟甲弑而杀之，甲以诛死，其民未有所属。陛下若欲来，内处之中国，使重臣临存，施德垂赏以招致之，此必携幼扶老以归圣德。若陛下无所用之，则继其绝世，存其亡国，建其王侯，以为畜越，此必委质为籓臣，世共贡职。陛下以方寸之印，丈二之组，填抚方外，不劳一卒，不顿一戟，而威德并行。今以兵入其地，此必震恐，以有司为欲屠灭之也，必雉兔逃，入山林险阻。背而去之，则复相群聚；留而守之，历岁经年，则士卒罢倦，食粮乏绝，民苦兵事，盗贼必起。臣闻长老言：秦之时，尝使尉屠睢击越，又使监禄凿渠通道，越人逃入深山林丛，不可得攻；留军屯守空地，旷日引久，士卒劳倦；越出击之，秦兵大破，乃发缊戍以备之。当此之时，外内骚动，皆不聊生，亡逃相从，群为盗贼，于是山东之难始兴。兵者凶事，一方有急，四面皆耸。臣恐变故之生，奸邪之作，由此始也。
“臣闻天子之兵有征而无战，言莫敢校也。如使越人蒙徼幸以逆执事之颜行，厮舆之卒有一不备而归者，虽得越王之首，臣犹窃为大汉羞之。陛下以四海为境，生民之属，皆为臣妾。垂德惠以覆露之，使安生乐业，则泽被万世，传之子孙，施之无穷。天下之安，犹泰山而四维之也，夷狄之地，何足以为一日之闲，而烦汗马之劳乎！《诗》云：‘王犹允塞，徐方既来。’言王道甚大而远方怀之也。臣安窃恐将吏之以十万之师为一使之任也。”
是时，汉兵遂出，未逾领，闽越王郢发兵距险。其弟馀善乃与相、宗族谋曰：“王以擅发兵击南越不请，故天子兵来诛。汉兵众强，即幸胜之，兵来益多，终灭国而止。今杀王以谢天子，天子听，罢兵，固国完；不听，乃力战；不胜，即亡入海。”皆曰：“善！”即鏦杀王，使使奉其头致大行。大行曰：“所为来者，诛王。今王头至，谢罪；不战而殒，利莫大焉。”乃以便宜案兵，告大农军，而使使奉王头驰报天子。诏罢两将兵，曰：“郢等首恶，独无诸孙繇君丑不与谋焉。”乃使中郎将立丑为越繇王，奉闽越先祭祀。馀善已杀郢，威地于国，国民多属，窃自立为王，繇王不能制。上闻之，为馀善不足复兴师，曰：“馀善数与郢谋乱，而后首诛郢，师得不劳。”因立馀善为东越王，与繇王并处。
上使庄助谕意南粤。南粤王胡顿首曰：“天子乃为臣兴兵讨闽越，死无以报德！”遣太子婴齐入宿卫，谓助曰：“国新被寇，使者行矣，胡方日夜装，入见天子。”助还，过淮南，上又使助谕淮南王安以讨越事，嘉答其意，安谢不及。助既去南越，南越大臣皆谏其王曰：“汉兴兵诛郢，亦行以惊动南越。且先王昔言：‘事天子期无失礼。’要之，不可以说好语入见，则不得复归，亡国之势也。”于是胡称病，竟不入见。