字勉仁,初名子荣。 建文二年，进士。授编修。 成祖即位，简入文渊阁，为更名荣。 帝益重之，再迁至侍讲。 太子立，进右谕德，仍兼前职，与在直诸臣同赐二品服。评议诸司事宜，称旨，复赐衣币。 永乐五年，命往甘肃经画军务，所过览山川形势，察军民，阅城堡。还奏武英殿。帝大悦，值盛暑，亲剖瓜啖之。寻进右庶子，兼职如故。 永乐六年，以父丧给传归。既葬，起复视事。 永乐七年，母丧乞归。帝以北行期迫不许，命同胡广、金幼孜扈从。甘肃总兵官何福言脱脱不花等请降，需命于亦集乃。命荣往甘肃偕福受降，持节即军中封福宁远侯。因至宁夏，与宁阳侯陈懋规画边务。 永乐八年，从出塞，次胪朐河。选勇士三百人为卫，不以隶诸将，令荣领之。师旋，饷不继。荣请尽以供御之余给军，而令军中有余者得相贷，入塞，官为倍偿。军赖以济。 永乐九年，乞奔丧，命中官护行。还询闽中民情及岁丰歉，荣具以对。寻命侍诸皇孙读书文华殿。 永乐十年，甘肃守臣宋琥言，叛寇老的罕逃赤斤蒙古，且为边患。乃复遣荣至陕西，会丰城侯李彬议进兵方略。荣还奏言：“隆冬非用兵时，且有罪不过数人，兵未可出。”帝从其言，叛者亦降。 永乐十一年，复与广、幼孜从北巡。 永乐十二年，征瓦剌，太孙侍行。帝命荣以间陈说经史，兼领尚宝事。 永乐十四年，与金幼孜俱进翰林学士，仍兼庶子，从还京师。 永乐十五年，复从北征。 永乐十六年，胡广卒，命荣掌翰林院事。 永乐十八年，进文渊阁大学士，兼学士如故。 永乐十九年，定都北京。会三殿灾，荣麾卫士出图籍制诰，舁东华门外。 永乐二十年，复从出塞，军事悉令参决，赉予优渥。师还，劳将士，分四等赐宴，荣、幼孜皆列前席，受上赏。已，复下诏征阿鲁台。 永乐二十一年，从出塞，军务悉委荣，昼夜见无时。帝时称“杨学士”，不名也。永乐二十二年，复从北征。还次榆木川，帝崩。 仁宗即位，进太常卿，余官如故。寻进太子少傅、谨身殿大学士。既而有言荣当大行时，所行丧礼及处分军事状。帝赐敕褒劳，赉予甚厚。进工部尚书，食三禄。时士奇、淮皆辞尚书禄，荣、幼孜亦固辞。不允。 宣德元年，汉王高煦反。帝召荣等定计。荣首请帝亲征，曰：“彼谓陛下新立，必不自行。今出不意，以天威临之，事无不济。”帝从其计。至乐安，高煦出降。师还，以决策功，受上赏，赐银章五，褒予甚至。 宣德三年，从帝巡边，至遵化。闻兀良哈将寇边，帝留扈行诸文臣于大营，独命荣从。自将轻骑出喜峰口，破敌而还。 宣德五年，进少傅，辞大学士禄。 宣德九年，复从巡边，至洗马林而还。 正统三年，与士奇俱进少师。 正统五年，乞归展墓，命中官护行。还至武林驿而卒，年七十。赠太师，谥文敏，授世袭都指挥使。 重修《太祖实录》及太宗、仁、宣三朝《实录》，皆为总裁官。