张玉是祥符人，比朱元璋小十五岁，比朱棣大十七岁，曾经是元朝枢密知院，后来跟随元顺帝逃到漠北，洪武十八年投降明朝，后来跟随蓝玉出塞，在捕鱼儿海之战中，因为战功封为济南卫副千户，不久被朱元璋提升为安庆卫指挥佥事。

　　后来，张玉率兵追击北元军队，一直追到鸦寒山才返回，不久调任燕山左护卫，后来跟随燕王朱棣多次出征，因为勇猛刚毅、善于谋划备受朱棣亲近、信任。

　　建文元年，朱棣起兵靖难，张玉率众夺取北平九门，三天内控制整个北平城。

　　建文帝朱允炆派长兴侯耿炳文统兵伐燕，朱棣采用张玉的计策，在真定之战中大败耿炳文，生擒左副将军兼驸马都尉李坚、右副将军宁忠和都督顾成等人，燕军从此声势大振。

　　为配合李景隆北征，江阴侯吴高率领辽东兵马围攻永平，朱棣和张玉商定对策后，先援救永平，然后走小道偷袭大宁，将大宁的精锐之师收归己有，从此实力大增。朱棣在会州设立五军，让张玉统领中军。当时李景隆正在围攻北平，朱棣率部众在郑村坝与李景隆展开决战，李景隆战败而逃。

　　建文二年，李景隆调集兵马，与武定侯郭英相约北上，总兵力多达六十万，号称百万。

　　张玉认为兵贵神速，率兵疾驰，抢先到达白沟河，以逸待劳，随后率精锐骑兵猛攻。经过激战，朱棣最终击溃李景隆的部众。白沟河之战是靖难之役的转折点，从此，建文帝再也无法组织大规模的伐燕行动，朱棣从此转守为攻。

　　朱棣乘胜围攻济南，盛庸、铁铉拼力坚守，朱棣久攻不下，无奈撤兵。

　　在东昌之战中，朱棣亲自率军冲锋，陷入重重包围，危在旦夕。

　　张玉不知朱棣已经脱险，他陷入阵中，拼死力战，四处寻找朱棣，找不到朱棣，不肯突围，最终伤重力竭而死。

　　失去张玉，朱棣心痛不已，“寝不帖席，食不下咽”（《明太宗实录》），与部将提起张玉时，朱棣泪流不止。

　　朱棣登基后，封赏靖难功臣时说，“论靖难功，当以张玉为第一”（《明史纪事本末》），追封张玉为荣国公。

　　洪熙元年，明仁宗朱高炽加封张玉为河间王，与东平王朱能、金乡侯王真、荣国公姚广孝同时配享成祖庙廷。

　　张玉的长子张辅比朱棣小十五岁，朱棣起兵靖难后，张辅跟随父亲拼力作战，被封为指挥同知。张玉在东昌之役战死后，张辅承袭父亲的职位。此后，跟随朱棣转战于夹河、藁城、彰德、灵璧，均立下战功。

　　朱棣率军进入京师后，封张辅为信安伯，食禄一千石。永乐三年，张辅被进封为新城侯，增加三百石食禄。

　　永乐六年，因出征安南的功劳，张辅被进封为英国公，岁禄三千石，赐予世袭铁券。

　　朱棣感念张玉的忠心和战功，把张玉的女儿选入宫中，封为贵妃。