后唐天成三年928年，张永德字抱一，出生于并州阳曲一个富饶之家。 张永德四岁时，其生母马氏被休，因而被他的祖母抚养长大，后来张永德侍奉他的继母刘氏，却能因其孝顺而闻名。

后周太祖郭威为侍卫吏时，和张永德父亲张颖友好，于是把女儿嫁给张永德。郭威为后汉枢密使时，又上表推荐张永德任供奉官押班。 后汉乾佑三年950年，张永德被派去赐给潞帅常遇生辰礼物。当时汉隐帝正计划除去郭威的势力，因而派人屠杀郭威的亲属，张永德此时正在潞州，听闻有密诏授予郭遇便知自己有生命之危，于是对郭遇说:quot您是马上就要杀掉我了吗?我虽死无怨，唯恐连累了您的宗族。quot常遇愕然:quot何处此言。quot张永德说道:quot当今奸佞之人当政，郭公立誓为国除奸，我能于此事尽一微薄之力，大事若成便是您的功德，不成而死亦不算晚。quot常遇深以为然，下令让卫士严加守卫，并厚加款待。亲自对张永德说:quot您看您丈人的大事有几分胜算?quot张永德回答说:quot几乎是必成。quot未过多长时间，郭威起兵成功，派遣使者至常遇处，常遇恭贺郭威之功并歉然道:quot老夫差一些就坏了大事。quot常遇便送张永德还归周太祖。

后周广顺元年951年，后周太祖郭威称帝后，便封他嫁给张永德的女儿为晋国公主，授张永德为左卫将军、内殿直小底四班都知、加驸马都尉、领和州刺史。广顺二年952年，张永德又被提拔为殿前都虞候、领恩州团练使，过了不久又迁为殿前都指挥使、泗州防御使，其时他才不过二十四岁。

后周显德元年954年，周世宗柴荣即位不久，北汉世祖刘崇便趁机勾结契丹联合入侵。周世宗亲征，和北汉军队战于高平，战斗还没开始多久，后周大将樊爱能、何徽方便逃窜并带着军队投降了北汉。情势危急之时，赵匡胤和张永德各自领兵两千奋力反击，张永德的部下擅长骑射，在张永德的带领下奋勇杀敌，给北汉和契丹联军以重创，结果扭转了战局，取得了高平之战的胜利，招降刘崇的军队七千余人。

军队驻扎在上党时，柴荣晚上卧于帐中，召来张永德对他说:quot高平之战中投降的军队，主将不必诛杀，然而樊爱能以下的将校，我将以军法处置!quot张永德答复说:quot陛下如果只愿固守边疆，如此处置则可，如果是想开疆扩土、威加四海，理应重重惩戒将领的过失以整肃军纪。quot周世宗闻听此言掷枕于地，大呼称善。第二天，便下令诛杀樊爱能、何徽方二将，军威大振。

后周军队在休整一番后率军围攻太原城，张永德和符彦卿、史彦超进军忻口以防备契丹援军。太原城方圆四十里，后周军队距城三百步，将城池围了两圈。从四月到六月，后周军队围困太原两月而不能克，又有契丹派来援兵，史彦超战死，周军受挫，只能班师离去。张永德因战功而授为武信军节度使，还师后又被迁为义成军节度使。

张永德的父亲张颖在做安州防御使时，因为其性格严厉，加上逼娶部下之女，因而被手下曹澄等人杀害，曹澄等人因为害怕处罚而奔逃到了南唐。

显德二年955年，后周决定攻打南唐时，张永德因杀父仇人逃到了南唐而主动请缨。后周军队攻至寿春，南唐名将刘仁瞻坚守城池难以被攻克，张永德便派疲兵诱敌出城，然后假装战败，以精骑为伏兵，引诱进入周军的伏击地，加以歼灭，刘仁赡仅仅免于身亡。

显德三年956年，后周再次攻打南唐，周世宗柴荣亲征，刘仁赡用囚车将曹澄等三个杀害了张永德之父的人送到了周世宗的行营里，意在求和，柴荣便将下诏将这三人赐给了张永德，并让这三人服法。

赵匡胤和张永德率领前锋至紫金山，南唐为准备这场战争修筑了多个严整