2004年夏天克林斯曼入主德国队后，他想到了在足协教练培训班上结识的勒夫，两人有着相同的足球理念。勒夫答应出任助理教练，从此开始在德国队的工作。克林斯曼是一个有想法但缺乏执教经验的教练，正是勒夫在他身后的出谋划策，才有了2006年的“夏日童话”。
德国世界杯上，克林斯曼和勒夫两位“型男”，总是身穿相同的服装，在场边激情四溢地指挥比赛。有一种说法是克林斯曼就连比赛中的调兵遣将都要听勒夫的，这遭到了当事人的否认，但勒夫在当时的教练组中的确扮演了军师的角色，绝不仅仅是助教那么简单。每一次训练课都是勒夫亲自带队完成，克林斯曼都是在一旁观看。克林斯曼也一直强调，勒夫是他的搭档，而不是助手。
世界杯后克林斯曼决定回美国和家人生活，他将帅位交给勒夫，后者从此成为德国队掌门人。执教前两年，勒夫主要依靠克林斯曼给自己留下的主力阵容，只是对右后卫这个世界杯上的软肋动手术。在没有伤病停赛的情况下，他甚至不会轻易改变战术和首发阵容。凭借世界杯的惯性，德国队在欧洲杯预选赛顺风顺水，提前3轮轻松出线。
但安于现状的做法，让勒夫渐渐尝到苦果。出线后主场0比3完败于捷克只是开始，欧洲杯3场小组赛也异常艰苦。痛定思痛，勒夫在对阵葡萄牙的1/4决赛突然变阵4231，将巴拉克推到前腰位置，一举取得成功。依靠新阵型，德国队一路打入决赛，收获亚军。
欧洲杯后，勒夫终于开始为国家队大换血，莱曼、弗林斯、梅策尔德、弗里茨等人都远离国家队，一大批新人开始在勒夫手下获得机会。门将阿德勒首场国家队比赛就是主场对俄罗斯的世界杯预选赛重头戏，厄齐尔也很快在国家队确定了组织核心地位。勒夫一度在442和4231之间徘徊，但正是厄齐尔的横空出世，让勒夫最终锁定了单前锋战术。
2008年秋天勒夫遇到了麻烦：队长巴拉克不满他对老将的清洗，特别是罢黜好友弗林斯，在接受采访时抨击国家队教练组。但最终勒夫成功处理了这场危机，安抚了巴拉克，但坚决将弗林斯排除在外。必须指出的是，勒夫不太果断的弱点，还是给他带来了不少麻烦，比如他本可以在处理弗林斯和库兰伊的问题上做得更好。
南非世界杯前巴拉克等人的受伤，让勒夫坚定了用新人赌一把的信念，托马斯·穆勒等新人因为在俱乐部的出色表现入围23人名单。勒夫赌赢了，横扫英格兰和阿根廷的两场淘汰赛，堪称德国队百年历史上的经典战役。经过6年磨练，勒夫在南非终于真正找到执教国家队的感觉。
