1938年5月，根据毛泽东关于在山东、河北平原大量发展游击战争的指示，129师主力及115师344旅一部东进冀南平原，开辟冀南抗日根据地，到1938年10月，129师由初入太行山的9000余人迅速发展到雄师5万的兵力。
　　1939年7月初到8月下旬，日军结集5万兵力，对晋东南进行第二次“九路围攻”。而此时的国民党顽固派，正在太行山上和八路军闹磨擦，太行军民是在反磨擦斗争中迎击这次“围攻”的。战役初期，八路军将晋东南的20余座县城主动相继让给日军，以增加其驻守的“包袱”，7月13日，侵略者的铁蹄再次踏进长治城。129师和太行军民在反击日军第二次对晋东南的“九路围攻”中，多次给敌以沉重打击，使日伪军付出了伤亡近万人的代价。
　　反九路围攻以后，晋东南抗日根据地以白晋路为界，分为太岳、太行两个抗日区域，而在太行区，又以邯长路为界，分为太北、太南两个抗日区域。从此，129师和太行人民在这里与侵略者展开了漫长而又艰苦的持久战争。
　　1940年，129师根据北方局黎城会议精神，进行战地整军，新编9个旅，建立了太行、太岳、冀南三个军区。9月，“百团大战”开始，129师奉命进行正太、榆辽战役，予敌以重创。10月30日的武乡关家垴之战，给侵略者布下了一个插翅难飞的天罗地网，700多名“天皇勇士”成为野鬼孤魂。
　　1941年以后，日军对抗日根据地实行“囚笼政策”，太行区的抗日斗争进入更加艰苦困难的阶段，129师根据中央指示，主力进行了整训，为了打开严重局面，邓小平政委提出以武装斗争为核心的全面斗争方针，大力组织游击集团，加强边沿区的对敌斗争，开展对敌政治攻势，不断打击和粉碎日军的蚕食进攻。
　　1942年，太行区遇到了前所未有的灾难。一方面是日寇对根据地实行疯狂的“蚕食”和“扫荡”，所到之处，无不“烧光、杀光、抢光”；一方面是遇到了百年不遇的大旱，土地龟裂，滴水不见，紧接着，大片大片的蝗虫铺天盖地而来，根据地的生存几乎进入了绝境。129师与太行人民生死与共，同舟共济，实行精兵简政、减租减息，开展生产自救、开荒种地和群众性节约运动，1942年，129师师直单位、太行军区及各军分区、新一旅、385旅共生产节约了210余万元。刘伯承、邓小平、杨秀峰还在黎城和涉县一带，亲自与当地军民一起，共同修建了漳南、漳北两条水渠，浇灌沿途土地4000多亩。同时，129师以机动灵活的游击战争，多次粉碎日军的“扫荡”，在日伪军补给线及敌占区铁路干线城镇据点周围，实施全面有力的破击袭击，沿辽县（今左权）至黄漳、潞城至黎城、武安至偏店等日军主要补给线，经常路毁车翻，迫使日军不得不派重兵掩护运输。5月31日，129师以小部队深入长治敌占区，袭击长治飞机场，烧毁重型飞机3架、汽车14辆、汽油库2座。在与日寇的各种战斗中，更加注意了缴获敌人的武器弹药和物质，装备和补充自己。这一系列行之有效的措施，使得根据地军民终于渡过了难关，坚持和巩固了太行抗日根据地。
　　1944年以后，129师对敌开展了局部反攻，收复县城39座，歼灭敌伪11.4万余人，解放人口700余万，不仅使太行、太岳连成一片，而且打开了晋南、豫北、豫东等新区的局面，为大反攻创造了良好的条件。
　　1945年8月以后，129师带领太行军民，以排山倒海之势，向日寇展开了全面的大反攻，侵略者风声鹤唳，在人民战争的汪洋大海中不得不举起了白旗。
　　抗日战争胜利之后，1945年8月20日，中共中央决定在129师基础上成立晋冀鲁豫军区，以刘伯承为司令员，邓小平为政委，滕代远、王宏坤为副司令员，薄一波、张际春为副政委。下辖冀鲁豫、冀南、太行、太岳4个军区。9—10月，刘伯承、邓小平又在这里指挥了著名的上党战役，保卫了抗日胜利果实，拉开了解放战争的序幕。