1938年2月初，由于太原已经失守，抗战正面战场呈瓦解之势，第二战区司令长官阎锡山无暇顾及同蒲路东各抗日部队，遂将转战在这一地区的中央军、地方军和八路军129师、115师的344旅，以及山西决死队的第一、第三纵队，划为第二战区的东路军，请朱德、彭德怀分任总指挥、副总指挥，左权兼任东路军参谋长。
为鼓励、帮助友军坚守山西，3月24日，朱德、彭德怀在沁县以南小东岭村关帝庙内召开东路军将领会议。国民党将领李家钰（第47军军长)、李默庵（第14军军长）、曾万钟（第3军军长）、朱怀冰（第94师师长）、武士敏（第169师师长）、赵寿山（第17师师长），八路军将领刘伯承、徐海东、薄一波等38人从各地赶来开会。阎锡山和卫立煌的代表、蒋介石的联络参谋也赶到会所。
国共的第二次合作处在黄金时期，过去在战场交手的人，今日济济一堂，共商御敌之计，国共两军军事统一战线付诸实践。朱德在开幕词中详细分析抗战形势，号召东路军将领齐心协力，建立敌后抗日根据地，开展游击战争，发出民族抗战的最强音。
彭德怀在会上作关于东路军作战纲领的报告。他要大家接受南京、太原沦陷的惨痛教训，采用新的作战原则：实行战略上的防御战，战术上的进攻战；战略上的持久战与消耗战，战术上的速决战与歼灭战；运用运动战以消灭敌人有生力量，发展游击战以造成我基干军队在运动中大量歼敌的机会。
彭德怀在报告中还向友军详细讲解运动战和游击战的战术、部队的政治工作、民众工作、敌军工作和建立根据地的要求等，一一倾囊相授：
要改变封建性统御，要解释、说服、规劝、感动、以身作则去统御部下，而避免威吓、打骂、欺骗和无理由地服从，要使士兵知道为什么要守纪律，自觉地去遵守纪律。“与士卒同艰苦，是团结部队的重要条件之一。”“对待民众有几件基本的事，就是实行买卖公平，说话和气，借物要还，损物赔偿，离开驻扎地时，实行纪律检查。”
彭德怀的报告感动了与会将领们，特别是早年追随孙中山、在西安事变中又积极支持张杨义举的第169师师长武士敏。会后，武士敏向彭德怀倾吐心曲，长谈竟夕。他对友人说过：“当了几十年的兵，真正懂得为国报效，是在小东岭会议上听到了彭副总司令的教诲后才认识的。从此，我才懂得怎样做一个真正的军人。”此后，武士敏学习八路军的经验，部队面貌焕然一新，在中条山坚持抗日，直至1941年5月在对日作战中壮烈殉国。
小东岭会议经过热烈讨论，通过了彭德怀所作的作战纲领报告，划定了各军、师活动和建立根据地的地区，协同打通了与后方的交通线。会后，应友军的要求，八路军总部由左权主持为友军举办了游击训练班，政治工作讲习班等。朱德、彭德怀、左权都亲自给训练班讲授课程。
