在抗战时期，山东地区的八路军主要由两部分组成。一部分是由山东子弟兵组成的本土抗日武装发展而来的正规兵团，最早被称为“土八路”；另一部分是1938年底进入山东的八路军115师主力一部，出身是“正规军”。
在全面抗战爆发后，山东各地抗日武装如雨后春笋般兴起，纷纷建立起由党领导的地方抗日武装。 在这样的背景下，山东省委书记黎玉于1938年4月赴延安汇报工作，请求中央派主力部队和干部支援山东。

1938年12月27日，八路军山东纵队正式宣布成立，总指挥是张经武，政治委员是黎玉。山东纵队总兵力达到了24500人，包括10个支队，这一支队伍的成立，为山东地区的抗战工作打下了坚实的基础。

山东纵队根据八路军总部的指示，一方面吸收爱国青年加入，另一方面按照规范的要求进行整训。整训共进行了四次，每次三个月，部队总人数达到54000人。
八路军山东纵队的成立和整编，意味着山东人民起义武装力量已经从之前的若干分散的游击队，逐步成长为一支正规化的八路军部队。

1939年8月1日，八路军第一纵队正式成立，徐向前任司令员，朱瑞任政治委员。虽然八路军第一纵队成立了，但是作为两个独立的作战单位，115师和山东纵队的统一指挥问题一直未能得到有效解决。
大体上，以津浦铁路为线，山东纵队主要在津浦路以东、故黄河以南、沂蒙山以北活动，115师主要活动于津浦路西侧。
山东纵队的姿态更低一些，他们的指挥部与徐向前的司令部合在一起办公。而115师则比较难“相处”，徐向前元帅在回忆录中写道：山东的部队分散在各地区，建立一个统一领导的机构是必要的。
但有些部队，如陈光部、杨得志部、肖华部等，均独当一面，距离我们较远，又能同党中央和总部直接联系，因而相对保持其独立性，也是不奇怪的。
我和朱瑞同志的领导重心，放在山东纵队。

在山东抗日根据地，朱瑞领导的党政军民工作取得了一些进展，但罗荣桓领导的两支部队在抗日战略上的认识不够一致，加上日军的扫荡，山东根据地的形势日益严峻。
为了解决这一问题，刘少奇受党中央和毛主席的委托，在山东工作五个月，总结了抗战以来山东工作的经验和教训。
回到延安后，他向中央汇报了这一情况。最后，中央决定彻底解决山东军事不统一的问题，通过合并山东纵队与115师，从整体上提高军事领导的统一性。
尽管这是一个困难的决定，但只有这样，才能更好地对抗日军的威胁，保护山东抗日根据地的安全。

山东纵队的改革分为两个阶段：第一步，山东纵队按照中央军委的命令改名为山东军区，下辖鲁中、胶东、清河、鲁南军区和13个军分区、军区机动部队第5旅，山东军区在政治上归中共山东分局领导，在军事上由115师指挥。
第二步，山东军区（原山东纵队）和115师合并，组成新的山东军区，合并后部队的正式番号就是“山东军区”，中央为了消除任何可能存在的山头主义和地域性军队称呼的决心，决定保留115师的番号。
合并前，115师下辖教导第1、第2、第5、第6旅四个旅；合并后，山东军区（原山东纵队）的四个军区与115师的四个旅进行了合并重组。
新的山东军区共下辖六个二级军区：鲁中军区、鲁南军区、胶东军区、清河军区、冀鲁边军区和滨海军区。

山东军区的新任司令员兼政治委员罗荣桓，并非由于他之前担任115师政治委员，就认为115师会轻而易举地将山东纵队合并。
实际上，两者的合并关系是平等的，类似于共同加盟。这种平等关系可以从六个军区的具体编成中看出：新的山东军区成立后，清河军区完全由原山东纵队改编，而冀鲁边军区则完全由115师改编。
其余的四个军区中，原山东纵队和原115师的部队已经相互融合。到了1944年1月，原本“血统”较为纯正的清河军区和冀鲁边军区合并成了渤海军区，这进一步证明了原山东纵队和115师已经彻底融为一体。

115师八路军无疑是山东抗日力量和山东军区实力的重要推手，但不能因此忽视山东纵队作为山东子弟兵的特殊地位和重要作用。
事实上，山东纵队与115师最初是并列关系，后期虽然合并，但这并不意味着山东纵队并入了115师，或者说是115师“吃掉”了山东纵队。
必须明确，山东纵队与115师在发展壮大的过程中，都发挥着不可或缺的作用。

山东纵队是一个由党领导的地方武装向正规兵团转变的优秀例子。山东纵队的成长历程可圈可点，从弱小逐渐壮大，成功开创了鲁中、清河、胶东等抗日根据地和游击区。
在历次整军过程中，山东纵队更是展现出了无私奉献的精神，将挺进支队、苏鲁支队、第六支队、陇海南进支队以及部分地方武装近4万人输送给了115师和新四军，对主力部队的发展壮大做出了重大贡献。
山东军区部队的“闯关东”行动中，40军和41军这两支主力部队，正是源于当初山东纵队的鲁中、胶东军区地方武装的壮大。

而鲁中，胶东，清河三大二级军区司令员均是来自原红四方面军的将领，王建安，许世友，杨国夫……

现在网络上谁家的话语权强势，往往谁家的……

可以说山东黎玉同志带领的山东老八路和山东根据地挽救了势单力薄的115，给了115发展壮大的机会，罗的山东成功也完全脱离不了黎玉同志和山东省委省政府的大力支持。

但是黎玉同志建国后所经受的委屈，从正史上完全查不到罗同志的任何说法。直至1986年这位大将资历的老革命家才被彻底平反恢复名誉。黎玉同志含着热泪收到了政治平反的消息，三个月后安详的告别了人世。