1937年8月，日军沿津浦铁路向山东境内进攻，山东省委根据我党关于在敌后开展游击战争的战略方针和党提出的抗日救国十大纲领，以及中央北方局提出的“每个优秀共/产/党员，脱下长衫到游击队去的号召，指出：在敌后地区建立党直接领导的武装，发动抗日武装起义是当前的迫切任务。并决定迅速派得力干部分赴全省各地，分区发动群众，组织抗日武装。10月到11月，党员姚仲明、廖容标、赵明新，他们三人组成了一个党小组，以“长中”为立足点，负责组织这一地区的抗日武装，开展敌后游击战争。他们广泛团结争取爱国的进步知识分子，特别对“长中”校长马耀南，十分注意发挥其“民先”队员的积极性及其在校内外的推动影响作用。
为了进一步对提高统战对象的认识，充分调动“长中”广大师生的抗日热情，“长中”党组织经常向他们宜传党的抗日救亡政策，阐述对抗日形势的看法。
12月中旬，日军由齐河和济阳以东分两路渡过黄河，一部分沿胶济线向东进攻。24日,长山、周村、淄川、博山、张店等重镇相继陷落，以姚仲明为首的“长中”党组织，审时度势，毅然率领“长中”部分师生和爱国志士，当夜开赴黑铁山脚下的太平庄，与当地“民先”队员、党员和热心抗日的群众骨干分子汇合，经过紧张的筹备，于26日举行了黑铁山抗日武装起义。
随着抗日游击战争的逐步开展，起义部队迅速壮大。
为了扩大游击区，同山东省委取得联系，1938年春，起义部队横跨胶济铁路两侧：一部由廖容标、姚仲明率领南下，于3月间在博山马棚一带与省委及其率领的部队汇合，使清河淄博与泰莱两抗日游击地区联成一片；部由马耀南(代理司令职务)、赵明新率领，留在铁路以北，坚持敌后斗争，继续扩大部队，扩大游击区。根据形势的发展，6月，苏鲁豫皖省委决定将山东人民抗日救国军第五军改编为“八路军山东人民抗日游击第三支队”，12月,又改为“八路军山东纵队第三支队”。马耀南任司令员，杨国夫任副司令员，姚仲明、霍士廉先后任政治委员。部队在战斗中连打胜仗，锻炼壮大了自己，鼓舞了群众，成为当地抗日的中坚力量。
黑铁山起义开始后，部队西进，1938年1月8日夜间，廖容标亲自率领30余名勇士攻入长山城内，一举将维持会消灭取，得了建军后第一个军事行动的胜利，军心为之大振。1月中旬，据情报得知沿小清河来往于济南至羊角沟的日军时常中途登岸骚扰百姓，军纪很坏，五军决定前往，于1月19日在小清河陶塘口处设伏，出其不意将日军一艘小汽艇击沉，全歼日军12人，鼓舞了我军民的士气，增强了信心。2月初，在白云山区三官庙一带，与400余名日军遭遇，激战一日，毙伤敌近100名。连续打了这三次胜仗，部队在群众中的影响迅速扩大，参军抗战的热潮一浪高一浪。
为了破坏敌人的战略部署，配合抗日军队在前线战场作战，五军在一段时间内，曾把破坏敌人的铁路交通运输作为主要的战斗任务。据有关资料统计，仅1938年的4至8月间，由五军直接组织发动的较大的破袭铁路活动就有7次，累计破坏胶济、张博两线铁路60余华里，炸毁火车头17台、车厢100多节，使敌人的交通运输时常中断。连续不断地抗击日寇的军事行动，不仅促进了部队的发展,群众性的抗日组织和活动也日益兴起。
6月，五军改编为八路军山东人民抗日游击第三支队，之后改称八路军山东纵队第三支队，司令员马耀南。部队走向正规化，投入更为浩大的人民抗日战争当中。