1941年1月28日，由八路军第5纵队编成，黄克诚任师长兼政治委员，彭雄任参谋长，吴文玉(吴法宪)任政治部主任，邓逸凡任政治部副主任，辖第7、第8、第9旅(所属第1、第2、第3支队依次改编)，共2万余人。第7旅，旅长彭明治，政治委员朱涤新；第8旅，旅长田守尧，政治委员吴信泉；第9旅，旅长张爱萍，政治委员韦国清。3月，组成淮海军区，覃健任司令员，金明任政治委员。7月，粉碎日伪军1．7万余人对以江苏省盐城为中心的“扫荡”。9月9日，第9旅调归第4师，第10旅调归第3师。第10旅，旅长兼政治委员刘震。此间，建立盐阜军区，洪学智任司令员，刘彬任政治委员。1942年春，张爱萍任副师长。10月，实行精兵简政，先后将4个主力团地方化。11月，粉碎日伪军5000多人对淮海地区的“扫荡”。12月，成立苏北军区‘黄克诚兼任司令员，张爱萍兼任副司令员；淮海、盐阜军区改为军分区，军分区机关分别由第8、第10旅旅部兼。 1943年春，粉碎日伪军2万余人对盐阜区的梳篦式“扫荡”。3月17日，彭雄、田守尧在江苏省连云港以北海面遭遇战斗中牺牲；洪学智代(后任)第3师兼苏北军区参谋长，张爱萍兼任第8旅旅长和政治委员。1944年4月，发动高沟杨口战役。9月，第7旅赴淮北配合第4师西进作战。12月，第3师在苏北痛击伪第2方面军。1945年3月，组建独立旅，旅长覃健。4月，南下皖江归第7师指挥，10月回第3师归建。在战略反攻中，第3师进行了两淮(淮阴、淮安)战役。在抗日战争中，第3师歼敌6万多人，坚持了苏北抗日斗争。同年9月，第3师主力4个旅和3个独立团共3．7万人，由师长兼政治委员黄克诚和副师长刘震、洪学智率领进军东北。11月，归东北人民自治军建制。1946年1月，改称东北民主联军第3师(后为第2纵队)。