1945年8月15日日本帝国主义宣布无条件投降后，蒋介石为抢夺胜利果实，命令日军仍坚守各城市，国民党军队则向被八路军、新四军包围的大城市和交通要道“积极推进，勿稍松懈”，伪军“负责维持地方治安”，八路军、新四军“原地驻防待命”。为了夺取抗日战争的最后胜利，中共中央向各解放区发出大反攻的指示，命令解放区军民迅速向敌伪控制的各大、中城市和铁路沿线进军。山东军区将所属主力部队与各军区基干部队共27万余人编成山东野战军，分五路向拒绝投降的日、伪军展开全面进攻。
八路军胶东军区被编为第三路反攻大军，主力部队对胶东地区日、伪军展开猛烈的攻击，连克半岛各地日伪据点。到1945年9月初，胶东内地除了胶济铁路线上的胶县、高密外，只剩平度城这一顽固堡垒。
驻守平度城的敌军，有伪绥靖第八集团军王铁相部、伪国民自卫军第十二师张松山部及掖城伪军一部近6000人，另有驻城东南隅中学日军600余人。日本宣布投降前，汉奸王铁相接到蒋介石密令，委任他为国民党陆军第九路军中将军长，令其死守平度，以“迎接美军和国军从青岛登陆”。王铁相从伪军“摇身一变”成为国军，死心塌地地投靠了蒋介石，继续与人民为敌，死守平度城。
8月底，许世友等八路军胶东军区首长召开敌工股和城工科负责人会议，听取了平度城的内应工作计划，并布置了具体任务。会后，敌工人员设法进入城内埋伏，摸清城内敌人兵力部署及动向，并将情报及时向胶东军区首长作了详细汇报。
9月初，八路军胶东军区司令员许世友率前线指挥部进驻城北七里河子，调集部队，组织动员，部署战役。参战部队分为两个梯队，从东、西关对攻，以西关为主，用钳形攻势先消灭城四关伪军，后集中兵力全歼城内敌人。胶东军区五旅十三团、西海独立团、西海特务营、军区炮营组成西梯队，由聂凤智、李炳令指挥，主攻西关，并向两翼发展，消灭西关南关之敌；以部分兵力封锁南关，阻击日军增援；南海独立团、北海独立团、平南独立营组成东梯队，由贾若瑜、廖海光指挥，主攻东关，并从城东北、东南进攻，歼灭东关之敌，并封锁、阻击日军出援。
9月7日晚8时半，攻打平度城战斗开始。驻平度城日军害怕被歼，率先突围逃走。经一夜激战，八路军攻城部队击溃外围伪军第12师的抵抗，攻克平度东、西、南三关，残敌逃入城内。8日4时，进攻部队撤退休整，准备歼灭城内之敌。
9日晚8时，总攻开始，十四团三营主攻南门，其他各部队均按原部署作战。战斗打响后，平度城的东、西、南三门及城墙上的工事，均受到八路军各种炮火的猛轰。主攻西门的十三团一营，用自制的土钢炮向敌人发射炮弹，第一发就把西门城楼炸塌半边，敌人的两挺重机枪也被打成了“哑巴”。十三团一营三连在炮火掩护下，派出爆破组炸毁敌人设在城门外的鹿寨、铁丝网，随即炸开城门，突击队跟着冒着浓烟奋勇突入城内。
王铁相见八路军攻入城内，立即集中所有武器向城墙方向射击，并亲自督战，组织兵力反扑。突入城内的八路军战士，利用夺取的城墙碉堡，架起机枪向城内敌人猛烈扫射，打退敌人的连续反扑。王铁相投入城内预备队，调集近千名敌人从东、北两个方向蜂拥而来。危急时刻，十三团二营冲入城内，打退了敌人的攻势。攻击东门的南海独立团主力也迅速调到西门，由突破口入城。随后南门八路军也攻入城内，和守敌展开激烈的巷战，逐一攻克了敌人设在城内的地堡、工事。经过激烈战斗，伪十二师司令部被攻克，伪十二师师长张松山被擒。天将拂晓，十三团二营，三营向王铁相的司令部、北大阁楼发起强攻，将残敌全部歼灭。王铁相见逃跑无望，化装成普通士兵企图蒙混过关，被八路军战士识破并活捉。
10日10时，战斗结束。此次战斗，八路军胶东部队共毙伤伪军700余人，俘虏伪军5000余人，内含校级以上官佐30人，缴获敌步枪4000余支、重机枪13挺、轻机枪80余挺、迫击炮6门、小炮16门、子弹12万发、战马150匹，创造了胶东大反攻以来的模范战例。