马本斋生于1901年，是回族穷苦农民出身，小时候读过几年私塾，十七岁时当了兵，在旧军队里闯了二十年，由战士先后提升为班、排、连、营、团长。在那军阀混战的年代，马本斋深感政治上没有出路。1931年，他毅然解甲归田，回到河北献县东辛庄老家。
抗日战争爆发后，日本侵略者占领华北广大地区，实行烧、杀、掠夺。行伍出身的马本斋，在家乡组织了一些人马和枪支，成立了回民义勇队，开展抗日斗争。不久，他率领全队七十名队员劫了日本卡车，用缴获的武器武装了自己，使义勇队更加壮大了。马本斋坚决拥护共产党的民族政策，积极响应党的团结抗日的号召。他像大海航行中的孤舟找到了灯塔，决定跟共产党走。1938年2月，回民义勇队加入了八路军。当时，在晋察冀军区司令聂荣臻领导下，成立了冀中区党委，冀中军区将所有的抗日武装统一整编为八路军第三纵队，创建了冀中抗日根据地，不久又成立冀中军区八路军“回民教导队”，马本斋被任命为队长。六七月间，“回民教导队”与原冀中军区的“回民干部教导队”合编为“回民干部教导总队”，马本斋任总队长。在八路军的帮助下，这支四五百人的伊斯兰武装，进行了整顿，部队中设立了阿訇。在整训中，马本斋加入了中国共产党。他激动万分地说：“1938年9月的今天，才是我真正的生日呀！”
从1938年11月至1939年4月，敌人集中兵力对冀中根据地连续进行了五次大扫荡。冀中军民在党的领导下，展开了紧张的反扫荡斗争。马本斋率部在河间、献县、青县、沧州一带活动，经常出奇制胜地打击敌人。当时在军民中流行着一首歌谣：“马队长办法高，孙子兵法上无处找，鬼子好似一头牛，被回民总队牵着跑。”同年八九月间，中央军委决定“回民干部教导总队”改名为“回民支队”，马本斋任支队司令员，郭陆顺为政治委员。部队在无极、藁（ɡǎo）城一带打了许多胜仗，开辟了新的抗日根据地，回民支队发展到两千多人，战斗力大大提高，成为冀中军区较精锐的野战部队。回民支队和马本斋的名字开始在群众中流传开来。
1940年初，冀中军区调回民支队去深县打击日寇，开辟深南根据地，深南地区是日寇盘踞的巢穴，南是沧（州）石（家庄）公路，西是京汉铁路，是日寇侵华战争的战略要地。马本斋坚决执行党的歼灭战的战略战术，充分发挥他胆大心细、智勇双全的军事才能，连续作战近二十次，狠狠地打击了敌人，保卫了麦收。5月的康庄战斗是其中最突出的战例。敌人为发挥其机械化优势，决定修一条石德公路，向我冀中军民发动更大规模的扫荡。马本斋决定抓住战机，狠狠打击敌人的嚣张气焰。他用了近半个月的时间，调查研究，派出侦察员，并亲自侦察，摸清了敌人各方面的活动规律，制定出“引蛇出洞，围点打援”的作战方案。康庄位于石德公路南，在敌人衡水至安家村据点之间，他派少数兵力攻安家村据点，故意等敌人打电话到衡水乞援后，迅速切断电线，将主力布置在康庄一带，等六十名敌援军赶到，进入伏击圈后，回民支队以猛烈炮火围歼。这一仗除五六个敌人逃窜外，其余全部在半小时内歼灭在汽车和公路上，回民支队无一伤亡。战斗中缴获加农炮一门、九二式重机枪一挺、掷弹筒一个、步枪五十支以及许多弹药。回民支队在深南的一年是战果辉煌的一年。1940年10月，冀中军区召开第三次政治工作会议，赠给回民支队一面锦旗，上面写着“拖不垮、打不烂，攻无不克的铁军”。
1941年初，回民支队奉命回到平汉路东，进入大清河地区。在容城、雄县、新安一带执行新的战斗任务。日本帝国主义企图占领冀中平原根据地，采取了残酷毒辣的分割封锁、分区蚕食的手段。敌人从四面八方集结了大量兵力对付回民支队，并切断了与冀北军区的联系。敌人的口号是“活捉马本斋，消灭回民支队！”他们以容城为中心，分几路配合向回民支队进逼。时值5月初，战士仍穿着棉衣进行战斗。在这种艰苦情况下，马本斋充分发挥了军事上的创造才能，运用“推磨战术”，围绕容城转了一个圈子，完全粉碎了敌人的企图，取得了反扫荡的胜利。
1942年秋至1943年夏，鲁西北遇上了大旱灾。根据八路军总部和北方局的命令，在冀中的回民支队经冀鲁边转战来到冀鲁豫。军区决定派回民支队到三分区去，由马本斋兼任冀鲁豫三分区司令员，坚持在无边无际的黄土沙区上的斗争。1943年秋，由于日寇连续进攻和疯狂扫荡，冀南地区形势日趋紧张。为了有利于坚持这一地区的抗战，八路军总部和北方局决定将冀鲁豫三分区划为冀南七分区，作为冀南的后方，并加强这一地区的抗日力量。原在三分区的回民支队，调到昆吾、尚和一带新组建的六分区，马本斋兼任六分区司令员。他们在那里粉碎了日寇组织的秋季扫荡以后，于11月16日参加了当时冀鲁豫军区为粉碎敌人蚕食政策而发动的八公桥战斗。
当时冀鲁豫一带的日伪军主力分为东、北、南三路，南路是汉奸头子魏大可，东路是汉奸旅长刘仙洲，北路是敌伪军司令孙良诚。这三路伪军要数孙良诚的实力最雄厚，拥有两个旅的兵力，自设兵工厂、被服厂等，辎重充足。孙伪军的司令部就设在八公桥。这里是重要据点，四周有一丈多深的护城沟，守备部队是孙良诚的嫡（dí）系部队特务营，防守十分坚固。为了打好这一仗，冀鲁豫军区召开了团级以上的干部会议，商讨作战方案。在会上，马本斋大胆提出使用“牛刀子钻心”的战术设想，主张先集中优势兵力进攻八公桥军司令部，就像孙悟空钻进铁扇公主的肚里，搞它个坐卧不安。他认为敌军据险固守，绝不会想到二三百里外的八路军区攻打八公桥，这正可利用敌人的麻痹（bì）心理，出其不意出现在敌人面前，打他个措手不及。马本斋的建议得到杨得志司令员和与会同志的赞同，并决定由马本斋协助司令员组织这场战斗。在奇袭八公桥的战斗中，回民支队和六团、七团担任了主攻任务，战士们在“强攻八公桥、活捉孙良诚”的口号鼓舞下，不分昼夜急行军，一鼓作气地接近目的地。当敌军发现我军时，八公桥已被团团围住，根本无法组织队形，摆开火力了。在我军猛烈攻打下，军司令部迅速被打，军参谋长也被俘，只是孙良诚正好去城里会晤日“皇军”头目，才幸免就擒。打下八公桥后，其他外围据点犹如秋风扫落叶般被我军彻底清除。这场仅进行12小时激战的战斗，取得了辉煌战果：全歼了孙军直属总队，毙伤伪军数百名，俘虏敌参谋长、团长等官兵一千六百多人，缴获轻机枪十七挺，步枪一千六百多支，子弹四万余发，电台两架，战马百余匹，粮食数百万斤和一所机器完好的兵工厂。从此，这一带的形势发生了根本变化。
1944年1月，马本斋突然病倒，脖子后面长了一个毒性疔（dīnɡ）。1月底，回民支队奉命开赴延安，马本斋因病未能随行。2月初，他又得了急性肺炎，经抢救无效，于7日去世，年仅四十二岁。