宣统三年（1911）辛亥革命爆发，马玉仁因随徐宝山拥护辛亥革命，攻打浦口有功，擢升为四十七团团长，民国2年又升任为扬州混成旅旅长。此后，因屡建战功，军职不断升迁。历任扬州游缉统领、江苏第一混成旅旅长兼淮扬镇守使，江苏陆军第二师师长、第三师师长、淮扬护军使等职。民国13年，在驱逐皖系浙江督军卢永祥部的江浙战争中，因再立战功，孙传芳委任他为联军第七军军长，统率苏北各师旅。后与孙传芳发生摩擦，被解除军职。民国15年起，任直鲁联军第十二军军长,授陆军上将衔。民国16年6月，与北伐军李宗仁作战被俘，旋即被释，民国29年，冯玉祥、阎锡山与蒋介石大战中原，马被冯委任第十六路军总指挥兼二十七军军长,参加武装倒蒋。时马玉仁到处收编土匪，并不顾民怨，以抢掠代充军饷，造成军纪涣散，引起很大民愤。不久，马负伤去大连治疗，被蒋介石南京政府捕获。后因蒋、冯、阎议和，又得张学良从中斡旋，马获赦免还乡。
民国26年（1937）芦沟桥事变后，马玉仁胸怀“国家兴亡，匹夫有责”之爱国热忱，以垂暮之年投身抗日。尽管屡遭国民党第八十九军军长兼江苏省省长韩德勤多方限制和刁难，但他抗日意志坚定，通过多方周旋，终被国民党中央军事委员会任命为江苏第一路游击总队司令和军事委员会参议之职。马受命后即召集旧部，并招募青年近千人，自筹饷械组成一支抗日游击武装。日、伪军曾多次派人至马部游说，许以苏北文武官员最高头衔，均被严辞拒绝。为整肃军纪，马玉仁枪决了一贯掳掠民财的嫡侄马益华。尽管身处逆境，面对强敌，他仍继续高举抗战旗帜，在盐阜沿海一带与敌战斗数十次。战斗中身先士卒，奋勇当先。民国29年1月3日，100余名日军突然袭击马部驻地安乐港，马获悉后，立即令三大队马臣禹部阻击日军。一大队郑怀喜掩护司令部转移，自己亲率卫队和二、四大队机动歼敌。当日军至望乡台时，马率众迎敌于三淤尖东侧（阜宁县九区新尖乡内），不幸中弹倒地。但他非常顽强，爬起来继续指挥部队杀敌，终因伤势太重，流血过多而壮烈牺牲。享年65岁。
马玉仁殉难消息传出后，苏北各界人士为之哀悼祭奠。国民党政府明令给予褒扬，颁发“哀荣状”。