В начале Великой Отечественной войны генерал-лейтенант М. Г. Ефремов назначен командующим 21-й армией, которая в составе Западного фронта вела ожесточённые бои на могилёвском направлении. В конце июля соединения армии приковали к себе значительные силы немецких войск и задержали их продвижение к Днепру. 7 августа 1941 года назначен командующим войсками Центрального фронта. До конца августа войска фронта под руководством М. Г. Ефремова сдерживали наступление противника, не давая ему нанести удар во фланг и тыл Юго-Западного фронта. В сентябре назначен заместителем командующего Брянским фронтом. С 1 по 17 октября 1941 года — возглавляет 10-ю армию. С октября 1941 года командующий 33-й армией.
С вечера 13 апреля всякая связь со штабом 33-й армии теряется. Армия перестаёт существовать как единый организм, и отдельные её части пробиваются на восток разрозненными группами. 19 апреля 1942 года в бою командарм М. Г. Ефремов, сражавшийся как настоящий герой, был тяжело ранен (получив три ранения) и, не желая попасть в плен, когда обстановка стала критической, вызвал свою жену, служившую у него мединструктором, и застрелил её и себя. Вместе с ним погибли командующий артиллерией армии генерал-майор П. Н. Афанасьев и практически весь штаб армии. Современные исследователи отмечают высокий дух стойкости в армии:
Ни свидетельства выживших, ни немецкие трофейные документы не обнаруживают ни одного факта коллективной сдачи в плен. Не сдавались до последнего. О том же, как выполнялся во время прорыва пункт 8-й инструкции, свидетельствуют такие факты. Когда разрозненные группы теряли надежду на выход и командир стрелялся, тут же на поясных ремнях вешались солдаты…
Нашли тело М. Г. Ефремова первыми немцы, которые, испытывая глубокое уважение к мужественному генералу, похоронили его с воинскими почестями в селе Слободка 19 апреля 1942 года. По свидетельству генерал-лейтенанта Ю. А. Рябова (ветеран 33-й армии), тело командарма принесли на жердях, но немецкий генерал потребовал, чтобы его переложили на носилки. При похоронах он приказал выставить пленных из армии Ефремова перед немецкими солдатами и сказал: «сражайтесь за Германию так, как сражался Ефремов за Россию».