Сын ростовского казённого раввина, гласного городской думы Фабиана Осиповича Гнесина и Беллы Исаевны Флетзингер.  Вся семья была весьма музыкальной – три старших сестры Михаила основали в 1895 году в Москве частное музыкальное училище, ставшее в дальнейшем Российской академией музыки имени Гнесиных.

В 1901—1909 гг. учился в Санкт-Петербургской консерватории по классу композиции, сперва в классе Н. А. Римского-Корсакова, затем у А. К. Лядова. С 1908 года преподавал в музыкальном училище в Екатеринодаре. В 1914—1921 гг. снова в Ростове, руководил музыкальной школой и Народной консерваторией. В 1914 и 1922 гг. ездил в Палестину для изучения музыкального фольклора еврейских общин. С 1923 г. в Москве: преподавал композицию в Музыкальном техникуме, руководимом его сёстрами. В 1925—1936 гг. профессор Московской, в 1936—1944 гг. — Ленинградской консерватории; в 1941—1942 гг. в эвакуации заведовал музыкальной частью Марийского музыкального театра в Йошкар-Оле. С 1944 г. по 1951 гг. заведовал кафедрой композиции Музыкально-педагогического института им. Гнесиных.

В дореволюционный период творчества Михаил Гнесин был близок к деятелям культуры символистского направления. Им были созданы вокальные циклы на стихи Константина Бальмонта и Фёдора Сологуба, симфонический дифирамб «Врубель» на стихи Валерия Брюсова, музыка к трагедиям Софокла и Еврипида в постановке В.Э. Мейерхольда. В 1910—1920-е гг. в творчестве Гнесина сильны еврейские мотивы. С середины 1920-х гг. Гнесин предпринимает усилия для того, чтобы встроиться в советскую официальную музыкальную культуру: он сочиняет симфонию-монумент «1905-1917», отдаёт дань обработке музыкального фольклора народов СССР.  Михаил Гнесин – автор около 50 романсов, музыки к спектаклям и кинофильмам, обработок народных мелодий. Его перу принадлежит «Начальный курс практической композиции», книга «Мысли и воспоминания о Римском-Корсакове», ряд статей.

Заслуженный деятель искусств РСФСР. Доктор искусствоведения. Лауреат Сталинской премии, за сонату-фантазию для фортепианного квартета.