Родился в 1824 в деревне Кабаново Малоярославского уезда Калужской губернии. По некоторым источникам год рождения 1825. Его отец Максим Филиппов (считающийся родоначальником династии знаменитых булочников Филипповых), бывший крепостной из деревни Кобелево Калужской губернии Тарусского уезда. В 1803 году (возможно, в 1806) переехал в Москву, где стал заниматься выпечкой пирогов с различной начинкой, а затем и калачей и продажей своей продукции в разнос. Первая собственная пекарня Максима Филиппова в Москве появилась на углу Мясницкой улицы и Бульварного кольца, но все документы на неё сгорели во время пожара в Москве в 1812 году.

После смерти отца его дело продолжил сын Иван, первым среди московских булочников организовавший при пекарне хлебный магазин. Семья И. М. Филиппова имела булочные в Москве на Тверской и на Пятницкой в собственном доме. в Москве. «Филипповская булочная» на Тверской была самой знаменитой и стала легендарной.

В 1855 году с соизволения царя Александра II за высокое качество продукции и широкий ассортимент И. М. Филиппов сделался «Поставщиком двора Его Императорского Величества». За заслуги в коммерческих делах был награжден орденом Святой Анны II степени.

С 1877 И. М. Филиппов — гласный Городской Думы. Был членом совета попечителей различных богоугодных заведений в Москве.

Умер 22 мая 1878 года. Похоронен на Ваганьковском кладбище