Родился 30 июля 1900 года в деревне Гилево Тюменского уезда, в семье рабочего. В 1913 году окончил сельскую школу и стал работать подмастерьем маляра. В 1919 году был призван в ряды Красной Армии. С этого момента вся его жизнь была связана с военной службой.
Красноармеец Иван Федюнинский участвовал в боях на Западном фронте. В 1920 году служил в Тюменском уездном военкомате старшим делопроизводителем. Окончил пехотную школу (1924), курсы «Выстрел» (1931), Высшие академические курсы при Военной академии Генштаба (1948). Командовал ротой во время вооруженного конфликта на КВЖД в 1929 году. С 1931 по 1939 год – командир батальона, помощник командира полка, командир полка.
За мужество и героизм, проявленные в боях в 1939 году на реке Халхин-Гол, Федюнинскому присвоено звание Героя Советского Союза. С ноября 1940 года – командир 82-й мотострелковой дивизии.
В Великую Отечественную войну Иван Иванович командовал стрелковым корпусом, несколькими армиями, был заместителем командующего Волховским и Брянским фронтами, командующим Ленинградским фронтом. Участвовал в Ленинградской и Курской битвах, в Восточно-Прусской и Берлинской операциях, в освобождении Белоруссии и Прибалтики.
По окончанию войны командовал войсками Архангельского ВО (1946-1947), был командующим 7-й общевойсковой армии (штаб армии располагался в городе Ереване) (1948-1951), заместителем Главнокомандующего группой советских войск в Германии (1951-1954), командующим войсками Закавказского (1954-1957) и Туркестанского (1957-1965) военных округов. С 1965 года назначается военным инспектором-советником Группы генеральных инспекторов министерства обороны.
8 августа 1955 года И. И. Федюнинскому было присвоено воинское звание генерал армии.
Избирался депутатом Верховного Совета СССР 5-го и 6-го созывов, депутатом Верховных Советов Союзных Республик.
Иван Иванович Федюнинский жил и умер в Москве 17 октября 1977 года. Похоронен на Новодевичьем кладбище.
Одна из улиц Тюмени названа в честь выдающегося военачальника, на фасаде дома № 7 установлена мемориальная аннотационная доска. В 2017 году Ивану Федюнинскому открыли памятник. Имя героя присвоено тюменской школе № 69, в деревне Гилево работает музей Ивана Федюнинского.