Народився в родині портового вантажника. Закінчив церковно-приходську школу. З дев'яти років працював пастухом, кучером, наймитом, чорноробом на шахтах Донбасу, солеваром на солеваренных заводах у Слов'янську, рульовим на баржі.
У травні 1915 року призваний у Російський імператорський флот, закінчив школу рульових Чорноморського флоту. Служив на мінному тральщику. Учасник Першої світової війни. Після Лютневої революції обраний головою корабельного комітету.
Член РСДРП(б) з лютого 1917 року.
Під час Жовтневого перевороту командував загоном моряків, брав участь у захопленні більшовиками влади у місті Одесі. Вступив у загін Червоної гвардії.
У Червоній армії з лютого 1918 року. У Громадянську війну — комісар штабу 2-ї Революційної армії (Катеринослав), командир і комісар бронепотягу № 4. У 1920 році — командир-військовий комісар групи бронепотягів 13-ї армії РСЧА. Воював на Східному фронті проти чехословацького корпусу і Колчака, на Північному фронті проти Юденича, на Західному фронті проти Польщі, на Південному фронті проти Врангеля. Був двічі поранений, один раз контужений в боях.
Після Громадянської війни у Росії командував бронепотягом, дивізіоном. У 1924 році закінчив Вищу артилерійську школу командного складу, у 1927 році закінчив річні Артилерійські курси удосконалення старшого командного складу, у 1930 році — курси партійно-політичної підготовки командирів-єдиноначальників при Військово-політичній академії імені Толмачова. З 1930 року командував 2-м полком бронепотягів Білоруського військового округу. У 1934 році закінчив Військову академію РСЧА імені Фрунзе.
З 1934 року — у танкових військах, командир 3-го окремого танкового полку в Московському військовому окрузі; з 2 травня 1935 року — командир 15-ї механізованої бригади Київського військового округу.
З серпня 1937 року — начальник автобронетанкових військ Київського (з 26 липня 1938 Особливого) військового округу.
З червня 1940 року — начальник Автобронетанкового (потім Головного) управління РСЧА у Москві.
З липня 1941 року — заступник народного комісара оборони СРСР — начальник Автобронетанкового управління РСЧА, з грудня 1942 року — одночасно командувач бронетанкових і механізованих військ Червоної армії.
Під час німецько-радянської неодноразово виїжджав до військ, був представником Ставки Верховного Головнокомандування в битві під Москвою, у Сталінградській і Курській битвах, учасником оборонних операцій Північно-Західного фронту в 1942 році і наступальної операції на Брянському фронті в червні-серпні 1943 року, наступальних битв на Воронезькому фронті в 1943 році.
Після війни, з квітня 1946 року — командувач бронетанкових і механізованих військ Сухопутних військ СРСР.
Помер у Москві, похований на Новодівочому цвинтарі. Ім'я маршала Федоренка було присвоєне вулицям у Москві, Харкові, Донецьку, Ізюмі.