Kovács István edzői pályáját a Kolozsvári Universitateánál kezdte, majd rövid időn belül a román válogatott szakmai stábjába került, ahol Vogel Imre és George Popescu mellett dolgozott. Az 1956-os gyengébb idény után a másodosztályú Dermatához szerződött, de hamar visszatért az egyetemi csapathoz, amelyet bajnoki címmel juttatott vissza az élvonalba. 1962-ben állami edző lett, dolgozott az utánpótlásnál és a B-válogatottnál, később pedig Ilie Oanával együtt irányította a nemzeti csapatot a tokiói olimpia után, a 1966-os világbajnoki selejtezők idején.

Fotó: ajax.nl
Herrerától Kovács az intenzív edzések, a fegyelem és a szervezett védekezésből indított gyors ellentámadás fontosságát tanulta meg, de sokat finomított a játékfilozófián, amit totális futballként ismer a közvélemény. Meglátásairól könyvet is írt, Football Total címmel, amely 1975-ben jelent meg francia nyelven.
A világbajnoki selejtezők során Románia a portugálok mögött végzett, de az igazán nagy pofon az Európa Kupa-sorozatban érte a csapatot, miután Zürichben 7–1-es vereséget szenvedtek. A vereség okát sosem sikerült teljesen megfejteni, Kovács szerint valami nem volt rendben az étkezéssel. A botrány után az edzői stábot és a szövetség vezetését is leváltották. Kovácsnak módszertani szerepet ajánlottak, de visszautasította: „Ahol sas voltam, ott verébnek nem maradok” – idézte fel Móra László: Kovács István, a futballpápa című könyvében.
1967 nyarán a Steauához szerződött, ahol négy év alatt egy bajnoki címet és három Román Kupát nyert. Tudatos fiatalítással épített új generációt, ekkor formálódott az a gárda, amely később nagy sikereket ért el, és amelyből több játékos, köztük Szatmári Lajos, Víg József és Dumitru Nicolae válogatott lett.
A világ tetején
1971 tavaszán az Ajax Amszterdam érdeklődött iránta. Eleinte titokban tárgyalt, még azt a látszatot is keltette, mintha a Sparta Rotterdammal egyezkedne, de május végére hivatalosan is az Ajax edzője lett. Kovács nemzetközi tapasztalata, tanulmányútjai, valamint Herrera és Schön ajánlása tették lehetővé, hogy Amszterdamba kerüljön. Eleinte bizalmatlan légkör fogadta, a játékosok és a sajtó is szkeptikus volt, hiszen a BEK-győztes csapat Michels után egy névtelen keleti edzőt kapott. Kovács németül szólt a játékosokhoz, és kijelentette: „Mostantól én vagyok a ti mostohaapátok”. Kovács embersége és pszichológiai érzéke hamar meghozta az eredményt. Nem a hajviseletük, hanem a játékuk érdekelte, szabadabb légkört teremtett, amely segített a játékosoknak megszabadulni félelmeiktől és görcseiktől. Az edzéseket úgy szervezte, hogy a hétfői pihenő, a kedd–csütörtöki intenzív és a pénteki–szombati könnyített gyakorlatok biztosítsák a csapat frissességét, aminek köszönhetően a mérkőzések 85 százalékában győztesen hagyta el a pályát.
Az Ajax az Inter elleni rotterdami döntőben megvédte a címét, majd egy évre rá Belgrádban a Juventust is legyőzte a BEK-döntőben, nem véletlen, hogy minden idők egyik legjobb futballistája, Johann Cruyff szerint Kovács gyakorolta rá a legnagyobb hatást. A játékosok kiálltak mellette, amikor a klub vezetősége megvonta volna tőle a bizalmat. Az Ajax mindent megnyert, amit lehetett, többek között az Interkontinentális Kupát is az Independiente ellen. Kovács távozása után a világverő csapat rövid időn belül széthullott, Cruyff és Neeskens is Barcelonába igazolt.

Fotó: ajax.nl
Arról, hogy az Ajax játékosai mennyire megkedvelték Kovács Istvánt, mindennél beszédesebb, hogy a mindenhova kerékpárral közlekedő tréner távozásakor a játékosok saját pénzükből egy fehér Renault-t vásároltak számára, ami Hollandiában különösen nagy gesztusnak számít. Az Ajaxnál elért sikerek után a francia válogatott élére került, ahol szakmai igazgatóként az 1984-es Európa-bajnok, Platini vezette csapat alapjait fektette le, jelentős szerepet játszott a clairefontaine-i edzőközpont létrehozásában, amely később a 1998-as világbajnoki címhez is hozzájárult.

Fotó: ajax.nl
Kovács István 1976 januárjában tért vissza Romániába, és a Román Labdarúgó-szövetségnél alelnöki, technikai igazgatói, valamint a válogatottak edzői feladatait is ellátta. A nemzetközi sikerek azonban elkerülték, hiszen kétszer is elmaradt a kijutás a világbajnokságokra, 1978-ban Argentínába, majd 1982-ben Spanyolországba. Utóbbi sorozatban éppen a magyar válogatott előzte meg Romániát, amit sokan nem tudtak megbocsátani Kovácsnak. A Ceaușescu-rendszer udvari költőjeként ismert Adrian Păunescu és a polihisztor futballistaként emlegetett Cornel Dinu egy-egy újságcikkben gyakorlatilag hazaárulónak nevezte a trénert. A román válogatott után dolgozott még a Panathinaikosz és az AS Monaco vezetőedzőjeként, az athéniakkal stílszerűen egy görög kupát nyert, ez volt pályafutása utolsó komolyabb trófeája. A hercegségbeli csapatnál egy bizonyos Arsene Wenger követte a kispadon.