Koós János 1937. november 21-én az erdélyi Gyergyószárhegyen látta meg a napvilágot Kupsa János néven, majd a családja négyéves korában Miskolcra költözött. A helyi Bartók Béla Zeneművészeti Szakközépiskola elvégzése után a fővárosi Zeneművészeti Főiskolán diplomázott oboa szakon. Művészi pályafutását az Országos Pénzügyőr Zenekar tagjaként kezdte, táncdalénekes karrierje csak ezután indult be.

Első táncdalénekesi felkérését 1960-ban már Koós János néven kapta – a műsor rendezője, a kétszeres Jászai Mari-díjas rendező, Marton Frigyes átkeresztelte, mert szerinte Kupsa néven nem futott volna be.

Táncdalfesztiválokon nagy közönség- és szakmai sikert aratott – három fesztivált megnyert –, legemlékezetesebb dala a Kislány a zongoránál, amellyel az 1968-as Táncdalfesztivált meg is nyerte.
Énekesi karrierjével párhuzamosan a színészként is ismertséget szerzett, 1966 és 1970 között három filmben is szerepelt.

1982-től 1985-ig a Mikroszkóp Színpad tagjaként paródiákban is brillírozott. Pályája itt és ekkor kapcsolódott össze Hofi Gézával, akivel híres énekes-parodista duót alakítva számos sikeres színpadi és televíziós produkciót készített.

Később a karmesterséggel is megpróbálkozott, szimfonikus zenekart vezényelt a Zeneakadémián is, 1999-től pedig televíziós szórakoztató műsorokat vezetett.

Örökzöld slágerei, mint az Annyi ember él a földön, Kapitány, Mondjátok meg Máriának, Nem vagyok teljesen őrült, Sír a telefon a magyar könnyűzene legendás dalaivá váltak. Koós János Artisjus zenei életműdíjat és a Hungaroton lemezkiadótól életműlemezt vehetett át. 2014-ben Szenes Iván-életműdíjjal tüntették ki.

Koós János 2019 március 2-án, rövid ideig tartó betegség után, 81 éves korában hunyt el. Felesége, Dékány Sarolta elmondása szerint az énekes halála előtt vállműtéten esett át. Már éppen hazaengedték volna a kórházból, de az orvosok jobbnak látták, ha még a felügyeletük alatt marad. Sajnos azonban néhány nappal később a kórház folyósóján összeesett, felesége szerint „a szíve vitte el”.
Utolsó útjára családja, barátai, pályatársai és rajongói kísérték a Farkasréti temetőben.
