A Csepel Vas- és Fémművekből szakmunkásként indult, és nagy népszerűséget elért Kovács József 1967-ben tűnt föl a Táncdalfesztiválon, amelyen a Jöjj vissza hozzám kezdetű dallal viharos közönségsikert aratott. Ezután még két évben, 1968-ban és 1969-ben is megnyerte a fesztivál közönségdíját. Csepel Önkormányzata 1997-ben díszpolgári címet adományozott Kovács Józsefnek, aki ezer szállal kötődött a városrészhez, csepeli gyökereit, szakmunkás indulását egész életében, népszerűsége csúcsán, és a közelmúltban, a Magyar Köztársasági Arany Érdemkereszt kitüntetés átvételekor is büszkén vállalta. Éveken át, legutóbb tavaly karácsonykor koncertet adott a Csepeli Munkásotthonban az Interoperett Társulatával. A Magyar Távirati Iroda a művész halálhírét tudatva azt írta róla, hogy

Kovács József zenei tanulmányait 1968-ban kezdte el az Országos Szórakoztatózenei Központban, ahol előadóművészi szakvizsgát tett.

A Színház- és Filmművészeti Főiskola operett tanszakára 1971-ben jelentkezett. Három évvel később oklevelet szerzett olyan tanárok irányításával, mint Vályi Éva, dr. Sipos Jenő, Nádasdy Kálmán, Vámos László és Seregi László.

A Budapesti Operettszínházhoz 1971-be került, itt a Mosoly országa című operett Szu-Csong hercegeként debütált. Ezután külföldi szerződést kapott, a grazi színházhoz került, ahol egészen 1990-ig szerepelt. 17 év után visszatérve Magyarországra létrehozta az Interoperett Kft.-t, amelyet mostanáig igazgatott. Munkája során számos fiatal énekes tehetséget fedezett fel.