Nijemac grčkog, ili Grk njemačkog porijekla, prvu utakmicu kao profesionalni nogometaš odigrao je 2007. Otac mu je rodom iz grčke Trikale, a majka iz Urugvaja. Do 2001., igrao je za amaterski klub Südring, nakon čega se povukao iz nogometa kako bi se zaposlio u skladištu, a zarađenim novcem izdržavao je djevojku i njihovo tek rođeno dijete. Godine 2005., vratio se nogometu i eksplodirao u drugom amaterskom klubu – Viktoriji Kahl, gdje je igrao kao napadač i u jednoj sezoni postigao 15 pogodaka. Tako je stigao u drugu momčad Münchena 1860, gdje je 2007. potpisao svoj prvi profesionalni ugovor.

U ljeto 2009., na nagovor trenera Ewalda Lienena, poznatog po tome što je za igračkih dana nosio majice s porukama za mir i protiv nuklearne energije, prešao je na poziciju lijevog beka. Godinu dana poslije, promjena se isplatila – Lienen je postao trener Olympiakosa, a kako je klubu očajnički trebao napadački orijentirani lijevi bočni igrač, tako je sa sobom poveo Holebasa. No nakon što je Lienen potjeran zbog neuspjeha u Ligi prvaka, Holebas se morao nositi s pritiskom lošeg starta sezone te se dokazivati novom treneru Ernestu Valverdeu.

Tada ga je spazio Fernando Santos, Portugalac na čelu grčke reprezentacije. U studenom 2011., José je dobio grčko državljanstvo, za što je morao promijeniti ime u Iosef. Istog mjeseca, zaigrao je i u prvom prijateljskom susretu protiv Rusije završenom 1:1, i čak sudjelovao u akciji za pogodak.

Godine 2012., Holebas je bio u grčkom sastavu na Europskom prvenstvu. Zbog žestokih kritika javnosti, kojoj se nije sviđalo njegovo prečesto napuštanje obrane, izostavljen je iz prve postave na trećoj utakmici protiv Rusije. No, nakon njegova ulaska u posljednjih pola sata, igra Grčke je živnula, što je dovelo do pobjede od 1:0. Sveukupno, Holebas je zabilježio 20 nastupa, a očekuje se da će i u Brazilu biti u početnoj postavi.