Hafner je ostao u sjećanju mnogih Slovenaca po kadru iz 1988. godine, kada je kao delegat slovenskih komunista na zadnjem partijskom kongresu Saveza komunista Jugoslavije s govornice optužio Slobodana Miloševića za protujugoslavensko djelovanje i priprijetio mu prstom, rekavši "Druže Slobodane, pazite kojim putem ste krenuli", te ga upozorio da njegovi prijedlozi ruše Jugoslaviju i partiju.

Hafner je na tom kongresu bio najstariji slovenski delegat, a sadašnji predsjednik države Borut Pahor najmlađi.

Poslije je Hafner izjavljivao da se ne sjeća dobro tog incidenta s Miloševićem i da mu je žao što ga Slovenci pamte po tome, a ne po mnogim drugim stvarima koje je napravio, primjerice što da je uveo mogućnost mirovinskog osiguranja za poljoprivrednike dok je bio na važnim dužnostima.

Hafner se umirovio odmah nakon zadnjeg kongresa SKJ u Beogradu u jesen 1988. i više se nije bavio politikom. Za vrijeme partijske i dužnosničke karijere pet je godina proveo u Beogradu.