Su Johan Van der Velde i tifosi olandesi nutrivano grandi speranze: molti pensavano che avrebbe potuto conseguire numerosi successi sia nelle classiche, che nelle grandi corse a tappe.
Nei primi anni da professionista ottenne in effetti dei buoni risultati, ma senza fare mai il salto di qualità per diventare un vero "numero uno":
nel 1978 vinse il Giro d'Olanda, nel 1980 il campionato nazionale olandese, nel 1981 conquistò due tappe al Tour e l'anno successivo ottenne il suo miglior risultato nella corsa francese, finendo terzo; fu anche per la seconda volta campione nazionale.
Negli anni successivi non riuscì a ripetersi a questi livelli, ma ottenne comunque dei buoni risultati, per la maggior parte legati al Giro d'Italia e in particolare alla classifica a punti.
Nel 1985 conquistò infatti la maglia ciclamino, senza però vincere nemmeno una tappa; l'anno successivo fu secondo nella classifica a punti dietro a Guido Bontempi ma conquistò la tappa con arrivo a Peyo Terme; poi partecipò anche al Tour vincendo una tappa ed indossando per due giorni la maglia gialla.
Nel 1987 ritornò a vincere la maglia ciclamino, aggiudicandosi inoltre due tapponi dolomitici con delle spettacolari fughe solitarie.
Nel 1988 sempre al Giro Van der Velde sfiorò l'impresa leggendaria, andando in fuga sul Gavia e conquistando il GPM, ma poi fu bloccato dal freddo e non riuscì a proseguire la sua corsa in discesa, nonostante un giaccone offertogli da un tifoso. Se quella fuga fosse andata in porto, la classifica finale di quel Giro avrebbe potuto essere diversa. Alla fine Van der Velde conquistò comunque la maglia ciclamino per la terza volta.
Corse poi altre due stagioni, ma senza ottenere risultati di grande rilievo.