Rumsas nasce nel 1972 a Pagegiai, piccola cittadina della Lituania. Già da piccolo si notano in lui spiccate doti sportive e a 13 anni approda alla scuola dello sport di Panevezys. Viene convocato diverse volte nelle rappresentative dell'Unione Sovietica e nel 1989 arriva per la prima volta in Italia per partecipare al Giro della Lunigiana; nello stesso anno vince i Campionati Europei Juniores a Bucarest. Dal '91 al '95 partecipa a corse under 23 in Belgio, Olanda e Francia, ma soprattutto in Polonia, mettendosi molto spesso in luce.
Nel 1996 arriva al professionismo, alla Mroz, formazione polacca nella quale milita fino al 1999. Nel 2000 si trasferisce in Italia alla Fassa Bortolo e subito arrivano le vittorie al Giro di Lombardia e la quinta piazza alla Vuelta. Nel 2001 sempre con la Fassa domina al Giro dei Paesi Baschi, vincendo la seconda tappa ed aggiudicandosi la classifica finale. Arrivano numerosissimi altri piazzamenti e nel 2002 approda alla Lampre. Con la formazione capitanata da Gilberto Simoni, Rumsas si piazza quinto al Giro d'Italia e terzo al Tour de France, dietro Armstrong e Beloki. E' il 28 luglio e quella mattina sua moglie Edita viene arrestata alla dogana di Chamonix, perchè in possesso di prodotti sospetti.
La Lampre annuncia la sospensione con effetto immediato del suo corridore, il quale afferma che i prodotti trasportati da sua moglie sono destinati alla suocera malata. La settimana successiva Raimondas viene sottoposto ad un test antidoping a Riga con risultato negativo. Raimondas si ritrova comunque solo in Italia con tre figli mentre sua moglie viene rilasciata solo l'11 ottobre 2002. Rumsas viene reintegrato dalla Lampre e riparte nel 2003 con grandi obiettivi. Al Giro d'Italia è protagonista e termina in sesta posizione, ma viene trovato positivo all'EPO dopo la tappa di Avezzano; il 18 luglio 2003 è sospeso per un anno dalla federazione lituana di ciclismo.
Scontata la squalifica ritorna tra i prof trovando un contratto con l'Acqua e Sapone di Palmiro Masciarelli. Nell'ottobre 2004 partecipa ai Mondiali di Verona con la maglia della Lituania e a dicembre Raimondas e sua moglie sono rinviati a giudizio, insieme al medico polacco Krzystof Ficek, che aveva prescritto le sostenze dopanti, al tribunale di Bonneville (Alta Savoia).
Nel frattempo rescinde il contratto con l'Acqua e Sapone dopo essersi reso conto che la piccola formazione professionistica di Masciarelli viene scartata dagli inviti alle gare per la sua presenza. Così nel 2005 si dedica alle Granfondo con la formazione Parkpre-Selle Italia e i successi arrivano a ripetizione. A giugno si reca in patria per correre il campionato nazionale e il 24 diventa campione lituano della prova a cronometro. Il 28 giugno al suo rientro in Italia (da tempo vive a Lunata di Lucca) viene arrestato dai Carabinieri di Capannori (Lucca) che hanno ricevuto il mandato d'arresto europeo inviato attraverso l'Interpol dalla Corte di Appello di Chambery (Francia). Il ciclista lituano è accusato dalla procura di Bonnevile del reato di contrabbando di medicinali proibiti e questa storia dopo averlo costretto ad una "vita da ciclista amatoriale" rischia di essere la sua ultima corsa.