O clube foi fundado no dia 08/01/1899 substituindo o Erste Wiener Arbeiter Fußballklub fundado em 1898.
Desde 1911 o Rapid disputa a primeira divisão austríaca,o clube foi o primeiro campeão da divisão principal,ganhando a taça em 1911-1912 e hoje é o maior campeão nacional com impressionantes 32 títulos.
O Rapid também foi o primeiro campeão da Copa Da Áustria,competição que venceu em 1918-19.
Até 1903 o Rapid não tinha um estádio próprio,mas com o crescimento do número de torcedores ele foi forçado a se mudar para KuK Exerzierfeld na Auf der Schmelz. Rudolfsheimer-Sportplatz (junto Selzergasse / Hütteldorferstraße) que se tornou o primeiro estádio da equipe em 15 de março de 1903.
Em 1912 o Rapid inaugura o Pfarrwiese que vira sua nova casa jogando lá até 1977,que depois se renomeou para Ernst Happel Stadion,em memória a Gerhard Hanappi,que entre as décadas de 50 e 60 disputou mais de 300 jogos pelo clube e marcou 114 jogos.
"Rigo" Kuthan, Josef "Pepi" Uridil, "Wunderteam" jogador de Pepi Smistik,Franz "Bimbo" Binder, "Tiger" Walter Zeman, "Wödmasta" Ernst Happel, os irmãos Körner,Gerhard Hanappi,Franz Hasil,e o "Goleador" Hans Krankl são apenas alguns jogadores que já vestiram o verde e branco da equipe de Hütteldorf, e que ajudaram a tornar o Rapid conhecido em todo o mundo. O jogo forte e a vontade de vencer tudo fez com o clube conseguisse a marca de maior torcida do país.
Duas curiosidades agora,sempre que o clube entra em campo acontece o Rapidgeist uma saudação da torcida para o clube para dizer aos jogadores que eles nunca estarão sozinhos,e nos últimos 15 minutos é a vez do Rapidviertelstunde no qual a torcida aplaude os jogadores para motiva-los ainda mais independente do resultado.
Quem pode se esquecer do jogo Rapid x Schalke que aconteceu em 1941,quando aos 75 minutos de jogo o Schalke vencia por 3x0 e de forma magnifica o Rapid buscou não só o empate,mas conseguiu virar e vencer por 4x3.
Os anos de ouro do clube aconteceram durante os anos 1982 a 1988,no qual o clube venceu 4 vezes o campeonato Austríaco,3 Copas e uma Super Copa.
Em 1984-85 o clube disputou a European Cup,competição na qual bateu Beşiktaş,Celtic,Dynamo Dresden e Dynamo Moscow até perder para o Everton na final pelo placar de 3x1.
O Rapid coloca uma atenção considerável no desenvolvimento de jovens jogadores. Como resultado, nenhum outro clube da Bundesliga tem produzido tantos jogadores caseiros para o time principal.
No ano de 1999 o clube comemorou o seu centenário,e durante 10 dias a Câmara Municipal De Viena virou uma especie de "casa" para o Rapid,ela fora decorada de Verde e Branco e organizou um torneio que envolveu as equipes da Roma,Werder Bremen e o Botafogo (RJ),nos jogos além do elenco do clube,jogadores do passado atuaram também,mas nenhum titulo foi conquistado no ano.
Em 2004-05 o clube conquista seu primeiro campeonato desde 1996,a média de público batia a casa dos 15 mil todos os jogos e fazia relembrar os tempos gloriosos do time.
Em 2007-08 o clube venceu pela 32ª o campeonato,fazendo uma campanha perfeita o clube só tinha o incomodo do Red Bull Salzburg,foi quando o Rapid defrontou o RBS e venceu pelo placar de 7x0 dentro de sua casa,garantindo assim seu ultimo título nacional no campeonato.
