Il 7 settembre 1903 lo Sport Club Rio Grande, la prima società calcistica brasiliana, disputò una gara dimostrativa a Porto Alegre. Cândido Dias, un imprenditore di Sorocaba, stato di San Paolo, guardando l'incontro si innamorò di quella nuova disciplina. Durante la gara, il pallone si sgonfiò. Essendo Dias il proprietario dell'unico altro pallone da calcio in tutta Porto Alegre, lo prestò ai giocatori, cosicché il match venne ripreso. Al termine dell'incontro, chiese ai giocatori di spiegargli le regole precise del calcio; inoltre, si fece dare istruzioni su come fondare un club.
Il 15 settembre 1903 32 persone, tra le quali Cândido Dias, si incontrarono al ristorante Salão Grau e fondarono una società. Carlos Luiz Bohrer venne eletto primo presidente. Nello stesso giorno, venne fondato un altro club, il Fussball Club Porto Alegre. Il Grêmio e il Fussball Club Porto Alegre erano stati fondati entrambi per attirare la comunità tedesca di Porto Alegre. Il 16 marzo 1904, al Parque da Várzea, il Grêmio batté il Porto Alegre 1-0, diventando in seguito a tale risultato la squadra preferita dalla comunità tedesca. L'esclusività del club si rispecchiò in seguito nelle limitazioni razziali imposte sui giocatori: il primo giocatore di colore sarebbe stato Tesourinha, negli anni '50. I rivali dell'Internacional aprirono le porte ai neri molto prima, negli anni anni '20, comunque non subito, essendo il Nal nato nel 1909.
Nel 1919 il Grêmio fu uno dei fondatori della "Fundação Rio-Grandense de Desportes" (Fondazione Sportiva del Rio Grande). Nel 1921, un anno dopo l'arrivo del portiere Eurico Lara, il Grêmio vinse il suo primo Campionato gaúcho, ripetendosi l'anno dopo.
Il 3 maggio 1981 il Grêmio conquistò il suo primo Campionato nazionale, dopo aver superato il San Paolo nella finale giocata al Morumbi di San Paolo.
Due anni dopo, nel 1983, arrivò il primo titolo internazionale per il Grêmio, che sconfisse gli uruguagi del Peñarol nella finale di Coppa Libertadores. Nello stesso anno il Grêmio si portò a casa anche la Coppa Intercontinentale con la vittoria sull'Amburgo, squadra tedesca campione d'Europa in carica, per 2-1. In occasione di quella vittoria, a Porto Alegre i tifosi del Grêmio cominciarono a ripetera la celebre frase: "La Terra è blu". Un'altra celebre frase creata dai tifosi gremisti quando il club si laureò campione del mondo è "Nada pode ser maior" ("Nulla può essere maggiore"). Poco dopo aver vinto l'Intercontinentale, il Grêmio sconfisse i messicani dell'América a Los Angeles, vincendo la Los Angeles Cup (la Coppa Interamericana).
Nel 1989 il Grêmio conquistò la prima edizione della Coppa del Brasile, umiliando il Flamengo per 6-1 nella gara di ritorno della semifinali, e battendo lo Sport Recife nella doppia finale. Due anni dopo, nel 1991, il Grêmio, dopo una stagione molto negativa, venne retrocesso in seconda divisione. Nel 1993 fece ritorno in prima divisione. L'anno seguente arrivò la seconda vittoria nella Coppa nazionale, con la vittoria sul Ceará nelle due finali.
Nel maggio 1995 il team, guidato da Luiz Felipe Scolari, raggiunse la finale di Coppa del Brasile, perdendo però contro il Corinthians. In agosto, pochi giorni dopo che le riserve avevano vinto il campionato statale battendo l'Internacional, il Grêmio conquistò la Coppa Libertadores, vincendo in finale con i colombiani dell'Atlético Nacional. Nel dicembre dello stesso anno il Grêmio disputò la Coppa Intercontinentale: rimasti in 10 per l'espulsione di un giocatore, i brasiliani si arresero all'Ajax solo ai calci di rigore.
Il 15 dicembre 1996, la squadra portoalegrense vinse il suo secondo campionato brasiliano, battendo in finale la Portuguesa. L'anno dopo arrivò la terza Coppa del Brasile: nelle doppia finale il Grêmio, opposto al Flamengo, con lo 0-0 di Porto Alegre e il 2-2 di Rio de Janeiro uscì vittorioso grazie ai gol segnati in trasferta.
Nel 2001 il Grêmio vinse la sua quarta Coppa del Brasile, battendo nella doppia finale il Corinthians. La prima delle due gare, tenutasi a Porto Alegre, si chiuse sul punteggio di 2-2, mentre il ritorno, a San Paolo, in casa del Corinthians, vide la vittoria del Grêmio per 3-1. Tre anni dopo, nel 2004, dopo una stagione alquanto negativa, il Grêmio chiuse all'ultimo posto in campionato, retrocedendo così per la seconda volta in Série B.
Il 26 novembre 2005, all'Estádio dos Aflitos di Recife, la squadra riuscì a battere il Náutico per 1-0. La particolarità sta nel fatto che che quattro giocatori del Grêmio erano stati espulsi e che il Náutico aveva sbagliato due rigori, uno calciato sul palo da Bruno Carvalho e uno parato del portiere bianco-nero-azzurro Galatto. La rete decisiva venne segnata da Anderson, in quella che è oggi nota come A Batalha dos Aflitos ("La battaglia degli afflitti"). Il Grêmio vinse così il torneo brasiliano di seconda divisione, guadagnando la promozione in Série A.
Il 9 aprile 2006, all'Estádio Beira-Rio, in casa dell'Internacional, il Grêmio vinse il campionati gaúcho battendo gli arcirivali e impedendo loro di vincere il quinto titolo di fila. Nel 2007, all'Estádio Olímpico Monumental, il Grêmio conquistò il suo 35° campionato statale, battendo in finale la Juventude. Nello stesso anno raggiunse le finali di Coppa Libertadores, perdendo però entrambe le gare (punteggi di 2-0 e 3-0) contro il Boca Juniors.
http://www.gremio.net/home/https://www.youtube.com/watch?v=v1esOfGqPw0
