De Ypacaraí, no Paraguai, em 1971, Carlos Gamarra começou sua carreira profissional no Cerro Porteño nos anos 90. Antes de chegar ao Brasil, fez uma breve passagem no Independiente, da Argentina, entre 1992 e 1993.
Em 1995 o zagueiro chegou ao Internacional, passou pelo Benfica (1997-98), Corinthians (1998-99), Atlético de Madrid (1999-2000), Flamengo (2000-01), AEK (2001-02), Inter (2002-05), Palmeiras (2005-06) e Olimpia (2007). No Brasil conquistou vários títulos: Campeonato Gaúcho (1997), Campeonato Brasileiro (1998), Campeonato Paulista (1999), Campeonato Carioca (2001) e Copa dos Campeões (2001).