Nvidia apoia startup que roda IA com menos GPUs
Investimento em empresa indiana que otimiza modelos para rodar em hardware modesto — sinal claro de que IA eficiente e acessível é prioridade, ótimo para realidade brasileira de equipamentos limitados.
Ilustração: FayAI Studio
A Nvidia liderou uma rodada Série A de US$ 100 milhões na General Compute, startup indiana fundada por ex-engenheiros do Google e Nvidia que desenvolve um compilador de otimização de modelos chamado 'ModelForge'. A tecnologia aplica quantização adaptativa (INT4/INT8 mista), poda estruturada de atenção e distilação de conhecimento automatizada para reduzir modelos de 70B parâmetros para 4-8B mantendo 95%+ da precisão original em benchmarks de raciocínio e código.
O contexto é a crise de acessibilidade de compute: treinar GPT-4 custou ~US$ 100M em GPUs H100; servir inferência em escala custa centavos por milhão de tokens — mas exige clusters de milhares de GPUs. Startups e pesquisadores fora dos EUA/China ficam reféns de APIs caras (OpenAI, Anthropic) ou de hardware inacessível. A aposta da Nvidia em eficiência de inferência, não só treino, sinaliza mudança de paradigma: 'faça mais com menos silício'.
Para o Brasil, é sinal verde estratégico. Uma RTX 4090 (24GB VRAM) custa R$ 12-15 mil — 5x o salário mínimo. Com otimização da General Compute, um Llama-3-70B quantizado roda em RTX 3060 (12GB, R$ 2.5k usado) ou até em CPU com offloading. Universidades, startups de agritech/fintech e órgãos públicos ganham soberania: fine-tunam modelos em dados sensíveis (bancários, saúde) sem enviá-los para nuvem americana.
Exemplo concreto: uma healthtech de Belo Horizonte pega o Nemotron-3-8B da Nvidia, aplica ModelForge para INT4 assíncrono, e deploya em servidor único com 2x RTX 3080 (20GB VRAM total). O modelo atende triagem de sintomas em português via WhatsApp Business API — 500 req/min, latência <800ms, custo zero de API externa. Dados de pacientes nunca saem do VPC da empresa no Brasil.
Roteiro de estudos: 1) Domine llama.cpp e Ollama para quantização GGUF local. 2) Estude benchmarks do 'LMSYS Chatbot Arena' filtrando modelos <10B — Phi-3.5-mini, Qwen-2.5-1.5B, Gemma-2-2B-IT superam GPT-3.5 em tarefas específicas. 3) Acompanhe vLLM e SGLang para serving otimizado. 4) Teste ModelForge quando abrir beta. O futuro da IA no Brasil não é 'mais GPUs' — é 'melhor software em menos GPU'.
Matéria original · imagem da fonteLer em TechCrunch ↗
