Tarefas transversais

Há tarefas que não se encaixam só numa faixa de tamanho. RAG, fala, visão e agentes com function calling atravessam as faixas e mudam de caráter conforme o tamanho do modelo. Um Phi-4-mini em RAG é literal “diga o que está escrito”; um Qwen 2.5 32B em RAG sintetiza dentro do contexto recuperado. A primeira coisas a saber sobre essas tarefas é que escolher o tamanho errado não te dá versão pior da mesma coisa, te dá outra coisa inteiramente.

RAG: retrieval é o mesmo, leitura muda

A infraestrutura de RAG é agnóstica ao tamanho do modelo: o pipeline de chunking, embeddings por um modelo separado (normalmente 0.5B a 1.5B especializado), indexação em Chroma ou Qdrant rodando offline, e injeção de chunks relevantes no prompt na hora da pergunta. O que muda com o tamanho é o que o modelo faz com os chunks injectados.

Em 3B a 8B, a leitura tende a literal. O modelo reporta o que está nos chunks, com fidelidade alta enquanto o contexto é curto mas perde capacidade de sintetizar entre múltiplos pedaços. Phi-4-mini e Qwen3 8B atendem bem o padrão “ache onde diz X e responda”, que é grande parte do Q&A de documentos internos em indústrias reguladas.

Em 14B a 32B, o modelo começa a racionar sobre o recuperado. Qwen 2.5 32B em Q4 numa RTX 3090 aparece repetidamente como “melhor qualidade RAG local”, porque na faixa de 30B a leitura vira sintese: o modelo cruza informações entre chunks, distingue o que é dito do que é implicado, e lida melhor com ambiguidades. Para Q&A que vai além acha-e-diz, a subida de faixa paga.

A fronteira relevante para a escolha entre RAG e CAG também se aplica nessa decisão. Se o corpus é pequeno (digamos, todo o manual de um produto ou a documentação completa de uma API) e estável, e o modelo tem janela de 128K,之称 cacheá-lo integralmente uma vez e perguntar contra o cache frequentemente ganha: latência cai para frações de segundo, o pipeline de retrieval some. Para documentação técnica pequena e estável, esse é o desenho vencedor. RAG continua sendo certo onde o corpus é grande, mutável, multi-tenant, ou onde cada chunk precisa ser citado separadamente, porque CAG perde essas capacidades.

A configuração que se repete como “rápida” é Phi-4-mini com 128K de contexto, rola a documentação inteira no prompt, e pergunta-se. Não há embeddings, vector store, retrieval ou reranking. A dualidade “RAG vs CAG” para documentação pequena já não é uma discussão sobre qual é melhor arquitecturalmente; virou qual é mais adequado ao regime de uso, e ambos são alcançados sem esforço nessa faixa de tamanho.

Fala local: STT e TTS com footprint modesto

A maior surpresa no império de 8 GB é que fala local ficou muito boa e muito barata. Os dois modelos que se combinam como stack inteiro, ambos cabendo em 8 GB juntos, são Whisper large-v3-turbo para STT e Kokoro-82M para TTS.

Whisper large-v3-turbo ocupa cerca de 6 GB de VRAM, atinge aproximadamente 7,75% de WER (Word Error Rate), e roda em 6× tempo real. Perto de commercial transcription APIs, a qualidade é equivalente enough para passar por mereka na maioria dos casos de uso. O runtime recomendado é Faster-Whisper para melhor throughput.

Kokoro-82M pesa menos que 1 GB, fica em #1 no TTS Arena, e roda em 96× tempo real em GPU ou 3 a 5× em CPU. Não tem voice cloning, mas tem vozes built-in naturais. Por ser tão pequeno, cabe ao lado de qualquer outro modelo com folga.

Juntos, somam 7 GB, e habilitam um assistant de voz local: transcrição em tempo real do que o usuário fala (Whisper), racionamento sobre o texto (qualquer modelo de chat), e fala back (Kokoro). Não há rede; tudo on-device. O ponto que aparece nas fontes é que contrário à crença comum, montar um assistant de voz local não é “instalar um modelo e ir”; é conectar peças que, felizmente, todas têm footprint modesto.

Para menor ainda: Phi-4-mini e SmolLM3 ambos suportam tarefas de texto, mas a input de voz end-to-end requer Whisper antes do modelo de linguagem ver qualquer texto. É uma dança de partes, não um install único, e que vale saber que a assemblagem é necessária antes de se bancar nesta temporada.

Visão e multimodalidade

A faixa de visão local estável começa em modelos de 7B a 8B com variante VL, e essa classe já faz trabalho documental sério: Qwen3-VL 8B atinge 85,8 em MathVista e 95%+ em DocVVA, lê documentos, interpreta gráficos, descreve screenshots. Usos concretos que aparecem: apontar para screenshot para extrair mensagens de erro, fotografar um whiteboard e virar notas estruturadas, ler um PDF de declarações e responder sobre ele.

Para visão com mais raciocinio integrado, a faixa 27B-32B ainda ganha, mas a fronteira de hardware sobe: aguenta 24 GB de VRAM para os modelos VL dessa classe. Qwen2.5-VL 32B e variantes tornaram-se práticas, mas ainda têm trade-offs que a faixa 8B não tem quando a tarefa é mais simples. A observação prática de 2026 é que para maioria das tarefas documentais, Qwen3-VL 8B é o ponto de equilíbrio entre capacidade e custo.

Llama 3.2 Vision e LLaVA, como variantes mais antigas, são fallback válidos. O ponto que vale Guidar é que, como na tarefa de coding chat vs autocomplete, o caso de uso (ler documento, interpretar gráfico, descrever imagem) decide qual subclasse de visão usar, não só o tamanho do modelo.

Agentes leves com function calling, revisitado

A tarefa de agentes com function calling já aparece em 8B e menores, e merece ser expandida no que é transversal entre as faixas porque o desenho do agente muda com tamanho.

Em Phi-4-mini (3,8B) suporta function calling e segue system prompts como cloud, mas cadeias de 5+ passos já falham frequentemente. A arquitetura defensável é cadeias curtas com estado explícito nos argumentos, não em “memória de conversa”. O ponto de desenho que importa é que a capacidade de function calling é da família e acreditada ser da marca Phi: ele segue o contrato porque foi treinado para isso, e isso é mensurável em benchmarks como BFCL V4.

Em Qwen 3.5 9B o número que aparece em 2026 é 66,1 em BFCL V4, à frente do GPT-5 mini (55,5). Para cadeias de 2 a 3 passos (controle de casa inteligente, chamadas simples de API, scripts que executam shell e gravam arquivos), isso é usável hoje. Para cadeias de 5+ passos com estado implícito, a confiabilidade desaba além de onde faria sentido confiar.

Em 27B a 30B a capacidade de agente fica robusta. Devstral-Small-2 foi construído para loops de agente; Qwen3-Coder 30B-A3B suporta um formato de function call próprio para Qwen Code, CLINE, e a maioria das plataformas agênticas. Aqui a fronteira é a de sempre sem surpresa de Hardware: cadeias longas funcionam mas o custo de latência por passo economizado é o que torna roteamento hibrido mais atraente (próxima página), porque cloud em loop agêntico acumula network RTT, e local por chamada economiza isso.

Uma segunda geração de modelos foi treinada explicitamente como coding agents: SERA-8B da Ai2 atinge 31,7% no SWE-bench Verified com Qwen 3-8B como base, e a família SERA-32B chega a 49,5%, ao nível de Devstral-Small-2 (24B) e de modelos maiores como GLM-4.5-Air (110B). A interessante descoberta do SERA é o método: treino supervisionado em trajetórias sintéticas geradas por um teacher maior, com custo total de US$ 2.000 (40 GPU-days), que é muuuuuuuuuito mais barato que RL. A implicação prática para quem consideira isso é que vale a atenção na base do teacher: performance é limitada pelo que o teacher consegue, e generalização fora do que foi avaliado (Python no SWE-bench) é desconhecida.

O quadro que se desenha

Essas tarefas transversais têm em comum o fato de serem onde “qual modelo escolher” tem menos resposta universal: a tarefa dita mais que a faixa. RAG com 3B é “ler literal”; RAG com 32B é “sintetizar dentro do recuperado”. Agentes em 3,8B ficaram restritos a cadeias curtas; em 29B comportam loops longos. Fala local é dois modelos quase independentes somados. Visão 8B lê documentos perfeitamente, 32B sintetiza dentro de gráficos matematicamente. É o que torna a discussão sobre quantos parâmetros a gente precisa tão dependente de tarefa.

Palavras-chave

Conceitos: RAG, CAG, vector store, embeddings, reranking, STT, TTS, WER, multimodalidade, DocVQA, MathVista, function calling, BFCL V4, SWE-bench Verified, cadeias curtas, estado explícito, agentes de coding Modelos: Whisper large-v3-turbo, Kokoro-82M, Qwen3-VL 8B, Qwen2.5-VL 32B, Llama 3.2 Vision, LLaVA, SERA-8B, SERA-32B, Devstral-Small-2 Ferramentas: Faster-Whisper, Chroma, Qdrant, Open-WebUI Métricas: WER, MathVista, DocVQA, BFCL V4, SWE-bench