8B e menores

A faixa de 8B e menores é onde as vantagens do local aparecem com mais nitidez e onde seus limites são mais honestos. É também o patamar onde o hardware deixa de ser barreira: 6 a 8 GB de VRAM, ou 16 GB de RAM unificada num Mac, dá para rodar Qwen3 8B em Q4_K_M com contexto curto, e até mesmo 4 GB acomoda Phi-4-mini ou SmolLM3 com folga para o sistema. Uma notebook comum de 2024 já basta. A pergunta que essa faixa responde não é “qual modelo eu uso” e sim “para quais tarefas um modelo do tamanho de uma pasta de downloads já entrega”.

Privacidade como caso de uso estrutural

A primeira tarefa onde o local é categoricamente melhor que cloud, não apenas comparável, é o processamento de dados sensíveis. Contratos, prontuários médicos, especificações técnicas internas, código proprietário sob acordo de IP restritivo: em todos esses casos, a confidencialidade é estrutural, não contratual. Não importa o que a política da OpenAI diga quando o texto cruza a rede, sofre processamento em hardware que você não controla. Um modelo local significa que o documento nunca sai da máquina, e isso é o único desenho que resolve a exigência para indústrias reguladas.

É por essa razão que Phi-4-mini (3,8B) virou a recomendação de fato para Q&A privado de documentos de até cerca de 50 mil palavras. Sua janela de 128K dispensa RAG para volumes individuais: cola-se o documento inteiro no prompt e pergunta-se. Para volumes maiores, ou onde cada usuário tem sua própria base e nenhum vê a do outro, monta-se um RAG local com Chroma ou Qdrant rodando offline, e Phi-4-mini como motor de leitura. A receita é reproduzida por toda a bibliografia de 2026 com variações mínimas.

Uma distinção que vale registrar: SmolLM3 (3B) tem também janela de 128K, mas construída por estágios sequenciais de extensão (4K → 32K → 64K → 128K via YARN), ao passo que Phi-4-mini tem a janela nativa. Para documentos genuinamente longos que se aproximem do limite, o SmolLM3 degrada menos pós-contexto nativo, enquanto modelos que pularam os estágios intermediários degradam acentuadamente fora da extensão com que foram treinados. A distinção é técnica, mas determina qual modelo usar quando o documento é grande de verdade, e não parece.

Coding assistente com contexto apertado

A entrada aqui é separar duas tarefas que customers tratam como uma. Autocomplete inline é a sugestão de poucos tokens enquanto se digita. Coding chat é a conversação em turnos sobre um problema. As duas pedem modelos diferentes.

Em autocomplete, Qwen2.5-Coder 7B tem 88,4% no HumanEval e suporte a Fill-in-the-Middle, o que o torna o caso clássico de plugar em Continue ou Tabby para replicar Copilot sem mandar código a ninguém. Roda em 5 GB de VRAM em Q4, deixando margem para contexto. O ponto de desenho que importa é que esse uso não exige raciocínio de codebase inteiro; exige resposta rápida que respeite a forma do arquivo existente. É nesse regime que 7B brilha.

Em coding chat, Qwen3 8B é o ponto de equilíbrio tipicamente recomendado: 65,6% no LiveCodeBench, suficiente para dialogar sobre trechos curtos, refatorar funções isoladas, gerar testes, escrever mensagens de commit a partir do diff. O detalhe operacional que mais aparece nas notas práticas é a importância do contexto apertado: tudo o que importa precisa caber num único prompt com folga, e a transformação precisa ser mecânica, não arquitetural. No instante em que se pede ao modelo entender um codebase amplo, racionar sobre implicações arquiteturais ou fazer julgamentos de design, pede-se capacidade que essa faixa não tem.

A配套 para hardware ainda mais apertado é Phi-4-mini de novo: roda em 4 GB de VRAM, ainda briga por uma fatia real de tarefas de código. Para uma laptop sem GPU, Llama 3.2 3B e Qwen3 4B são fallbacks válidos, ainda que o piso em qualidade seja inequivocamente Phi-4-mini.

Transformação de texto em alto volume

Esta é o uso que mais aparece subestimado nas fontes. Convertir texto não-estruturado em saída estruturada é algo que modelos de 3B a 8B fazem com consistência boa: parsear linhas de log, extrair named entities de emails, puxar uma tabela embutida num PDF para linhas máquina-legíveis, classificar registros por categoria. Para pipelines de engenharia de dados, pré-processamento ETL, parse de documentos, classificação de log, rodar extração localmente elimina dois custos que cloud tem e local não tem: custo por token em escala, e a questão de onde os dados do cliente vão durante o processamento.

Um pipeline que processa 10 mil documentos por dia paga zero por documento com um modelo local. A mesma throughput por cloud carrega custo variável material e exige enviar os documentos pela rede. Quando a sensibilidade dos dados é média, a_PRIVACIDADE_ não é o motor, o custo é. Para logs com IPs internos e nomes de host, é a sensibilidade que vira o motor. Em ambos os casos, a tarefa é a mesma: a mesma prompt template rodando contra muitos inputs, baixa complexidade por item, e é onde a economia do local se manifesta sem talento extra do modelo.

A limitação aqui é sobre o tipo de transformação, não o tamanho..extração determinística de campos de um schema que se conhece funciona bem. Tarefa que exige raciocínio sobre múltiplos documentos ao mesmo tempo, ou que exige julgamento semântico sobre conteúdo ambíguo, começa a escapar da capacidade dessa faixa.

Edição de prosa e tradução técnica

Para editar prosa, apertar parágrafos verbosos, detectar abuso de voz passiva, checar consistência de tom entre seções, 3B basta. Não se precisa quality frontier para revisão que é, no fundo, pattern matching sobre estilo. Phi-4-mini e SmolLM3 dão conta disso com folga. Para prosa mais longa com estrutura argumentativa complexa, um 7B a 8B (Qwen3 8B, ou Gemma 3 12B se houver 16 GB) lida com mais nuance. Em Apple Silicon com 24 GB de unificação, o trade-off entre qualidade e custo de hardware quase não existe.

Tradução offline de documentação técnica, registros de RH, petições legais e contratos desvia a pergunta de “qual modelo é bom” para “qual par de idiomas o modelo viu no treino”. A observação empírica que se repete nas fontes: inglês-francês e inglês-espanhol são notavelmente melhores que inglês-português, refletindo a distribuição de dados de treino. Para tradução de prosa matizada, frontier ainda manda. Para documentação técnica e conteúdo factual direto, modelos locais pequenos são usáveis, e a vantagem continua sendo que nada sai da rede. TranslateGemma 4B é o “especializado” dessa faixa: 3,3 GB de footprint, 55 idiomas, supera a baseline do Gemma 3 4B. Para cobertura rara de pares de idiomas, NLLB-200 1.3B ocupa 2 GB e é literal, mas preciso.

Agentes leves com function calling

Phi-4-mini suporta function calling e segue system prompts de ferramentas como modelos cloud. Isso habilita agentes locais que realmente executam shell commands, escrevem arquivos, encadeiam chamadas de ferramenta. Um ranking de 2026 coloca Qwen 3.5 9B (faixa próxima) em 66,1 no BFCL V4, à frente do GPT-5 mini (55,5) em function calling. Para cadeias curtas de 2 a 3 passos, controle de casa inteligente, chamadas simples de API, scripts que executam shell e gravam arquivos, isso é usável hoje.

A fronteira que se repete é a mesma da pesquisa de agentes em DevOps: investigation autônoma é OK, ação irreversível precisa de humano na eclusa.Em modelos dessa faixa,a fronteira adicional é o tamanho da cadeia. Cadeias de 5+ passos já falham frequentemente, e confiar num 8B para conduzir um workflow de 10 passos com estado implícito é pedir problema. O desenho defensável é manter as cadeias curtas, explicitar o estado em argumentos de função (não em “memória de conversa”), e tratar falhas como recomeçáveis. Continuar a eclusa do humano para tudo o que escreve arquivo ou chama API com efeito real.

Onde essa faixa fica aquém

As limitações de 8B e menores são honestas e valem nomear para não criar expectativa errada.

Raciocínio multi-hop longo. Tarefas que exigem rastrear muitas restrições interagentes, modelagem financeira com múltiplas variáveis, análise legal com condicionais em cascata, problemas de competitive programming, produzem mais erro nessa faixa do que frontier. Phi-4-mini reasoning aperta a distância para problemas estruturados de matemática, mas a distância para GPT-4o ou Claude Sonnet nas tarefas de raciocínio mais difíceis é real. Se o caso de uso exige raciocínio multi-passos confiável em problemas difíceis, essa faixa não é a ferramenta primária.

Conhecimento pós-cutoff. O treino de qualquer modelo local para em data fixa. Sem RAG por cima, ele não responde sobre eventos recentes, e ou nega ou alucina com confiança. Se o caso é “responda sobre o que está acontecendo agora”, o default errado é um local sem retrieval.

Contexto coerente além de 16K. Janelas de 32K ou 128K existem, mas capacidade de racionar sobre tudo aquilo degrada depois de 8K a 16K na maioria dos modelos. Documentos longos que exigem síntese Cross-seção são onde o gap com cloud de contexto longo genuíno aparece.

Pipeline multi-modelo simultâneo. Não cabem dois 7B numa GPU de 8 GB. Troca-se entre eles, o que limita arquiteturas que precisariam de um modelo de embedding + um de chat rodando ao mesmo tempo. Em hardware de 12 GB ou mais isso relaxa.

Palavras-chave

Conceitos: privacidade estrutural, Q&A de documentos, autocomplete, Fill-in-the-Middle, function calling, transformação de texto estruturada, agentes leves, contexto apertado, janela nativa vs extrapolada, CAG Modelos: Phi-4-mini, Qwen3 8B, Qwen2.5-Coder 7B, Gemma 3 4B, SmolLM3, Mistral 7B, TranslateGemma 4B, NLLB-200 Ferramentas: Continue, Tabby, Open-WebUI, Chroma, Qdrant Hardware: 6-8 GB VRAM, 16 GB unified memory, Raspberry Pi 5