27B a 30B

A faixa de 27B a 30B é onde a qualidade do local cruza a fronteira de “competitivo com cloud mid-tier” e vira “concorrente sério em tarefas de alto uso”. Em 24 GB de VRAM, RTX 3090 usada ou 4090 nova dão conta do recado em Q4_K_M; em Apple Silicon, 32+ GB de memória unificada acomoda o mesmo. Para quem tem 12 GB e está disposto a sipra o custo de offload, MoE como Qwen3-30B-A3B (30,5B total, 3,3B activados por token) ainda roda usável porque só 3,3B de parâmetros são realmente lidos a cada passo. Por essa via, a faixa ficou acessível para um Público mais amplo do que nunca.

Coding agêntico sério

O caso mais sólido dessa faixa é coding agêntico com qualidade comparável a APIs mid-tier. Qwen 3.5 27B denso empata GPT-5 mini no SWE-bench Verified (72,4%), e bate ele em Terminal-Bench 2 por 30%. É uma classe competitiva de coding num footprint que cabe em uma única GPU. Devstral-Small-2 (24B) atinge 50% no SWE-bench e foi construído especificamente para loops de agente. SERA-32B, da Ai2, chega a 49,5% com treino supervisionado em trajetórias sintéticas.

Uma distinção importante dentro dessa faixa é a que separa modelos densos de MoE. Um MoE como Qwen3-Coder-30B-A3B tem 30,5B de parâmetros totais mas só 3,3B ativados por token, o que traz dois efeitos opostos. Por um lado, geração mais rápida e throughput mais alto no mesmo hardware, com cobertura mais ampla em tool calling e capacidade de lidar com mais assuntos. Por outro lado, a fidelidade em sessões longas de coding sofre: há relatos de community em r/LocalLLaMA sobre diffs quebrados e APIs alucinadas em sessões longas, com o MoE perdendo para o denso 27B no SWE-bench sustaining coding (69,2 vs 72,4) e no LiveCodeBench (74,6 vs 80,7).

A regra prática que emerge é a escolha por caso de uso. Para coding sustentado, sessões longas onde diff fidelity importa, o denso 27B é o pick. Para agentic coding com muitos tool calls e necessidade de cobertura ampla, o MoE 30B é mais rápido e comporta mais amplo. Não é um vencedor; é uma escolha orientada pelo tipo de risco que se aceita.

O teste prático mais honesto dessa faixa veio de um teste independente rodando modelos locais através do OpenCode sobre uma tarefa concreta de migração: mapear URLs antigos para novos seguindo regras estritas. Qwen 3.5 27B rodando em Q3_XXS no llama.cpp acertou 95% das linhas, à frente de modelos cloud menores e à frente também da própria versão 35B em quant mais agressivo. A descoberta não esperada desse teste: modelos maiores mal quantizados degradam muito mais em saídas estruturadas do que em tasks abertas. Qwen 3.5 35B em Q4_XS colapsou os targets para paths de categoria (e.g. /developer-tools/terminals-shell/ em vez do slug específico), com 99% de erro. O 27B em IQ3_XXS, bem quantizado por Unsloth, manteve a integridade. A conclusão prática é que para saída estruturada estrita, o 27B com quant bom é mais confiável que o 35B com quant apertado, mesmo这两个 o mesmo vendedor e o mesmo nível nominal de quantização.

MoE em cards de 12 GB: o truque do offload

A receita mais relevante de acesso econômico a essa faixa é rodar Qwen3-30B-A3B numa RTX 4070 de 12 GB, com offload de experts para CPU/RAM. Os Q4_K_M GGUF pesam 18,6 GB, excedendo a VRAM. A arquitetura MoE tem uma propriedade que habilita o truque: só 3,3B params são ativados por token, então os experts FFN residentes no CPU ficam rápidos o suficiente para ser usável, porque a CPU só tem que produzir 3,3B de ativações por passo, não 30.

Olla faz isso automaticamente, detectando VRAM disponível e particionando o modelo entre GPU e CPU. Nenhuma flag necessária. Para controle fino no llama.cpp:

./build/bin/llama-server \
  -m models/Qwen3-30B-A3B-Q4_K_M.gguf \
  -ngl 999 \
  --cpu-moe \
  --ctx-size 32768 \
  --flash-attn \
  --port 8080

--cpu-moe mantém todos os pesos de experts FFN no CPU/RAM, com attention e KV cache na GPU. Para tunar fino, --n-cpu-moe N mantém só os experts dos primeiros N layers no CPU, deixando pressionar mais na GPU conforme a VRAM permite. A régua empirica é baixar N até dar OOM, depois voltar um. Esse é o ponto doce para aquela placa.

As consequências operacionais que valem saber: o throughput fica em torno de 40 a 80 tok/s numa RTX 4070, que é usável para interativo mas não para servir múltiplos usuários. Em 16 GB de VRAM, o 30B-A3B em Q4_K_M (19 GB) não cabe, então o offload mata a vantagem e 14B em GPU full vira a escolha melhor. Para 24 GB de VRAM, tudo isso é discutível porque a Q5_K_M cabe inteiro (22 GB), ou Q8_K em dual 24 GB.

Escrita que humanos vão ler

Onde essa faixa ganha matiz é em escrita que vai ser lida por humanos. A observação recorrente nas fontes é que Gemma 3 27B escreve o inglês menos robótico do tier: seus emails soam como uma pessoa apressada os escreveu (que é o objetivo), não como um departamento de HR gerou. Tem FLEx para o tom corporate-”estou excitado em aproveitar sinergias” que alguns modelos não conseguem evitar. Qwen3 30B traz os scores mais altos de código de qualquer modelo aberto pequeno, e com Apache 2.0 não há problemas de licença.

Para notebooks curtains, Mistral Small 3 é uma alternativa direta e rápida, boa em fazer exatamente o que se pede sem editorializar, e ganha quando se quer um draft rápido sem necessariamente calor na prosa. Não é competidor do Gemma 3 para prosa humana, é complementar para uso diferente.

A fronteira de hardware nessa faixa para escrita vale nota: Gemma 3 12B em 16 GB já entrega muito do que o 27B entrega em prosa, e para muitos casos de uso a descida de qualidade é pequena frente à descida de custo. Se o alvo é apenas escrita humana, não coding,12B muitas vezes é o ponto de equilíbrio melhor em Machine Apple ou GPU de 16 GB. O 27B fica reservado para quando se quer também coding ou raciocínio, não só escrita.

RAG de alta qualidade

Qwen 2.5 32B em Q4 numa 3090 aparece repetidamente comomelhor qualidade RAG local. A razão é que essa faixa de tamanho raciona sobre contexto recuperado melhor que as menores, mas sem o custo de 70B, e mantem coerência em chunks múltiplos mais confiavelmente. Phi-4-mini e 8B movem-se no limite de extração literal”conta-me o que está escrito aqui”; o 32B começa a sintetizar dentro do contexto recuperado de forma mais útil.

Para pipelines RAG que servem múltiplos documentos de uma coleção pequena e estável, a fronteira CAG x RAG que o documento de fundamentos sobre RAG cobre é aplicável aqui: se o corpus cabe em 128K tokens e é amplamente consultado, cacheá-lo integralmente e deixar o 32B racionar sobre o cache (CAG) frequentemente ganha de RAG em latência e custo, sem perder em qualidade.

Visão e multimodalidade nessa faixa

A faixa 27B-30B não é onde a multimodalidade local fica mais rica, mas vale mencionar que Qwen3-VL 8B na classe vizinha já atinge 85,8 em MathVista e 95%+ em DocVQA, lendo documentos, interpretando gráficos, descrevendo screenshots. Para tarefas de visão que necessitam de maior raciocínio integrado com texto, a faixa acima, com Qwen2.5-VL 32B e variantes, começa a se tornar prática em 24 GB. A discussão mais rica sobre multimodalidade local está na página sobre tarefas transversais, porque o ponto de inflexão costuma vir junto com áudio (Whisper) e com TTS (Kokoro).

Onde essa faixa fica aquém

A régua de limitações vale ser honesta.

Raciocínio multi-passos de horizonte longo. Frontier ainda manda em pensamento que mantém cinco coisas na cabeça e encadeia. 30B-A3B approximate essa fronteira quando se aceita parar e fazer explicitly-checkpointed planos, mas para problemas de raciocínio genuinamente longo (modelagem financeira complexa, análise legal com condicionais em cascata), a distância para frontier é real.

Manter coerência de voz em múltiplos idiomas simultaneamente. Modelos locais tendem a achatar a voz entre traduções, problema que frontier preserva melhor. Isso importa particularmente para sites trilíngues ou produção de conteúdo multi-idioma.

Frameworks e linguagens obscuros. Modelos pequenos viram menos da longa cauda de frameworks do que frontier. Para frameworks recentes, obscuros, ou específicos de um domínio, o modelo pode ” quase saber”, e esse meio-conhecimento é pior que não saber: ele produz saída plausível que está errada nos detalhes. Antes de confiar nessa faixa para um framework exótico值得 validar em uma task representativa.

Fidelidade de diffs em sessões longas (MoE only). Mesma observação de antes, mas vale isolar como limite do MoE especificamente: em sessões de coding que duram dezenas de turnos, diffs quebrados e APIs que não existem aparecem em relatórios de comunidade. A mitigação é truncar a sessão e recomeçar com estado explícito, ou trocar para o denso 27B se diff fidelity for crítico.

Palavras-chave

Conceitos: coding agêntico, SWE-bench Verified, LiveCodeBench, MoE offload, expert FFN, diff fidelity, fidelidade estruturada, function calling, saída estruturada estrita Modelos: Qwen 3.5 27B denso, Qwen3-Coder 30B-A3B, Gemma 3 27B, Gemma 3 12B, Devstral-Small-2, SERA-32B, Mistral Small 3 Hardware: RTX 3090, RTX 4090, RTX 4070 12GB, memória unificada 32 GB+, offload CPU/RAM Ferramentas: llama.cpp --cpu-moe, --n-cpu-moe, Ollama auto-offload, Unsloth quants, OpenCode