Observabilidade e segurança

Observabilidade e segurança são domínios vizinhos unidos pela mesma virada. Em ambos, a tarefa clássica era operar uma ferramenta que você consultava: montar a query no painel, rodar o scanner, ler o resultado. O que os LLMs mudaram foi quem conduz a investigação. Na observabilidade, o assistente de chat virou agente que investiga em várias etapas; na segurança, o scanner estático ganhou um LLM que propõe a correção, não só aponta o problema. As duas trajetórias compartilham também o mesmo calcanhar de Aquiles, a confiabilidade, e é raro encontrar um domínio onde os próprios fornecedores sejam tão explícitos sobre isso.

Observabilidade: do chatbot ao agente de investigação

O salto qualitativo aqui foi sair do assistente que responde uma pergunta por vez para o agente que conduz uma investigação inteira. O exemplo mais avançado é o Datadog Bits AI SRE, posicionado explicitamente como um “deep research agent”: ele gera múltiplas hipóteses concorrentes de causa-raiz e as testa contra os dados do ambiente (logs, traces, dashboards, mudanças recentes, eventos de Kubernetes), invalidando metodicamente as que não têm evidência e aprofundando as promissoras. A diferença em relação a um chatbot é que ele não espera a próxima pergunta; ele encadeia os passos da investigação sozinho.

Os demais grandes de observabilidade convergiram para variações do mesmo tema. O Dynatrace Davis AI faz análise automática de causa-raiz integrando logs, traces, eventos e alertas, detectando violações a partir do comportamento normal que aprendeu como baseline e marcando a causa identificada com um badge dedicado. O Grafana Assistant, lançado em maio de 2025 e em disponibilidade geral no Grafana Cloud em 2026, é um agente LLM context-aware embutido numa sidebar de linguagem natural, capaz de conduzir investigações multi-etapas que analisam métricas, encontram erros em logs e correlacionam os dois. O New Relic AI permite interagir por linguagem natural via chat e console NRQL, traduzindo perguntas em queries, e embute um botão “Explain this error” no painel de stack trace para reduzir a troca de contexto durante a triagem.

Segurança: o LLM que propõe a correção

Em DevSecOps o caso emblemático é o GitHub Copilot Autofix, e a arquitetura dele é a parte que vale entender, porque aponta para um padrão maior. Autofix não é um LLM solto procurando vulnerabilidades; é uma stack híbrida em que o engine de análise estática CodeQL faz a detecção e o LLM recebe os achados do CodeQL, mais trechos do código ao redor do caminho da falha, como contexto para gerar a sugestão de correção. A divisão de trabalho é deliberada: a análise estática, determinística e auditável, encontra e localiza; o LLM, bom em escrever código plausível mas não confiável para garantir, propõe o conserto. O modelo por trás muda com o tempo (era GPT-4o no anúncio, um modelo mais novo da família Codex em meados de 2026), o que é um detalhe de implementação que não altera a arquitetura.

Essa combinação responde a uma fraqueza bem documentada dos LLMs em segurança. Na detecção de vulnerabilidades, eles frequentemente igualam ou superam as ferramentas tradicionais de análise estática, mas tipicamente ao custo de uma taxa de falsos positivos mais alta. Um estudo citado em survey revisada por pares encontrou taxas de falso-positivo acima de 60% para detecção via LLM, contra menos de 45% das ferramentas estáticas. O número vem de um único estudo e é ilustrativo, não uma constante universal, mas a direção é consistente em toda a literatura: alta cobertura comprada com baixa precisão. E em triagem de segurança isso é quase fatal, porque um detector que aponta tudo gera tanto ruído quanto um que não aponta nada, e a equipe aprende a ignorar os dois.

A confiabilidade como fronteira, dita pelos próprios fornecedores

O que torna este domínio peculiar é que a melhor evidência do Eixo B não vem de críticos externos, e sim das próprias páginas dos fornecedores. A Grafana, ao apresentar seu assistente, escreve que “esperamos que os LLMs cometam erros” e que é justamente por isso que importa ter o humano ali para guiar o caminho. A New Relic adverte, na documentação, que as respostas são sugestões geradas por IA que podem não ser precisas ou completas, e recomenda que um humano verifique qualquer informação por outras fontes antes de tomar qualquer ação. Quando o reconhecimento da falibilidade vem de dentro, não de uma crítica de fora, ele é especialmente robusto: é o vendedor abrindo mão do argumento de venda mais conveniente.

Em volta dessas admissões há uma lacuna sistemática, que é a falta de números. Os anúncios de produto descrevem o que a ferramenta faz, mas não publicam métricas de acurácia, taxas de falso-positivo ou modos de falha, e muitas vezes nem especificam que tipo de IA está por baixo além de “aprende o comportamento de baseline”. Essa assimetria é a marca do campo: a fonte é autoridade correta para afirmar que a feature existe e opera de tal forma, e autoridade nenhuma para afirmar que ela tem acurácia tal.

Convém ser honesto também sobre os limites do que se pode afirmar do lado pessimista. Várias hipóteses plausíveis e preocupantes circulam na literatura, a de que a correção automática é menos confiável que a detecção, a de que patches gerados por LLM podem introduzir novas vulnerabilidades, a de que o desempenho desaba fora dos benchmarks controlados, mas essas afirmações específicas não sobreviveram à verificação independente nesta pesquisa e ficam aqui como perguntas em aberto, não como fatos estabelecidos. O mesmo vale para a cobertura de produtos: nomes como Honeycomb, Coralogix, Snyk, Semgrep e Endor Labs habitam este espaço e não foram cobertos com afirmações verificadas, de modo que o panorama acima é firme sobre Datadog, Dynatrace, Grafana, New Relic e GitHub, e apenas indicativo sobre o restante.

Fontes

Palavras-chave

Conceitos: observabilidade, DevSecOps, segurança, investigação multi-etapas, deep research agent, análise de causa-raiz, análise estática, falsos positivos, baseline, correção de vulnerabilidades Produtos: Datadog Bits AI SRE, Dynatrace Davis AI, Grafana Assistant, New Relic AI, GitHub Copilot Autofix, CodeQL Pesquisa: survey arXiv 2412.15004