02 de novembro de 2026 | Tempo estimado de leitura: 5 minutos
Um agente de IA para atendimento costuma chegar com a aparência de um estagiário perfeito. Consulta o pedido, lê o histórico e prepara uma resposta em segundos. Não reclama, não almoça e nunca pede para trabalhar de casa.
Como funciona bem, alguém diz: “Já que ele escreve a resposta, por que não deixar enviar?”
Depois vem o desconto. Em seguida, o cancelamento. Logo aparecem a alteração cadastral e o acesso a mais um sistema. Quando a empresa percebe, o assistente que escrevia mensagens ganhou as chaves do balcão, do estoque e de parte do caixa.
Nenhuma dessas permissões parece importante o suficiente para chegar ao conselho. Não existe uma reunião chamada “Hoje vamos entregar autoridade operacional a um modelo probabilístico”. Existe apenas uma sequência de decisões convenientes.
Uma credencial mais ampla aqui. Uma exceção ali. Um “depois a gente revisa” para encerrar a conversa.
A IA não precisa adquirir consciência, desenvolver ambição ou planejar dominar a humanidade. Basta entender um pedido de forma errada e encontrar todas as portas abertas.
Essa é a mudança silenciosa. Estamos dando mãos à IA antes de decidir onde elas podem tocar. A partir daí, saber se ela escreve bem perde importância. A pergunta passa a ser outra: quantas coisas uma resposta errada consegue acionar antes que alguém perceba?
O texto da MIT Technology Review que inspirou esta edição pergunta o que a IA poderia aprender com décadas de segurança nuclear. A comparação não é totalmente absurda. Uma empresa não é uma usina, claro. Tratar todo chatbot como material radioativo seria uma excelente forma de criar comitês, formulários e reuniões. Controle de verdade, nem tanto.
Mas existe uma ideia da segurança nuclear que merece entrar na empresa: defesa em profundidade.
A Agência Internacional de Energia Atômica parte de uma constatação pouco sofisticada e muito útil: pessoas falham, equipamentos falham e procedimentos também falham. Por isso, nenhuma falha isolada deveria ser suficiente para atravessar todas as barreiras e causar o dano. [2]
Em linguagem empresarial, o mesmo modelo não deveria executar uma ação, fiscalizar o que fez e aprovar o próprio trabalho. Isso parece um sistema com três controles. Na prática, pode ser o mesmo erro usando três crachás diferentes.
Prompt não é parede e política interna não é cadeado. Escrever “não faça transferências indevidas” nas instruções da IA não equivale a impedir uma transferência indevida.
Uma barreira de verdade tem outra natureza. Acesso limitado. Teto de valor. Destinatários autorizados. Aprovação para ações sensíveis. Histórico que não desaparece. Credencial que pode ser revogada.
O objetivo não é construir uma IA incapaz de errar. Isso ainda não existe. O objetivo é impedir que um erro comum vire um incidente caro.
Nesse ponto costuma surgir a frase tranquilizadora: “Não se preocupe, haverá sempre uma pessoa aprovando.”
Eu me preocuparia justamente aí.
Se essa pessoa recebe cem decisões por hora, enxerga apenas a recomendação final e sabe que a IA costuma acertar, sua função logo se resume a apertar “confirmar”. Ela deixa de ser supervisora e vira um CAPTCHA com crachá.
A assinatura continua humana, mas o julgamento já foi embora.
Uma meta-análise publicada em 23 de outubro examinou o que acontece quando profissionais de saúde supervisionam automações erradas. Em quatro estudos reais sobre interpretação de eletrocardiogramas, 26,6% dos erros não foram reconhecidos nem corrigidos. A variação entre os estudos foi alta, e medicina não é atendimento ao cliente. A lição, porém, atravessa os dois ambientes: supervisão só protege quando alguém consegue encontrar o erro. [6]
Para revisar uma decisão importante, a pessoa precisa saber o que a IA pretende fazer, quais informações utilizou e como desfazer a ação. Também precisa ter tempo, conhecimento e autoridade para dizer não.
Sem isso, “humano no circuito” é apenas uma decoração disfuncional.
Por essa razão, eu não classificaria uma ferramenta como segura ou perigosa. Perguntaria algo muito mais concreto: o que ela consegue fazer dentro deste processo?
O mesmo modelo pode ler um contrato, recomendar uma resposta ou cancelar um pedido. O cérebro é o mesmo. O que muda é o tamanho da chave que a empresa colocou em sua mão.
A autonomia precisa crescer em degraus. Primeiro, a IA lê. Depois, recomenda. Só então começa a agir, preferencialmente em tarefas pequenas, reversíveis e fáceis de conferir.
Quando entram dinheiro, dados sensíveis, produção, comunicação externa ou direitos de pessoas, a conversa muda. O agente precisa ter identidade própria. O acesso deve ser mínimo. Limites de valor, quantidade e destinatário precisam existir no sistema, não apenas no prompt. Ações difíceis de desfazer exigem aprovação explícita. Microsoft e OpenAI recomendam esse tipo de controle para agentes conectados a ferramentas.
No Brasil, decisões automatizadas que utilizam dados pessoais também encontram a LGPD pelo caminho. A ANPD (Agência Nacional de Proteção de Dados, originalmente Autoridade Nacional de Proteção de Dados) recomenda avaliar riscos e salvaguardas antes de tratamentos de alto impacto. O titular pode solicitar revisão e explicações sobre decisões que afetem seus interesses.
Isso não é motivo para colocar a IA numa gaveta e esperar o mundo ficar previsível. É motivo para não automatizar uma decisão que a própria empresa ainda não consegue explicar.
Esperar demais pode deixar a empresa para trás. Entregar as chaves sem saber como retomá-las pode levá-la a um lugar bem pior.
Fontes utilizadas
1. MIT Technology Review Brasil. Para evitar a catástrofe da Inteligência Artificial, aprenda com a segurança nuclear. Acessar fonte
2. Agência Internacional de Energia Atômica. Basic Safety Principles for Nuclear Power, defesa em profundidade e independência das barreiras. Acessar fonte
3. Stanford HAI. AI Index Report 2026, capítulo Responsible AI. Acessar fonte
4. NIST. Artificial Intelligence Risk Management Framework, núcleo Govern, Map, Measure e Manage. Acessar fonte
5. NIST. Generative Artificial Intelligence Profile, NIST AI 600-1. Acessar fonte
6. npj Digital Medicine. Human oversight of erroneous clinical AI and decision support: systematic review and meta-analysis. Acessar fonte
7. Microsoft Learn. AI agent shared responsibility model. Acessar fonte
8. OpenAI Developers. Guardrails and human review for agent tool calls. Acessar fonte
9. Microsoft Learn. Reduce autonomous agentic AI risk. Acessar fonte
10. ANPD. Relatório de Impacto à Proteção de Dados Pessoais. Acessar fonte
11. ANPD. Direito dos titulares e revisão de decisões automatizadas. Acessar fonte
12. ANPD. Contestabilidade e decisões automatizadas no Fórum da Internet no Brasil. Acessar fonte
13. Anthropic. Responsible Scaling Policy e arquitetura de defesa em profundidade. Acessar fonte
14. Google DeepMind. Frontier Safety Framework e níveis de capacidade crítica. Acessar fonte