Sistemas de IA já escrevem código, navegam na internet e fazem tarefas sozinhos por horas. A cada ano conseguem fazer mais. A Segurança de IA estuda como garantir que sistemas assim façam o que pretendíamos e como evitar danos graves enquanto eles continuam ficando mais poderosos.
O que a área estuda
Uma parte do trabalho é técnica. Pesquisadores tentam treinar sistemas que persigam os objetivos certos, criar testes que mostrem o que um modelo consegue fazer e o que faria se pudesse, e entender o que acontece dentro de uma rede neural.
A outra parte trata do mundo em volta da tecnologia. Quem constrói esses sistemas, com quais incentivos, e quais leis, padrões e instituições podem orientar esse processo. Isso costuma ser chamado de governança de IA.
A ideia que une as duas partes é o alinhamento. Um sistema está alinhado quando persegue o objetivo que seus criadores tinham em mente, e não só um número que deveria medir esse objetivo. Os dois se separam com frequência, como mostra o barco mais abaixo.
A velocidade do avanço
O poder computacional usado para treinar os modelos mais avançados cresce cerca de cinco vezes por ano desde 2020. Os chips também melhoram, mas bem mais devagar. Ou seja, a maior parte desse crescimento vem de empresas gastando muito mais dinheiro em cada novo modelo.
Outra forma de ver o ritmo é o tamanho das tarefas que a IA termina sem ajuda. O METR mede isso pelo tempo que uma pessoa experiente leva para fazer a mesma tarefa. Em março de 2025, o melhor modelo concluía, em metade das vezes, tarefas de programação que tomam cerca de uma hora de um especialista. Esse tamanho vinha dobrando a cada sete meses, mais ou menos, havia seis anos. Em agosto de 2025, o GPT-5 chegou a tarefas de cerca de duas horas e dezessete minutos.
A inteligência ficou barata muito rápido
Usar IA também está ficando mais barato num ritmo nunca visto. A Epoch AI mediu quanto custa atingir um certo nível de desempenho em testes de raciocínio e matemática. Esse custo cai cerca de treze vezes por ano desde 2023, e a Epoch considera plausível que o ritmo venha desde o início do uso comercial, em novembro de 2021. Nesse ritmo, o mesmo nível de desempenho custa em 2026 cerca de 250 mil vezes menos do que em 2021. O sequenciamento de DNA, famoso por ter barateado depressa, caiu menos de duas vezes por ano.
Um barco que aprendeu a trapacear
Em 2016, pesquisadores da OpenAI treinaram uma IA para jogar CoastRunners, um jogo de corrida de barcos. A maioria das pessoas joga tentando chegar primeiro. A IA era recompensada pelos pontos que fazia no caminho, porque pontos pareciam um bom sinal de avanço na corrida.
A IA achou uma pequena lagoa onde três alvos reapareciam sem parar. Ficou ali girando para sempre, batendo nos mesmos alvos, pegando fogo e sem terminar nenhuma volta. Mesmo assim, fez cerca de 20% mais pontos do que jogadores humanos.
Ninguém programou o barco para trapacear. Ele fez exatamente aquilo pelo que era recompensado, e essa recompensa não capturava o que os pesquisadores queriam. Esse tipo de falha se chama burla da especificação. Num jogo, é engraçado. Num sistema que cuida de dinheiro, de código ou de infraestrutura, o mesmo tipo de atalho pode sair caro e passar despercebido.
Três jeitos de dar errado
- Perda de controle
O problema do barco em escala muito maior. Um sistema capaz agindo no mundo poderia perseguir uma aproximação do que queríamos de formas caras e difíceis de desfazer. Modelos atuais já burlam alguns dos testes que recebem.
- Mau uso
Sistemas capazes podem ajudar pessoas a causar danos que não conseguiriam causar sozinhas, como facilitar a criação de armas biológicas ou ataques cibernéticos em grande escala.
- Concentração de poder
Quem controlar os sistemas mais avançados pode ganhar um poder econômico e político sem precedentes e enfraquecer os freios e contrapesos de que as democracias dependem.
Palavras que você vai encontrar
- Alinhamento
- fazer um sistema perseguir os objetivos que de fato pretendíamos.
- Burla da especificação
- cumprir a letra de uma instrução e errar a intenção, como o barco. Em inglês, specification gaming.
- Burla da recompensa
- achar um atalho que aumenta a nota sem fazer a tarefa. Em inglês, reward hacking.
- Avaliações (evals)
- testes que medem o que um modelo consegue fazer e se ele faria algo perigoso.
- Interpretabilidade
- a tentativa de entender o que acontece dentro de uma rede neural.
- Defesa em profundidade
- várias camadas independentes de proteção, para que uma única falha não baste para causar dano.
- Governança de IA
- leis, padrões, instituições e acordos que definem como a IA é construída e usada.
Quem trabalha nisso, e como
Em laboratórios de IA e universidades, pesquisadores treinam modelos com retorno humano e princípios escritos, testam esses modelos antes de cada lançamento e tentam ler suas representações internas. Em governos e centros de pesquisa, discutem-se padrões de segurança, auditorias independentes, regras de transparência e acordos entre países.
Ainda há muito a descobrir, e a área recebe gente de muitas formações. Computação e matemática, mas também economia, direito, biologia, filosofia e políticas públicas.
Por onde começar a ler
Estas leituras vêm dos currículos públicos da BlueDot Impact, um programa gratuito de formação em Segurança de IA. Os textos pertencem aos seus autores e os resumos são nossos. A maioria está em inglês.
Primeiros passos
- The Future of AI BlueDot Impact · 2h · curso no seu ritmo
Curso curto e gratuito sobre o que a IA já faz, para onde pode ir e o que está em jogo. Um bom primeiro passo.
- What is AI alignment? Adam Jones · 2024
Explica com exemplos por que é difícil fazer um sistema perseguir o objetivo que tínhamos em mente.
- Specification Gaming: How AI Can Turn Your Wishes Against You Rational Animations · 2024 · vídeo
Um vídeo animado com casos de sistemas que obedecem à letra da instrução e erram o que queríamos.
A velocidade do avanço
- The case for AGI by 2030 Benjamin Todd · 80,000 Hours · 2025
Passa por poder computacional, algoritmos, dados e agentes, e mostra por que há pesquisadores esperando sistemas muito capazes ainda nesta década.
- What will AI look like in 2030? David Owen · Epoch AI · 2025
Uma projeção feita com dados sobre até onde a IA pode crescer até o fim da década.
Os riscos
- Why alignment could be hard with modern deep learning Ajeya Cotra · 2021
Treinar por tentativa e recompensa pode produzir um sistema que vai bem nos testes sem querer o que queremos.
- Recent Frontier Models Are Reward Hacking METR · 2025
Casos reais de modelos atuais trapaceando nos testes em vez de resolver a tarefa.
- What failure looks like Paul Christiano · 2019
Dois cenários lentos em que a sociedade deixa aos poucos de conduzir decisões que passou para as máquinas.
- AI Could Defeat All Of Us Combined Holden Karnofsky · 2022
Defende que muitas cópias de um sistema capaz seriam perigosas mesmo sem nada de ficção científica.
- Extreme power concentration 80,000 Hours · 2025
Como a IA avançada poderia deixar poucas empresas ou governos com um poder que ninguém teve antes.
- Building a Defense-in-Depth Biosecurity Strategy for the AI Era RAND · 2026 · relatório
O que a IA muda no risco de ataques biológicos e quais camadas de proteção diminuem esse risco.
As respostas
- Introduction to Mechanistic Interpretability Sarah Hastings-Woodhouse · 2024
Cinco minutos sobre a tentativa de ler o que acontece dentro de uma rede neural.
- The Misguided Quest for Mechanistic AI Interpretability Dan Hendrycks, Laura Hiscott · 2025
A visão contrária, que duvida que a interpretabilidade sozinha resolva a segurança.
- Takeoff speeds rule everything around me Ajeya Cotra · 2026
Por que a velocidade da transição decide quais políticas fazem sentido.
- AI 2040 · Summary of Plan A Larsen, Dean, Halstead, Lifland, Greenblatt, Kokotajlo · 2026
Um plano concreto para atravessar com segurança a transição para a IA avançada.
Cursos gratuitos
A BlueDot Impact oferece cursos online gratuitos em pequenos grupos de discussão. Sugerimos esta ordem.
- The Future of AI 2 horas · no seu ritmo
O panorama geral, sem pré-requisitos.
- AGI Strategy 25 horas · em grupo
Incentivos, riscos e formas de contribuir. A BlueDot sugere começar por ele.
- Technical AI Safety 30 horas · em grupo
As técnicas de segurança de hoje e os problemas de pesquisa em aberto. Ajuda saber por alto como modelos de linguagem são treinados.
- Frontier AI Governance 25 horas · em grupo
Políticas, regulação e instituições para a IA avançada.
Na ImpactUFSCar
O nosso núcleo de Segurança de IA lê e discute esse material em grupo e desenvolve projetos de pesquisa sobre o tema. Se você quer estudar isso com outras pessoas, fale com a gente ou veja o que estamos pesquisando.
Leituras selecionadas dos currículos da BlueDot Impact em outubro de 2026. Os links abrem as fontes originais.