É fato que a fronteira tecnológica atravessa um momento de transformação acelerada desde a popularização dos modelos de linguagem de grande escala (LLMs). A inteligência artificial, como aspiração, não é uma novidade na história humana. Desde o primeiro modelo de neurônios sintéticos de Warren McCulloch e Walter Pitts até as representações na cultura pop, como em "O Exterminador do Futuro", a ideia de que criações sintéticas podem reproduzir o raciocínio humano estimula o imaginário popular, ora fascinado pela criatividade, ora paralisado pelo medo (afinal, quem não temeria a capacidade autodestrutiva da inventividade humana sem limites? Lembremos do Projeto Manhattan). Seria, portanto, protocolar tecer uma provocação ao ceticismo contemporâneo quanto ao uso não regulado de uma tecnologia com potencial tão vasto. Contudo, antes de qualquer reflexão apocalíptica, impõe-se uma etapa mais imediata de compreender, de fato, o que é essa tecnologia. É exatamente essa temática que o presente texto se propõe a explorar.
A ascensão da inteligência artificial como objeto de estudo e ferramenta de trabalho gerou uma demanda crescente por letramento em suas metodologias. Como resposta, proliferam cursos e tutoriais que ensinam a operar LLMs e a treinar redes neurais, muitas vezes sem exigir que o estudante compreenda a mecânica subjacente, o famoso "por baixo dos panos". Essa abordagem utilitarista, embora acessível, não atende à necessidade de um entendimento estrutural, onde o interesse fundamental reside em como os modelos funcionam e aprendem, e não apenas em seus "outputs". Sob essa perspectiva mais rigorosa, as verdadeiras ferramentas de análise estão nos manuais de matemática e estatística e não somente nas interfaces de programação e escrita.
O que acontece por baixo dos panos
O funcionamento de um modelo de linguagem de grande escala ilustra essa relação com clareza. Ao receber uma entrada textual, o modelo a converte em representações numéricas vetoriais e as processa através de sucessivas camadas que combinam transformações lineares e não lineares (Vaswani et al., 2017). A não linearidade é, precisamente, o que confere ao modelo sua capacidade expressiva: uma sequência de camadas puramente lineares seria matematicamente redutível a uma única transformação linear, tornando a arquitetura trivialmente incapaz de aproximar funções complexas. Os principais mecanismos responsáveis por essa propriedade são o mecanismo de atenção multi-cabeça (multi-head self-attention), que opera por meio de produtos internos entre matrizes de consulta, chave e valor (Q, K e V) seguidos de uma função softmax (tornando o processamento dinâmico e sensível ao conteúdo da entrada), as funções de ativação não lineares (como ReLU ou GELU) nas subcamadas feedforward, e a normalização de camada (layer normalization). Esse conjunto de operações é estruturalmente semelhante a complexos modelos de regressão, cujos coeficientes (pesos) são estimados mediante a minimização de uma função de perda que corresponde, sob a ótica probabilística, à log-verossimilhança negativa dos dados de treinamento (Goodfellow; Bengio; Courville, 2016). O objetivo desse treinamento é idêntico ao da estimação por máxima verossimilhança, pois busca encontrar os parâmetros que tornam os dados observados mais prováveis. Ao final do cálculo, o modelo produz uma distribuição de probabilidade sobre todo o vocabulário conhecido, da qual o próximo token (palavra ou fragmento) é amostrado iterativamente. Compreender esse fluxo (distinguir estimação de inferência, dominar o trade-off viés-variância, interpretar a função de perda e questionar a calibração das probabilidades) exige o arcabouço conceitual da estatística aplicada (Hastie; Tibshirani; Friedman, 2009). Sem essa base, o usuário pode até comandar superficialmente a inteligência artificial, mas será incapaz de entender o que ela otimiza, diagnosticar correlações espúrias ou avaliar suas reais limitações.
Nesse sentido, dominar a estatística é a condição necessária (embora eu, José, ainda tenha minhas dúvidas se é suficiente) para que a IA deixe de ser tratada como uma entidade abstrata e passe a ser compreendida como um instrumento científico. E se a estatística é o alicerce da inteligência artificial, cabe nos perguntarmos qual é o alicerce da estatística, ou seja, o que é, afinal, a "probabilidade" sobre a qual todo esse edifício computacional repousa? É precisamente esse o dilema ontológico que David Spiegelhalter (2024), um dos estatísticos mais influentes da atualidade, enfrenta em seu artigo "Why Probability Probably Doesn't Exist (but It's Useful to Act Like It Does)", publicado na revista Nature em dezembro de 2024.
Referências
GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep learning. Cambridge: MIT Press, 2016.
HASTIE, T.; TIBSHIRANI, R.; FRIEDMAN, J. The elements of statistical learning: data mining, inference, and prediction. 2. ed. Nova York: Springer, 2009.
McCULLOCH, W. S.; PITTS, W. A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics, [S. l.], v. 5, n. 4, p. 115-133, 1943.
SPIEGELHALTER, D. Why probability probably doesn't exist (but it is useful to act like it does). Nature, Londres, v. 636, n. 8043, p. 560-563, dez. 2024.
VASWANI, A. et al. Attention is all you need. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 30., 2017, Long Beach. Proceedings [...]. [S. l.]: Curran Associates, 2017. p. 5998-6008.