O espaço vetorial: como o significado se torna geometria

Imagine um céu noturno onde cada palavra é uma estrela. Elas não estão dispostas ao acaso: as que falam de coisas parecidas brilham juntas, formando constelações. "Rio", "lago" e "correnteza" se agrupam num canto úmido do firmamento; "fúria", "ira" e "cólera" ardem juntas em outro. E se você tivesse olhos para ver, notaria que a distância entre duas estrelas não é capricho: ela mede o quanto seus significados se parecem. Esse céu existe. Não é uma metáfora poética que inventei para começar bonito: é, literalmente, como as máquinas modernas guardam a linguagem. Chama-se espaço vetorial de embeddings, e nele o significado deixou de ser uma ideia abstrata para se tornar geometria.

01 · o vetorUma palavra que se converte em coordenada

Um embedding é, em essência, uma lista de números que representa uma palavra, uma frase ou até uma imagem. Onde você lê "gato", a máquina guarda algo como [0.24, −0.81, 0.05, …]: centenas de números, cada um uma coordenada num eixo distinto. Assim como um ponto num mapa precisa de duas coordenadas (latitude e longitude) e um ponto no espaço precisa de três, uma palavra neste universo semântico vive num espaço de centenas de dimensões (tipicamente 300, 768 ou mais). Não conseguimos visualizar 300 eixos, mas a intuição se sustenta: cada palavra é um ponto, e sua posição não é arbitrária. Um modelo a aprendeu lendo enormes quantidades de texto, guiado por uma velha suspeita linguística: uma palavra se conhece pela companhia que mantém. As palavras que aparecem em contextos semelhantes acabam próximas. A geometria é um resíduo do uso.

A distância entre duas palavras não é capricho: ela mede o quanto seus significados se parecem.

02 · a proximidadeSemelhança é distância, e a distância se mede com um ângulo

Se o significado é posição, então a semelhança é proximidade. Duas ideias parecidas são dois pontos vizinhos; duas ideias alheias, dois pontos distantes. Mas aqui a geometria faz uma virada elegante. Nesses espaços não costumamos medir a distância em linha reta, mas o ângulo entre os vetores: a chamada similaridade de cosseno. Imagine duas setas que saem da origem em direção às suas respectivas estrelas. Se apontam quase na mesma direção, o ângulo entre elas é pequeno e seu cosseno se aproxima de 1: significam quase o mesmo. Se são perpendiculares, o cosseno é 0: não têm relação. E se apontam em sentidos opostos, aproxima-se de −1. O belo de medir o ângulo e não o comprimento é que à máquina importa para onde aponta o significado, não quão longo é o vetor. A direção é o sentido; a magnitude, quase um detalhe.

03 · a aritméticaRei − homem + mulher ≈ rainha

Aqui ocorre o prodígio que tornou este campo famoso. Em 2013, uma equipe do Google liderada por Tomáš Mikolov apresentou o word2vec, um método para aprender esses vetores a partir de texto bruto [1]. E descobriram algo assombroso: os vetores não apenas agrupavam palavras parecidas, como também codificavam relações como direções. Subtrair o vetor de "homem" ao de "rei" isola algo como a essência da realeza, despida de gênero. Se a esse resultado você soma "mulher", aterrissa, bem perto, no ponto onde vive "rainha". Em notação: rei − homem + mulher ≈ rainha.

Leia isso com a geometria da Figura 2 em mente. O passo de "homem" a "rei" é um vetor concreto (uma seta com direção e comprimento) que representa "tornar-se realeza". Esse mesmo deslocamento, aplicado a "mulher", leva você a "rainha". As quatro palavras desenham um paralelogramo. O notável é que ninguém programou isso: emergiu sozinho do modelo prevendo quais palavras acompanham quais. O gênero, a pluralidade, até "capital de um país", tornaram-se direções consistentes que se podem somar e subtrair. O significado havia se tornado álgebra.

Ninguém programou a analogia: ela emergiu sozinha do texto. O significado se tornou álgebra.

04 · a linhagemDe word2vec a GloVe: dois caminhos, um mesmo céu

Um ano depois, em 2014, Jeffrey Pennington, Richard Socher e Christopher Manning, em Stanford, propuseram o GloVe (Global Vectors) [2]. Se o word2vec aprendia deslizando uma janela pelo texto, prevendo vizinhos palavra a palavra, o GloVe partia de uma matriz global de coocorrências: contava quantas vezes cada par de palavras aparece junto em todo o corpus, e ajustava os vetores para que sua geometria refletisse essas estatísticas. Duas rotas distintas, uma local e preditiva, outra global e baseada em contagens, que desembocavam no mesmo firmamento: espaços onde a proximidade é parentesco de sentido e as relações são direções. Esses trabalhos fundaram a intuição que hoje sustenta os grandes modelos de linguagem, cujos embeddings são incomparavelmente mais ricos, mas descendem dessa mesma ideia.

Vale uma nota de honestidade: esses espaços herdam o que leem. Se o texto que treina o modelo carrega preconceitos, a geometria os absorve como direções também, e essa é uma constelação que convém olhar com olho crítico. Mas mesmo aí a lição se sustenta: o espaço vetorial é um espelho da linguagem humana, com sua luz e suas sombras, traduzido em coordenadas. Aprender a ler esse mapa é aprender a nos ler.