Dê a uma máquina a palavra "rei" e ela não verá um R, um E, um I. Verá um ponto suspenso em um mapa de centenas de dimensões, com uma coordenada exata. Dê "rainha" e ela pousará em outro ponto, perto do primeiro. "Trono", "coroa", "monarca" cairão no mesmo bairro. "Cenoura" ficará do outro lado do mundo. Esse mapa tem nome: chama-se embedding, e é a forma como as máquinas modernas guardam o sentido das coisas. Sua regra é bela: perto significa parecido. Este artigo trata de como esse mapa é desenhado.
Um buscador clássico compara letras: se você digita "auto" ele não encontra "carro", porque não compartilham caracteres. Mas um mapa de embeddings colocaria "auto" e "carro" quase em cima um do outro. A diferença entre essas duas formas de buscar é a diferença entre soletrar e entender. E tudo começa por transformar uma palavra em um lugar.
01 · a coordenadaO que são os embeddings: uma palavra transformada em lugar
Um embedding é uma lista de números que representa o significado de algo (uma palavra, uma frase, uma imagem) como um ponto no espaço. Onde você lê "gato", a máquina guarda algo parecido com [0.24, −0.81, 0.05, …]: centenas de números, cada um uma coordenada em um eixo diferente. Um ponto em um mapa de papel precisa de duas coordenadas (latitude e longitude); um ponto em uma sala precisa de três; uma palavra neste universo precisa de centenas (tipicamente 384, 768, 1536 ou mais, conforme o modelo). Não podemos desenhar 768 eixos, mas a intuição se sustenta: cada palavra é um ponto, e sua posição não é um capricho.
Esse número, quantas coordenadas cada ponto tem, chama-se dimensão do embedding, e é fixado pelo modelo que o produz. Mais dimensões dão mais espaço para separar nuances; menos dimensões ocupam menos memória e se comparam mais rápido. É a primeira decisão de engenharia de qualquer mapa semântico: quanto detalhe cabe em cada ponto.
Um embedding é o sentido de uma palavra escrito como um endereço postal em um mapa de centenas de dimensões.
02 · o traçadoComo o mapa é desenhado: pelas companhias que uma palavra mantém
Ninguém coloca os pontos à mão. Ninguém decide "vou pôr 'rei' na coordenada 0,24". O mapa é aprendido por um modelo lendo quantidades enormes de texto, guiado por uma velha suspeita linguística que o britânico J. R. Firth resumiu em 1957: uma palavra se conhece pela companhia que mantém [1]. É a hipótese distribucional, e é o motor de tudo o que se segue.
A mecânica, sem fórmulas, é esta. O modelo desliza uma janela por milhões de frases e faz a si mesmo, vez após vez, a mesma pergunta: dada esta palavra, que palavras costumam rodeá-la? "Cachorro" aparece perto de "late", "coleira", "osso"; "gato" perto de "ronrona", "arranha", "telhado". Como ambos compartilham muitos vizinhos ("bicho de estimação", "veterinário", "acariciar"), o modelo os vai empurrando para coordenadas próximas. Palavra por palavra, ajuste por ajuste, o mapa se ordena sozinho: o que se usa de forma parecida termina perto. A geometria é um resíduo do uso.
03 · a medidaPerto quanto: a distância se lê como um ângulo
Se o sentido é posição, a similaridade é proximidade. Duas ideias parecidas são dois pontos vizinhos; duas ideias alheias, dois pontos distantes. Mas convém precisar o que significa "perto" aqui, porque não costuma ser medido em linha reta. Mede-se o ângulo entre os dois vetores que vão da origem a cada ponto: a similaridade cosseno. Se duas setas apontam quase na mesma direção, o ângulo é pequeno e seu cosseno se aproxima de 1 (significam quase o mesmo). Se são perpendiculares, o cosseno é 0 (sem relação). O elegante de medir o ângulo e não o comprimento é que à máquina importa para onde aponta um significado, não quanto mede a sua seta.
Esse número entre −1 e 1 é, no fim, o que torna útil todo o mapa: converte "elas se parecem?" em uma conta que um computador resolve em microssegundos. A tabela a seguir traduz o cosseno em intuição.
| Cosseno | Ângulo | O que significa | Exemplo |
|---|---|---|---|
| ≈ 1 | quase 0° | Quase o mesmo sentido | "carro" e "auto" |
| ≈ 0,5 | ~60° | Relacionados, não iguais | "carro" e "estrada" |
| ≈ 0 | 90° | Sem relação | "carro" e "cenoura" |
| ≈ −1 | 180° | Direções opostas | casos raros em texto real |
Fonte: elaboração própria sobre a definição de similaridade cosseno; os exemplos são ilustrativos. A escala −1 a 1 é a da função cosseno.
Perguntar "estas duas ideias se parecem?" vira medir um ângulo. O sentido se fez aritmética.
04 · o alcanceNão só palavras: frases, documentos e imagens no mesmo mapa
O primeiro mapa famoso foi de palavras soltas (word2vec, da equipe de Tomáš Mikolov no Google, em 2013 [2]) e com ele chegou o prodígio de que "rei − homem + mulher" pousava perto de "rainha": as relações haviam se tornado direções. Mas o poder real chegou quando o mapa deixou de ser de palavras e passou a ser de frases e documentos inteiros. Modelos como o Sentence-BERT, apresentado por Nils Reimers e Iryna Gurevych em 2019, aprenderam a colocar uma oração inteira em um único ponto [3], de modo que "como cancelo minha assinatura?" e "quero encerrar minha conta" caem vizinhos ainda que quase não compartilhem nenhuma palavra.
E o mapa nem sequer se limita à linguagem. Os modelos multimodais colocam uma foto de um gato e a frase "um gato rajado" no mesmo espaço, perto um do outro: por isso hoje você pode buscar imagens escrevendo o que quer ver. Portas diferentes (texto, imagem, som) que dão para o mesmo firmamento de coordenadas.
Se o sentido é proximidade, buscar por significado é buscar por vizinhança. Você converte sua pergunta em um ponto e recupera os pontos vizinhos: os textos que significam algo parecido, ainda que não compartilhem uma única palavra. Essa é a busca semântica, e é o coração do RAG (geração aumentada por recuperação). Antes de responder, um sistema como o Qirava converte sua consulta em um embedding, busca no mapa de seus documentos os pontos mais próximos e os entrega ao modelo para que responda com fundamento e não de memória. Guardar e comparar milhões desses pontos com eficiência é, por sua vez, o trabalho de um banco de dados vetorial.
Convém uma nota de honestidade: estes mapas herdam o que leem. Se o texto que treina o modelo carrega preconceitos, a geometria os absorve como direções também, e essa é uma constelação que convém olhar com olho crítico. Mas mesmo aí a lição se sustenta. Um embedding é um espelho da linguagem humana, com sua luz e suas sombras, traduzido em coordenadas. Da próxima vez que um buscador entender o que você quis dizer e não só o que escreveu, lembre-se do mapa invisível: alguém converteu suas palavras em lugares e mediu quanto elas distam do que você buscava.
Fontes
- Firth, J. R. (1957). A Synopsis of Linguistic Theory, 1930-1955. En Studies in Linguistic Analysis, pp. 1-32. Oxford: Blackwell. (Origen de la frase "You shall know a word by the company it keeps", base de la hipótesis distribucional.)
- Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781. (Introduce word2vec y la aritmética de analogías entre embeddings de palabras.)
- Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of EMNLP-IJCNLP 2019, pp. 3982-3992. ACL Anthology: aclanthology.org/D19-1410.