Fiz a mesma pergunta ao mesmo modelo cinco vezes seguidas: "me dê um nome para uma cafeteria". Na primeira vez ele disse "Aroma". Na segunda, "Aroma". Na terceira, "Aroma". Comecei a achar que a máquina tinha uma fixação. Então mexi em um único número (um que a maioria das pessoas nunca toca) e perguntei de novo. "Corvo Insone". "Terceiro Trilho". "A Hora Azul". O modelo não tinha mudado nem um neurônio. Só tinha subido sua temperatura.
A temperatura é, junto de um punhado de ajustes irmãos, o controle que decide o quanto uma IA se atreve. Não muda o que o modelo sabe; muda o quanto ele se arrisca a dizer. É a diferença entre um funcionário que sempre dá a resposta mais segura e outro a quem você soltou a coleira. E como com qualquer subordinado, o problema não é que a coleira exista: é saber quando afrouxá-la e quando não.
01 · o baralhoO que é a temperatura em IA, em uma frase
Vamos começar pela resposta direta, porque foi para isso que você veio. A temperatura é um número que controla quanto acaso o modelo coloca ao escolher sua próxima palavra. Temperatura baixa: escolhe quase sempre o mais provável, entediante mas confiável. Temperatura alta: se permite escolher opções menos óbvias, criativo mas imprevisível. Esse é todo o conceito. O resto deste artigo é entender por que ele existe e como usá-lo sem se queimar.
Para ver isso é preciso lembrar de uma coisa: um modelo de linguagem não "escreve", aposta. A cada passo ele olha tudo o que já escreveu e calcula, para cada palavra possível do idioma, o quão provável é que venha em seguida. Não entrega uma palavra: entrega um baralho inteiro com probabilidades. "Depois de O gato subiu no…", talvez calcule 60 % telhado, 15 % árvore, 8 % sofá, e uma cauda longuíssima de opções raras com migalhas de probabilidade cada uma.
O modelo não escolhe uma palavra: distribui um baralho de probabilidades. A temperatura decide com quanta disciplina ele o joga.
A temperatura entra bem ali, entre o baralho e a escolha. É um fator que estica ou achata essas probabilidades antes de o modelo sacar uma carta. Com temperatura baixa, a carta mais provável se torna quase obrigatória: "telhado" passa de 60 % para 95 %. Com temperatura alta, as diferenças se emparelham: "telhado" cai, "sofá" e até "escorregador" ganham chances. O conhecimento do modelo é idêntico nos dois casos. A única coisa que mudou foi a disposição de apostar no pouco provável.
02 · o termostatoDe onde saiu essa palavra tão estranha
"Temperatura" soa como uma metáfora simpática, mas não é totalmente. O nome vem da física, sério. A fórmula que o modelo usa para converter seus cálculos brutos em probabilidades se chama softmax, e é prima de uma equação que descreve como a energia se distribui entre partículas conforme sua temperatura (a distribuição de Boltzmann). Nessa física, mais temperatura significa mais agitação, mais desordem, estados menos prováveis se tornando acessíveis. Os pesquisadores que levaram essa matemática para as redes neurais ficaram com o nome porque o comportamento é idêntico.
O parâmetro tem raízes profundas. Aparece já em 1985 nas máquinas de Boltzmann de Ackley, Hinton e Sejnowski, onde a "temperatura" governava literalmente quanto ruído o sistema colocava ao buscar soluções [1]. Três décadas depois, Hinton, Vinyals e Dean a formalizaram para redes modernas: dividir cada cálculo bruto do modelo por um número T antes de aplicar softmax, e esse T é a temperatura [2]. Com T = 1 você deixa o baralho como está. Com T menor que 1 você o afia rumo à opção vencedora. Com T maior que 1 você o achata rumo ao caos.
Quando você coloca a temperatura em zero (ou perto), não está desligando a inteligência do modelo: está ordenando que ele tome sempre a palavra mais provável, sem exceção. O resultado é máxima consistência (você pergunta dez vezes e ele responde quase igual dez vezes) em troca de zero surpresa. Útil para extrair um dado ou classificar. Péssimo para pedir que ele te surpreenda.
03 · o controleQuando subir, quando baixar
Aqui é onde o conceito deixa de ser curiosidade e vira uma decisão que cabe a você. A temperatura não tem um valor "correto": tem um valor correto para a tarefa. E confundir as tarefas é a fonte número um de frustração com essas ferramentas: as pessoas pedem criatividade a uma temperatura de contador, ou pedem precisão a uma temperatura de poeta, e depois culpam o modelo.
Quando baixá-la. Tudo o que tem uma resposta correta e uma só. Extrair a data de uma nota fiscal, classificar um e-mail, traduzir um termo técnico, resolver uma conta, devolver um formato exato. Aí você não quer imaginação: quer que ele acerte e que repita o acerto. Temperatura baixa, perto de zero.
Quando subi-la. Tudo o que tem muitas respostas boas possíveis e nenhuma obrigatória. Brainstorming, nomes, variações de um texto publicitário, reviravoltas de uma história, sair de um bloqueio. Uma temperatura baixa aqui te devolve a mesma opção óbvia repetidas vezes (minha cafeteria "Aroma"). Subi-la abre o baralho e deixa entrar o inesperado.
Não existe uma temperatura correta. Existe uma temperatura correta para o que você está pedindo.
Um aviso de criação, porque é disso que trata meu ofício: subir a temperatura não cria inteligência, cria variedade. Se você continuar empurrando para cima, o modelo não fica mais genial, fica mais bêbado. Começa a escolher palavras cada vez menos prováveis até que a coerência se quebra: frases que começam bem e se dissolvem em ruído, ou aquela cauda longa de opções absurdas que nunca deveriam ter entrado no jogo. Por isso na prática quase ninguém usa as temperaturas máximas: o sabor está no ponto médio-alto, não no extremo.
04 · os primosA temperatura não viaja sozinha
Para ser honesta com você: a temperatura tem irmãos que fazem um trabalho parecido, e convém que você saiba que eles existem para não atribuir tudo a ela. O mais comum se chama top-p (ou "amostragem por núcleo"). Em vez de achatar todo o baralho, o top-p recorta: fica só com as palavras mais prováveis cuja soma chega, digamos, a 90 % da probabilidade, e joga o resto no lixo. Assim impede que aquela cauda de opções absurdas entre alguma vez, por mais alta que esteja a temperatura.
Pesquisadores como Holtzman e sua equipe mostraram em 2020 por que isso importa: escolher sempre o mais provável produz textos que se repetem e ficam presos em loops, enquanto deixar entrar acaso demais produz incoerência. O bom texto vive em um ponto intermediário, e esses controles (temperatura e top-p juntos) são como se sintoniza esse ponto [3]. Na prática ajusta-se um dos dois e deixa-se o outro parado; mexer nos dois ao mesmo tempo é receita para não entender o que está acontecendo.
A lição que levo, depois de anos observando como esses sistemas se comportam, é quase doméstica. A temperatura não é um botão técnico escondido para engenheiros: é o controle de tom. Quando uma IA soa repetitiva e sem graça para você, talvez não lhe falte capacidade, lhe sobre disciplina. E quando ela te solta um disparate criativo lindo mas inutilizável, talvez não esteja quebrada: só está com a coleira comprida demais para o que você pediu. Aprender a mexer nesse controle é deixar de sofrer com a máquina e começar a dirigi-la.
Fuentes
- Ackley, D. H., Hinton, G. E. y Sejnowski, T. J. (1985). A Learning Algorithm for Boltzmann Machines. Cognitive Science, 9(1), pp. 147-169. (Origem do parâmetro de "temperatura" como controle de ruído em redes.)
- Hinton, G., Vinyals, O. y Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. arXiv:1503.02531. (Formaliza a temperatura na função softmax: dividir os logits por T.)
- Holtzman, A., Buys, J., Du, L., Forbes, M. y Choi, Y. (2020). The Curious Case of Neural Text Degeneration. International Conference on Learning Representations (ICLR). arXiv:1904.09751. (Amostragem por núcleo / top-p e o equilíbrio entre repetição e incoerência.)
- OpenAI. API Reference. Chat: parâmetro
temperature. platform.openai.com/docs/api-reference. (Faixa típica de 0 a 2 e seu efeito na aleatoriedade da saída.)