O que é RLHF: como se ensinam boas maneiras a um modelo

Um modelo recém saído do treinamento base é um adolescente que leu meia biblioteca e não sabe quando ficar calado. Você pede uma receita e ele a entrega; você pergunta como arruinar o dia de alguém e ele também entrega, com o mesmo tom prestativo. Não é maldade nem bondade: é que ninguém lhe ensinou ainda o que preferimos que faça. RLHF (aprendizado por reforço com feedback humano) é, basicamente, essa criação. A parte em que um sistema que pode dizer qualquer coisa aprende a querer dizer as coisas certas.

A sigla assusta mais do que a ideia. Entender o que é RLHF explica de uma vez por que o assistente que você usa hoje soa tão diferente do modelo cru que o alimenta por dentro, e também seus limites: por que às vezes é cauteloso demais, bajulador ou confiante numa resposta errada.

01 · o ponto de partidaO que é RLHF e por que o modelo base não basta

RLHF é um método para ajustar o comportamento de um modelo usando julgamentos humanos como guia, em vez de uma regra escrita à mão. Em vez de programar "seja educado", que é impossível de codificar, mostramos às pessoas várias respostas do modelo, pedimos que apontem quais preferem, e usamos esse caudal de preferências para retreiná lo rumo ao que as pessoas escolheram. O nome completo diz tudo: aprendizado por reforço com feedback humano.

Por que é necessário? Um modelo base aprende uma única coisa: prever a próxima palavra a partir de oceanos de texto da internet. Isso o torna assombrosamente fluente e, ao mesmo tempo, moralmente neutro quanto ao que produz. A internet contém manuais de confeitaria e manuais de golpes, prosa lúcida e brigas de comentários. O modelo base não distingue: imita tudo com a mesma desenvoltura. É competente, não confiável.

O modelo base não é mau. É indiferente. RLHF é o que lhe dá preferências.

Prever texto e fazer o que a pessoa queria são duas habilidades distintas. Fechar essa lacuna, fazer o modelo perseguir nossas intenções e não só a estatística da linguagem, é do que trata o alinhamento, e RLHF é hoje sua ferramenta mais difundida.

02 · as três criaçõesComo funciona o RLHF, passo a passo

RLHF não é um botão: são três etapas encadeadas, cada uma com um papel claro. A imagem que me serve é a de criar em três tempos: primeiro você dá o exemplo, depois ensina a julgar, e por último deixa praticar com esse julgamento no lugar.

Etapa 1. Ajuste supervisionado (dar o exemplo). Reúnem se conversas em que pessoas escrevem, à mão, a resposta ideal a diferentes pedidos. Com esse punhado de bons exemplos afina se o modelo base para que imite o estilo de um assistente: responder a pergunta, ser claro, não divagar. É ensinar com o exemplo antes de ensinar com a correção.

Etapa 2. Modelo de recompensa (ensinar a julgar). Aqui aparece a parte engenhosa. Escrever uma fórmula para "boa resposta" é impossível, mas reconhecer a melhor de duas nós sabemos fazer. Então pedem se ao modelo várias respostas à mesma pergunta e uma pessoa as ordena da melhor à pior. Com milhares dessas comparações treina se um segundo modelo, o modelo de recompensa, que aprende a prever o que um humano escolheria. Deixa de ser necessário um juiz humano em cada resposta: agora há um juiz automático que aprendeu nosso gosto [1].

Etapa 3. Otimização por reforço (deixar praticar). Com esse juiz à mão, o modelo entra num laço: gera uma resposta, o modelo de recompensa lhe dá uma nota, e essa nota ajusta os pesos para que da próxima vez mire mais alto. Milhões de vezes. É aqui que entra o aprendizado por reforço propriamente dito: não se diz a ele o que escrever, premia se quando se aproxima do que preferimos.

Esse esquema de três etapas não é teórico. É exatamente o que a equipe da OpenAI descreveu em 2022 ao publicar o InstructGPT, o trabalho que popularizou o RLHF para modelos de linguagem e assentou as bases do ajuste que hoje os assistentes conversacionais usam [2]. A descoberta que abalou o campo: um modelo bem menor, mas criado com RLHF, acabou preferido pelas pessoas frente a outro cem vezes maior sem esse ajuste. A boa criação venceu o tamanho bruto.

03 · o que dá certoPor que um assistente educado se sente tão diferente

O resultado dessas três etapas é o salto que você provavelmente notou sem lhe dar nome. O modelo base completa texto; o modelo com RLHF conversa. Segue instruções, admite quando não sabe algo com mais frequência, evita o tom agressivo e recusa pedidos claramente danosos. Não porque entenda a ética, mas porque durante a etapa 3 esses comportamentos ganhavam nota melhor.

Convém sublinhar esse último ponto, porque é mal interpretado com frequência. RLHF não ensina dados novos ao modelo. Tudo o que o assistente "sabe" já estava no modelo base. O que muda é qual de suas muitas respostas possíveis ele tende a escolher. É afinar o gosto, não ampliar a biblioteca.

04 · o que entortaQuando o aluno aprende bem demais o errado

Toda criação deixa marcas, e nem todas desejadas. Como o modelo de recompensa é apenas uma medida do que queremos (não o que queremos em si), o modelo, ao otimizar com todas as suas forças rumo a essa medida, encontra atalhos que sobem a nota sem cumprir a intenção. No jargão se chama reward hacking.

A máquina aprende exatamente o que premiamos, com uma literalidade temível.

Há um limite mais de fundo, e é honesto reconhecê lo: o RLHF herda o critério de quem faz as comparações. Seus gostos, seus vieses e seus pontos cegos ficam cozidos dentro do modelo de recompensa e daí passam ao comportamento final. Perguntar se "o que prefere um modelo com RLHF?" é, no fundo, perguntar se "o que preferiram as pessoas que o treinaram?". Por isso hoje se pesquisam variantes que reduzem a carga humana ou a substituem por regras explícitas, como a IA constitucional, que ajusta o modelo contra um conjunto de princípios escritos em vez de milhares de comparações soltas [3].

05 · o fechamentoEducar preferências, não ditar respostas

Vale a pena ficar com a imagem da criação, porque desarma o mistério. Um modelo com RLHF não consultou um manual de boas maneiras: tem um gosto formado. Durante milhões de rodadas aprendeu que tipo de resposta tendia a agradar, e esse gosto é o que o guia quando você lhe escreve.

Entender o que é RLHF, então, é entender que por trás da cortesia de um assistente não há compreensão, mas preferências moldadas com paciência e julgamento humano. Isso explica o bom, que soe útil e prudente, e também o frágil: que herde nossos vieses, que às vezes bajule, que confunda soar seguro com estar certo. A máquina aprendeu o que a ensinamos a preferir. A pergunta difícil, a de sempre, continua sendo nossa: o que queremos, exatamente, que ela prefira.