Este artigo contém dicas que vou acumulando conforme estudo e uso LLMs (ChatGPT, Claude, Gemini).
Originalmente compartilhadas no LinkedIn.
Peça ao ChatGPT (ou qualquer LLM) que explique o raciocínio ANTES de te dar a resposta!
Por exemplo: “Classifique o comentário em positivo ou negativo. Primeiro explique seu raciocínio e depois dê a resposta.”
Isso aumenta a precisão dele na resposta porque condiciona os tokens na explicação.
Vejo o contrário em vários papers, onde pedem o raciocínio depois da resposta.
Não faça isso!
IA em Português? Nem Sempre é a Melhor Opção
Já teve aquele momento em que o ChatGPT passa de Einstein para “Erro 404: Cérebro Não Encontrado” no segundo em que você começa a conversar com ele em português?
Pesquisas recentes confirmam que esses modelos de IA simplesmente funcionam melhor em inglês.
Estamos falando de resultados até 40% melhores!
Até o GPT-4, o mais inteligente de todos os que foram testados, mostra esse viés.
A Solução Simples:
- Escreva seu prompt em inglês (mesmo que não seja perfeito)
- Se necessário, faça um rascunho em português → Google Translate → IA
- Mantenha as frases simples e claras
Seu inglês “ruim” provavelmente vai gerar resultados melhores do que seu português perfeito.
Não é o ideal, mas enquanto as IAs não dominam nosso idioma, esse truque é seu melhor aliado.
Uma estrutura de prompt que tem funcionado muito bem nas minhas aplicações de LLM
- Defina um papel (“Você é um programador”)
- Dê as instruções, se possível com passo-a-passo (“1. Revise o código, 2. Escreva uma análise, 3. Sugira correções”)
- Dê exemplos. Em geral, quanto mais exemplos de “entrada” -> “saída” você der, mais fácil fica para o LLM te dar o resultado esperado
Fora o prompt, você pegar mais de uma resposta (enviar o mesmo prompt várias vezes) e escolher a melhor, ou colar as várias respostas em outro prompt e pedir que ele sintetize as melhores partes numa resposta final.
Truque inteligente para melhorar o RAG
Em vez de ordenar seus exemplos em contexto do mais ao menos relevante, coloque os mais relevantes no início e no final da lista!
Isso aproveita o fato de que os LLMs têm dificuldade em prestar atenção ao meio do contexto, então isso melhorará a eficiência da atenção dada às amostras relevantes.
Template de 4 Etapas para Resolver Tarefas Agênticas com LLMs
👉 Gerador: Cria respostas candidatas iniciais a partir de um prompt de instrução, seja através de múltiplos modelos em paralelo ou múltiplas amostras do mesmo modelo.
👉 Crítico: Analisa e fornece feedback sobre os pontos fortes e fracos de cada resposta para orientar as etapas subsequentes.
👉 Classificador: Ordena as respostas por qualidade e seleciona as com melhor desempenho para a próxima fase.
👉 Agregador: Combina múltiplas respostas em uma única saída de maior qualidade que incorpora os melhores elementos de cada uma.
Repetir conforme necessário.
O Viés Oculto Dos LLMs Ao Comparar Textos
Pedir a um LLM que compare dois textos geralmente funciona bem.
Na maioria dos casos, ele consegue identificar qual é o melhor com boa precisão.
Mas existe um problema: às vezes a IA acaba preferindo o texto mais longo, mesmo que ele não seja necessariamente o melhor ou mais útil.
Existe uma solução simples para ter avaliações mais precisas.
É uma técnica chamada PREPAIR, que funciona assim:
- Primeiro, cada texto é avaliado separadamente, como se o outro não existisse
- Depois, compara-se os resultados dessas avaliações individuais
Por exemplo, imagine dois textos explicando o que é fotossíntese:
Texto A: “Fotossíntese é o processo onde plantas transformam luz solar em energia, usando água e CO2 para produzir oxigênio e carboidratos.”
Texto B: “Fotossíntese é um complexo processo bioquímico que ocorre em organismos fotossintetizantes como plantas verdes. Durante este sofisticado mecanismo, a energia luminosa é convertida em energia química através de uma série de reações que envolvem clorofila, água e dióxido de carbono…”
Em vez de comparar os dois direto, o PREPAIR avalia cada explicação isoladamente.
Só depois ele coloca os dois no mesmo contexto e faz a avaliação final.
Assim fica mais fácil ver que, apesar de mais curto, o Texto A é mais claro e eficiente.
É como pedir opinião para duas pessoas diferentes sobre cada texto isoladamente, antes de fazer a comparação final.
Assim evitamos o viés do “quanto mais extenso, melhor”.
Seja o primeiro a saber das novidades em Machine Learning. Me siga no LinkedIn.