Testando aplicações com LLMs: estratégias para um output não determinístico
LLMs (Large Language Models) são intrinsecamente não determinísticos por design. Diferentemente de funções matemáticas puras, onde a mesma entrada sempre produz a mesma saída, um LLM pode gerar respostas diferentes para o mesmo prompt mesmo sem alteração aparente nos parâmetros. Isso ocorre porque o processo de geração de texto envolve amostragem probabilística a partir de uma distribuição de tokens.