LLM observability: como monitorar qualidade, custo e latência em produção
O monitoramento tradicional foca em métricas binárias (servidor online/offline, requisições bem-sucedidas/falhas). A observabilidade de LLMs exige uma abordagem radicalmente diferente: precisamos entender o que o modelo gerou, por que gerou aquilo e quanto custou. Diferente de uma API REST comum, onde o retorno é previsível, LLMs podem produzir respostas semanticamente corretas mas factualmente erradas, ou respostas rápidas mas de baixa qualidade.