Depois da rodada inicial de designs e implementações, a IA começa a lembrar decisões que foram revertidas, ou faz mudanças estúpidas.
Estou convencido de que o cultivo do contexto de conversas com IA é tão importante quanto definir bem o design, o estilo do código, as boas-práticas a serem seguidas pelos agentes de IA.
O contexto, em termos simples, é a memória da IA. Nele ficam todos os prompts e todas as respostas de uma conversa de IA. Quanto maior o contexto, mais regras a IA tem de processar e mais custosa é a execução do prompt. Todos os chats têm um limite de contexto e quando a conversa atinge esse limite o contexto é “compactado”, – o contexto é resumido em poucos tokens de modo a dar continuidade ao chat. Entretanto, quem faz esse resumo é a IA. O usuário não tem controle direto sobre o que a IA coloca no contexto após a compactação.
Tenho a impressão de que apagar todo o contexto em vez de compactá-lo traz resultados melhores pois flutuações no design são omitidas e a IA tem de lidar com o código em seu estado atual. A IA precisa ler o código e inferir o design, o que já é esperado dela.
Acho que essa ideia de limpar o contexto em vez de compactar veio do Matt Pocock, mas não acho a fonte.