Experimentos: Limites da IA

A parte 2 deste relato está disponível neste link.

Decidi que nos Domingos eu não trabalharia nos meus sites de jogos nem construiria jogos para publicação. É importante se afastar do trabalho e deixar a mente pensar em outras coisas. Aproveitei este domingo para experimentar com IA.

O projetinho de hoje

Notei que IA “gosta” de documentações. Quando tenho um projeto bem documentado, a geração tende a ser mais precisa e menos convoluta.

O quão difícil seria gerar documentação de um jogo existente e usar esta mesma documentação como insumo para recriar o jogo com IA?

Foi o que eu fiz. Pedi para a IA gerar uma documentação minuciosa do jogo Reigns. Como parâmetro adicional, eu pedi para ela focar nos detalhes que permitiriam a uma outra IA recriar o jogo somente com a documentação.

A geração da documentação demorou um pouco, mas a entrega ficou muito boa. Explica em detalhes as mecânicas e os tipos de evento do jogo.

Com a documentação em mãos, abri um outro chat e pedi para a IA gerar um jogo seguindo a documentação, o nome do jogo deveria ser “O Rei”.

A IA criou um jogo em HTML cujas cartas são geradas por IA e que se comunica com a API do Claude para gerar as cartas e eventos. Eu não pedi nada disso.

No próximo prompt pedi pra IA criar um jogo stand-alone, que não se comunique com APIs externas. Um jogo totalmente local. Com 120 cartas.

Este foi meu erro.

Claude travado

O prompt pedindo para alterar a estrutura do jogo E criar 120 cartas foi demais para o Claude. Ele travou. Não foi possível concluir minha requisição. O mais triste é que eu via os textos das cartas sendo gerados e pude estimar que pelo menos metade das cartas tinha sido gerada.

Solução

A solução, para surpresa de ninguém, foi dividir os ajustes em lotes.

Primeiro eu criaria as cartas, em CSV, para que eu possa escrever cartas eu mesmo e para que tenhamos um artefato que não dependa da memória de trabalho de Claude – acho que assim economizo tokens, mas não tenho certeza. Com as cartas prontas, passamos à geração de imagens para ilustrar as cartas e depois à implementação das cartas no jogo.

120 cartas não são algo trivial, por isso decidi dividir essa tarefa também. Trabalharíamos com lotes de 30 cartas.

Execução

Comecei a gerar as cartas e após o terceiro lote, eu tinha gastado todos os meus tokens para a sessão. Novos tokens só as 22:00.

Em 7 prompts eu gastei todos os meus tokens para esta sessão.

Em comparação, eu criei 2 sites e um editor com os tokens de sessão quando eu criei os sites de sudoku e kenken. Essa sessão de Domingo foi muito custosa e eu desperdicei muitos tokens.

Redijo este post por volta das 19:30 enquanto espero o refresh dos meus tokens.

Lições

O maior aprendizado, sem sombra de dúvidas, foi descobrir que o Claude tem limites, ele quebra. É preciso estruturar os prompts de modo a evitar esses gargalos de processamento intensivo (leia-se, que consomem muitos tokens).

O segundo aprendizado, mais uma confirmação, é que emsmo com documentação, a IA tende a inventar coisas. A API de cartas geradas por IA não estava na documentação, mas a IA decidiu criar o jogo com essa feature. Isso mostra que é preciso ser muitíssimo específico na documentação a fim de evitar devaneios que desviem do objetivo final do jogo. Meu prompt de geração do jogo poderia ter sido mais explícito quanto ao produto final. Em resumo: seja chato e redundante nos seus prompts. Repita o óbvio, dê detalhes sobre o que você espera da IA.

Termino este post com um gancho para o post de amanhã, no qual pretendo continuar esse experimento e compartilhar os resultados com vocês.

—

Links

Chat com Claude para a geração do jogo. https://claude.ai/share/0cff9865-8b2f-4d97-baaa-9ab5846640b4