Confesso que eu nao acompanho as discussões sobre IA tão de perto.
Notei, assim como quase todo mundo, que os avanços de IA deram uma freada. Também notei que os artigos e discursos sobre AGI (Artificial General Intelligence) sumiram. A AGI seria o Santo Graal da IA, um modelo capaz de raciocinar qualquer problema complexo com precisão e numa velocidade milhões de vezes mais rápida do que um humano faria. Lembro do Sam Altman falando com olhos marejados e a expressão pálida de que a AGI tornaria a maioria dos trabalhos obsoletos e como isso era assustador.
Um cara que cantou a bola de que a IA não ia melhorar muito mais foi Cal Newport. Ele notou um movimento rumo à especialização da IA, que ele chama de post training. A partir de uma IA treinada (pre trained) como GPT4, por exemplo, criam-se inputs e treinamentos para que ela execute tarefas específicas. Segundo Newport, os avanços astronômicos de IA que tivemos do GPT2 para o 3, e do 3 para o 4 não são mais possíveis. Os modelos de linguagem atingiram seu limite de escalabilidade. Chegamos na fase de retornos decrescentes para os LLMs.
Ele comenta sobre a história dos LLMs, os avanços da IA nos últimos anos e seus desenvolvimentos recentes (5 meses atrás) neste vídeo e artigo abaixo, que ele cita durante o vídeo todo:
Vídeo podcast
Artigo
https://www.newyorker.com/culture/open-questions/what-if-ai-doesnt-get-much-better-than-this