Aprendizagem no contexto
Grandes modelos de linguagem, como o GPT-3 da OpenAI, usado na estrela do momento, o ChatGPT, são redes neurais massivas que podem gerar texto semelhante ao criado pelos seres humanos, de poesia a códigos de programação. Treinados usando dados da internet, esses modelos de aprendizado de máquina pegam um pequeno texto de entrada e então preveem o texto que provavelmente virá a seguir.
Mas isso não é tudo o que esses modelos podem fazer. Pesquisadores estão explorando um fenômeno curioso, conhecido como aprendizagem no contexto - ou aprendizagem contextual - no qual um grande modelo de linguagem aprende a realizar uma tarefa depois de ver apenas alguns exemplos - apesar do fato de não ter sido treinado para essa tarefa.
Por exemplo, alguém pode alimentar o modelo com várias sentenças de exemplo e seus sentimentos (positivos ou negativos), então solicitar uma nova sentença, e o modelo pode fornecer o sentimento correto.
Normalmente, um modelo de aprendizado de máquina como o GPT-3 precisaria ser treinado novamente com novos dados para essa nova tarefa. Durante esse processo de treinamento, o modelo atualiza seus parâmetros à medida que processa novas informações para aprender a tarefa. Mas, com o aprendizado no contexto, os parâmetros do modelo não são atualizados, então parece que o modelo aprende uma nova tarefa sem passar pelo processo de aprendizado.
Cientistas do MIT, Google Research e Universidade de Stanford estão se esforçando pra desvendar esse mistério. Para isso, eles começaram estudando modelos menores, mas muito semelhantes aos grandes modelos de linguagem, para ver como eles podem aprender sem atualizar os parâmetros.
