O Google está supostamente pedindo aos empreiteiros que trabalham na avaliação das respostas da Gemini que avaliem as solicitações fora de seu domínio de especialização. De acordo com o relatório, a gigante da tecnologia com sede em Mountain View removeu a opção de ignorar as solicitações, que period exercida por esses contratantes caso sentissem que não tinham conhecimento suficiente sobre um assunto para avaliar a resposta. Sendo as alucinações de inteligência synthetic (IA) uma grande preocupação para os chatbots, este desenvolvimento relatado pode levar a uma queda na qualidade das respostas da Gemini quando se trata de tópicos altamente técnicos.
O Google supostamente não permite que os empreiteiros ignorem as solicitações do Gemini
De acordo com um relatório do TechCrunch, o Google enviou uma nova diretriz interna aos contratados que trabalham no Gemini. Afirmando ter visto o memorando enviado pela gigante da tecnologia, a publicação afirma que estes empreiteiros estão agora a ser solicitados a responder a perguntas, mesmo quando não possuem o conhecimento para avaliar corretamente as respostas.
O Google supostamente terceiriza a avaliação das respostas da Gemini à GlobalLogic, uma empresa de propriedade da Hitachi. Diz-se que os empreiteiros que trabalham no Gemini têm a tarefa de ler as instruções técnicas e avaliar as respostas da IA com base em vários fatores, como veracidade e precisão. Esses indivíduos que avaliam o chatbot possuem experiência em disciplinas específicas, como codificação, matemática, medicina e muito mais.
Até agora, os contratantes poderiam ignorar certas solicitações se estivessem fora de seu domínio. Isso garantiu que apenas aqueles qualificados para compreender e avaliar as respostas técnicas geradas pelo Gemini o fizessem. Esta é uma prática pós-treinamento padrão para modelos fundamentais e permite que as empresas de IA fundamentam suas respostas e reduzam os casos de alucinação.
No entanto, isso mudou quando a GlobalLogic anunciou na semana passada as novas diretrizes de que os empreiteiros não tinham mais permissão para pular as solicitações, a menos que a resposta estivesse “completamente faltando informações” ou contivesse conteúdo prejudicial que requer formulários de consentimento especiais para avaliação.
De acordo com o relatório, a nova diretriz afirma que os contratantes não devem “ignorar as solicitações que exigem conhecimento de domínio especializado” e, em vez disso, devem avaliar as partes da solicitação que entendem. Eles também teriam sido solicitados a incluir uma nota mencionando que não possuíam o conhecimento do domínio.
Um empreiteiro declarou em comunicação interna: “Achei que o objetivo de pular period aumentar a precisão, entregando-o a alguém melhor”, afirmou a publicação.
