Já se passaram seis meses desde que o Google começou a adicionar texto gerado por IA ao topo de muitas consultas da Pesquisa Google por padrão, e isso experimento – isso é o que diz um aviso na parte inferior de cada visão geral da IA - não foi um sucesso estrondoso, reconheceu o Google ao Mashable.
Embora “as visões gerais da IA em geral sejam conjuntos muito atraentes de coisas que são úteis para os usuários”, disse Hema Budaraju, diretor sênior de gerenciamento de produtos para pesquisa do Google, “temos trabalho a fazer no lado da qualidade das coisas, que é uma necessidade cada vez maior.”
As visões gerais de IA foram lançadas com uma espécie de slogan: “Deixe o Google fazer a pesquisa por você”, masdepois de alguma controvérsia no início – principalmente naquelas semanas em que surgiram histórias sobre a Pesquisa Google dizendo às pessoas para comerem pedras e colocarem cola na pizza – a empresa parece ter recuado um pouco. No lançamento, as visões gerais da IA apareciam em cerca de 15% das páginas de resultados da Pesquisa Google, mas esse número foi reduzido para cerca de 7% no final de junho, de acordo com o Search Engine Land.
Então, a qualidade melhorou nos últimos seis meses?
As visões gerais da IA estão melhorando?
Seria difícil argumentar à queima-roupa que houve um aumento significativo na qualidade. As visões gerais se materializam com menos frequência e os erros ainda são excessivos, mas encontrei algumas evidências muito limitadas de melhorias: as visões gerais de IA para as consultas que destaquei ao Google para este artigo melhoraram enquanto eu trabalhava nelas.
Se valer a pena, diz Budaraju, em todos os tipos de consultas, das cotidianas às estranhas, as visões gerais de IA funcionam, “especialmente quando não há uma resposta única e há múltiplas perspectivas”. Ou pelo menos é o que o Google pensa com base em dados internos sobre qualidade, provenientes de testes AB, mas não de grupos focais, disse Budaraju.
As pesquisas cotidianas tendem a obter visões gerais de IA aceitáveis, em minha experiência. “Qual é o sabor das amêndoas”, por exemplo, pode produzir uma visão geral de IA razoável como a que obtive: “As amêndoas podem ter sabor doce, ligeiramente amargo ou amargo, dependendo de sua composição química.” Multar.
Mas se você é um viciado em informação e usa a Pesquisa Google de forma mais ampla, há uma boa chance de ainda encontrar erros bizarros. Este exemplo de novembro do usuário BlueSky @coopercooperco é um resumo decente da infeliz tendência persistente do Google Gemini de colocar a verdade no liquidificador de vez em quando.
Quando questionado sobre Picos Gêmeos episódio em que Cole beija Shelly, a Visão Geral da IA deixa escapar com bastante confiança e erroneamente que tal cena não existe. Sem saber com certeza o que deu errado, só podemos assumir que os dados de treinamento do modelo incluem pelo menos menções fugazes – se não o roteiro completo – do famoso Picos Gêmeos cena sobre (voz gritando de David Lynch) “dois adultos compartilhando um momento de ternura!” em queCole e Shellysão aparentemente interrompidos por Bobby Briggs, mas então se beijam de forma clara e inequívoca. O modelo provavelmente não está baseado em nenhum blog defeituoso ou scripts falsificados dizendo que Cole nunca beija Shelly (com que fim alguém escreveria uma coisa dessas?). Basta inventar isso e colocá-lo no topo da página de resultados da Pesquisa Google.
O usuário Bluesky acima está claramente fazendo o que o Google frequentemente chama de “consulta incomum”. As alucinações “tendem a surgir” quando a consulta é incomum, disse Budaraju. “Mesmo que os sistemas tentem ser úteis, há alguns erros de interpretação, alguma falta inerente de informações de alta qualidade na web”, explicou ela ao falar com Mashable sobre visões gerais de IA em geral, não esta em particular. Muitas informações on-line importantes e de alta qualidade confirmam que Cole e Shelly se beijam, então a “interpretação errônea” da interrupção malsucedida de Bobby Briggs faz mais sentido como explicação.
Se você pesquisar com base em informações incorretas, as visões gerais da IA podem piorar significativamente as coisas
De acordo com Budaraju, melhorar as visões gerais da IA envolve “pesquisas de sentimento” que não são exatamente testes AB. “Nós apenas damos às pessoas a opção de escolher entre um ou outro e obter uma expressão de satisfação”, disse ela.
Velocidade da luz mashável
Mas um cenário de pesadelo para as visões gerais de IA é aquele em que o pesquisador começa com informações menos que perfeitas, e a visão geral de IA as torna ainda menos perfeitas.
Se a base para uma pesquisa estiver errada ou falha, e a Visão Geral da IA não detectar o problema, então é lógico que o usuário também não notará isso. O resultado seria um usuário satisfeito que agora é ainda mais ignorante do que antes. É certo que o problema de usar a Pesquisa Google para encontrar informações incorretas é muito mais antigo do que as visões gerais de IA, mas as visões gerais de IA podem ser uma fórmula para turbinar esse processo.
Para um exemplo vívido, mas bastante benigno, do que quero dizer, aqui está o resultado da consulta “Como usar bicarbonato de sódio para engrossar a sopa”. Alguém pode ter apenas a mais vaga noção de que um dos pós no armário pode dar à sopa uma sensação mais forte na boca, mas pode adivinhar errado. De acordo com a Visão Geral da IA, “o bicarbonato de sódio pode ser usado para engrossar a sopa, tornando-a mais sedosa e macia”.
Crédito: Captura de tela do Mashable via Google
Isso não vai funcionar e pode deixar sua sopa com um sabor estranho.
Quando mostrei este exemplo a um representante do Google, eles me disseram que o Google o usaria para melhorar seu produto.
Mas separar informações boas e ruins torna-se ainda mais confuso se você estiver procurando pelo paranormal. Por exemplo, tentei pesquisar “como ensinar um cachorro a se comunicar telepaticamente”, e a Visão Geral da IA começou com o título “Aqui estão algumas dicas para se comunicar telepaticamente com seu cachorro”, e então forneci uma lista com marcadores remendada a partir dos escritos de crentes no paranormal, como a “comunicadora animal” Pea Horsley.
Crédito: Captura de tela do Mashable via Google
Se você deseja lê-los, é função da Pesquisa Google direcioná-lo aos escritos de pessoas como Horsley – na verdade, eu os recomendo. Eles são divertidos. Mas quando a visão geral da IA no topo de uma página de resultados do Google diz “Aqui estão algumas dicas para se comunicar telepaticamente com seu cão”, dá aos usuários a impressão de que esta informação é oficial e confiável, em vez de ser “apenas para fins de entretenimento”. ”
Um representante do Google destacou que as visões gerais da IA são dinâmicas. Eles me mostraram a visão geral da IA para a mesma pesquisa e não dizia “Aqui estão algumas dicas para se comunicar telepaticamente com seu cão”, mas mencionaram que não há evidências científicas de que os cães possam se comunicar telepaticamente, antes de fazer a transição para outro Pea Horsley. lista de instruções influenciada. Se eu tentar esta pesquisa hoje, obterei um resultado igualmente melhorado.
Finalmente, e se um usuário percebesse que a carne de vaca é chamada de “carne bovina” e a carne de porco é chamada de “carne de porco” e se perguntasse como é chamada a carne de golfinho. Coisas estranhas aconteceram. Quando usei a Pesquisa Google para encontrar respostas, a visão geral da IA aparentemente deixou escapar a verdade sombria sobre mahi-mahi:
Crédito: Captura de tela do Mashable via Google
A visão geral da IA começa com “O nome da carne de golfinho depende da região e do tipo de golfinho” e depois fornece uma lista com marcadores. O primeiro item da lista é “Mahi-mahi”.
Se o usuário continuar lendo, verá que mahi-mahi também é conhecido como “peixe-golfinho” (porque, para ser claro, mahi-mahi não é golfinho. É um peixe). Mas o resultado é no mínimo confuso. Quando o mostrei a um representante do Google, eles me disseram que essa era uma interpretação razoável da pesquisa – em outras palavras, que um usuário que pesquisasse “nome da carne de golfinho” poderia realmente estar procurando pelo peixe conhecido como “peixe-golfinho”.
É uma boa ideia clicar na fonte
Como, como mencionei acima, cada uma das pesquisas que produziram uma visão geral problemática da IA que apresentei aqui melhorou até certo ponto, suspeitei que o Google as estava limpando à medida que avançava, mas Budaraju afirma o contrário. “Não corrigimos as consultas uma por uma. Não é assim que funcionamos. Na verdade, pensamos nisso como quais são os padrões de problemas que estamos vendo e como poderíamos realmente resolvê-los em grande escala?”
Mas ela também me disse que o Google continua focado em direcionar os usuários às fontes de visões gerais de IA – você sabe, os links antiquados na sua página de resultados de pesquisa do Google? “Até certo ponto”, disse ela, “acho que também esperamos que nossos usuários tenham os links certos, links para eles também buscarem”. Ela se pergunta se, em resposta a uma visão geral da IA, o usuário “realmente seguiria esse caminho e olharia os links que levaram à visão geral que você criou”.
Se as visões gerais de IA nunca vão desaparecer, então, até que nunca tenham alucinações, provavelmente é uma boa ideia aceitar esta sugestão de Budaraju e cultivar o hábito de clicar nos links ao lado de suas visões gerais de IA sempre que as vir.
Tópicos
Inteligência artificial