O domínio do Google na pesquisa na Web – consistentemente acima de 85% do mercado nos EUA – é um facto imperdível da vida online. Mas uma fonte fundamental desse poder é muito menos óbvia: o índice exaustivo de páginas web que o Google criou e mantém, e que é tão abrangente que até mesmo motores de busca alternativos muitas vezes têm de alugá-lo.
Agora, dois dos menores rivais do Google estão lançando seu próprio projeto de indexação, e as circunstâncias de seu esforço podem dar-lhes maiores chances de sucesso do que tentativas anteriores.
O European Search Perspective (ESP), um projeto conjunto anunciado no início deste mês pela Ecosia, com sede em Berlim, e pela Qwant, com sede em Paris, começará fora do quintal do Google, indexando páginas em francês e alemão, para que esses dois motores de busca não tenham que pague com a mesma frequência para usar o índice do Google ou aquele que a Microsoft mantém para seu site de busca Bing. Essas despesas não são triviais e podem vir com restrições de uso.
O momento para a Perspetiva de Pesquisa Europeia beneficia de uma série de fatores favoráveis: uma combinação de queda dramática dos custos dos servidores, procura crescente de índices web de projetos de IA generativa e o aumento da Microsoft nas taxas de acesso ao seu índice do Bing.
“Um pouco de pressão, um pouco de oportunidade”, diz o CEO da Ecosia, Christian Kroll.
A própria Ecosia mudou dos dados do Bing para os do Google depois que a Microsoft anunciou esses aumentos de taxas, mas Kroll diz que o lobo dos custos de pesquisa está agora um pouco mais longe da porta graças ao interesse dos reguladores da UE numa possível violação da abrangente Lei dos Mercados Digitais da UE.
“Acho que os reguladores compreenderam a nossa situação e deixaram claro que potencialmente nos apoiariam”, diz ele.
O objetivo inicial do ESP não é zerar as contas da Microsoft e do Google, mas reduzi-las, ao mesmo tempo que ganha dinheiro com desenvolvedores de IA e outras empresas de tecnologia que precisam de dados de pesquisa.
“Pagamos por consulta e espero que daqui a um ano uma quantidade substancial de nossas consultas seja respondida por nosso próprio índice”, diz Kroll. “É bastante viável chegar a metade das dúvidas respondidas.”
Mas mesmo um crescimento superior a esse ainda deixaria a Ecosia e a Qwant em dívida com os dois principais índices: “Para os últimos 10% a 20%, ainda precisamos de acesso ao Google e ao Bing”, acrescenta Kroll.
A indexação de páginas em inglês deve seguir (a Ecosia obtém cerca de 8% de seu tráfego dos EUA). Mas Kroll parece duvidar de quando o projeto será capaz de construir índices úteis de páginas em idiomas menos comuns, como o português, dizendo que não terá dados suficientes de resposta do usuário para ajudar a treinar seu índice.
Mais premente, o ESP parece provavelmente enfrentar o mesmo problema do qual outros possíveis rivais do Google reclamaram: sites que aceitam apenas o Google, o Bing e talvez um ou dois outros rastreadores para indexar seu conteúdo, deixando os índices da web iniciais para decidir se eles deve ignorar essas instruções padronizadas e correr o risco de ser bloqueado.
“Não é fácil”, diz Kroll, sem entrar em detalhes sobre como o ESP pode resolver o problema, além de sugerir que “talvez isso seja algo que precise ser resolvido por meio de regulamentação”.
(Kroll não é fã de todas as iniciativas regulatórias da UE. Ele gostaria de ver os reguladores europeus repensarem as leis de “imposto sobre links”, que exigem que os sites de pesquisa paguem aos sites de notícias por mostrarem breves trechos de texto abaixo dos links de resultados de pesquisa, que ele diz sock sua empresa com pagamentos mínimos que deixam uma marca mais profunda do que aqueles pagos pelo Google, o alvo pretendido dessas regras.)
Depender de duas gigantescas empresas americanas para indexar a web é um problema para a Europa em geral, diz Kroll – especialmente com a agenda nacionalista do presidente eleito Donald Trump, que ele teme que possa levar as empresas da UE a serem deixadas de lado nas discussões sobre política tecnológica e comercial. .
O inventor da web concorda que é problemático ter tão pouca concorrência para indexar a web.
“Quando você tem um monopólio muito forte, isso não é bom para a inovação”, diz Tim Berners-Lee. Ele admite que uma monocultura de índices de pesquisa pode não ser um problema solucionável apenas pelas forças do mercado.
“Você pode argumentar que existem alguns monopólios naturais”, diz ele. “Algumas pessoas na Europa podem sugerir que a pesquisa deveria ser um bem comum.”
Mas a derrota do Google no caso antitruste de buscas apresentado pelo governo dos EUA e por todos os estados, exceto o Alabama, abre uma nova possibilidade no lado esquerdo do Atlântico.
Embora a solução proposta pelo Departamento de Justiça tenha chamado a atenção por exigir que o Google venda seu navegador Chrome e saia de acordos preferenciais com a Apple e outros terceiros para manter seu mecanismo de busca como padrão, a Seção VI do julgamento final proposto pelos demandantes poderia moldar a busca concorrência muito mais diretamente.
Isso exigiria que a Google oferecesse o seu índice de pesquisa “a um custo marginal” aos concorrentes com a mesma latência e fiabilidade que o seu próprio site de pesquisa – além de acesso gratuito a “dados do lado do utilizador” anónimos que revelam como as pessoas respondem aos resultados de pesquisa.
Uma disposição separada eliminaria acordos paralelos do Google com editores que lhe dão acesso exclusivo ou preferencial ao seu conteúdo, como o acordo que o Reddit assinou com o Google em março.
(A Lei dos Mercados Digitais da UE já exige que empresas “guardiãs” forneçam “termos justos, razoáveis e não discriminatórios para classificação, consulta, clique e visualização de dados”, mas concorrentes como DuckDuckGo se opuseram aos limites que o Google impôs a isso. compartilhamento.)
Kroll ainda não comentou até que ponto o regime proposto pelos EUA poderá responder às suas preocupações.
Mas a sua opinião antes da publicação do julgamento final proposto mostra quão pouco o mercado de buscas pode se parecer com o que era quando o Google era uma startup corajosa enfrentando concorrentes consolidados.
“Acho que o desafio tecnológico pode ser superado. Acho que até há dinheiro suficiente aí”, diz ele. “Mas precisamos dos regulamentos certos para que as coisas funcionem.”