Usei o Copilot AI Vision para navegar na web e ele tem um grande potencial

Décadas atrás, se você quisesse informações sobre alguma coisa, iria à biblioteca e abriria um livro. Isso mudou com o surgimento da web e dos motores de busca, onde agora tudo o que você precisa fazer é digitar uma consulta de pesquisa e obter todas as informações que desejar.

Como se isso não fosse fácil o suficiente, a inteligência artificial (IA) está aqui para tornar a coleta de informações ainda mais prática.

No início deste mês, a Microsoft lançou o Copilot Vision, uma experiência na qual o Copilot pode visualizar e compreender o contexto do que você está fazendo online para fornecer assistência verbal em tempo real. A ideia é que, quando você precisar de feedback ou conselho durante a navegação, possa recorrer a um assistente ao vivo para obter ajuda.

Além disso: três atividades paralelas lucrativas que você pode começar agora mesmo com o gerador de vídeo Sora da OpenAI

A experiência está disponível no Microsoft Edge e está disponível em versão prévia para um grupo seleto de assinantes do Copilot Pro com assinatura de US$ 20 por mês através do Laboratórios Copiloto e assinantes do US Copilot Pro no Windows. Consegui acesso antecipado e coloquei em teste. Vale a pena a assinatura para acessar o Copilot Vision? Aqui está minha experiência.

Um assistente que entende e vê tudo

Em teoria, pesquisar na web é bastante autoexplicativo, portanto, obter ajuda pode parecer supérfluo. No entanto, quando passei pela experiência de demonstração de integração, fiquei bastante entusiasmado, pois os aplicativos pareciam genuinamente úteis.

Exemplos de casos de uso incluem ter várias fotos na tela e pedir ajuda à Copilot Vision para classificá-las. Em um caso, havia muitas fotos de várias raças de cães, e fui solicitado a pedir ao Copilot Vision que me contasse mais sobre eles verbalmente. O assistente revisou cada foto e me contou mais sobre cada raça – apesar de não haver texto na tela.

Num outro exemplo, havia imagens de diferentes cidades no ecrã, novamente sem texto, e fui solicitado a perguntar qual delas era a mais antiga. A Copilot Vision identificou cada cidade e explicou qual era a mais antiga e por quê.

Também: Como usar o Copilot AI da Microsoft no Linux

No meu exemplo favorito, a ferramenta de IA pegou um exemplo de artigo e o resumiu para mim quando perguntei. Posso ver que esta é uma ferramenta poderosa para pesquisa, especialmente se você está procurando informações sobre algo específico e não quer folhear o artigo para ver se ele tem o que você precisa. Agora, em teoria, você pode simplesmente perguntar.

Em todas as demonstrações, a capacidade do Copilot Vision de me compreender foi impressionante; ele me entendeu independentemente da rapidez com que eu falasse ou murmurasse, o que foi uma grande vantagem porque tornou a experiência suave e intuitiva. No entanto, quando chegou a hora de começar a usá-lo em meus próprios sites, fiquei um pouco desapontado ao explorar os aplicativos da vida real.

As limitações

No momento, o Copilot Vision pode acessar um número limitado de sites, incluindo Wikipedia, Tripadvisor, Amazon, Target, OpenTable, Wayfair, Food & Wine, Williams Sonoma e Geoguessr.

A maioria deles são sites de compras, e minha experiência foi que não há muita assistência significativa que possa acontecer ao fazer compras online. As maneiras pelas quais ele me ajudou incluem a navegação nos sites de compras, guiando-me para seções específicas, como ofertas, e descobrindo em quais guias clicar e em quais seções ir.

Por exemplo, na Amazon, quando perguntei se poderia ajudar minha mãe a encontrar algo para comprar no Natal, ela sugeriu em quais guias do site eu deveria clicar para encontrar itens que lhe interessassem. A parte Visão não foi especialmente útil porque eu mesmo pude ver as guias do site. Em seguida, ofereceu-me sugestões genéricas de produtos, como um livro ou um suéter.

Quando cliquei em uma aba aleatória, pedi que me desse feedback sobre qual seria o melhor presente para ela entre as opções mostradas. Ele escolheu o primeiro item na tela, que neste caso era um tablet Amazon Fire HD, listando seus casos de uso óbvios e de primeira linha – novamente, não muito útil.

Nos três sites de conteúdo disponíveis – Wikipedia, Tripadvisor e Food & Wine – o Copilot Vision mostrou-se mais promissor porque foi capaz de resumir o conteúdo dos artigos, o que parece ser um grande ganho de produtividade para trabalhadores, estudantes e outros.

No Food & Wine, que tem uma página inicial mais tradicional com os artigos mais populares exibidos, a IA também foi útil para fornecer um resumo do que eu estava vendo, explicando brevemente a notícia principal e outros artigos em destaque.

No entanto, eu não uso a Wikipedia para minha pesquisa por causa de suas entradas de terceiros, e os outros dois sites são muito específicos em seu foco, então não tenho certeza de quão útil o Copilot Vision será, a menos que você já esteja no um desses sites.

Além disso: você pode entrevistar os hosts de IA do seu podcast NotebookLM agora

Os dois últimos atendem a casos de uso mais exclusivos: OpenTable e GeoGuessr. No OpenTable – um site usado para procurar restaurantes e fazer reservas – não foi muito útil porque, novamente, só pode ajudar com o que você está vendo. Por exemplo, se você pedir recomendações de um restaurante mexicano naquela noite, ele simplesmente lhe dirá o que já está visível.

Explorar o GeoGuessr é onde o Copilot Vision foi mais útil, atuando como um assistente que sabia todas as respostas. Assim como ter um parceiro muito informado em sua equipe, a IA me deu algumas dicas úteis – o que, de certa forma, é trapaça.

Preocupações de segurança

Naturalmente, ter um modelo de IA olhando para sua tela traz preocupações sobre ele olhar para seus dados. Para resolver isso, a Microsoft tem um Q+A robusto que responde às perguntas mais urgentes das pessoas.

Para começar, a empresa garante aos usuários que o Copilot Vision só visualiza sua janela Edge em uma sessão ativa do Vision, designada por um quadro do navegador com um matiz indicando que eles estão em uma sessão ativa. Este é o principal diferencial do Recall, um recurso que tira instantâneos da tela do usuário em segundo plano sempre que os usuários dos PCs Copilot + optam por participar – e tem sofrido muita controvérsia.

Também: Os melhores chatbots de IA

Segundo a empresa, as respostas do Copilot são registradas apenas para monitorar interações inseguras, mas as entradas do usuário, incluindo texto, imagens e contextos, nunca são armazenadas. Além disso, os dados de entrada de um usuário são excluídos quando a sessão termina.

Vale a pena?

No momento, adquirir o Copilot Pro apenas para o Copilot Vision não valeria a pena, principalmente porque o acesso não é garantido. No entanto, com o Assinatura de $ 20 por mêsos usuários também obtêm acesso a outras vantagens, como acesso prioritário aos modelos mais recentes e ao Copilot em aplicativos selecionados do Microsoft 365, incluindo Word, Excel, PowerPoint, OneNote e Outlook. Isso o torna um bônus divertido para mexer se você já é um usuário avançado do Copilot e pode se beneficiar dessas outras vantagens.