O Microsoft Copilot agora pode ler sua tela, pensar profundamente e falar em voz alta com você

Uma semana depois de anunciar uma onda de atualizações para seu pacote empresarial de produtos Copilot AI, a Microsoft está lançando novos recursos do Copilot no Windows para todos os usuários, incluindo uma ferramenta que pode compreender e responder a perguntas sobre o que está na sua tela.

Os aplicativos Copilot atualizados para iOS, Android, Windows e web estão sendo lançados hoje e todos apresentam um Copilot com um estilo mais “caloroso” e “distinto”, como a Microsoft descreve. A Microsoft também está trazendo o chatbot para o WhatsApp, permitindo que os usuários conversem com o Copilot via DM, semelhante à experiência que você obtém com outros bots na plataforma de mensagens Meta.

Visão do Copiloto

O Copilot Vision tem uma visão do que você está visualizando no seu PC – mais especificamente, uma lente dos sites que você está visitando com o Microsoft Edge. Por trás do Copilot Labs, um novo programa opcional exclusivo do Copilot Pro para recursos experimentais do Copilot, o Copilot Vision pode analisar textos e imagens em páginas da web e responder a perguntas (por exemplo, “Qual é a receita da comida nesta imagem?”) sobre eles.

O Vision, que pode ser acessado digitando “@copilot” na barra de endereço do Edge, não é exatamente uma maravilha técnica. O Google oferece tecnologia de pesquisa semelhante no Android e recentemente trouxe pedaços dessa tecnologia também para o Chrome.

Mas a Microsoft sugere que o Copilot Vision é mais poderoso e consciente da privacidade do que os recursos anteriores de análise de tela.

“O Copilot Vision pode… sugerir os próximos passos, responder a perguntas, ajudar a navegar em tudo o que você deseja fazer e auxiliar nas tarefas, tudo isso enquanto você simplesmente fala em linguagem natural”, escreveu a Microsoft em uma postagem de blog compartilhada com o TechCrunch. “Imagine que você está tentando mobiliar um novo apartamento. A Copilot Vision pode ajudá-lo a procurar móveis, encontrar a paleta de cores certa, pensar em suas opções em tudo, desde tapetes a mantas, e até sugerir maneiras de organizar o que você está vendo.”

Sem dúvida, ansiosa para evitar outra rodada de críticas negativas devido a problemas de privacidade da IA, a Microsoft está enfatizando que o Copilot Vision foi projetado para excluir dados imediatamente após as conversas. Áudio, imagens ou texto processados ​​não são armazenados ou usados ​​para treinar modelos, afirma a empresa – pelo menos não nesta versão prévia.

O Copilot Vision também é limitado nos tipos de sites que pode interpretar. Por enquanto, a Microsoft está impedindo que o recurso funcione em conteúdo “sensível” e com acesso pago, limitando o Vision a uma lista pré-aprovada de propriedades “populares” da web.

O que exatamente envolve o conteúdo “sensível”? Pornô? Violência? Neste momento, a Microsoft não quis dizer.

Acusações de contornar acessos pagos com ferramentas de IA colocaram a Microsoft em maus lençóis legais no passado recente. Em um processo em andamento, o The New York Times alegou que a Microsoft permitiu que os usuários contornassem seu acesso pago, veiculando artigos do NY Times por meio do chatbot Copilot no Bing. Quando solicitado de uma certa maneira, o Copilot – que é alimentado por modelos do OpenAI, colaborador próximo da Microsoft – forneceria trechos literais (ou quase literais) de histórias pagas, de acordo com o The Times.

A Microsoft disse que o Copilot Vision, que está disponível apenas nos EUA no momento, respeitará os “controles legíveis por máquina sobre IA” dos sites – como regras que impedem que bots extraiam dados para treinamento de IA. Mas a empresa não disse precisamente quais controles a Visão respeitará; existem vários em uso. Pedimos esclarecimentos à Microsoft.

Muitos grandes editores optaram por impedir que ferramentas de IA vasculhem seus sites, não apenas por medo de que seus dados sejam usados ​​sem permissão, mas também para evitar que essas ferramentas aumentem os custos de seus servidores. Se a tendência atual se mantiver, o Copilot Vision poderá não funcionar em alguns dos principais sites de notícias da web.

A Microsoft disse que está comprometida em “receber feedback” para dissipar as preocupações.

“Antes de lançarmos amplamente, continuaremos a… refinar nossas medidas de segurança e manter a privacidade e a responsabilidade no centro de tudo o que fazemos”, disse a Microsoft no blog. “Não há processamento específico do conteúdo de um site que você está navegando (com o Copilot), nem qualquer treinamento de IA – o Copilot Vision simplesmente lê e interpreta as imagens e o texto que vê na página pela primeira vez junto com você.”

Pense mais profundamente

Tal como acontece com o Vision, o novo recurso Think Deeper do Copilot é uma tentativa de tornar o assistente da Microsoft mais versátil.

O Think Deeper dá ao Copilot a capacidade de raciocinar sobre problemas mais complexos, disse a Microsoft, graças a “modelos de raciocínio” que levam mais tempo antes de responder com respostas passo a passo.

Quais modelos de raciocínio? A Microsoft foi um pouco cautelosa quando perguntei, dizendo apenas que o Think Deeper usa “os modelos mais recentes da OpenAI, ajustados pela Microsoft”. Lendo nas entrelinhas, é seguro apostar que eles são uma versão personalizada do modelo o1 da OpenAI.

“Projetamos o Think Deeper para ser útil em todos os tipos de desafios práticos do dia a dia, como comparar duas opções complexas lado a lado”, escreveu a Microsoft em um blog. “O Think Deeper pode ajudar em qualquer coisa, desde resolver problemas matemáticos difíceis até avaliar os custos de gerenciamento de projetos domésticos.”

A Microsoft falou bastante sobre o potencial do Think Deeper em seus materiais de imprensa. Mas supondo que o modelo abaixo seja o1, certamente ficará aquém em algumas áreas. Estamos curiosos para ver que tipo de melhorias a Microsoft fez no modelo básico e o quão próximo o Think Deeper é sobre suas limitações.

Think Deeper estará disponível a partir de hoje para um número limitado de usuários do Copilot Labs na Austrália, Canadá, Nova Zelândia, EUA e Reino Unido

Voz do copiloto

Um novo recurso do Copilot geralmente disponível hoje é o Copilot Voice (não deve ser confundido com o Copilot Voice do GitHub). Lançado em inglês na Nova Zelândia, Canadá, Austrália, Reino Unido e EUA, para começar, o Voice adiciona quatro vozes sintéticas, permitindo que você fale com o Copilot e tenha suas respostas faladas em voz alta.

Assim como o modo de voz avançado da OpenAI para ChatGPT, o Copilot Voice pode captar seu tom durante as conversas e responder de acordo, e você pode intervir a qualquer momento enquanto o Copilot Voice está respondendo. Um porta-voz da Microsoft me disse que o modo usa “a mais recente tecnologia de voz com novos modelos que foram ajustados para o aplicativo Copilot”. Que tecnologia? Quais modelos? Nos detalhes, a palavra é mãe.

Uma coisa a ter em conta: o Copilot Voice tem um limite de uso baseado no tempo. Os assinantes do Copilot Pro recebem mais minutos, mas o número é “variável”, disse-me a Microsoft, dependendo da demanda.

Personalização

O Copilot em breve se tornará mais adaptado aos seus gostos e preferências, disse a Microsoft, graças a uma nova configuração de personalização.

Quando a configuração estiver habilitada, o Copilot se baseará em suas interações e histórico anteriores, bem como em suas interações com outros aplicativos e serviços da Microsoft (a Microsoft não dirá quais) para recomendar maneiras de usar o Copilot.

“Isso ajuda você a seguir em frente”, escreveu a Microsoft em uma postagem no blog, “oferecendo um guia prático para os recursos úteis do Copilot e para iniciar uma conversa”.

A personalização no Copilot, que pode ser desativada no menu de configurações do Copilot no Windows, não está prevista para o Reino Unido ou a UE tão cedo. Mas os usuários de outros lugares deverão começar a ver a configuração esta tarde.

A Microsoft e a UE têm tido um relacionamento difícil no que diz respeito ao lançamento de produtos de IA da empresa. Em maio, a UE alertou a Microsoft que poderia ser multada em até 1% do seu volume de negócios anual global ao abrigo do regime de governação online do bloco, a Lei dos Serviços Digitais, depois de a empresa não ter respondido a um pedido de informação centrado na sua IA generativa. ferramentas.

Vários gigantes da tecnologia além da Microsoft, incluindo a Apple e a Meta, adotaram uma abordagem cautelosa no lançamento de ferramentas de IA na UE, receosos de entrar em conflito com as leis do bloco que regem a privacidade de dados e a implantação de modelos.

“Para usuários no Espaço Econômico Europeu (EEE) e em um número limitado de outros países, estamos avaliando opções antes de oferecer este nível de personalização do Copilot para esses usuários”, disse um porta-voz da Microsoft ao TechCrunch. “Alguns recursos não estarão disponíveis no EEE até uma data posterior.”