A inteligência visual fica mais poderosa no iOS 18.3

A inteligência visual pode ser o recurso de inteligência da Apple mais poderoso. Aqui está o que é, como funciona, e passaremos por vários exemplos diferentes do mundo real.

A Apple adicionou inteligência visual com o iOS 18.2 e você precisará de um iPhone 16 ou iPhone 16 Pro para usá -lo. Desculpe, usuários do iPhone 15 Pro.

É arquivado sob o guarda -chuva dos recursos de inteligência da Apple. É um dos poucos recursos de inteligência da Apple que é exclusivo da família iPhone 16.

Esse recurso de IA usa a câmera no seu iPhone para digitalizar o ambiente e fornecer informações. Se isso parecer um pouco abstrato – não se preocupe, estamos prestes a mostrar um monte de demos dentro e fora do nosso estúdio para mostrar como isso pode ajudá -lo.

Como usar a inteligência visual

Para ativar a inteligência visual, você pressiona e segura o controle da câmera no lado inferior direito do seu iPhone. Isso se compara a uma breve imprensa que abre o aplicativo da câmera.

Seu telefone vibrará à medida que a câmera se abre com uma animação elegante e colorida. Você verá uma nova interface que mostra um feed ao vivo da câmera com um botão “Ask”, um botão “Search” e um botão de captura no centro.

Vamos começar com os usos mais básicos. Abra a inteligência visual, aponte -a para alguma coisa e encaixe.

Em seguida, você pode obter informações do ChatGPT sobre o que está vendo ou pode fazer uma pesquisa de imagens do Google para saber mais sobre isso.

Por exemplo, podemos tirar uma foto de todos esses cabos diferentes que temos no estúdio. Cada vez, a inteligência visual é capaz de identificar quais são e fornecer algumas informações básicas sobre eles.

Se você acontecer em um cabo que você não conhece muito, pode fazer uma pergunta de acompanhamento para obter mais informações. Assim como esse detalhamento detalhado do que um cabo DisplayPort pode fazer.

Também temos essa cor de gameboy antiga por aí. Uma varredura rápida com inteligência visual e podemos perguntar em que ano foi lançado.

Ambos recebem informações via ChatGPT. Como alternativa, você pode usar uma pesquisa de imagem.

Quando examinamos um controlador PlayStation 5 DualSense, poderíamos ver essa colorway específica. Então poderíamos pular direto no aplicativo Walmart para comprá -lo.

Usando a inteligência visual com texto

Fora de fazer perguntas ou pesquisar fotos, ele também pode ajudar com texto e números.

Quando você aponta para um bloco de texto, novos botões aparecem que estão cientes do contexto. Você pode gerar um resumo da IA ​​ou fazer com que seu telefone leia em voz alta.

Se você estiver viajando e ele detectar texto em outro idioma, um botão de tradução aparecerá. Quando você toca, ele tira uma foto e substitui o texto na imagem pelo seu idioma padrão.

Testamos isso traduzindo um menu de restaurante espanhol. É ótimo porque não há necessidade de usar outros aplicativos e funcionou automaticamente.

Por fim, com texto e números está resolvendo equações. Algo que teria sido ótimo quando ainda estávamos na escola.

Você nem precisa digitá -lo – apenas digitalize -o com inteligência visual e peça para resolvê -lo para você. Até quebrou todas as etapas diferentes para nós em nossa equação de exemplo.

Examinando itens alimentares

Embora não fosse totalmente específico, a inteligência visual também ajudou a reunir macros da sua comida. Como as outras demos, apenas apontamos para o nosso prato e ele identificou a comida e nos deu faixas difíceis para o que estávamos comendo.

Tivemos um pequeno punhado de pipoca e perguntamos à Inteligência Visual quantas calorias eram. Ele nos disse que um punhado como aquele tinha uma variedade de calorias, com base no tipo e em como ele foi cozido.

Se você combinar esse alcance com o que sabe da pipoca (SmartPop, Air apareceu, estilo de cinema, etc.), poderá ter uma idéia decente do valor real.

Da mesma forma, tiramos uma foto de uma rosquinha envidraçada e perguntamos quantos carboidratos ele continha. Mais uma vez, nos deu uma variedade de carboidratos possíveis.

Recursos como esses podem ser críticos para certos usuários. Como os diabéticos tipo 1 recém-diagnosticados, que geralmente são crianças, que podem não ser ótimas ainda na contagem de carboidratos.

Espero que isso fique um pouco melhor para ser mais preciso à medida que os modelos de IA melhoram.

Identificando plantas e animais

Com o iOS 18.3, a Apple adicionou alguns novos recursos à Visual Intelligence. A inteligência visual agora pode identificar plantas e animais automaticamente.

Quando o apontamos para uma planta em nossa cozinha, uma bolha apareceu no topo com o nome da planta assim que a reconheceu. Se você tocar na bolha, ela mostra informações adicionais da Wikipedia.

Trabalha com animais também, embora, é claro, se você estiver fazendo um cachorro, você precisa ter um pouco de raça pura. Nenhuma IA poderá deduzir com precisão um pedigree de um cachorro apenas com base em uma foto.

Nosso filhote, Brooklyn, foi rotulado como um retriever de casaco plano. Embora ela possa ter algum retriever, ela não é uma casaca plana de raça pura por qualquer meio.

Outros animais mais genéricos provavelmente seriam mais adequados para isso. Ou pelo menos identificação geral.

Agendamento de compromissos

Também chegando no iOS 18.3 agendando compromissos. Isso funciona com tudo, desde letreiro, pôsteres ou notas manuscritas.

Enquanto estava em Nova York, poderíamos examinar a frente de um teatro para adicionar o dia de abertura para um show em nosso calendário. Quando voltamos para casa, também poderíamos digitalizar uma nota para a noite de data postada pela nossa geladeira.

Você tem a chance de editar o compromisso do calendário antes de salvá -lo. O melhor de tudo, quando você o vê no aplicativo calendário, a foto de origem também é anexada para referência.

Restaurantes e empresas

Nosso recurso favorito para inteligência visual é usá -lo com edifícios, empresas e restaurantes. Há uma enorme variedade de recursos, dependendo dos negócios.

Os pontos de referência são facilmente identificados com a inteligência visual. Você pode ver o nome deles, quando construído, e fatos mais úteis.

Se você vir um negócio, pode apontar seu telefone para obter todas as informações comerciais relevantes. Ele pode mostrar o horário da loja, o site, o número de telefone e muito mais.

Quando você digitaliza um restaurante, as fotos da comida podem ser exibidas, o menu e você pode fazer um pedido. Supondo que o restaurante suporte reservas, pedidos de alimentos on -line e similares.

Testamos em uma cidade pequena e descobrimos que poderíamos pegar as horas na cafeteria local, enquanto o Pizza Place nos deixa puxar o cardápio e fazer um pedido de transporte.

A inteligência visual está melhorando

A Apple Intelligence como um todo teve um lançamento lento, mas a Apple acredita claramente nela. Mais e mais recursos foram adicionados, como o que vimos aqui com inteligência visual.

Levou um pouco para se acostumar, o novo botão e tudo, mas depois que começamos a usá -lo, ele se tornou muito útil.

Provavelmente, veremos mais casos de uso emergir à medida que a Apple continua a iterar na Apple Intelligence.