Apple News

Ulleres de poma

Es rumoreja que Apple té un equip secret de centenars d'empleats que treballen en projectes de realitat virtual i augmentada.

Per Eternal Staff el 29 de novembre de 2021 ApplevrheadsetÚltima actualitzaciófa 8 horesRessalteu els canvis recents

Projecte secret de realitat virtual i augmentada d'Apple

Continguts

  1. Projecte secret de realitat virtual i augmentada d'Apple
  2. Realitat augmentada vs. realitat virtual
  3. Equip VR/AR d'Apple
  4. Patents AR / VR
  5. Data de llançament
  6. Futurs plans AR/VR
  7. Cronologia de les ulleres d'Apple

Apple ha estat explorant la realitat virtual i les tecnologies de realitat augmentada durant més de 10 anys basant-se en la presentació de patents, però amb la popularitat de la realitat virtual i augmentada amb el llançament d'ARKit, el joc d'Apple és cada cop més greu i s'espera que condueixi a un AR/ Producte VR el 2022.





Es rumoreja que Apple té una unitat d'investigació secreta amb centenars d'empleats que treballen en AR i VR i exploren maneres d'utilitzar les tecnologies emergents en els futurs productes d'Apple. La contractació de VR/AR ha augmentat durant els darrers anys i Apple ha adquirit diverses empreses de RA/VR a mesura que avança el seu treball a l'espai AR/VR.

maqueta d'auriculars de realitat mixta d'Apple



Es rumoreja que Apple està treballant almenys dos Projectes de realitat augmentada que inclouen un auricular de realitat augmentada que es llançarà cap al 2022, seguit d'un parell d'ulleres de realitat augmentada més elegants que arribaran més endavant. No obstant això, molts rumors s'han centrat únicament en les ulleres, fet que ha provocat una certa confusió sobre els plans d'Apple, però sembla que l'AR/VRheadset serà el primer producte llançat.

L'analista d'Apple Ming-Chi Kuo creu que els auriculars de 'realitat mixta' d'Apple sortirà a finals de 2022 o principis de 2023, amb les ulleres d'Apple el 2025, tot i que altres fonts han dit que les ulleres arribaran el 2023. Els auriculars són AR/VR, també coneguts com a realitat mixta, mentre que les ulleres d'Apple són realitat augmentada.

Auriculars de realitat mixta

La informació i Bloomberg Tots dos han dit que Apple està treballant en ulleres intel·ligents I un auricular AR/VR (també conegut com a realitat mixta), amb els auriculars que sortiran primer seguits de les ulleres. Es rumoreja que els auriculars són similars als auriculars de realitat virtual Oculus Quest de Facebook, però amb un disseny més elegant que utilitza teixits i materials lleugers per garantir que els auriculars siguin còmodes.

Es diu que apareix dues pantalles 8K d'alta resolució i càmeres de detecció d'ulls que permetran als usuaris 'llegir tipus petit' i 'veure altres persones davant i darrere d'objectes virtuals'. Els auriculars podran mapejar superfícies, vores i dimensions de les habitacions amb 'més precisió que els dispositius existents al mercat'. Tindrà una pantalla més avançada i un xip que és fins i tot més ràpid que el processador M1 als Mac del 2020.

concepte de vista de poma cantonada dreta

La informació al febrer va dir que estarà equipat amb més d'una dotzena de càmeres per fer el seguiment dels moviments de les mans, a més de càmeres per veure el món exterior, i el disseny bloqueja la visió perifèrica per evitar que la llum es filtri al camp de visió de l'usuari. També podria haver-hi una visera orientada a l'exterior integrada a la pantalla per permetre que l'usuari mostri gràfics als altres.

L'Elect afirma que els auriculars VR comptaran amb una pantalla micro OLED d'alta resolució amb fins a 3.000 píxels per polzada. Abans es rumorejava una pantalla micro OLED per a les ulleres intel·ligents, però no per als auriculars VR.

L'analista d'Apple Ming-Chi Kuo ha dit que els propers auriculars de realitat mixta d'Apple comptarà amb 15 mòduls de càmeres òptiques en total. Vuit dels 15 mòduls de càmeres s'utilitzaran per a experiències de realitat augmentada, sis mòduls s'utilitzaran per a 'biometria innovadora' i un mòdul de càmera s'utilitzarà per a la detecció ambiental.

Kuo també creu que els auriculars d'Apple estaran equipats amb un sistema de seguiment ocular avançat que s'utilitza per proporcionar una experiència visual intuïtiva que interactua perfectament amb l'entorn extern, juntament amb un funcionament més intuïtiu que es pot controlar amb moviments oculars i una càrrega computacional reduïda en forma de resolució on l'usuari no mira.

Pel que fa al disseny, s'ha descrit que els auriculars tenen una 'visora ​​elegant i corbada subjecta a la cara mitjançant un material de malla i diademes intercanviables'. Una diadema suposadament inclou tecnologia d'àudio espacial com els AirPods Pro per a una experiència semblant a un so envoltant, mentre que una altra proporciona una durada addicional de la bateria mentre esteu en moviment. Apple està treballant en diversos mètodes de control, inclòs un 'dispositiu semblant a un didal per portar al dit d'una persona'. Els auriculars també podrien respondre als moviments oculars i als gestos de les mans de l'usuari, mentre que un prototip dels auriculars també presentava un dial físic al costat de la visera. Apple també ha estat provant l'entrada de Siri.

Apple vol crear una App Store per als auriculars, amb un enfocament en jocs, contingut de vídeo en streaming i videoconferència. Ha estat descrit per Bloomberg com un 'entorn digital 3D global' dissenyat per jugar, veure vídeos i comunicar-se.

Prototips actuals d'auriculars es diuen pesa entre 200 i 300 grams, però Apple té com a objectiu reduir el pes final a 100 a 200 grams si es poden resoldre problemes tècnics, cosa que faria que els auriculars siguin més lleugers que els dispositius de realitat virtual existents. Els auriculars seran portàtils amb potència i emmagatzematge independents, però no seran 'mòbils' com un iPhone. Proporcionarà una 'experiència immersiva' que supera els productes de realitat virtual disponibles actualment i es podria integrar amb Apple TV+ i Apple Arcade.

La funcionalitat de realitat augmentada per als auriculars és 'més limitada' i, tot i que es preveu un llançament per al 2022, es diu que Apple ha superat diversos obstacles de desenvolupament i té estimacions de vendes 'conservadores' per al dispositiu. Apple espera vendre aproximadament 180.000 unitats, la qual cosa està a l'alçada de dispositius més cars com el Mac Pro. S'espera que els auriculars siguin molt més cars que els auriculars d'altres empreses i La informació diu que Apple ha discutit el preu dels auriculars al voltant dels 3.000 dòlars.

El disseny inicial incloïa un ventilador i processadors potents, donant com a resultat un dispositiu massa pesat. Apple suposadament va decidir apropar els auriculars a la cara per reduir la mida. Els usuaris no podran portar ulleres mentre utilitzen els auriculars, de manera que Apple ha creat un sistema on es poden inserir lents graduades personalitzades a les pantalles de realitat virtual.

Kuo creu que els auriculars utilitzarà un disseny híbrid de lents de Fresnel , que inclou tres lents apilades per ull fetes de plàstic lleuger. El propòsit és que el disseny és permetre distàncies focals ultra curtes i un rendiment òptic millorat, així com un ampli camp de visió, i mantenir el pes dels auriculars per sota dels 150 grams.

Pel que fa a la potència, els propers auriculars AR/VR comptaran amb un processador principal de gamma alta això és similar al xip M1 que Apple va debutar per als seus Mac de silici d'Apple l'any passat, juntament amb un processador de gamma baixa per gestionar els aspectes relacionats amb el sensor del dispositiu.

L'analista d'Apple Ming-Chi Kuo afirma que podrà operar de manera independent sense dependre d'un Mac o un iPhone, cosa que s'allunya d'un rumor anterior que deia que ho faria. requereixen un lligam a un iPhone. El xip d'alta potència dels auriculars conduirà un parell de pantalles Micro OLED 4K de Sony i de sis a vuit mòduls òptics per proporcionar una funcionalitat basada en AR. Apple té obra acabada al SoC per als auriculars AR/VR, i s'optimitzarà per a la transmissió de dades sense fil, compressió i descompressió de vídeo i eficiència energètica per a la màxima durada de la bateria, i no té un motor neuronal com alguns dels altres xips d'Apple.

Els propers auriculars de realitat mixta d'Apple ho faran ofereix WiFi 6E suport, que és l'última especificació de WiFi. Es diu que Apple planeja implementar WiFi 6E per oferir una experiència immersiva de gamma alta amb una connectivitat sense fil sòlida. WiFi 6E té tots els avantatges de WiFi 6, però afegeix un espectre de 6GHz a més de les bandes de 2,4GHz i 5GHz per augmentar l'amplada de banda i menys interferències entre dispositius.

Renderització d'auriculars de realitat mixta

Designer Antonio De Rosa has desenvolupat renders 3D basat en els detalls compartits per La informació , donant-nos una ullada a com podria semblar els auriculars de realitat mixta d'Apple en funció dels rumors actuals.

Concepte de vista de poma enrere

La informació ha descrit els auriculars com un 'visor elegant i corbat unit a la cara mitjançant un material de malla i diademes intercanviables' que s'ofereixen en diversos colors.

article d'ulleres de poma d'alt contrast de Sony

Primers prototips d'auriculars

Rumors anteriors de CNET l'any 2018 va suggerir que Apple estava treballant en un potent auricular AR/VR amb una pantalla de 8K per a cada ull que no es connectaria ni a un ordinador ni a un telèfon intel·ligent, i que funcionaria amb aplicacions de realitat virtual i augmentada.

En lloc de confiar en una connexió amb un telèfon intel·ligent o un ordinador, els auriculars CNET descrit es connectaria a una 'caixa dedicada' mitjançant una tecnologia sense fils de curt abast d'alta velocitat anomenada WiGig de 60 GHz. La caixa estaria alimentada per un processador personalitzat d'Apple de 5 nanòmetres que és 'més potent que qualsevol cosa disponible actualment'. Aparentment, la caixa s'assembla a una torre de PC, però 'no serà un ordinador Mac real'. Aquest disseny semblant a una caixa va ser objecte dels primers rumors i pot ser un prototip que des de llavors s'ha abandonat per a la versió més elegant que ara descriuen els rumors.

Es diu que els desacords interns han donat forma i han canviat els objectius d'Apple per als seus auriculars AR al llarg del temps. Apple era apuntant inicialment per a un sistema ultrapoderós que inclou un concentrador per allotjar el processador tal com s'ha descrit anteriorment, però Jony Ive, que des de llavors ha marxat de l'empresa, no volia vendre un dispositiu que requereixi un dispositiu estacionari separat per a una funcionalitat completa.

En canvi, volia un auricular amb una tecnologia menys potent que es pogués incrustar directament al dispositiu, però el líder de l'equip AR/VR, Mike Rockwell, volia el dispositiu més potent. Va ser un enfrontament que va durar mesos i Tim Cook finalment es va posar del costat d'Ive. Es diu que prefereixo les ulleres intel·ligents AR que també estan en procés.

Ulleres intel·ligents AR

Apple està treballant en un conjunt d'ulleres de realitat augmentada, que el Leaker Jon Prosser ha suggerit Apple anomenarà 'Apple Glass'. Aquest nom seria una opció inusual donada la similitud amb el nom de Google Glass, un producte que existia molt abans que el treball d'Apple sobre ulleres AR sortis a la llum, de manera que pot ser que no sigui precís.

Es diu que les ulleres semblen similars a les ulleres normals, amb ambdues lents amb pantalles amb les quals es pot interactuar amb gestos. Hi haurà una opció per aconseguir les ulleres sense lents graduades a un possible preu inicial de 499 dòlars, amb lents graduades disponibles amb un cost addicional.

D'acord amb Bloomberg , les ulleres estan dins una primera etapa de desenvolupament , fins i tot abans dels auriculars AR/VR en què treballa Apple. Les ulleres s'han descrit com a 'diversos anys de distància', tot i que Apple inicialment tenia previst llançar-les ja el 2023. El prototip actual s'assembla a unes ulleres de sol de gamma alta amb marcs gruixuts que allotgen la bateria i els xips.

Apple suposadament planificació d'utilitzar Micropantalles OLED d'avantguarda subministrades per Sony per a les seves rumorejades ulleres de realitat augmentada. Les micropantalles OLED de Sony presenten una taxa de resposta ultra ràpida, un contrast ultra alt, una àmplia gamma de colors, una gran lluminància, una reflectància baixa i controladors integrats per a un disseny prim i lleuger. Es diu que les ulleres presenten una pantalla de 0,5 polzades amb una resolució de 1280 x 960.

imatge característica d'Apple

Kuo espera que les ulleres AR es comercialitzin com un accessori per a l'iPhone i tindran principalment un paper de visualització descarregant la informàtica, les xarxes i el posicionament a l'iPhone, amb les ulleres. proporcionant una 'experiència de RA òptica transparent' per a mòbils. Oferir les ulleres AR com a accessori d'iPhone permetrà a Apple mantenir-les primes i lleugeres. Prosser diu que les ulleres seran semblants a les Ray-Ban Wayfarers o les ulleres que fa servir Tim Cook.

Bloomberg ha dit que les ulleres d'Apple executaran 'rOS' o sistema operatiu de realitat. Es diu que rOS es basa en iOS, el sistema operatiu que s'executa a l'iPhone. Per als auriculars AR, Apple està desenvolupant un xip 'sistema en paquet' similar al que hi ha a l'Apple Watch, tot i que es basarà en l'iPhone com s'ha esmentat anteriorment.

Durant el desenvolupament d'un auricular AR, Apple ha considerat els panells tàctils, l'activació de veu i els gestos del cap com a mètodes d'entrada, i s'estan creant prototips d'una sèrie d'aplicacions, des de mapes fins a missatges de text. Les sales de reunions virtuals i la reproducció de vídeos en 360 graus també són conceptes que s'estan explorant.

Pensava que hi havia rumors inicials d'un llançament 2020 , Bloomberg creu que les ulleres AR podria venir falten anys per al llançament, i els auriculars de realitat virtual sortiran el 2022. Un informe de DigiTimes va suggerir que les ulleres AR d'Apple es llançaran el 2021 i l'analista d'Apple Ming-Chi Kuo espera un llançament el 2022 com a molt aviat .

El filtrador Jon Prosser creu que Apple presentarà les seves ulleres AR al març o al juny del 2021, però això sembla inexacte tenint en compte les estimacions de Bloomberg i Kuo.

Prosser també diu que Apple està treballant en una versió d'edició limitada 'Steve Jobs Heritage' de les ulleres intel·ligents que estan dissenyades per semblar-se a les ulleres rodones i sense marc que solia portar Steve Jobs, però Bloomberg Mark Gurman ha anomenat aquest rumor 'ficció completa'.

Apple ho és treballant amb TSMC per desenvolupar pantalles micro OLED 'ultra avançades' que s'utilitzaran en els propers dispositius de realitat augmentada d'Apple com les ulleres intel·ligents. Es diu que les pantalles tenen una mida inferior a una polzada.

Les pantalles micro OLED s'incorporen directament a les hòsties de xip en lloc d'un substrat de vidre, el que resulta en pantalles més primes, més petites i més eficients. Es diu que el desenvolupament de pantalles micro OLED està en fase de producció de prova i passaran uns quants anys abans que Apple i TSMC estiguin preparats per a la producció en massa, cosa que faria que aquestes pantalles siguin adequades per a les Apple Glasses que es rumoreja que es llançaran cap al 2023.

A principis del 2021, Apple es diu que ho és entrant en una 'segona fase de desenvolupament' en un prototip d'ulleres de realitat augmentada. Les ulleres passaran per una tercera fase de desenvolupament d'aquí a uns mesos i, quan s'hagi completat el disseny del prototip, el portàtil passarà per un període de verificació d'enginyeria de sis a nou mesos.

Fuites d'AR d'iOS 14

Codi i imatges es troba a iOS 14 confirmeu el treball d'Apple en un auricular AR o VR, amb una foto descoberta que representa un controlador d'aspecte genèric per a un auricular amb un disseny similar als auriculars HTC Vive Focus. Apple ha estat utilitzant el maquinari HTC Vive per a proves internes.

googleglassrealitat augmentada

Apple està provant el seu equip de RA amb una aplicació iOS 14 anomenada Gobi juntament amb codis QR per provar experiències de realitat augmentada. Una d'aquestes experiències de realitat augmentada és un joc de bitlles de pas de vianants activat en un pas de peatons específic a Sunnyvale, Califòrnia.

AR en Xcode

El codi de l'Xcode 11 es confirma El treball d'Apple en algun tipus d'auricular AR. Hi ha referències a dispositius de prova amb nom en codi més marcs i un intèrpret d'ordres del sistema relacionat amb aquests dispositius. Les referències suggereixen que Apple està desenvolupant suport per a una experiència de RA muntada a la cara que és similar a Daydream de Google.

Associació de vàlvules?

Segons el lloc taiwanès DigiTimes , Apple s'ha associat desenvolupador de jocs Valve pels seus rumoreats auriculars AR. Valve va llançar el seu primer auricular VR, Valve Index, l'abril de 2019.

Valve va treballar anteriorment amb Apple per oferir compatibilitat nativa amb auriculars VR a macOS High Sierra, aprofitant el suport eGPU amb una versió per a Mac del programari SteamVR.

Altres rumors

El novembre de 2017, Apple va comprar Vrvana, una empresa que va desenvolupar un auricular de realitat mixta anomenat Totem. La tecnologia de Vrvana podria utilitzar-se en un futur auricular d'Apple. Apple va seguir la seva compra de Vrvana amb l'adquisició d'Akonia Holographics, una empresa que fabrica lents per a ulleres intel·ligents AR.

Els rumors també han suggerit que Apple podria incorporar la seva investigació de realitat augmentada al seu projecte de cotxes en curs com a part d'un sistema de programari per al cotxe que podria incloure una pantalla de capçalera o altres funcions.

Nota: Veieu un error en aquest resum o voleu oferir comentaris? .

Realitat augmentada vs. realitat virtual

La realitat augmentada (AR) i la realitat virtual (VR) són tecnologies similars, però hi ha una diferència important entre elles i les seves aplicacions potencials varien molt. La realitat virtual fa referència a una experiència immersiva completa en un món virtual, mentre que la realitat augmentada fa referència a una visió modificada del món real.

La diferència potser es pot resumir millor amb una comparació entre dos productes, un AR i un altre VR. ulleres de Google , l'ara desaparegut conjunt d'ulleres intel·ligents de Google, és un exemple de realitat augmentada. El Google Glass desgastat pels ulls permetia als usuaris veure el món tal com és, però oferia una pantalla de capçalera que superposava informació rellevant proporcionada per l'ordinador sobre aquesta visió del món real, com ara el temps local, els mapes i les notificacions.

Això és similar al que es diu que treballa Apple amb les seves rumorejades 'ulleres intel·ligents'.

òcul de realitat virtual

En comparació, el de Facebook Oculus Rift és un auricular de realitat virtual que ofereix una experiència visual immersiva que no augmenta el món real amb informació sensorial addicional, sinó que substitueix completament el món real per un món simulat.

La realitat augmentada proporciona un context generat per ordinador i informació sobre el món que ens envolta alhora que ens permet interactuar amb el nostre entorn, mentre que la realitat virtual està dissenyada per aïllar-nos del nostre entorn i així poder interactuar amb mons ficticis.

millor preu per a macbook pro 13

dougbowman

Les aplicacions potencials per als dos són molt diferents. La realitat virtual se centra singularment en el consum de contingut immersiu perquè fa que l'usuari se senti com si realment estigués experimentant el que està passant al món simulat mitjançant retroalimentació visual, tàctil i àudio. La realitat virtual està molt lligada als jocs ara mateix, però també té el potencial de recrear experiències del món real amb finalitats educatives o formatives.

La realitat augmentada no depèn del contingut immersiu i, tot i que és menys emocionant perquè augmenta la realitat en lloc de substituir-la, té una gamma més àmplia d'aplicacions potencials. De fet, les aplicacions i els jocs de realitat augmentada estan fàcilment disponibles a iOS 11 gràcies a ARKit.

Amb ARKit, un dispositiu iOS és capaç d'identificar una superfície com una taula i, a continuació, s'hi poden afegir objectes virtuals. A causa de la potència de càlcul de l'iPhone i l'iPad, les capacitats de realitat augmentada d'ARKit són impressionants. ARKit ja s'utilitza per crear una gran varietat d'aplicacions i jocs, combinant objectes digitals amb el món real.

jugar

Apple pot apuntar a un producte que funcioni tant amb realitat augmentada com amb realitat virtual, tal com suggereixen els rumors recents que indiquen que es treballa amb un auricular AR/VR. Aquest producte es podria utilitzar per a aplicacions serioses de realitat virtual, així com per a experiències de realitat augmentada, i seria similar al Microsoft HoloLens.

Equip VR/AR d'Apple

El treball d'Apple en realitat virtual i augmentada es remunta a diversos anys, però els rumors van començar a començar el març del 2015 quan es va informar que Apple tenia un petit equip de persones treballant en realitat augmentada. El 2015 i principis del 2016, l'equip d'Apple va créixer a mesura que l'empresa va contractar empleats amb experiència en tecnologia AR/VR i va fer múltiples adquisicions relacionades.

L'equip de RA/VR d'Apple inclou diversos centenars d'enginyers de tot Apple, tots els quals tenen experiència en realitat virtual i augmentada. L'equip treballa en parcs d'oficines tant a Cupertino com a Sunnyvale, i Apple està explorant diversos projectes de maquinari i programari amb el nom en codi 'T288'.

L'equip de realitat augmentada d'Apple combina 'els punts forts dels seus veterans de maquinari i programari' i està dirigit per Mike Rockwell, que prové de Dolby. Antics empleats d'empreses com Oculus, HoloLens, Amazon (de l'equip VR), l'empresa d'animació 3D Weta Digital i Lucasfilm estan treballant en AR a Apple.

L'antic cap d'enginyeria de maquinari d'Apple, Dan Riccio, va fer la transició el gener de 2021 a un nou paper on es troba supervisant el treball d'Apple en un auricular AR/VR. El projecte s'ha enfrontat a reptes de desenvolupament i els executius d'Apple creuen que l'enfocament de Riccio pot ajudar.

Contractacions

litrocàmera

Una de les contractacions de RA/VR més destacades d'Apple va ser el professor d'informàtica Doug Bowman, que anteriorment va dirigir el Centre d'Interacció Human-ordinador de Virginia Tech. Està especialitzat en disseny d'interfícies d'usuari tridimensionals i ha escrit un llibre sobre el tema que tracta les interfícies 3D i els beneficis dels entorns virtuals immersius. Té experiència tant en realitat virtual com en realitat augmentada.

Apple també ha contractat empleats que han treballat en productes de realitat virtual o augmentada a Microsoft i Lytro. Es diu que algunes contractacions recents provenen de l'equip HoloLens de Microsoft, mentre que d'altres treballaven a Lytro, una empresa que treballa en una càmera capaç de combinar acció en directe i gràfics per ordinador per a una experiència de realitat virtual d'acció en directe. Els empleats provinents de l'equip HoloLens tindrien experiència en la creació d'auriculars de realitat augmentada avançats.

totemvrvana La càmera Lytro Immerge de 360 ​​​​graus

Zeyu Li, que va exercir com a enginyer principal de visió per ordinador a Magic Leap (una startup que desenvolupa una pantalla AR/VR muntada al cap), ara treballa a Apple com a 'Enginyer sènior d'algoritmes de visió per ordinador'.

Yury Petrov, un antic científic investigador d'Oculus, propietat de Facebook, ara treballa com a 'científic d'investigació' a Apple. Segons el seu perfil de LinkedIn, Petrov va estudiar experiències de realitat virtual, va fer prototips d'òptica i va desenvolupar programari de simulació per ordinador.

L'expert en realitat augmentada Jeff Norris es va incorporar a Apple l'abril de 2017 com a director sènior que treballava a l'equip de realitat augmentada de l'empresa. Norris va fundar la Mission Operations Innovation Office i el JPL Ops Lab a la NASA. Va dirigir múltiples projectes centrats en la interacció humà-sistema amb èmfasi en la realitat virtual i augmentada.

Apple el maig de 2018 2018 va contractar Sterling Crispin, que va desenvolupar una aplicació de pintura per a auriculars mòbils de realitat virtual. 'Cyber ​​Paint' permet als usuaris d'auriculars de realitat virtual crear imatges 2D de 260 graus a Oculus Go, Daydream, GearVR i Vive Focus. La pàgina de LinkedIn de Crispin diu que treballa com a 'investigador de prototips', cosa que suggereix que s'ha unit a l'equip que es rumoreja que treballa en la tecnologia d'auriculars VR/AR.

El desembre del 2018, Apple va contractar l'antic dissenyador sènior de Tesla i Microsoft HoloLens, Andrew Kim, i donada la seva història, podria estar treballant en el rumorejat projecte d'ulleres AR d'Apple o en el seu proper cotxe Apple que es diu que està en desenvolupament.

El fundador de Jaunt VR, Arthur van Hoff, es va incorporar a Apple com a arquitecte sènior l'abril de 2019. Abans de treballar a Apple, la seva empresa maquinari de realitat virtual creat , inclosa una càmera de realitat virtual 3D de 100.000 dòlars anomenada Jaunt One. Abans de quan van Hoff va deixar l'empresa, Jaunt va fracassar i va passar a les experiències de RA.

Amb l'equip d'Apple que inclou centenars d'empleats, hi ha moltes altres contractacions d'experts en realitat virtual que han passat per sota del radar. A LinkedIn, hi ha diversos enginyers de programari amb experiència en realitat virtual que són empleats per Apple, però no està clar si treballen a l'equip secret d'AR/VR.

El juliol del 2019, Apple va traslladar a Kim Vorrath, un dels seus executius de programari els auriculars de realitat augmentada divisió per 'posar una mica d'ordre' a l'equip. Vorrath ha supervisat la gestió de programes a l'equip de desenvolupament de programari durant 15 anys i s'ha descrit com una 'força poderosa' que s'assegura que els empleats compleixin els terminis i que també s'eliminen errors.

Adquisicions

És possible que molts membres de l'equip AR/VR d'Apple s'hagin unit a l'empresa mitjançant adquisicions. Des del 2015, Apple ha comprat diverses empreses que van crear productes relacionats amb AR/VR, i algunes de les seves adquisicions de RA/VR fins i tot es remunten a diversos anys.

Holografia d'Akonia

L'agost de 2018 Apple va comprar Akonia Holographics, una startup que fabrica lents per a ulleres de realitat augmentada. Akonia Holographics anuncia 'la primera òptica hologràfica reflectiva i de guia d'ones de volum disponible al món per a elements de visualització transparents en ulleres intel·ligents'.

Es diu que les pantalles que fa utilitzen la tecnologia HoloMirror de l'empresa per a un 'rendiment ultraclar i a tot color' per permetre les 'pantalles més primes i lleugeres del món'.

Vrvana

El novembre de 2017, Apple va comprar Vrvana, una empresa que va desenvolupar un auricular de realitat mixta anomenat Totem. Totem, que mai es va llançar al públic, va ser dissenyat per combinar tecnologies de realitat augmentada i virtual en un sol auricular, combinant capacitats completes de realitat virtual amb càmeres de pas per habilitar funcions de realitat augmentada basades en pantalla.

flybymedia

Totem va utilitzar bàsicament un conjunt de càmeres per projectar imatges del món real a la seva pantalla OLED de 1440p integrada, un enfocament una mica únic que el diferenciava dels productes competidors com HoloLens de Microsoft, que utilitza una pantalla transparent per combinar realitat virtual i augmentada. Apple podria estar planejant utilitzar part de la tecnologia de Totem en un producte futur.

PrimeSense

Apple va comprar l'empresa israeliana de detecció corporal 3D PrimeSense el 2013, provocant especulacions que les capacitats basades en el moviment s'implementarien a l'Apple TV. La tecnologia de profunditat 3D i les capacitats de detecció de moviment de PrimeSense es van utilitzar a la plataforma Kinect inicial de Microsoft.

jugar

PrimeSense va utilitzar llum propera a infrarrojos per projectar una llum invisible a una habitació o una escena, que després llegeix un sensor d'imatge CMOS per crear una imatge virtual d'un objecte o una persona. Això permet controls basats en el moviment per a interfícies de programari, però també és capaç de fer coses com mesurar objectes virtuals i proporcionar distàncies o mides relatives, útils per a aplicacions de realitat augmentada com ara jocs interactius, mapes interiors i molt més. La tecnologia PrimeSense també pot crear exploracions de 360 ​​graus molt precises de persones i objectes, potencialment útils per a aplicacions de realitat virtual.

Metaio

Apple va adquirir la startup de realitat augmentada Metaio el maig de 2015. Metaio va crear un producte anomenat Metaio Creator, que es podria utilitzar per crear escenaris de realitat augmentada en només uns minuts. Abans de ser comprat per Apple, el programari de Metaio va ser utilitzat per empreses com Ferrari, que van crear un showroom de realitat augmentada.

jugar

La tecnologia Metaio també es va utilitzar a Berlín per permetre a les persones que visitaven el lloc del mur de Berlín utilitzar un telèfon intel·ligent o una tauleta per veure com era la zona quan el mur de Berlín encara estava en peu. La tecnologia de Metaio és una que podria utilitzar-se per implementar capacitats de realitat augmentada a aplicacions d'Apple com Maps.

Canvi de cara

Apple va adquirir Faceshift l'agost de 2015, la qual cosa va marcar la seva segona compra de realitat augmentada l'any 2015. Abans de ser adquirida per Apple, Faceshift va treballar amb estudis de jocs i animació en una tecnologia dissenyada per capturar expressions facials amb rapidesa i precisió mitjançant sensors 3D, transformant-les en cares animades en temps real. Faceshift també treballava en un producte orientat al consumidor que permetria a la gent transformar les seves cares en cares de dibuixos animats o de monstres en temps real a Skype.

jugar

La tecnologia de Faceshift té una àmplia gamma de casos d'ús possibles, i sembla que Apple està utilitzant la funció per alimentar Animoji a l'iPhone X.

emocional

Emotient, una empresa que va crear eines per a l'anàlisi de l'expressió facial, va ser adquirida per Apple el gener de 2016. La tecnologia d'Emotient utilitza intel·ligència artificial i aprenentatge automàtic per llegir les emocions humanes, funcions que els anunciants han utilitzat al món real per determinar les reaccions emocionals a anuncis.

jugar

Hi ha dotzenes de coses que Apple podria fer amb Emotient, que van des d'una millor detecció facial a l'aplicació Fotos fins a l'anàlisi dels sentiments dels clients a les botigues minoristes d'Apple fins al desbloqueig de dispositius iOS, però també té usos potencials d'AR/VR. Igual que Faceshift, la tecnologia d'Emotient es podria utilitzar per analitzar i transformar expressions facials per a la creació d'avatars virtuals, útils per a jocs i xarxes socials. Probablement es va utilitzar la tecnologia emotient per a Animoji.

Flyby Media

Adquirida a principis de 2016, Flyby Media és una altra empresa que treballava en realitat augmentada. Sobrevolant va crear una aplicació que funcionava amb el telèfon intel·ligent 'Project Tango' equipat amb sensors 3D de Google, permetent que els missatges s'adjuntessin a objectes del món real i altres persones els visualitzessin amb un dels dispositius de Google.

nbainvrnextvr Un cop d'ull a l'aplicació Flyby Messenger abans que es retirés de l'App Store, via TechCrunch

Per exemple, una persona podria 'escanejar' una fita com el pont Golden Gate de San Francisco i escriure un missatge adjunt-hi. Una persona que visiti el pont més tard podria escanejar el pont amb l'aplicació Flyby per veure el missatge. L'aplicació Flyby probablement va cridar l'atenció d'Apple perquè era capaç de reconèixer i entendre diferents objectes que es van escanejar, tecnologia que Apple podria utilitzar de diverses maneres en aplicacions com Fotos i Mapes.

RealFace

El febrer de 2017, Apple va comprar RealFace, una empresa de ciberseguretat i aprenentatge automàtic especialitzada en tecnologia de reconeixement facial, que podria utilitzar-se per a futures funcions de realitat augmentada.

RealFace va desenvolupar una tecnologia de reconeixement facial que integra intel·ligència artificial per a un reconeixement facial sense fricció. Probablement es va utilitzar la tecnologia Realface a l'iPhone X , el primer telèfon intel·ligent d'Apple amb capacitats de reconeixement facial en forma de Face ID.

NextVR

Apple al maig del 2020 va adquirir NextVR , una empresa amb seu a Califòrnia que combinava realitat virtual amb esports, música i entreteniment, oferint experiències de realitat virtual per veure esdeveniments en directe amb auriculars de realitat virtual de PlayStation, HTC, Oculus, Google, Microsoft i altres fabricants.

Applevrheadset1

Espais

Apple a l'agost de 2020 va comprar espais d'inici de realitat virtual , una empresa que va dissenyar experiències de realitat virtual que la gent podia experimentar als centres comercials i altres ubicacions, com ara 'Terminator Salvation: Fight for the Future'. Spaces també va crear experiències de realitat virtual per a aplicacions de comunicació de vídeo com Zoom, que és una cosa que Apple podria incorporar en un futur producte AR/VR.

Patents AR / VR

Apple ha presentat diverses patents que es relacionen directament amb un auricular de realitat virtual, totes daten de diversos anys. Tot i que probablement la tecnologia ha avançat una mica més enllà d'aquests, ofereixen una visió interessant de les idees que Apple ha explorat en el passat.

Una sol·licitud de patent de 2008 va cobrir un 'sistema de visualització personal' bastant bàsic dissenyat per imitar l'experiència d'estar en una sala de cinema quan es veu un vídeo.

applevrheadset2

Una segona patent va descriure un 'Sistema de visualització de capçal' amb un 'motor làser' que projectava imatges sobre una pantalla de vidre transparent que es portava sobre els ulls, similar a les ulleres. En aquesta configuració, els auriculars es connecten a un reproductor de vídeo portàtil, com ara un iPod, per proporcionar potència de processament.

apple_patent_video_goggle

Una tercera patent sol·licitada originalment el 2008 tenia un disseny similar, que cobria un auricular de vídeo semblant a ulleres dissenyats per permetre als usuaris veure pel·lícules i altres continguts. Va descriure dos mòduls òptics ajustables alineats amb l'ull de l'usuari, que podrien proporcionar una correcció de visió i permetre la visualització de contingut en 3D. Apple va descriure això com una experiència personal de visualització de mitjans.

Applevrheadset 4

A quarta patent des del 2008 va cobrir un marc d'auriculars de vídeo similar al Google Glass, que permetria a un usuari lliscar el seu iPhone o iPod a l'auricular per proporcionar vídeo. Els auriculars es van descriure com un producte de realitat augmentada que permetria als usuaris fer coses com veure un vídeo o consultar el correu electrònic mentre vigilaven el seu entorn.

3display

Més enllà de les patents relacionades amb els auriculars, Apple també ha sol·licitat patents que descriuen altres maneres d'implementar les funcions de realitat virtual i augmentada als seus dispositius. Una sol·licitud de patent del 2009, per exemple, cobria pantalles 3D equipades amb càmeres que canviarien de perspectiva en funció de la posició relativa de l'usuari.

Aquesta pantalla detectaria el moviment del cap, permetent a un usuari moure el cap per mirar una imatge en 3D des de diferents angles alhora que incorpora elements de l'entorn d'un usuari.

apple_3d_interface_iphone

Les patents de 2010 i 2012 descriuen l'ús de sensors de moviment per crear una interfície 3D per a dispositius iOS mitjançant tècniques de realitat augmentada. Apple va descriure la interfície com una 'habitació virtual' navegada manipulant l'orientació del dispositiu mitjançant sensors integrats o mitjançant gestos.

realitat augmentada

L'any 2011, Apple va presentar una patent per a una funció de realitat augmentada a l'aplicació Maps relacionada amb el mapa de la distància fins a punts de referència notables. Amb la càmera, un usuari podria mirar l'àrea que l'envolta i obtenir estimacions en temps real de la distància entre dos punts juntament amb superposicions d'informació rellevant.

Patent AR

Una patent presentada el 2014 i concedida el 2017 cobreix un sistema mòbil de realitat augmentada capaç de detectar objectes de l'entorn i superposar-los amb informació virtual mitjançant l'ús de càmeres, una pantalla i una interfície d'usuari. Apple descriu el sistema com a ideal per a una pantalla muntada al cap, però també mostra que s'utilitza en telèfons intel·ligents.

Applepatent 1

Apple ha estat treballant en la tecnologia de realitat virtual que podria ser utilitzat en vehicles autònoms . Diverses patents d'Apple descriuen un sistema que inclou un sistema de realitat virtual dins del cotxe amb un auricular de realitat virtual que es fa servir per oferir entreteniment i mitigar el mal del cotxe de tasques com llegir i treballar mentre un vehicle està en moviment.

mapes de patents d'Apple Touch

A Sol·licitud de patent de juliol de 2020 cobreix possibles mètodes d'entrada amb Apple Glasses, descrivint un sistema on les ulleres utilitzen la detecció de calor infraroja per detectar quan algú toca un objecte del món real, permetent que les ulleres projectin els controls a una superfície del món real.

programari de document de patent d'auriculars

Amb aquest mètode, les ulleres d'Apple podrien projectar-se a la interfície de control AR sobre qualsevol objecte real del món real per obtenir un efecte de superposició de realitat mixta.

Apple al febrer de 2021 va presentar diverses patents relacionat amb el seu treball en un rumorejat auricular de realitat mixta, amb les patents que cobreixen elements de disseny, ajust de lents, tecnologia de seguiment ocular i programari.

programari de document de patent d'auriculars 2

Apple ha desenvolupat diversos mètodes per fer que els auriculars siguin més còmodes de portar i alhora mantenir-los segurs i bloquejar la llum, a més d'un sistema detallat d'ajust de lents que utilitza fluids per canviar les lents sense problemes per fer que l'ajust sigui personalitzat per a cada usuari.

Presentació de la patent del dispositiu muntat amb els dits

Apple també detalla un sistema de seguiment ocular que utilitza llum infraroja per detectar la posició, i també hi ha una patent sobre com es poden editar documents en un espai 3D virtual mitjançant l'auricular i la detecció de gestos.

Apple té sistemes patentats per gravar vídeo des d'un auricular, on els sensors integrats de seguiment de la mirada podrien proporcionar una indicació d'on està mirant una persona actualment, cosa que podria dirigir una càmera integrada per gravar l'escena on es troben els ulls de l'usuari, en lloc de simplement gravar el que hi ha davant de l'usuari.

Una altra sol·licitud de patent presentada el febrer de 2021 va demostrar que Apple està investigant un dispositiu muntat al dit amb una sèrie de sensors i retroalimentació hàptica per utilitzar-lo com a dispositiu de control per a auriculars de realitat mixta.

El dispositiu de control té una forma que permet als usuaris sentir objectes al seu entorn de manera natural i pot determinar amb precisió la forma en què l'usuari mou el dit i interactua amb les superfícies. Es diu que el sistema és tan precís que pot detectar amb quina força un usuari està pressionant sobre una superfície i la direcció exacta d'aquesta força, proporcionant una resposta hàptica en resposta.

Junt amb un auricular AR o VR, Apple diu que aquest dispositiu muntat amb els dits podria 'proporcionar a un usuari la sensació d'interaccionar amb un teclat físic quan l'usuari fa tocs amb els dits a la superfície de la taula' o 'permetre a un usuari subministrar un joystick'. -type input' per a jocs utilitzant només el moviment de la punta dels dits de l'usuari.

Data de llançament

L'analista d'Apple Ming-Chi Kuo va dir l'octubre del 2021 que els propers auriculars de realitat mixta han s'ha endarrerit fins a finals de 2022 com a molt aviat, i la producció començarà el quart trimestre de 2022.

Bloomberg també creu que els auriculars AR/VR en els quals treballa Apple sortiran el 2022, mentre que les ulleres AR que estan en desenvolupament sortiran més endavant. La informació ha suggerit que es llançarà un auricular AR/VR el 2022, seguit d'ulleres intel·ligents el 2023, però aquesta és una línia de temps anterior a la que han indicat altres fonts per al producte d'ulleres.

DigiTimes diu que els propers auriculars AR/VR ho faran entrar a la producció en massa en el segon trimestre del 2022, amb un llançament a seguir al quart trimestre.

Apple suposadament està endarrerit en les proves de les ulleres intel·ligents que es troben en obres, cosa que potser podria provocar retards. Se suposava que Apple entraria en la segona fase de desenvolupament de les ulleres a principis del 2021, però les proves de la segona fase encara no han començat, de manera que la producció en volum el primer trimestre del 2022 és no s'esperava .

Els analistes de Morgan Stanley van dir recentment que l'auricular AR s'està 'apropant a l'enlairament' basat en el nombre de patents Apple ha publicat. Els analistes creuen que la cartera de patents d'Apple per als seus auriculars AR/VR és similar a la cartera de patents que va crear abans del llançament d'Apple Watch.

Futurs plans AR/VR

L'analista d'Apple Ming-Chi Kuo creu que Apple podria estar planejant 'lentilles de contacte' de realitat augmentada que podria llançar-se en algun moment dels anys 2030.

Segons Kuo, les lents portaran l'electrònica de l'era de la 'informàtica visible' a la 'informàtica invisible'. En aquests moments no hi ha 'visibilitat' per a les lents de contacte i no és un producte garantit que desenvoluparà Apple.