Co-inventatorul HoloLens, Avi Bar-Zeev, împărtășește: Drumul către ochelari AR pentru orice vreme

Drumul către ochelarii XR pentru orice vreme

De peste 30 de ani, am lucrat la XR, metaversul și calculul spațial, inclusiv asistarea sau consilierea pentru 10 proiecte diferite de căști XR. Am avut marea noroc de a contribui la o serie de proiecte de la început, mai ales prin demonstrarea sau negarea cerințelor și definirea experiențelor cheie ale utilizatorilor înainte ca echipele să cheltuiască 1 miliard de dolari pentru a le construi. Pe parcurs, am învățat lecții despre ce funcționează și ce nu. Uneori, răspunsul corect este „nu este încă matur”.

Nu voi dezvălui nicio informație pe care fostul meu angajator le consideră în continuare proprietare. Voi oferi link-uri către brevetele publicate care ne pot oferi o perspectivă. Acesta este scopul real al brevetelor, crezi sau nu. Desigur, aș evita brevetele care cred că ar invita la speculații.

Este important să fii atent să nu iei nimic din ceea ce spun sau scriu ca dovadă a planurilor de produse ale oricărei companii, sau chiar orice critică la adresa eforturilor cuiva. Aceasta nu a fost deloc intenția mea.

Ca fundal, prima experiență XR reală pe care am construit-o a fost o Peșteră. La acea vreme am împrumutat un000 computer și un proiector gigant de 250 USD și am investit alți 30 USD000 în materii prime. Setul cu cască VR de la Disney de 100 USD,000, care a fost fabricat în anii '90, nu a ajuns niciodată pe piața comercială. Este nevoie de cabluri care atârnă de tavan pentru a suporta greutatea, dar sute de mii au încercat-o.

Până în ianuarie 2010, sper că vom fi pregătiți să începem să dezvoltăm ochelari XR pentru consumatori gata de utilizare. Este timpul să faceți o mare împrăștiere în acest domeniu care se mișcă încet. În plus, Google Glass și Magic Leap au apărut cam în același timp. Din fericire, una dintre sarcinile pe care le-am primit la echipa de incubare a Microsoft a fost să găsim idei noi pentru următoarea generație de XBox.

„Fii agresiv, chiar și făcându-ne să spunem „este o nebunie”,” a spus un director Xbox la acea vreme.

Cu siguranță am idei „radicale”. Mica noastră echipă a început curând să lucreze la un nou concept de produs „Screen Zero”: înlocuirea tuturor ecranelor cu un singur ecran. Am fost responsabil de explorarea tehnică și am ajutat la definirea experienței în primul an de formare. Motivele mele pentru a pleca nu merită spațiul din acest articol. Dar după mai mult de o mie de oameni, HoloLens s-a lansat în 2016.

Acesta este un echipament inovator. Dar încă nu este un purtabil de consum pentru orice vreme. Niciunul dintre Magic Leap 2, Snap Spectacles, Varjo sau Quest de astăzi.

Deci, de ce anume este nevoie pentru a obține ochelari AR care pot fi purtați toată ziua?

1. Maximalism și Minimalism

Abordarea maximalistă, precum cea pe care HoloLens a luat-o în cele din urmă, se referă la consolidarea a numeroși senzori, algoritmi și putere într-un sistem de ultimă generație. Odată ce avem experiența de inginerie și utilizator stabilită, teoretic o putem restrânge. Dar asta necesită mai mult timp și poate dura până la un deceniu pentru ca anumite componente electronice să optimizeze singure puterea.

Cambria și dispozitivele similare sunt la fel de maximaliste, atât de mult încât ele simulează AR cu un ecran VR opac gigant și mai multe camere, cu control precis pixel cu pixel asupra amestecului de realitate și simulare. Maximalismul este cel mai bun pentru aplicațiile de vârf și cercetarea și dezvoltarea de bază. Unii susțin că, chiar dacă aplicațiile sunt mai industriale, acestea sunt singurele instrumente care funcționează în acest moment.

Cu toate acestea, chiar și cele mai scumpe dispozitive de pe piață astăzi nu pot fi purtate toată ziua și nu pot fi folosite pentru interacțiuni sociale obișnuite sau chiar pentru a merge în siguranță pe străzi. Caracteristicile maximaliste, cum ar fi afișajele holografice sau câmpurile de lumină, nu sunt încă mature.

Pe de altă parte, dispozitivele cu o abordare minimalistă includ Amazon Echo Frames, Snap Spectacles și Ray-Ban Stories, pentru a numi câteva. Acestea includ doar tehnologie care se încadrează în constrângerile actuale ale factorului de formă a ochelarilor portabili, deseori renunțând complet la afișaje.

Totuși, ochelarii fără afișaj pot conta ca XR?

Dacă îți îmbunătățește perspectiva situațională, aș spune că da. Un podcast sau un mix de muzică nu este XR, deoarece încă nu te simte pe tine sau mediul tău actual. Aplicațiile de navigare GPS se potrivesc puțin, dar nu suficiente. Adăugarea de sunet spațial și camere pentru AI și poziționare precisă contează cu siguranță ca XR, chiar și fără afișaj.

Abordările minimaliste pot vinde mai multe produse pe termen scurt și, de obicei, se concentrează pe un anumit aspect și o fac cea mai bună soluție din clasă. Dacă o poți face corect, cum ar fi Walkman-ul și iPhone-ul, poți vinde cu miliarde de dolari. Dar să nu credeți că minimalismul este ușor, pentru că, din multe puncte de vedere, este greu să faci bine.

2. Cea mai bună metodă

Am sperat că Screen Zero de la XBox este un hibrid între ochelari minimalisti și o consolă maximalistă. Ochelarii AR ar trebui să aibă dimensiuni similare cu ochelarii Oakley sau mai mici. Următoarea gazdă va face cea mai mare parte a sarcinilor grele pentru până la patru perechi de ochelari în aceeași cameră.

3. Ergonomie, consum de energie și căldură

De ce să se despartă? Se rezumă la consumul de energie, sau mai exact: căldură.

Toată munca unui computer se termină sub formă de căldură, iar altele pot include fotoni și/sau unități mecanice, cum ar fi sunetul. Câtă căldură? O pereche de ochelari AR ușori poate genera aproximativ un watt de energie.

Un smartphone tipic poate genera aproximativ 10 wați și apoi se poate încălzi. O gazdă sau un computer poate consuma de 10-100 ori mai multă energie decât un smartphone și, prin urmare, de 100-1000 ori mai multă energie decât ochelarii. Gândiți-vă la lanterne cu LED-uri și uscătoare de rufe uriașe. Aceasta este o diferență uriașă în consumul de energie.

Pentru a echilibra consumul de energie, avem nevoie de soluții similare cu cele la care lucrez din 2010, precum fuziunea datelor, randarea divizată, fluxurile de randare optimizate. Pentru lățimi de bandă mai mici, redarea deformarii timpului bazată pe urmărirea ochilor funcționează bine și acoperă întârzierile de comunicare.

CPU, camera, afișajul și memoria RAM consumă multă energie și generează multă căldură. Așadar, secretul este să le folosești cu moderație în majoritatea cazurilor. Gândiți-vă la hardware personalizat cu consum redus: noi senzori contextuali, afișaje cu consum redus de energie și algoritmi care „se trezesc” inteligent.

Acest lucru va dura timp pentru a se rezolva. De exemplu, dacă mouse-ul optic și controlerul gazdă nu sunt în standby, bateriile lor se vor descărca, așa că încep cu o soluție legată. Astăzi, un mouse optic poate dura câteva luni cu o baterie mică.

4. În afara sufrageriei

Pentru a susține o mare varietate de cazuri de utilizare, sistemele AR transparente optic trebuie să blocheze în mod ideal lumina din mediile luminoase (chiar și iluminarea ferestrelor sau a sufrageriei), să personalizeze și să amestece mai bine sunetul spațial cu realitatea, să ajusteze focalizarea optică, să captureze și să reproducă hologramele virtuale ale altora. și altele.

Chiar dacă dispozitivul este împărțit în unitatea principală și setul cu cască, există încă prea multe „chestii” în capul nostru. O provocare ergonomică uriașă este să scapi de curelele gigantice pe care majoritatea dispozitivelor XR încă le folosesc și care fac căștile să arate ca niște bug-uri care îmbrățișează fața.

Orice fel de curele care necesită tensionare va limita diversitatea bazei de utilizator (ținând cont de variațiile de dimensiune a capului și susceptibilitatea de a încurca părul) și va reduce probabilitatea de a purta ochelari. Aceasta înseamnă că echipamentul pentru orice vreme trebuie să fie super ușor și, în general, să se potrivească la fel de bine ca ochelarii obișnuiți.

A ajunge la dimensiunea ochelarilor Oakley sau mai mici înseamnă adesea mutarea mai mult din sistem într-un clip sau telecomandă. Magic Leap oferă un astfel de clip. Am observat că dispozitivele XR folosesc o configurație de bandă pentru gât, ceea ce înseamnă agățarea componentelor de calcul în jurul gâtului consumatorului. Cu acest design divizat, cu cât se lucrează mai mult separat, cu atât ansamblul ochi/cap poate fi mai ușor.

În 2010, personal m-a interesat mai mult bicepsul pentru că era un punct de ancorare și o linie scurtă dacă era nevoie. Acest lucru ține componentele mai grele și mai fierbinți departe de cap și gât și are multă suprafață pentru a disipa căldura. Biosenzorii amplasați pe braț pot detecta și gesturi, similar modului în care Meta folosește dispozitivul Control plus Labs pentru a citi gesturile de la încheietura mâinii. În acest fel, designerii de produse pot spune în continuare „fără cabluri”.

5. Concentrare

Deoarece un număr mare de adulți trebuie să corecteze vederea de aproape și de departe, un factor de formă care poate fi purtat pe tot parcursul zilei trebuie adesea să mărească și să concentreze lumea reală pentru noi. Cel puțin, aceasta înseamnă că lentilele trebuie să accepte optica personalizată a parametrilor de viziune. O companie de ghiduri de undă pe care Snap a achiziționat anterior a anunțat că intenționează să încorporeze optica aferentă în lentilele de vedere funcționale, dar asta a fost dificil.

Dar este suficient un singur parametru de vedere? Mulți adulți au nevoie de ochelari doar pentru citit sau pentru a conduce (hipermetropie), ceea ce înseamnă că au nevoie de ochelari pentru a putea trece la diferite stări. Deci, avem nevoie de două sau trei perechi de ochelari scumpi? Sau bifocale, trifocale, care curbează lumina corespunzător, în funcție de locul în care privești? (practic, dar nu ideal)

O soluție pe care o propun este reglarea optică dinamică, permițând aceleiași perechi de ochelari să sprijine citirea sau conducerea și chiar să mărească literele mici și semnele îndepărtate. Acest lucru permite, de asemenea, mai multor prieteni să-l încerce cu ușurință. Imaginează-ți dacă XBox-ul tău acceptă doar jocuri single-player și ai doi sau trei prieteni în cameră? Un fel de dezamăgit.

Cele mai bune metode de focalizare dinamică actuale includ Alvarez (glisiera mecanică) și lentilele reglabile umplute cu lichid. Soluțiile mecanice tind să reducă fiabilitatea. Există o cantitate destul de mare de cercetare și dezvoltare în stivuirea LCD-urilor speciale și schimbarea focalizării electronic. Mega a achiziționat o companie pentru a-și asuma sarcina.

Apoi este problema focalizării imaginii virtuale pe baza liniei vizuale curente. Avegant și Magic Leap ne-au arătat cum să comutăm rapid între două distanțe focale, simulând un afișaj simplu de câmp luminos, care este important pentru navigarea prin „obiecte virtuale” la distanța focală adecvată în anvergura aripilor. Am căutat mai multe moduri de a scana în mod continuu distanța focală, dar monitoarele comerciale nu sunt suficient de rapide în practică.

Urmărirea ochilor vă poate ajuta la procesare, poate reduce sarcina de calcul și poate oferi o intrare mai naturală a utilizatorului. Sunt foarte familiarizat cu problema urmăririi ochilor și îi alertez de la început pe factorii de decizie cu privire la riscuri.

În cele din urmă, din punct de vedere al afacerilor, Luxottica câștigă mulți bani prin vânzarea de ochelari la prețuri mici și la prețuri mari. Domină astăzi piața și majoritatea mărcilor de ochelari pe care le cunoașteți. Companiile de ochelari XR trebuie să lucreze cu ei sau împotriva lor, niciuna dintre acestea nu este o alegere ușoară. Meta a ales să colaboreze cu ei pentru a dezvolta ochelarii Ray-Ban. Concurenții companiei includ Warby Parke și alți jucători mici. Nu poți vinde produse noi bune fără canale de distribuție și parteneri buni.

6. Contrastul

Magic Leap 2 oferă o modalitate de a estompa selectiv lumea naturală. Lucrez la această problemă din 2010, dar încă nu există o soluție perfectă. O serie de ingineri optici nu l-au considerat necesar. Motivele sunt următoarele:

În general, se înțelege de ce afișajele transparente „aditive” nu pot face „negru”. RGB{{0}},0,0 pentru negru, care de fapt nu adaugă nimic și nu este vizibil în lumina existentă. Cu toate acestea, vă putem păcăli cu ușurință pentru a percepe negrul și umbrele apropiindu-vă de zone mai luminoase.

Problema cu adevărat dificilă apare atunci când îți scoți ochelarii XR în aer liber și te uiți la un perete luminat de lumina puternică a soarelui, probabil lângă o zonă întunecată sau umbrită. Anumite zone pot fi de 1000 până la 10000 de ori mai luminoase decât altele. Contrastul este atât de pronunțat în interior, încât imaginile AR par de-a dreptul înfricoșătoare. Inginerii optici susțin adesea că pentru a depăși acest lucru, trebuie să scoateți mai multă lumină. Optica lor este de obicei eficientă cu doar 1% -10%, ceea ce înseamnă că cea mai mare parte a luminii nici măcar nu intră în ochi și doar adaugă mai multă căldură. Amintiți-vă că nu puteți proiecta doar un sistem în jurul opticii, deoarece căldura este unul dintre cei mai mari factori limitatori.

Realitatea este că orice pereche de ochelari transparente AR sau video trebuie să țină cont de scena reală atunci când realizează îmbunătățiri vizuale. În cazul transparenței, ochelarii trebuie deseori scăzuți din iluminarea reală pentru a obține culoarea finală dorită. În cazul perspectivei video, afișajul poate înlocui întregul pixel, dar orice transparență din scena virtuală 3D trebuie totuși amestecată cu culoarea de fundal citită de pe cameră. Deci, ceea ce vă uitați în esență este o cameră de înaltă energie și un circuit care este fie transparent, fie opac. Aceasta este o constrângere uriașă de design, deoarece adaugă energie și greutate în timp ce blochează ochii.

La suprafață, umbrirea selectivă cu ochelari clari este mai puțin costisitoare decât adăugarea de putere a afișajului sau adăugarea unei camere. În 2010, am plasat un simplu LCD monocrom în fața ghidului de undă. Funcționează conform așteptărilor, redând obiecte solide 3D cu contururi negre moi. Dar are dezavantaje, inclusiv necesitatea calibrării dinamice, LCD-ul distorsionează lumina reală (în principal refracția firelor de control). Are o gamă dinamică slabă în sine. În aer liber, uneori aveți nevoie de aproape 100% opacitate. În interior, mai ales în situații sociale și teleprezență, vrei să fii mai transparent pentru a vedea oamenii direct în ochi.

Principala obiecție la această abordare este că LCD-urile sau alți modulatori de lumină spațială sunt adesea nefocalizate, la un centimetru de ochi. Dar distorsiunea este de așa natură încât, cu afișajele AR transparente plus și minus potrivite și niște senzori rapidi și de putere redusă, ochelarii tăi de soare pot bloca lumina soarelui, strălucirea sau farurile fără a-ți estompa vederea în altă parte. Puteți întuneca subtil lumea și puteți face cărțile recomandate să pară strălucitoare. Cu o scădere (filtrare) mai avansată, ochelarii pot chiar să recoloreze lumea, să îmbunătățească vederea pe timp de noapte și chiar să ofere feedback biometric atunci când vă simțiți neliniștit sau distras.

Am făcut diverse demo și am petrecut mult timp căutând o modalitate mai bună. Dar toate au anumite dezavantaje. Cu toate acestea, implementarea Magic Leap 2 îmi dă speranță că problemele de bază vor fi rezolvate.

7. Rețea

Radiourile necesită, de asemenea, energie, așa că există întotdeauna un compromis într-un sistem split. Viitorul cel mai promițător constă în utilizarea frecvențelor radio de vârf pentru a obține o putere mai mică și o lățime de bandă mai mare decât în ​​prezent. Dar principala provocare este că această frecvență nu poate trece prin piele sau pereți (la bine și la rău). Așadar, soluția trebuie să fie foarte inteligentă, deoarece undele radio revin și transmit în jurul camerelor și al oamenilor, așa că ar putea fi necesar să se utilizeze mai multe transmițătoare decât există astăzi. Evident, acest lucru adaugă cost și complexitate.

Pentru purtabile pe toată durata zilei, necesită, de asemenea, ca rețeaua să fie disponibilă înainte de a vinde produse care se bazează pe ea. Această limitare este cel mai mare motiv pentru care companiile nu lansează niciodată soluția de randare divizată pe care o susțin. 5G este mai aproape de ceea ce avem nevoie, dar cel puțin în SUA, acest lucru rezolvă în mare parte problema unei latențe mai mici și a mai multor persoane care folosesc rețeaua în același timp. Avem nevoie de mai mult de 5G, dar este un început bun.

Pentru a scăpa de „gazdă” inițială (sau similară) din cameră, menținând în același timp un factor de formă mic și ușor, avem nevoie de o modalitate de calcul „edge”, combinată într-un mod care să nu ne invadeze intimitatea. Trimiterea datelor senzorilor biometrici către orice soluție de margine sau cloud este foarte îngrijorătoare pentru oricine, deoarece poate fi ușor abuzată.

8. Camera foto

A pune camera pe ochelari este una dificilă. Google Glass a făcut multe greșeli în acceptarea socială și a fost atacat pe scară largă. Dar Snap pare să aibă puține probleme în acest sens. În același timp, Facebook a lucrat la captarea detaliilor vieții fiecăruia, probabil pentru a livra reclame mai personalizate, fie că ne place sau nu.

Anumite camere sunt consumatoare de energie, cum ar fi digitizarea scenei 3D și ocluzia digitală a oamenilor sau a obiectelor. Pentru a plasa corect grafica 3D, trebuie să urmăriți continuu capul în spațiu, iar camerele sunt în continuare soluția principală. Prin folosirea senzorilor IMU, creștem consumul de energie.

Realizarea de fotografii sau videoclipuri este un caz de utilizare destul de popular, mai ales dacă este mai natural și mai convenabil decât alte dispozitive. Cu toate acestea, din cauza constrângerilor de dimensiune și putere, calitatea fotografiilor va fi mai mică decât cea a unui smartphone obișnuit. Asigurarea unei mici lumini albe in cadru nu este suficienta pentru a rezolva problema complexa a aprobarii sociale.

Înțelegerea scenei este mai ușor de imaginat ca o caracteristică majoră a ochelarilor de cameră, în parte pentru că nu trebuie să fotografieze alte persoane, dar, mai important, deschide cel mai important caz de utilizare nou pentru purtarea ochelarilor toată ziua: înțelegerea situației.

9. Experiență

În 2010, cercetarea și dezvoltarea pe care sper să o dezvolt sunt ochelarii AR care acceptă capabilități puternice de urmărire a ochilor și de urmărire a corpului și să exploreze o interfață cu utilizatorul de calcul spațială mai naturală dincolo de „dreptunghiul într-un dreptunghi” tradițional al computerelor și șoarecilor. În timp ce hardware-ul are cu siguranță limitările sale, adoptarea pe scară largă a XR necesită ca cineva să abordeze întrebarea experiențială a „cum” să interacționeze în viitor? „Cutie 3D într-o cutie” clar nu este. Deci mai avem mult de lucru.

În timp ce Meta își concentrează eforturile VR pe trecerea așa-numitului „Test Visual Turing”, ochelarii XR care pot fi purtați pe tot parcursul zilei trebuie să fie mai utili decât alții. Mulți își imaginează straturi sau canale AR care pătrund în realitatea noastră, marcând tot ceea ce vedem, adăugând informații, spunând povești spațiale în 3D și redesenând lumea. Deși este probabil să fie la cerere, aceasta nu este experiența de zi cu zi la care m-aș aștepta.

De cele mai multe ori, oamenii doresc să îmbunătățească ceea ce fac des: să comunice, să navigheze, să descopere lumea din jurul nostru, să înțeleagă și chiar să schimbe un loc, să cumpere, să experimenteze conținut și să câștige bani din muncă. Pentru a avea succes, ochelarii XR trebuie să se descurce mai bine decât noi cu smartphone-urile sau alte dispozitive.

Iată ce nu poate face un smartphone. Imaginați-vă o pereche de ochelari cu aspect normal care reglează dinamic focalizarea și blochează selectiv lumina. Ei pot vorbi cu tine în mod proactiv și în privat, fără a fi nevoie să tastați text sau să întrebați verbal. Numai asta ar fi un produs de un miliard de dolari. Astfel de ochelari vă pot ajuta să vă amintiți lucruri sau să vă ofere recomandări de încredere ca parte a experienței zilnice (comparativ cu reclamele push).

Cea mai importantă cercetare pe care am făcut-o în acest domeniu este comunicarea asincronă folosind ochelari XR non-vizuali. Capacitățile de voce și text ale smartphone-urilor sunt destul de bune astăzi, dar știu ele când te chinui să te concentrezi? Vă pot ajuta să schimbați contextul la momentul potrivit pentru a menține munca sau joacă? Iată cum pot străluci ochelarii (presupunând că putem avea încredere în producător).

Tot ce am descris este foarte greu, iar tehnologia relevantă este aproape inexistentă. Nu este încă pe o pistă minimalistă, dar asta pentru că nu i-am dat prioritate față de miniaturizarea opticii și maximizarea câmpului vizual. Dar dacă pui întrebarea: Ce fel de ochelari XR pot avea succes acolo unde alții nu au? Încă cred că tot ce am enumerat mai sus vă va ajuta să construiți un produs grozav.