JP2023511332A - 拡張現実マップキュレーション - Google Patents

拡張現実マップキュレーション Download PDF

Info

Publication number
JP2023511332A
JP2023511332A JP2022543679A JP2022543679A JP2023511332A JP 2023511332 A JP2023511332 A JP 2023511332A JP 2022543679 A JP2022543679 A JP 2022543679A JP 2022543679 A JP2022543679 A JP 2022543679A JP 2023511332 A JP2023511332 A JP 2023511332A
Authority
JP
Japan
Prior art keywords
cell
map
user
quality
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022543679A
Other languages
English (en)
Other versions
JPWO2021154558A5 (ja
JP7490784B2 (ja
Inventor
グリフィス バックリー ヘイゼン，
エイミー ディドナート，
アリ シャーロクニー，
ベン ワイスビー，
ヴィナイラム バラクマール，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023511332A publication Critical patent/JP2023511332A/ja
Publication of JPWO2021154558A5 publication Critical patent/JPWO2021154558A5/ja
Priority to JP2024079308A priority Critical patent/JP2024100835A/ja
Application granted granted Critical
Publication of JP7490784B2 publication Critical patent/JP7490784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

拡張現実デバイスは、ＡＰＩインターフェースを介して、マップサーバと通信し、規準マップの中に実装され得る、マッピングデータを提供してもよく、また、マップデータをマップサーバから受信してもよい。環境の複数のセルに関する品質インジケータを含む、マップ品質の可視化が、ＡＲデバイスを通して見える現在の実世界環境に対するオーバーレイとして、ユーザに提供されてもよい。これらの可視化は、例えば、マップ品質ミニマップおよび／またはマップ品質オーバーレイを含んでもよい。可視化は、マップをより効率的に更新し、それによって、マップ品質およびマップの中でのユーザの位置特定を改良することを可能にする、ガイドをユーザに提供する。

Description

本開示は、複合現実を含む、仮想現実および拡張現実の結像および可視化システムに関し、より具体的には、仮想コンテンツを表示し、それと相互作用するためのシステムおよび方法に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、および「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、コンピュータ生成された画像情報の提示を伴う。拡張現実（ＡＲ）シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実（ＭＲ）は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用し得る、拡張現実のタイプである。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
本明細書に説明される主題の１つまたはそれを上回る実装の詳細は、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本説明または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
拡張現実デバイスは、ＡＰＩインターフェースを介して、マップサーバと通信し、規準マップの中に実装され得る、マッピングデータを提供してもよく、また、マップデータをマップサーバから受信してもよい。環境の複数のセルに関する品質インジケータを含む、マップ品質の可視化が、ＡＲデバイスを通して見える現在の実世界環境に対するオーバーレイとして、ユーザに提供されてもよい。これらの可視化は、例えば、マップ品質ミニマップおよび／またはマップ品質オーバーレイを含んでもよい。可視化は、マップをより効率的に更新し、それによって、マップ品質およびマップの中でのユーザの位置特定を改良することを可能にする、ガイドをユーザに提供する。
図１は、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成され得る、ＡＲデバイスの実施例を図示する。
図２は、ＡＲ環境の実施例のブロック図である。
図３は、複数のユーザとマップサーバとの間のデータフローの実施例を図示する、ブロック図である。
図４は、マップ作成プロセスの一実施形態を図示する、フローチャートである。
図５Ａは、開発者またはユーザによって実施され得るようなマップをキュレートするためのプロセスの一実施形態を図示する、フローチャートである。
図５Ｂは、マップキュレーションツールの始動に応じて提供され得る、例示的ユーザインターフェースを図示する。
図５Ｃは、ユーザが環境全体を通して移動するにつれて、マップ品質ミニマップが容易にアクセス可能であるように、コントローラＵＩによって表される、コントローラの移動に追従するように構成され得る、例示的マップ品質ミニマップを図示する。
図５Ｃ１は、コントローラＵＩおよび関連付けられるマップ情報の別の図を図示する。
図５Ｃ２は、例示的ミニマップの上面図である。
図５Ｄは、環境のセル内のマップ品質の色インジケータを伴う、環境の実際の実世界エリアにオーバーレイする、例示的マップ品質オーバーレイを図示する。
図５Ｅ、５Ｆ、および５Ｇは、ウェイポイントガイドアニメーションを含む、例示的ユーザインターフェースである。 図５Ｅ、５Ｆ、および５Ｇは、ウェイポイントガイドアニメーションを含む、例示的ユーザインターフェースである。 図５Ｅ、５Ｆ、および５Ｇは、ウェイポイントガイドアニメーションを含む、例示的ユーザインターフェースである。
図６は、マップ品質インジケータに対する更新を決定するためのプロセスの一実施形態を図示する、フローチャートである。
図７Ａは、セル品質スコアを決定するプロセスの一実施形態を図示する、フローチャートである。
図７Ｂは、例示的セルを図示する。
図７Ｃは、図７Ｂの同一の例示的セルを図示し、ここでは、複数の画像がセルの対応する視認方向象限上に重畳されている。
図８は、ミニマップの例示的ユーザインターフェースである。
図９Ａ－９Ｅは、ユーザが、環境のまわりを移動し、マップ品質を改良するために使用される画像を取得するにつれて、ＡＲデバイスを介してユーザに表示される、例示的ユーザインターフェースを図示する。 図９Ａ－９Ｅは、ユーザが、環境のまわりを移動し、マップ品質を改良するために使用される画像を取得するにつれて、ＡＲデバイスを介してユーザに表示される、例示的ユーザインターフェースを図示する。 図９Ａ－９Ｅは、ユーザが、環境のまわりを移動し、マップ品質を改良するために使用される画像を取得するにつれて、ＡＲデバイスを介してユーザに表示される、例示的ユーザインターフェースを図示する。 図９Ａ－９Ｅは、ユーザが、環境のまわりを移動し、マップ品質を改良するために使用される画像を取得するにつれて、ＡＲデバイスを介してユーザに表示される、例示的ユーザインターフェースを図示する。 図９Ａ－９Ｅは、ユーザが、環境のまわりを移動し、マップ品質を改良するために使用される画像を取得するにつれて、ＡＲデバイスを介してユーザに表示される、例示的ユーザインターフェースを図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実装を図示するために提供され、本開示の範囲を限定することを意図するものではない。
詳細な説明
本開示の実施形態は、仮想または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一例示的実施形態として、１つまたはそれを上回るユーザ入力デバイスが、ＶＲ、ＡＲ、またはＭＲセッションにおいて相互作用するために使用されてもよい。そのようなセッションは、仮想要素またはオブジェクトを３次元空間内に含んでもよい。１つまたはそれを上回るユーザ入力デバイスはさらに、ＡＲまたはＭＲセッションにおける、仮想オブジェクト、実オブジェクト、または虚空上でのアクションの中でもとりわけ、指差す、選択する、注釈を付ける、および描画するために使用されてもよい。読解および理解を容易にするために、本明細書で議論されるあるシステムおよび方法は、拡張現実環境および「ＡＲデバイス」または「ＡＲシステム」等の他の「拡張現実」または「ＡＲ」コンポーネントを指す。「拡張現実」または「ＡＲ」のこれらの説明は、「複合現実」、「仮想現実」、「ＶＲ」、「ＭＲ」、および同等物を、それらの「現実環境」のそれぞれもまた具体的に述べられた場合と同様に、含むように解釈されるべきである。
概要
本明細書で議論されるシステムおよび方法の理解を促進するために、いくつかの用語が、下記に説明される。下記に説明される用語および本明細書で使用される他の用語は、提供される説明、用語の通常および慣例的意味、および／または個別の用語に関する任意の他の含意される意味を含むと解釈されるべきであって、そのような解釈は、用語のコンテキストと一致する。したがって、下記の説明は、これらの用語の意味を限定するものではなく、例示的説明のみを提供する。
規準マップ：複数のＡＲおよび非ＡＲ（例えば、スマートフォン）デバイスによって使用可能であり得る、マップ。規準マップは、デバイス間で持続座標フレーム（ＰＣＦ）の共通セットを同期させ、それによって、マルチユーザ体験を有効にし得る。いくつかの実施形態では、規準マップは、１人またはそれを上回るユーザによって、経時的に動的に更新され得、実世界のデジタル複製を表し得る。
追跡マップ：概して、特定のＡＲまたは非ＡＲデバイスによって使用される、ローカルマップであるが、追跡マップは、複数のユーザ間で共有され得（例えば、共通場所において）、複数のユーザに利用可能である、規準マップを生成および／または更新するために使用されてもよい。
位置特定：センサ入力（例えば、ヘッドセットの前方に向いたカメラからの画像）と対応するマップデータが合致することに基づく、マップ内の場所の決定。例えば、ＡＲシステムは、カメラからの画像を処理し、画像内の特徴がマップ内のある特徴と合致するかどうかを決定してもよい。合致が、見出される場合、ＡＲシステムは、次いで、合致される特徴に基づいて、ユーザの位置および配向を決定し得る。
セル品質サブスコア：ユーザを決定されたセルの中で位置特定するために使用可能である、特定の視認方向と関連付けられる、マップデータの量を示す。
セル飽和インジケータ：ユーザが、少なくとも閾値期間にわたって、決定されたセル内に位置付けられていたかどうかを示す。
セルスコア：セルの中の位置特定の尤度を示し、これは、セル品質サブスコアおよびセル飽和インジケータに基づいて決定されてもよい。
アプリケーションプログラミングインターフェース（ＡＰＩｓ）：ＡＰＩは、概して、２つのデバイスが、別様に可能であり得るものより直接的様式において、相互間で情報を交換することを可能にする、定義された通信チャネル、プロトコル、設定等である。いくつかの実施形態では、ＡＰＩ登録モジュールが、トークンを、そのような直接通信を認可する、個々のデバイスに発行することによって、特定のコンピューティングデバイス（例えば、情報を受信、処理、記憶し、個々のデバイスに提供する、中央サーバ）との通信のために、個々のデバイス（例えば、ＡＲデバイス、コンピューティングデバイス、モノのインターネットデバイス、センサ等）を登録するように構成されてもよい。したがって、コンピューティングシステムは、ＡＰＩを介して、複数のデバイスとセキュアかつ直接的通信チャネルを確立し得る。
例示的ＡＲシステム
図１を参照して下記に議論される実施例等のＡＲデバイス（本明細書では、拡張現実（ＡＲ）システムとも称される）は、仮想オブジェクトの２Ｄまたは３Ｄ画像をユーザに提示するように構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」または「ＶＲ」と同義的に使用される。
図１は、ＡＲデバイス１００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ＡＲデバイス１００はまた、ＡＲシステム１００とも称され得る。ＡＲデバイス１００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ２１０（また、本明細書では、装着者または視認者とも称され得る）によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。
いくつかの実装では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実装では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、および／または周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）を含むことができる。いくつかの実装では、示されない１つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられることができる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ＡＲデバイス１００は、音声または発話認識をオーディオストリームに実施することができる。
ＡＲデバイス１００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システムを含むことができる。ＡＲデバイス１００はまた、ユーザの眼移動を追跡することができる、内向きに向いた結像システムを含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡し得る。内向きに向いた結像システムは、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０および／または２７０と電気通信してもよい。内向きに向いた結像システムは、１つまたはそれを上回るカメラまたは他の結像デバイスを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
実施例として、ＡＲデバイス１００は、外向きに向いた結像システムまたは内向きに向いた結像システムを使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および／または記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムまたは外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）可能性として処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４を遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２７０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実装では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実装では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実装では、全てのデータが、記憶され、全ての算出（例えば、本明細書で議論される、ＡＲプロセス）が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にすることができる。他の実装では、本明細書で議論される、あるＡＲプロセスの算出のいくつかまたは全ては、ネットワーク接続サーバ等、遠隔で実施される。
ＡＲデバイスは、ＧＰＳおよび遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲデバイス等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのさらなる情報を提供することができる。一実施例として、ＡＲデバイスは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップ（複数のユーザによって共有され得る）を読み出すことができる。
多くの実装では、ＡＲデバイスは、上記に説明されるＡＲデバイスのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ＡＲデバイスは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ＡＲデバイスは、例えば、ユーザによって操作可能であって、ＡＲデバイスへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ＡＲデバイスは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲデバイスは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ＡＲデバイスは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ＡＲデバイスは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実装であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ＡＲデバイスまたは他のユーザと相互作用してもよい。
本開示のＡＲデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
図１を参照して上記に描写および／または説明される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能的モジュールは、例証および説明を容易にするために、ともに示される。いくつかの実装は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図１に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等の他のコンポーネントに搭載される、またはその中に格納されてもよい。
ユーザの環境をマッピングする実施例
図２は、ＡＲ環境２００の実施例のブロック図である。ＡＲ環境２００は、入力（例えば、ＡＲデバイスからの視覚的入力２０２、室内カメラ等の定常入力２０４、種々のセンサからの感覚入力２０６、ジェスチャ、トーテム、眼追跡、ＡＲデバイスからのユーザ入力等）を１つまたはそれを上回るユーザＡＲデバイス（例えば、ＡＲデバイス１００）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ＡＲデバイスは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに向いた結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つまたはそれを上回るオブジェクト認識装置２０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース２１２を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース２１２は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置２０８ａ－２０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つまたはそれを上回るオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置２０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ＡＲデバイスは、外向きに向いた結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実装では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ＡＲデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実装では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置２０８ａ－２０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルで常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るＡＲデバイスに伝送されてもよい。例えば、ＡＲ環境２００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境２００は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境２００はまた、場所特定目的のために、トポロジマップを使用してもよい。
例示的マップＡＰＩ設定
図３は、複数のユーザとマップサーバ３１０（「クラウドサーバ」または単に「クラウド」とも称される）との間の例示的データフローを図示する、ブロック図である。本実施例では、ＡＰＩインターフェース３３０は、ユーザ３０２、３０４とマップサーバ３１０との間のより直接的かつ効率的通信を可能にするために実装される。いくつかの実施形態では、マップサーバ３１０は、遠隔処理およびデータモジュール２６０（図１）の一部であってもよい、またはマップサーバ３１０は、複数のユーザにアクセス可能である、別個のクラウドサーバであってもよい。
図３の実施例に示されるように、開発者３０２は、マップサーバ３１０と通信し、規準マップ３２０の中に実装され得る、マッピングデータを提供してもよく、また、開発者３０２に表示され、および／または付加的マッピングデータを入手する際に開発者をガイドするために使用され得る、ＡＰＩインターフェース３３０を介して、マップデータをマップサーバ３１０から受信してもよい。同様に、ＡＲデバイスを購入する、消費者等のユーザ３０４もまた、ＡＰＩインターフェース３３０を介して、マップサーバ３１０とインターフェースをとり、付加的マップデータをマップサーバ３１０に提供することと、マップデータをマップサーバ３１０から受信することとの両方を行ってもよい。
図３の実施例では、マップサーバ３１０はまた、画像記憶装置３２２を含み、これは、規準マップ３２０の関連付けられる部分とリンクされる、種々のソース（例えば、ＡＲデバイス）から入手された画像を含んでもよい。
いくつかの実施形態では、マップサーバ３１０は、マップデータの品質に関して、複数のエンティティ（例えば、複数のユーザ）からのマップデータを評価し、次いで、高品質マップデータと規準マップ内の任意の既存のマップデータをマージする（例えば、追跡マップを規準マップにプロモートする）ように構成される。例えば、複数のユーザが、共通環境内に存在し、画像をマップサーバ３１０に伝送してもよい。いくつかの実施形態では、複数のユーザからのマップデータの統合が、ユーザのそれぞれが増加されたマップ品質から利益を享受し得るように、リアルタイムで実施される。いくつかの実施形態では、マップ品質は、ＡＲデバイスによって取得される画像に基づいて、各ＡＲデバイス内で別個に更新され、周期的ベースで（例えば、毎晩）、規準マップの一部として、他のユーザの画像データとマージされる。したがって、各ＡＲデバイスは、直ちに、改良された品質マップを、後に、マップサーバが他のユーザからのマップデータを統合するにつれて、潜在的にさらにより高い品質のマップを利用し得る。
例示的マップ作成プロセス
開発者３０２またはユーザ３０４等のユーザは、ユーザが、以前に、その現在の環境と相互作用または訪問していない、以前に、その現在の環境を走査していない、またはＡＲシステムが、ユーザの環境を認識することに失敗している等の場合、環境のマップを作成してもよい。図４は、マップ作成プロセス４００の例示的フローチャートを図示する。いくつかの実施形態では、ユーザが、既存のマップの中で再位置特定されることが可能である場合でも、図４に類似するプロセスは、現在のマップを改良するために実装されてもよい（例えば、下記に議論されるように、ブロック４２２において、付加的データを伝送することによって）。加えて、ユーザが、マップを改良するために、ユーザがデータを集めることに役立つように設計される、没入型のフロー内に存在しない場合でも、ＡＲデバイスは、例えば、規準マップを更新するために使用され得る、クラウドへのマッピングデータの背景伝送を提供するように、依然として、図４のプロセスのいくつかまたは全てを実施してもよい。
マッピング開始ブロック４１０では、ＡＲシステムはユーザの環境の走査またはマッピングを開始すべきかどうかを決定することができる。例えば、ＡＲシステムは、開始条件が環境の走査を開始するために満たされるかどうかを決定することができる。いくつかの実施例では、開始条件は、システムが新しいおよび／または知らない場所の中へのユーザの移動を検出すること、１つまたはそれを上回るセンサからの入力、および／またはユーザ入力を含むことができる。ユーザ入力は、１つまたはそれを上回るプロンプトに対する肯定または否定応答を含むことができる。１つまたはそれを上回るプロンプトは、ユーザが新しいユーザまたは既存のユーザであるかどうか、ユーザがマップを作成するためにその環境を以前に走査しているかどうか、またはプロンプトを開始するために使用されるプログラムのタイプ等の任意の数のＡＲシステム条件に基づいて、異なり得る。別の実施例として、開発者３０２は、ユーザ３０４と異なる様式において、マッピングワークフローに入り得る。例えば、開発者３０２は、開発者３０２が、環境を探索し、環境のマップを構築するために使用可能なセンサデータを集めることを可能にするように、開発者によって開発されたソフトウェアアプリケーションと関連付けられる、新しい環境のマッピングプロセスを開始してもよい。
いくつかの実施形態では、ユーザが、図４のブロック４１０等を介して、マッピングプロセスに入ると、ウェルカムユーザインターフェースが、提示されてもよい。ウェルカムインターフェースは、ユーザに、ユーザの環境を走査または走査し続けるようにプロンプトする、ダイアログを含むことができる。いくつかの実施例では、ウェルカムインターフェースは、ユーザ入力を受信することができ、ＡＲシステムは、そのユーザ入力に基づいて、走査を開始する、または開始しないことができる。加えて、または代替として、ＡＲシステムは、ユーザ入力に基づいて、ユーザを別のプロンプトに移動させてもよい。
走査ブロック４１２では、ＡＲシステムは、走査プロセスを開始することができ、これは、それに関して付加的画像が取得されるべき、環境内のエリアのガイドをユーザに提供することを含んでもよい。いくつかの実施形態では、走査プロセスは、ゲーム化された要素を有し、ユーザが、その環境を動き回り、その空間内のデータを収集するように指示することに役立つ、プロセスであってもよい。例えば、ＡＲシステムは、１つまたはそれを上回るグラフィック（ウェイポイントとも称される）を生成し、ユーザの環境の周囲に表示し、ユーザに、終了基準が満たされるまで、グラフィックと相互作用するように指示してもよい。本明細書で使用されるように、ウェイポイントは、マップ内の特定の場所および／またはマップ内の特定の場所のグラフィック（または他のインジケーション）を指し得る。したがって、ウェイポイントは、マップ内の特定の場所をマークし、および／またはユーザにウェイポイント場所に向かうように指示する、グラフィックを含んでもよい。ユーザと１つまたはそれを上回るグラフィックの相互作用の間、ＡＲシステムは、ユーザの環境についてのデータを収集してもよい。
いくつかの実施例では、ＡＲシステムは、マップ認識ブロック４１４において、ユーザの環境が、既知である、または認識されるかどうかをチェックし得る。ＡＲシステムは、走査ブロック４１２の間または後、本チェックを実施してもよい。例えば、ＡＲシステムは、ブロック４１２において、走査プロセスを実施してもよく、ＡＲシステムは、走査プロセスの間、インターバルを空けて、ユーザの環境が既知の環境に合致するかどうかをチェックしてもよい（例えば、ＡＲシステムは、ユーザの現在の環境に見出される１つまたはそれを上回るＰＣＦとユーザの保存されたマップ内の１つまたはそれを上回るＰＣＦを合致させることができる）。マップが、ＡＲシステムによって認識される場合、ＡＲシステムは、ブロック４２４においてランドスケープに入る前に、ブロック４２０において、認識されたマップと関連付けられるＡＲコンテンツを復元することができる。マップが、ＡＲシステムによって認識されない場合、本システムは、ブロック４１６において、マップ品質をチェックすることができる。
マップ品質ブロック４１６では、ＡＲシステムは、走査ブロック４１２の間に収集されたデータに基づいて生成された（および／または仮想世界マップ内に記憶されるデータと組み合わせられた）マップが、現在および／または将来的使用の際に、高品質ユーザ体験を提供するために十分に高い品質であるかどうかをチェックすることができる。品質基準は、キーフレーム、ＰＣＦ、またはユーザの環境内のメッシュまたは他のマップ特性と関連付けられる他のデータの数等、マップ品質を査定するための任意の好適な基準であることができる。例えば、ＡＲシステムは、ユーザの空間を将来的走査において識別可能にするために十分なＰＣＦが、収集されたデータに基づいて見出または生成されたかどうかを決定してもよい。ＰＣＦの数は、ユーザの環境内の１つ、２つ、３つ、または５つのＰＣＦ等の好適な数であってもよい。しかしながら、他の数もまた、可能性として考えられ得る。例えば、特定の環境のために必要なＰＣＦの数は、集められた走査データおよび／または環境と以前に関連付けられたマップデータの分析等に基づいて、ＡＲシステムによって動的に決定されてもよい。いったんＡＲシステムが、マップが品質閾値を超えることを決定すると、ＡＲシステムは、ブロック４２２において、収集されたデータを使用して、マップを保存してもよい。マップ品質決定のさらなる議論および実施例は、下記に提供される。
保存ブロック４２２では、ＡＲシステムは、ユーザまたは第三者による読出のために、マップを遠隔またはローカルメモリに保存してもよい。例えば、ユーザ３０４（図３）のＡＲシステムは、ユーザ３０４のＡＲシステムから取得されたマップデータを、ＡＰＩインターフェース３３０を介して、マップサーバ３１０に伝送してもよい。加えて、または代替として、本システムは、ユーザに、名称または地球物理的場所等、マップとともにメタデータとして記憶されるべき、マップと関連付けられる他の情報を入力するようにプロンプトしてもよい。
マップ品質が、高品質ユーザ体験を提供するために十分ではない場合、ＡＲシステムは、決定ブロック４１８において、ユーザが、ユーザの環境を走査またはマッピングし続けることを所望するかどうかを決定することができる。例えば、ＡＲシステムは、ユーザに、走査プロセスの走査を継続または停止するようにプロンプトすることができる。ＡＲシステムは、プロンプトに対する応答として、ユーザ入力を受信し、ブロック４１２において、環境の走査を継続する、またはブロック４２４において、ランドスケープに入ってもよい。
加えて、または代替として、ＡＲシステムは、任意の時点で、マップ作成プロセス４００を停止し、ブロック４２４において、ランドスケープに入ることができる。例えば、ユーザは、ブロック４１２における走査プロセスの間、終了またはスキップコマンドを入力することができる。ＡＲシステムは、次いで、ブロック４１２において、走査プロセスを中止する、またはブロック４２４において、ランドスケープに入ることができる。
例示的マップキュレーション
図５Ａは、開発者３０２またはユーザ３０４によって実施され得るようなマップをキュレートするためのプロセスの一実施形態を図示する、フローチャートである。一般に、マップキュレーションプロセスは、本明細書に議論されるように、マップの品質を改良するために、センサデータ（例えば、マッピングされるべき環境内の画像データ）の収集を最適化する、ワークフローおよびガイドをユーザに提供する。いくつかの実施形態では、ユーザ（例えば、開発者３０２または消費者ユーザ３０４のいずれか）間の通信は、図３に図示されるようなＡＰＩ通信チャネルを介して生じてもよい。下記にさらに議論されるように、リアルタイムマップ品質データが、マップキュレーションプロセスの一部として、計算され、ユーザに提供されてもよい。例えば、ユーザを、現時点で低マップ品質を有する、環境のエリア（例えば、マッピングされるべき実世界空間）にガイドする、マップ可視化が、ＡＲデバイス内に表示されてもよい。マップ品質における改良は、ユーザのためのより現実的かつ再現可能体験を提供する。例えば、マップの品質が、増加するにつれて、実世界と結び付けられる、デジタルコンテンツは、特定のユーザのセッション間または複数のユーザ間により良好に存続される。より高い品質マップを有する、別の可能性として考えられる利益は、そのエリアに進入する、エンドユーザが、より迅速に、より高い確率を伴って、かつマップ品質が改良されたエリア内の具体的場所に応じて、より多くの観点から、マップの中で位置特定され得ることである。
一実施形態では、ガイド付き設定またはマップ作成モードのいずれかの選択を可能にする、ウェルカム画面が、開発者に提供されてもよい。例えば、図５Ｂはマップキュレーションツールの始動に応じて提供され得る、例示的ユーザインターフェースを図示する。マップ作成または改良モード（例えば、図５Ｂのユーザインターフェース内の「マップ作成」ボタン、または環境と関連付けられる少なくともいくつかのマップデータがすでにクラウドまたはいずれかの場所内に記憶されている、実施形態では、「改良」ボタン）の選択に応じて、マップ品質の可視化が、ＡＲデバイスを通して見える現在の実世界環境に対するオーバーレイとして、ユーザに提供されてもよい。これらの可視化は、例えば、マップ品質ミニマップおよび／またはマップ品質オーバーレイを含んでもよい。メッシュ、ＰＣＦ、および同等物等、マップをさらに展開する際に使用可能であり得る、付加的視覚的コンポーネントも、表示されてもよい。いくつかの実施形態では、マップ作成モードが、最初に、マップを構築するために入られるが、マップ作成（または改良）モードもまた、ユーザが、すでに既存のマップ（例えば、非常にわずかな既存のマップデータを有し得る）を改良するためのデータを提供するとき、選択されてもよい。下記にさらに議論されるように、新しいマップデータは、任意の既存のクラウド／規準マップとマージされてもよい。
図５Ｃは、例示的マップ品質ミニマップ５０２を図示し、これは、ユーザが環境全体を通して移動するにつれて、マップ品質ミニマップが容易にアクセス可能であるように、コントローラＵＩ５０４によって表される、コントローラ（例えば、ユーザによって動作されるハンドヘルドトーテム）の移動に追従するように構成されてもよい。いくつかの実施形態では、ユーザの手またはスプーン等の任意のユーザ入力デバイスまたはオブジェクトが、コントローラの代わりに使用されてもよく、その独自の関連付けられるＵＩを有してもよい。一般に、マップ品質ミニマップ５０２は、ユーザアイコン５０１を可視化の中心に伴う、ユーザの現在の位置と、ユーザアイコン５０１の周囲の複数のセル毎の品質インジケータとを示す。いくつかの実装では、ミニマップ５０２は、「Ｃｏｎｔｅｎｔ Ｍｏｖｅｍｅｎｔ ａｎｄ Ｉｎｔｅｒａｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｉｎｇｌｅ Ｃｏｎｔｒｏｌｌｅｒ」と題され、２０２０年１月２４日に出願された、関連米国特許出願第６２／９６５７０８号（弁理士整理番号第ＭＬＥＡＰ．２９８ＰＲ／ＭＬ－１００７ＵＳＰＲＶ号）（あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる）にさらに詳細に議論される様式等において、それをコントローラの位置に追従させる、「遅延」追従特性を有してもよい。いくつかの実施形態では、ミニマップ５０２は、ユーザが北に向いたままであるように、自動的に回転してもよく、例えば、ミニマップは、ユーザが向いている場所に応じて、回転／偏移する。ユーザはまた、ミニマップの中心におけるユーザアイコン５０１の配向が、回転する一方、ミニマップの配向が、変化されないように、ミニマップを「北が上の」配向に維持するためのオプションを有してもよい。いくつかの実施形態では、ミニマップは、ユーザの現在の頭部姿勢等に基づいて、ユーザに向かって上に傾斜されてもよい。コントローラＵＩが可視化内に含まれる（例えば、図５ＣのコントローラＵＩ５０４）、実施形態では、ＵＩは、ユーザに向かった上向きの所定の調節可能傾斜（例えば、１０、２０、または３０度傾斜）等において、ユーザによる容易な視認のために配向されてもよい。
図５Ｃの実施例では、付加的マップ情報５０３が、コントローラＵＩ５０４と関連付けて表示される。例えば、マップが「ライブ」または「固定」であるかどうかを示す、マップステータスが、表示されてもよい。いくつかの実施形態では、開発者は、マップまたはマップの一部をさらなる更新から固定する（またはロックする）ためのオプションを提供される。例えば、ユーザは、トリガの長押し（例えば、２秒またはそれを上回る）または他の指定された入力を提供し、マップを固定または固定解除してもよい。
全体的マップ品質インジケータ５０６もまた、ユーザに表示されてもよく、これは、色（または他の実施形態では、他の可視化効果）を使用して、マップが、現在、低品質（例えば、赤色）、平均品質（例えば、黄色）、または高品質（例えば、緑色）であるかどうかを示してもよい。付加的マップ情報５０３はまた、付加的マッピングに進む、またはマップキュレーションプロセスを終了する方法に関するヒントまたはヘルプを含んでもよい。図５Ｃ１は、コントローラＵＩ５０４および関連付けられるマップ情報５０３の別の図を図示する。本実施例では、全体的マップ品質インジケータ５０６は、マッピングヒント情報５０７よりコントローラ５０４から遠く離れるように、３次元Ｚ位置に表示される。
図５Ｃ２は、例示的ミニマップ５０２の上面図である。本実施例では、ミニマップ５０２は、ユーザの現在の位置を中心としたマップ（例えば、規準および／または追跡マップ）の定義された半径を含む。本実施例では、マップの各セルは、２７×２７ｍｍセルによって表され、ミニマップの半径は、１４５ｍｍである。これらの例示的寸法を用いることで、ミニマップは、中心セルから北、南、西、および東方向に４～５つのセルに関するセル品質インジケータを含む。本実施例では、ミニマップは、図５Ｃ２の実施例では、１１５ｍｍ等の外側半径から特定の距離に開始して、フェードアウトする。他の実施形態では、セルおよびミニマップに関する他の寸法も、静的または動的（例えば、ユーザによって調節可能）かどうかにかかわらず、使用されてもよく、および／またはミニマップのコンポーネントの他の可視化も、使用されてもよい。
図５Ｄは、環境のセル内のマップ品質の色インジケータとともに、環境の実際の実世界エリアにオーバーレイする、例示的マップ品質オーバーレイ５０６を図示する。図５Ｄに示されるように、マップ品質ミニマップ５０５は、マップ品質オーバーレイ５０６と併せて表示される。したがって、実施形態に応じて、マップ品質ミニマップおよび／またはマップ品質オーバーレイの一方または両方が、マップキュレーションプロセスの一部として、ユーザに表示されてもよい。
図５Ｂを再び参照すると、ユーザは、ガイド付き設定オプション（例えば、図５Ｂのユーザインターフェース内の「ガイド付き設定」ボタン）を選定し、環境をマッピングする際に付加的ガイドを提供してもよい。一例示的実装では、ガイド付き設定は、ユーザに、ゲーム化されたアニメーションを使用して等、ウェイポイントインジケータを提供し、ユーザに、付加的画像が必要とされる、マップのエリアを指示する。これらの付加的ガイド特徴は、マップ品質可視化と併せて、またはそれから独立して、提供されてもよい。図５Ｅ、５Ｆ、および５Ｇは、ウェイポイントガイドアニメーションを含む、例示的ユーザインターフェースである。「Ｍａｐｐｉｎｇ ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ａ Ｐａｓｓａｂｌｅ Ｗｏｒｌｄ」と題され、２０１９年１１月１８日に出願された、関連米国特許出願第６２／９３７，０５６号（第ＭＬＥＡＰ．２８５ＰＲ号）は、ウェイポイントガイドに関するさらなる詳細を提供し、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる。
図５Ａに戻ると、いくつかの実施形態では、ソフトウェア開発者３０２（図３）が、環境（例えば、マッピングされるべき実世界空間）と関連付けられる、初期マップデータを収集する等のために、図５Ａの方法のいくつかまたは全てを実施してもよい。いくつかの実施形態では、１人またはそれを上回る他のユーザ３０４が、規準マップを更新し、マップの品質を改良するために使用され得る、付加的マップデータを提供する等のために、図５Ａの方法のいくつかまたは全て（例えば、フローチャートの「環境の後続走査」部分）を実施してもよい。
ブロック５１０から開始して、マッピングされるべき環境の初期走査が、入手されてもよい。例えば、開発者（または他のユーザ）が、ＡＲデバイスを使用して、規準マップ内に任意のデータをまだ有していない、オフィス空間等、環境またはエリアの画像データを入手してもよい。いくつかの実装では、開発者は、１つまたはそれを上回るＬＩＤＡＲセンサ等を使用して、マップデータを他のソースから取得してもよい（手動で環境のまわりを移動され得る、または自動的に、例えば、ロボット制御で、環境全体を通して移動されるかどうかにかかわらず）。いくつかの実施形態では、開発者は、環境を歩き回り、環境のメッシュを作成するために使用可能である、画像および／または他のセンサデータを入手してもよい。開発者が、マッピングされるべき環境のまわりを移動するにつれて、ＡＲシステムは、ユーザの移動経路に沿って、１つまたはそれを上回る追跡マップに処理され得る、画像データを入手する。本明細書で使用されるように、追跡マップは、概して、特定のＡＲシステムによって使用される、ローカルマップを指すが、追跡マップは、複数のユーザ間で共有されてもよく（例えば、共通場所において）、下記にさらに議論されるように、複数のユーザに利用可能である、規準マップを生成および／または更新するために使用されてもよい。
ブロック５２０に移行すると、ブロック５１０において入手されたマップデータは、マップサーバ３１０（図３）等のサーバにアップロードされ、そこで、規準マップ内への含有のために処理され得る。例えば、サーバは、マップデータを無数のエンティティから受信し、マップデータを処理し、最も信頼性があるマップデータを決定し、規準マップの中にマージしてもよい。
次に、ブロック５３０では、マップデータは、マップサーバ３１０（図３）と関連付けられる規準マップ３２０として記憶され得るように、ともにスティッチングおよび／またはマージされ、規準マップを生成または更新する。したがって、規準マップは、追跡マップとして生じ得る。規準マップは、規準マップにアクセスするデバイスが、いったんそのローカル座標系と規準マップの座標系との間の変換が実施されると、規準マップ内の情報を使用して、デバイスの周囲の物理的世界内の規準マップに表されるオブジェクトの場所を決定し得るように、存続されてもよい。したがって、いくつかの実施形態では、ＡＲデバイスから受信された追跡マップデータは、環境に関する初期規準マップを生成するために使用されてもよい。データスティッチングおよびマージは、マップの品質を改良するために、画像の重複部分およびそのような画像内の共通基準点を識別してもよい。下記に議論されるように、後続マップデータは、次いで、規準マップの中に統合されてもよく、付加的マップデータは、マップの品質を改良し得る。
規準マップ、追跡マップ、および／または他のマップは、個別のマップを作成するために処理されたデータによって表される、物理的世界の一部についての情報を提供し得る。例えば、マップは、対応する物理的世界内の物理的オブジェクトの間取図を提供してもよい。いくつかの実施形態では、マップ点は、物理的オブジェクトまたは物理的オブジェクトの特徴と関連付けられ得る（例えば、物理的オブジェクトが、複数の特徴を含む場合）。例えば、テーブルの各角は、マップ上の別個の点（例えば、テーブルの４つの角と関連付けられる、４つのマップ点）によって表される、別個の特徴であり得る。特徴は、拡張現実システム内のＡＲデバイスのセンサを用いて入手され得るような画像を処理することから導出されてもよい。
ブロック５４０に継続すると、ユーザが、次いで、マップサーバ３１０（図３）とのＡＰＩ通信等を介して、ブロック５３０において生成された規準マップにアクセスしてもよい。ユーザは、開発者または任意の他のユーザであってもよい。ブロック５５０では、ユーザは、ユーザを環境内で位置特定するために、環境の付加的画像を取得する。例えば、ユーザのＡＲデバイスが、アクティブ化されると、１つまたはそれを上回るカメラからの画像が、取得され、マップ内のユーザの場所を決定するために使用されてもよい。位置特定が、直ちに、生じない場合、ユーザは、規準マップ内の位置特定が生じるまで、環境のまわりを移動し、付加的画像を取得してもよい。
次に、ブロック５７０では、１つまたはそれを上回るマップ品質インジケータが、ユーザがさらに環境のまわりを移動するにつれて、動的に生成され、マップ品質の視覚的インジケータが、ユーザに提供される。有利なこととして、そのようなインジケータは、ユーザによって、付加的画像が最大品質改良を提供し得る、マップのエリアにより効率的に移動するために使用可能である。
最後に、ブロック５８０では、ＡＲシステムによって入手された付加的画像が、マップサーバ３１０に提供され、そこで、それらは、分析され、規準マップを更新するために使用され得る。したがって、上記のマップ品質相互作用と併せて、規準マップを更新する際に有用である、付加的マップデータを取得するステップが、より効率的に実施されることができる。
いくつかの実施形態では、ユーザが、図５Ａのプロセスを通して、ＡＲデバイスと相互作用するにつれて、マッピングされた環境のメッシュが、表示および更新されてもよい。いくつかの実施形態では、メッシュは、低品質であって、それに関して付加的画像がマップの品質（対応して、マップのその部分の中での位置特定効率）を改良する際に有用であろう、マップの部分を示す。他の実施形態では、メッシュは、図５Ａのマップキュレーションプロセスのいくつかまたは全ての間、ユーザに表示されなくてもよい。
図６は、マップ品質インジケータに対する更新を決定するためのプロセスの一実施形態を図示する、フローチャートである。いくつかの実装では、ＡＲデバイスのユーザは、追跡マップ、規準マップ、および／またはマップのある組み合わせであり得る、位置特定マップを使用して、ユーザの現在の環境を参照して位置特定される。次いで、ＡＲデバイスのカメラシステムから取得されるリアルタイム画像（例えば、最も直近で捕捉されたもののうちの１つまたはそれを上回るもの）が、マップ内のユーザの場所を決定するための試みにおいて、位置特定マップに対して比較されてもよい。位置特定の成功は、位置特定マップの品質に依存する。したがって、位置特定のためのマップを使用することに関する成功の尤度を示す、マップ品質のメトリックが、有利であり得る。下記にさらに詳細に議論されるように、マップ品質メトリックは、基準点の全体的量および／または画像間の基準点の同時可視性等、異なる画像内で捕捉された基準点に基づいて決定されてもよい。基準点は、角、縁等等の着目特徴を表す、マップ点であってもよく、着目特徴は、位置特定目的のために環境内のオブジェクトを識別するために使用されてもよい。
図６の実施例では、マップは、グリッドパターン等において、複数のセルにセグメント化され、セルはそれぞれ、１つまたはそれを上回る品質インジケータを決定するようにスコア化される。いくつかの実施形態では、マップと関連付けられるセルのグリッドは、姿勢グリッドブロック（またはＰＧＢ）と称され得る。有利なこととして、セル品質スコアは、例えば、ユーザが環境のまわりを移動するにつれて、動的に生成され、現在のセルに関するマップ品質に対する改良および／または付加的マップデータから利益を享受し得る、近隣のセルのインジケーションのリアルタイムフィードバックをユーザに提供し得る。
ブロック６１０から開始して、マップは、それぞれ、実世界環境の定義されたエリアと関連付けられる、複数のセルにセグメント化される。実装に応じて、マップは、位置特定時に（マップサーバ３１０から）ＡＲシステムに伝送され得るような、その中でユーザが位置特定される、環境と関連付けられる、規準マップのいくつかまたは全てであってもよい。例えば、セルはそれぞれ、実世界環境の４ｍ×４ｍ、２ｍ×２ｍ、１ｍ×１ｍ、または任意の他のサイズまたは形状の所定のエリアと関連付けられ得る。
ブロック６２０に移行して、その中にユーザが現在位置する、セルが、本明細書のいずれか場所で議論される位置特定技法等に基づいて、決定される。
次に、ブロック６３０では、セル品質スコアが、その中にユーザが現在位置する、セルに関して決定される（例えば、ブロック６２０において決定されるように）。一実施形態では、０～１の範囲内のセル品質サブスコアが、セルの複数の視認方向毎に決定される。セル品質スコアは、次いで、サブスコアを平均すること等によって、サブスコアに基づいて決定されてもよい。例えば、４つの視認方向に分割される、セルは、０～１の範囲（または他の範囲）内の対応する４つのセル品質サブスコアを有してもよい。４つのサブスコア（例えば、０．５、０．６、０．７、０．２５）は、平均され、セル品質スコアを取得してもよく、例えば、（０．５＋０．６＋０．７＋０．２５）／４は、０．５１２５のセル品質スコアをもたらす。他の実装では、他のスコア範囲が、使用されてもよく、全体的セル品質スコアは、異なるように計算されてもよい。例えば、いくつかの実施形態では、セル品質スコアは、周囲セルによって影響される。例えば、現在のセルに対して北、南、西、および東方向におけるセルのセル品質スコアが、加重を周囲セル品質スコアのそれぞれに関連付けること等によって、現在のセル品質スコアを計算する際に使用されてもよい。他の実施形態では、セルは、他の様式においてスコア化されてもよい。スコア化方法論のさらなる実施例は、セル品質スコアを決定する例示的方法を図示する、フローチャートである、図７Ａを参照してさらに詳細に説明される。図７Ａに進むと、ブロック７１０では、ＡＲシステムおよび／またはマップサーバ３１０（図３）が、現在のセル（例えば、ユーザが現在位置付けられている、２ｍ×２ｍエリア）と関連付けられる画像を決定する。画像は、追跡マップの一部として等、ローカルで記憶されてもよく、および／または規準マップ内の現在のセルと関連付けられる画像に関する要求に応答して、クラウドから（例えば、図３のマップサーバ３１０から）取得されてもよい。
ブロック７２０に移行すると、ブロック７１０内で識別された画像は、セルの視認方向および／またはある他のセグメント化に基づいてグループされる。例えば、画像はそれぞれ、４つの視認方向（例えば、北、南、東、および西、または上、下、左、および右）のうちの１つと関連付けられ得る。他の実施形態では、他の量および配向の視認方向も、使用されてもよい。図７Ｂの実施例では、例示的セル７４９が、図示される。例示的セル７４９は、４つの象限または視認方向を含み、ユーザ７４２は、セルの中心に位置付けられる。
図７Ｃは、同一セル７４９を図示し、ここでは、複数の画像７５０Ａ－７５０Ｅが、そこから画像が（例えば、セル内の別のユーザまたは現在のユーザによって）入手された、セル７４９内に重畳され、位置付けられる。画像アイコン７５０Ａ－７５０Ｅはまた、そこから画像が入手された、視認方向を示し、視認方向は、アイコン７５０のより狭い側からより広い側に向かって（かつそれを越えて）指す。したがって、本実施例では、画像７５０Ａ、７５０Ｂ、および７５０Ｃは、セル７４９内の東向き視認方向からのコンテンツ、例えば、真東方向の両側上のある所定の角度の範囲内等、概して、東向きに見ている、セル７４９内の結像デバイスから入手された画像を含む。例えば、北が、ゼロ度であって、南が、１８０度であって、東が、９０度である場合、東向き視認方向と関連付けられる、視認方向の範囲は、（９０－Ｘ）～（９０＋Ｘ）として定義されてもよく、Ｘは、４５以下である。類似視認方向範囲が、同一Ｘ値を用いて、北、南、および西に関して決定されてもよい。しかしながら、いくつかの実装では、Ｘは、２つの方向間の視野角から撮影されている、いくつかの画像が、画像の２つのグループ内に含まれ得るように、４５を上回る、例えば、６０であってもよい。例えば、重複視認方向エリアを伴う、ある実施形態では、北東の視野角から撮影される画像が、北（７４０Ｎ）および東（７４０Ｅ）画像グループの両方内に含まれてもよい。いくつかの実施形態では、他の数のグループ（例えば、２、３、１０等）および／または他のＸ値（１、１０、８０等）も、使用されてもよい。
図７Ｃをさらに参照すると、画像７５０Ｅは、南向き視認方向からのコンテンツを含み、画像７５０Ｄは、西向き視認方向からのコンテンツを含む。したがって、これらの例示的画像をカテゴリ化した後、３つの画像は、東向き視認方向（セル７４９のグループ７４０Ｅと関連付けられる）と関連付けられ、１つの画像は、西向きグループ（７４０Ｗ）および南向きグループ（７４０Ｓ）のそれぞれと関連付けられ、いずれの画像も、北向きグループ（７４０Ｎ）と関連付けられない。
画像の視認方向およびその対応する視認方向グループを決定するステップは、セル内のユーザの特定の場所に依存せず、画像は、セル７４９内の任意の位置から取得されたものであってもよい。
図７Ａに戻ると、ブロック７３０では、画像スコアが、画像毎に決定される。例えば、画像スコアは、画像内に含まれる基準点の量に基づいてもよい。いくつかの実施形態では、画像スコア化は、ブロック７１０に先立って等、プロセスの早い段階で実施されてもよい。例えば、画像は、それらがＡＲシステムおよび／またはクラウドサーバによって受信されるにつれて、スコア化されてもよい。いくつかの実施形態では、画像スコアは、マップと関連付けられる任意の画像内の基準点の最高量等を基準として、正規化される。例えば、マップと関連付けられる任意の画像内の最大基準点が、１０である場合、２つの基準点を伴う画像は、０．２０の画像スコアに正規化されてもよく、７つの基準点を伴う画像は、０．７０の画像スコアに正規化されてもよい。正規化された画像スコアの使用は、画像内の基準点の未加工量のみの使用よりもより包括的な全体的マップ品質のビューを提供し得る。
画像のスコア化および視認方向に基づく画像のグループ化のさらなる説明は、「Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ａｎｄ ／ｏｒ Ｅｖａｌｕａｔｉｎｇ Ｌｏｃａｌｉｚｉｎｇ Ｍａｐｓ Ｏｆ Ｉｍａｇｅ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅｓ」と題された、米国特許出願第＿＿＿＿＿＿＿号（弁理士整理番号第ＭＬ－０７５０ＵＳ号）（あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる）に見出され得る。
次に、ブロック７４０では、視認方向毎に、セル品質サブスコアが、特定の視認方向と関連付けられる画像の画像スコア等に基づいて、生成されてもよい。したがって、実施例７Ｃを参照すると、９つのセル品質サブスコアが、画像７５０Ａ－７５０Ｃのそれぞれ内の３つの基準点の識別に基づいて、視認方向グループ７４０Ｅに関して計算されてもよい（例えば、３＋３＋３＝９）。画像スコアが正規化される、実施形態では、正規化されたスコアは、セル品質サブスコアを計算する際に使用されてもよい。例えば、画像７５０Ａ、７５０Ｂ、７５０Ｃが、０．７、０．３、および０．５の正規化された画像スコアを有する場合、グループ７４０Ｅに関するセル品質サブスコアは、それらの正規化された画像スコアの平均、すなわち、０．５であってもよい。
いくつかの実施形態では、セル品質サブスコアはさらに、特定の視認方向グループの画像内の基準点の同時可視性に基づいてもよい。例えば、画像７５０Ａおよび７５０Ｂのそれぞれ内に２つの同時可視基準点、画像７５０Ｂおよび７５０Ｃのそれぞれ内に３つの同時可視基準点、および画像７５０Ａおよび７５０Ｃのそれぞれ内に１つの同時可視基準点が存在する場合、６つのセル品質サブスコアが、視認方向グループ７４０Ｅに関して計算されてもよい（例えば、２＋３＋１＝６）。他の実施形態では、セル品質サブスコアを決定する他の変形例も、使用されてもよい。
セル品質スコアが、次いで、セルのセル品質サブスコアに基づいて、計算されてもよい。例えば、４つのセル品質サブスコアが、平均され、セル品質スコアを決定してもよい。いくつかの実施形態では、セル品質スコアは、０～１、０～１０、または０～１００等の一般的範囲に正規化されてもよい。例証目的のために、０～１の範囲内のセル品質スコアが、本明細書で議論される。
図６に戻ると、セル品質スコアが計算されると、セル飽和インジケータが、現在のセルに関して決定される。一実施形態では、セル飽和インジケータは、ユーザが現在のセル内（例えば、現在のセルの２ｍ×２ｍエリア内）に位置していた、時間量に基づく。ユーザが現在のセル内に存在していた秒数等の数値スコアが、決定されてもよい、またはいくつかの実施形態では、現在のユーザが特定の期間を上回ってセル内に存在していたかどうかのインジケータが、決定される。例えば、閾値時間は、ユーザが、１０秒またはそれを上回って、現在のセル内に存在していた場合、セル飽和インジケータが、正（または１）である一方、ユーザが、１０秒未満、セル内に存在していた場合、セル飽和インジケータが、負（またはゼロ）であるように、１０秒に設定されてもよい。他の実施形態では、他の閾値時間も、使用されてもよい。いくつかの実施形態では、飽和サブスコアは、それに関してセル品質サブスコアが生成される、視認方向等、セルの複数の視認方向（例えば、図７Ｃにおける４つの視認方向７４０Ｎ、７４０Ｓ、７４０Ｗ、７４０Ｅ）毎に計算されてもよい。セルと関連付けられる複数の飽和サブスコアの表現である、セル飽和スコア（例えば、セルのサブスコアの和、平均、加重平均等）が、計算されてもよい。
ブロック６５０では、調節されたセル品質スコア（または「セルスコア」）が、セル品質スコア（ブロック６３０）およびセル飽和インジケータに基づいて決定される（ブロック６４０）。例えば、セルスコアは、セル飽和インジケータが、正である場合、セル品質スコアおよびある加重値に基づいてもよい。例えば、１つの実装では、セル品質スコアが、所定の量（例えば、０．５）未満である場合、セルスコアは、正のセル飽和インジケータに起因して、セル品質スコア＋０．５の増加として決定される。セル飽和インジケータが、負である場合、セルスコアは、セル品質スコアに等しくてもよい。他の実施形態では、セル飽和インジケータおよびセル品質スコアは、異なる割合で組み合わせられ、セルスコアを決定してもよい。
ブロック６６０に移行すると、セルスコアが計算されると、更新されたマップ可視化が、ＡＲデバイスに提供され、ユーザが、セルスコアを可視化することを可能にしてもよい。いくつかの実施形態では、セルスコアは、赤色、橙色、黄色、緑色等の色、および／またはそのような色間の勾配を使用して示される。例えば、１のセルスコアは、セルに関する緑色インジケータをもたらし得る一方、セルスコアが、０．５を上回るまたはそれに等しいが、１未満である場合、セルに関する黄色インジケータが、表示される。同様に、０．２５またはそれ未満である、セルスコアは、赤色として示されてもよい。色勾配は、スコアがゼロ～１のスケール上に位置する場所をより精密に示すために使用されてもよい。別の実施例では、スコアに関する色の勾配は、１のスコアに関して緑色およびゼロのスコアに関して赤色（橙色）等、２つの色間の勾配に基づいて決定されてもよい。先に議論されたように、可視化は、ユーザに、その中のセルスコアがより低く、それに関して付加的画像が望ましい、環境のエリアを指示する、マッピングガイドを含んでもよい。
図８は、ミニマップ８００の例示的ユーザインターフェースである。本実施例では、ミニマップ８００は、高セルスコアを伴う、いくつかのセル８０２（例えば、緑色円形）と、中セルスコアを伴う、４つのセル８０４（例えば、黄色円形）と、低セルスコアを伴う、１つのセル８０６（例えば、赤色円形）とを示す。加えて、ユーザが現在存在する、セルである、セル８０２Ａは、橙色に着色された中心部分を有し、平均または中央値スコアを示し、セル８０６に向かった指向性スコアは、低く（赤色）、セル８０４Ａに向かった指向性スコアは、中程度であって（黄色）、他の２つの方向における指向性スコアは、高い（緑色）等となる。
本明細書のいずれかの場所に記載されるように、セルスコアを高、中、低、および／または、その間の任意の他の変動としてランク付けするための値の範囲は、実装に基づいて変動し得る。加えて、他の色が、各セル内のオブジェクトのサイズと品質レベルの関連付け等、セルスコア値および／または他の視覚的インジケータを表すために使用されてもよい（例えば、セルは、スコアが最高であるとき、充実され、セルは、スコアが最低であるとき、セルの中心には、ドットのみを含む、または何もない）。図８の実施例等のいくつかの実施形態では、着色ドットは、一部の品質データが存在する、セル（例えば、セルスコアを有する、セル）内にのみ含まれる。非常に短い時間だけ、セルに立ち寄っただけでも、典型的には、セルスコアを計算するために十分なデータの収集することを可能にする（より低いセルスコアであり得る場合でも）ため、本実施例における着色ドットの欠如は、ユーザがそのセル内に存在していなかったことを示し得る。
図８の実施例では、現在のセル８０２Ａは、４つの視認方向のそれぞれにおけるセル品質スコアを、セル８０２Ａの中心における全体的セルスコア（例えば、橙色）とともに示す。したがって、セルサブスコアリング８１０内の色は、セル８０２Ａ内からのその視認方向から取得される画像の品質に関連付けられる、緑色、赤色、黄色、および緑色のセル品質サブスコアを示す（北から開始して時計回りに進む）。いくつかの実施形態では、複数の指向性品質インジケータが、セル毎に計算および記憶されるが、全体的セルスコアは、ユーザが位置する、現在のセルの外側のセルのみに示され得る。これは、依然として、それに関してスコアが決定された任意のセルに関する全体的品質スコアを提供しながら、ユーザインターフェースの複雑度を低減させ得る。
図８の実施形態では、ユーザが、現在、黄色ドットで示されている、セル８０４Ａに進入する場合、セルに進入することに応じて、ユーザアイコンは、セル８０４Ａ内に位置付けられ、セルは、セル８０４Ａに関する４つの指向性スコアを示すように更新され得る。例えば、セル８０４Ａは、３つの緑色および１つの赤色指向性品質インジケータと関連付けられ得るが、ユーザは、セル８０４Ａに進入するまで、各スコアが関連付けられる、方向を把握しないであろう。いったんユーザが、セル８０４Ａに進入する（かつ指向性スコアインジケータが、セル８０４Ａに示される）と、赤色指向性品質インジケータが、西に対する場合、それが、ユーザが西を見るように促すようにユーザに示され、その方向におけるマップの品質を改良するために使用され得、西品質サブスコアおよび全体的セルスコアの両方を増加させるであろう、さらなる画像をその方向において取得するであろう。
いくつかの実施形態では、全体的マップ品質スコアは、マップのセルスコアのうちの１つまたはそれを上回るものに基づいて、計算されてもよい。例えば、一実施形態では、全体的マップ品質スコアは、マップの全てのセルのセルスコアの平均である。別の実施形態では、全体的マップ品質スコアは、セルスコアを割り当てられている、マップのセルの数量または割合に基づいてもよい。例えば、マップが、１００個のセルを含むが、セルの５３個のみが、関連付けられるセルスコアを有する場合、全体的マップスコアは、０．５３または５３％であってもよい。いくつかの実施形態では、全体的マップ品質スコアは、マップ全体ではなく、ミニマップに示されるマップの一部（例えば、ユーザの直接周囲のセル）に基づいて、計算されてもよい。全体的マップ品質スコアは、図５のコントローラＵＩ５０４を参照して図示されるように、関連付けられるマップ情報５０３に示され得る。
図９Ａ－９Ｅは、ユーザが、環境のまわりを移動し、マップ品質を改良するために使用される、画像を取得するにつれて、ＡＲデバイスを介してユーザに表示される、例示的ユーザインターフェースを図示する。図９Ａから開始して、ミニマップ９０２は、ユーザアイコン９０１をマップの中心セル内に含む。マッピングプロセスの本段階では、その中にユーザが現在位置付けられている、セルは、ミニマップ９０２の任意の他のセル内の着色円形の欠如によって示されるように、セルスコアを割り当てられられている、唯一のセルである。本実施形態では、ユーザインターフェースはまた、図９Ａの例示的ユーザインターフェース右下部分全体を通した白色ドットの形態におけるメッシュ９１０インジケータを含み、メッシュ化されている環境の具体的エリアおよび／または環境の特定のエリアのメッシュ化の範囲を示す。全体的マップ品質９０６を含む、付加的マッピング情報９０３もまた、本実施例内に表示され、全体的マップ品質が現在０％であることを示す。
図９Ｂに移行すると、ユーザは、別のセルの中に移動しており、付加的セルスコアが、示される。いくつかの実施形態では、セルスコアは、新しい画像がＡＲデバイスによって入手された、またはユーザがセルの境界を横断して移動したとき等、マップイベント毎に再計算される。図９の実施例に示されるように、視認方向インジケータ９０５が、ユーザアイコン９０１の隣に示され、ユーザをミニマップを基準として配向することに役立つ。視認インジケータ９０５は、有利なこととして、ユーザリアルタイム配向を示す。他の実施形態では、ユーザの配向は、他の様式で表示されてもよい。図９Ｃはさらに、ミニマップが、ユーザが環境のまわりを移動するにつれて、リアルタイムで更新される方法を図示する。同様に、メッシュインジケーションも、リアルタイムで更新される。図９Ｄは、再び、全体的マップインジケータ９０６を示すが、ここでは、ユーザが、環境のまわりを移動し、本システムが３つのセルに関するセルスコアを展開することを可能にすることに起因して、マップ品質が３３％であることのインジケーションを伴う。図９Ｅでは、マップ品質インジケータ９０６は、５１％までの増加を示し、ここでは、４つのセルが、セルスコアを有する。したがって、ミニマップは、改良の即時インジケーションをユーザに提供し、これは、ユーザが、環境のまわりを移動し、付加的画像データを取得し続けるための動機としての役割を果たし得る。
例示的実装
本明細書に説明されるシステム、方法、およびデバイスはそれぞれ、いくつかの側面を有するが、そのうちのいずれの単一の１つだけが、その望ましい属性に関与するわけではない。本開示の範囲を限定することなく、いくつかの非限定的特徴が、ここで、簡単に議論されるであろう。以下の段落は、本明細書に説明されるデバイス、システム、および方法の種々の例示的実装を説明する。１つまたはそれを上回るコンピュータのシステムが、動作時、本システムにアクションを実施させる、本システム上にインストールされる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。１つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、本装置にアクションを実施させる、命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。
実施例１：コンピュータ化された方法であって、１つまたはそれを上回るハードウェアコンピュータプロセッサと、コンピューティングシステムによって実行可能なソフトウェア命令を記憶し、コンピュータ化された方法を実施する、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有する、コンピューティングシステムによって実施され、デジタルマップを複数のセルにセグメント化するステップであって、セルはそれぞれ、デジタルマップの定義されたエリアおよび実世界環境の対応するエリアと関連付けられる、ステップと、ウェアラブルヘッドセットが位置付けられる、セルを決定するステップと、ユーザを決定されたセルの中で位置特定するために使用可能な決定されたセルと関連付けられる、セル品質スコアを決定するステップと、ユーザが、少なくとも閾値期間にわたって、決定されたセル内に位置付けられているかどうかを示す、セル飽和インジケータを決定するステップと、セル品質スコアおよびセル飽和スコアを示す、セルスコアを決定するステップと、ウェアラブルヘッドセット内で視認可能なユーザインターフェースを更新し、決定されたセルに関するセルスコアを示すステップとを含む、コンピュータ化された方法。
実施例２：セル品質スコアおよびセル飽和インジケータは、ウェアラブルヘッドセットに対して遠隔のサーバによって決定され、アプリケーションプログラミングインターフェース（ＡＰＩ）通信チャネルを介して、ウェアラブルヘッドセットに伝送される、実施例１に記載のコンピュータ化された方法。
実施例３：ウェアラブルヘッドセットは、遠隔サーバからマップデータに直接アクセスするための証明書を伝送することによって、（ＡＰＩ）通信チャネルを開始する、実施例２に記載のコンピュータ化された方法。
実施例４：セル品質スコアは、０～１であって、０は、最低セル品質を示し、１は、最高セル品質を示す、実施例１に記載のコンピュータ化された方法。
実施例５：セル飽和インジケータが、正である場合、セルスコアは、セル品質スコアおよび０．５の和であって、最大セルスコアは、１である、実施例１に記載のコンピュータ化された方法。
実施例６：セル飽和インジケータが、負である場合、セルスコアは、セル品質スコアである、実施例１に記載のコンピュータ化された方法。
実施例７：ユーザインターフェースは、セルの一部のミニマップと、その対応するセルスコアとを含む、実施例１に記載のコンピュータ化された方法。
実施例８：ミニマップは、ミニマップがユーザ入力デバイスと連動して移動するように、ユーザ入力デバイスの位置と関連付けられる、実施例７に記載のコンピュータ化された方法。
実施例９：ミニマップは、ユーザ入力デバイスの正面に表示される、実施例８に記載のコンピュータ化された方法。
実施例１０：ユーザの移動に応答して、ミニマップを回転させ、ユーザの配向を維持するステップをさらに含む、実施例７に記載のコンピュータ化された方法。
実施例１１：ユーザインターフェースは、セルスコアのインジケータが実世界環境の対応する部分にオーバーレイする、マップ品質オーバーレイを含む、実施例１に記載のコンピュータ化された方法。
実施例１２：ユーザインターフェースは、特定の視認方向から取得される画像に基づいて決定される、少なくとも１つのセル品質サブスコアを含む、実施例１に記載のコンピュータ化された方法。
実施例１３：少なくとも１つのセル品質サブスコアは、北視認方向サブスコアと、南視認方向サブスコアと、西視認方向サブスコアと、東視認方向サブスコアとを含む、実施例１２に記載のコンピュータ化された方法。
実施例１４：セル品質サブスコアは、現在のセルに示される、実施例１３に記載のコンピュータ化された方法。
実施例１５：セル品質サブスコアは、セルスコアのインジケータの周囲の着色エリアとして示される、実施例１４に記載のコンピュータ化された方法。
実施例１６：セルスコアは、ユーザインターフェース内に色を用いて示され、より低いセルスコアは、第１の色であって、より高いセルスコアは、第２の色である、実施例７に記載のコンピュータ化された方法。
実施例１７：第１の色は、赤色であって、第２の色は、緑色である、実施例１６に記載のコンピュータ化された方法。
実施例１８：ユーザインターフェースは、決定されたセルをユーザアイコンを用いて示す、実施例７に記載のコンピュータ化された方法。
実施例１９：複数のセルは、グリッドパターン内にある、実施例１に記載のコンピュータ化された方法。
実施例２０：コンピュータ化された方法であって、１つまたはそれを上回るハードウェアコンピュータプロセッサと、コンピューティングシステムによって実行可能なソフトウェア命令を記憶し、コンピュータ化された方法を実施する、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有する、コンピューティングシステムによって実施され、マップサーバと通信するように構成される、アプリケーションプログラミングインターフェースを介して、ウェアラブルヘッドセットの環境と関連付けられる、マップデータにアクセスするステップと、ウェアラブルヘッドセットを介して、マップデータの品質をマップの複数のセルのそれぞれに示す、ミニマップを表示するステップと、ウェアラブルヘッドセットの１つまたはそれを上回るセンサを介して、ユーザが環境のまわりを移動するにつれて、環境の画像を取得するステップと、環境の取得された画像に基づいて、マップデータの品質に対する更新を決定するステップと、ミニマップを更新し、マップデータの品質に対する更新を示すステップとを含む、コンピュータ化された方法。
実施例２１：アプリケーションプログラミングインターフェースを介して、環境の画像のうちの少なくともいくつかを伝送するステップをさらに含む、実施例２０に記載のコンピュータ化された方法。
実施例２２：マップサーバは、環境の画像に基づいて、環境の規準マップを更新するように構成される、実施例２０に記載のコンピュータ化された方法。
実施例２３：マップサーバはさらに、環境の画像を１人またはそれを上回る他のユーザから受信するように構成される、実施例２２に記載のコンピュータ化された方法。
実施例２４：マップの品質は、マップの個々のセルに関するセル品質スコアおよび飽和インジケータに基づいて決定される、実施例２０に記載のコンピュータ化された方法。
実施例２５：特定のセルに関するセル品質スコアおよび飽和インジケータは、ユーザが特定のセル内に位置に付けられている間に決定される、実施例２４に記載のコンピュータ化された方法。
実施例２６：少なくとも、マップの個々のセルに関するセル品質スコアに基づいて、全体的マップ品質インジケータを決定するステップをさらに含む、実施例２４に記載のコンピュータ化された方法。
上記に述べられたように、上記に提供される説明される実施例の実装は、ハードウェア、方法またはプロセス、および／またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
付加的考慮点
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実装では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実装に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実装に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実装がある特徴、要素、および／またはステップを含む一方、他の実装がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実装に対していかようにも要求されること、または１つまたはそれを上回る実装が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実装において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図するものではない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実装が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (20)

  1. コンピューティングシステムによって実施されるコンピュータ化された方法であって、前記コンピューティングシステムは、１つまたはそれを上回るハードウェアコンピュータプロセッサと、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有し、前記１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスは、前記コンピュータ化された方法を実施するように、前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶しており、前記コンピュータ化された方法は、
    デジタルマップを複数のセルにセグメント化することであって、前記セルのそれぞれは、前記デジタルマップの定義されたエリアおよび実世界環境の対応するエリアと関連付けられる、ことと、
    ウェアラブルヘッドセットが位置付けられるセルを決定することと、
    ユーザを前記決定されたセルの中で位置特定するために使用可能な前記決定されたセルと関連付けられるセル品質スコアを決定することと、
    セル飽和インジケータを決定することであって、前記セル飽和インジケータは、前記ユーザが、少なくとも閾値期間にわたって、前記決定されたセル内に位置付けられているかどうかを示す、ことと、
    前記セル品質スコアおよびセル飽和スコアを示すセルスコアを決定することと、
    前記ウェアラブルヘッドセット内で視認可能なユーザインターフェースを更新し、前記決定されたセルに関するセルスコアを示すことと
    を含む、コンピュータ化された方法。
  2. 前記セル品質スコアおよび前記セル飽和インジケータは、前記ウェアラブルヘッドセットに対して遠隔のサーバによって決定され、アプリケーションプログラミングインターフェース（ＡＰＩ）通信チャネルを介して、前記ウェアラブルヘッドセットに伝送される、請求項１に記載のコンピュータ化された方法。
  3. 前記ウェアラブルヘッドセットは、前記遠隔サーバからマップデータに直接アクセスするための証明書を伝送することによって、前記ＡＰＩ通信チャネルを開始する、請求項２に記載のコンピュータ化された方法。
  4. 前記セル品質スコアは、０～１であり、０は、最低セル品質を示し、１は、最高セル品質を示す、請求項１に記載のコンピュータ化された方法。
  5. 前記セル飽和インジケータが、正である場合、前記セルスコアは、前記セル品質スコアと０．５との和であり、最大セルスコアは、１である、請求項１に記載のコンピュータ化された方法。
  6. 前記セル飽和インジケータが、負である場合、前記セルスコアは、前記セル品質スコアである、請求項１に記載のコンピュータ化された方法。
  7. 前記ユーザインターフェースは、前記セルの一部のミニマップと、その対応するセルスコアとを含む、請求項１に記載のコンピュータ化された方法。
  8. 前記ミニマップは、前記ミニマップがユーザ入力デバイスと連動して移動するように、ユーザ入力デバイスの位置と関連付けられる、請求項７に記載のコンピュータ化された方法。
  9. 前記ミニマップは、前記ユーザ入力デバイスの正面に表示される、請求項８に記載のコンピュータ化された方法。
  10. 前記ユーザの移動に応答して、前記ミニマップを回転させ、前記ユーザの配向を維持することをさらに含む、請求項７に記載のコンピュータ化された方法。
  11. 前記ユーザインターフェースは、セルスコアのインジケータが前記実世界環境の対応する部分にオーバーレイするマップ品質オーバーレイを含む、請求項１に記載のコンピュータ化された方法。
  12. 前記ユーザインターフェースは、特定の視認方向から取得される画像に基づいて決定される少なくとも１つのセル品質サブスコアを含む、請求項１に記載のコンピュータ化された方法。
  13. 前記少なくとも１つのセル品質サブスコアは、北視認方向サブスコアと、南視認方向サブスコアと、西視認方向サブスコアと、東視認方向サブスコアとを含む、請求項１２に記載のコンピュータ化された方法。
  14. 前記セル品質サブスコアは、前記決定されたセル内に示される、請求項１３に記載のコンピュータ化された方法。
  15. 前記セル品質サブスコアは、前記セルスコアのインジケータの周囲の着色エリアとして示される、請求項１４に記載のコンピュータ化された方法。
  16. 前記セルスコアは、前記ユーザインターフェース内に色を用いて示され、より低いセルスコアは、第１の色であり、より高いセルスコアは、第２の色である、請求項７に記載のコンピュータ化された方法。
  17. 前記第１の色は、赤色であり、前記第２の色は、緑色である、請求項１６に記載のコンピュータ化された方法。
  18. 前記ユーザインターフェースは、前記決定されたセルをユーザアイコンを用いて示す、請求項７に記載のコンピュータ化された方法。
  19. 前記複数のセルは、グリッドパターン内にある、請求項１に記載のコンピュータ化された方法。
  20. コンピューティングシステムによって実施されるコンピュータ化された方法であって、前記コンピューティングシステムは、１つまたはそれを上回るハードウェアコンピュータプロセッサと、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有し、前記１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスは、前記コンピュータ化された方法を実施するように、コンピューティングシステムによって実行可能なソフトウェア命令を記憶しており、前記コンピュータ化された方法は、
    マップサーバと通信するように構成されるアプリケーションプログラミングインターフェースを介して、ウェアラブルヘッドセットの環境と関連付けられるマップデータにアクセスすることと、
    前記ウェアラブルヘッドセットを介して、前記マップデータの品質を示すミニマップを、マップの複数のセルのそれぞれに表示することと、
    ユーザが前記環境のまわりを移動するにつれて、前記ウェアラブルヘッドセットの１つまたはそれを上回るセンサを介して、前記環境の画像を取得することと、
    前記環境の取得された画像に基づいて、前記マップデータの品質に対する更新を決定することと、
    前記ミニマップを更新し、前記マップデータの品質に対する更新を示すことと
    を含む、コンピュータ化された方法。
JP2022543679A 2020-01-27 2021-01-20 拡張現実マップキュレーション Active JP7490784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024079308A JP2024100835A (ja) 2020-01-27 2024-05-15 拡張現実マップキュレーション

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062966267P 2020-01-27 2020-01-27
US62/966,267 2020-01-27
PCT/US2021/014138 WO2021154558A1 (en) 2020-01-27 2021-01-20 Augmented reality map curation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024079308A Division JP2024100835A (ja) 2020-01-27 2024-05-15 拡張現実マップキュレーション

Publications (3)

Publication Number Publication Date
JP2023511332A true JP2023511332A (ja) 2023-03-17
JPWO2021154558A5 JPWO2021154558A5 (ja) 2024-01-24
JP7490784B2 JP7490784B2 (ja) 2024-05-27

Family

ID=76971125

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022543679A Active JP7490784B2 (ja) 2020-01-27 2021-01-20 拡張現実マップキュレーション
JP2024079308A Pending JP2024100835A (ja) 2020-01-27 2024-05-15 拡張現実マップキュレーション

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024079308A Pending JP2024100835A (ja) 2020-01-27 2024-05-15 拡張現実マップキュレーション

Country Status (5)

Country Link
US (3) US11574424B2 (ja)
EP (1) EP4097711A4 (ja)
JP (2) JP7490784B2 (ja)
CN (1) CN115039166A (ja)
WO (1) WO2021154558A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945947A (zh) 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
WO2021154558A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Augmented reality map curation
US11614319B2 (en) * 2020-06-26 2023-03-28 Faro Technologies, Inc. User interface for three-dimensional measurement device
US12132634B2 (en) * 2021-10-21 2024-10-29 At&T Intellectual Property I, L.P. Managing extended reality experience
CN114911990B (zh) * 2022-05-27 2023-01-03 北京天域北斗文化科技集团有限公司 基于虚拟现实和智能交互的地图浏览系统
EP4336458A1 (de) * 2022-09-08 2024-03-13 Viewlicity GmbH Verfahren und systeme zum betreiben einer anzeigeeinrichtung einer simulation
WO2024070654A1 (ja) * 2022-09-30 2024-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2024211653A1 (en) * 2023-04-05 2024-10-10 Meta Platforms Technologies, Llc Techniques and graphics-processing aspects for enabling scene responsiveness in mixed-reality environments, including by using situated digital twins, and systems and methods of use thereof

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5694546A (en) * 1994-05-31 1997-12-02 Reisman; Richard R. System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8892455B2 (en) 2007-09-28 2014-11-18 Walk Score Management, LLC Systems, techniques, and methods for providing location assessments
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
NZ706893A (en) 2010-12-24 2017-02-24 Magic Leap Inc An ergonomic head mounted display device and optical system
RU2621644C2 (ru) 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
CN104011788B (zh) 2011-10-28 2016-11-16 奇跃公司 用于增强和虚拟现实的系统和方法
BR112014024941A2 (pt) 2012-04-05 2017-09-19 Magic Leap Inc dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
CN107656617B (zh) 2013-03-15 2020-08-25 奇跃公司 显示系统和方法
GB201305402D0 (en) 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2013225918A (ja) 2013-07-01 2013-10-31 Zenrin Datacom Co Ltd 日常圏設定システム、日常圏設定方法及び日常圏設定プログラム
WO2015057994A1 (en) 2013-10-16 2015-04-23 Kaji Masamune Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN113568175B (zh) 2013-11-27 2023-06-27 奇跃公司 虚拟和增强现实系统与方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
CN106462743A (zh) 2014-05-09 2017-02-22 谷歌公司 用于向安全移动通信使用眼睛信号的系统和方法
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9766713B2 (en) * 2015-09-08 2017-09-19 Unity IPR ApS System and method for providing user interface tools
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
US10802579B2 (en) * 2019-02-01 2020-10-13 Facebook Technologies, Llc Artificial reality system having multiple modes of engagement
WO2021154558A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Augmented reality map curation

Also Published As

Publication number Publication date
CN115039166A (zh) 2022-09-09
EP4097711A1 (en) 2022-12-07
US20240290009A1 (en) 2024-08-29
JP7490784B2 (ja) 2024-05-27
US20230162411A1 (en) 2023-05-25
JP2024100835A (ja) 2024-07-26
US12008686B2 (en) 2024-06-11
US11574424B2 (en) 2023-02-07
EP4097711A4 (en) 2024-01-24
US20210233288A1 (en) 2021-07-29
WO2021154558A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7490784B2 (ja) 拡張現実マップキュレーション
CN112805750B (zh) 跨现实系统
US11797105B2 (en) Multi-modal hand location and orientation for avatar movement
US11954243B2 (en) Mapping and localization of a passable world
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
CN109891189B (zh) 策划的摄影测量
JP2015532739A (ja) ユーザインターフェースコントローラなどの有形オブジェクトの拡張
JP7379603B2 (ja) 推奨を配信する方法、デバイス、及びシステム
US12200466B2 (en) Audio enhanced augmented reality
US20240393885A1 (en) Scissor hand gesture for a collaborative object
US20240320353A1 (en) Timelapse of generating a collaborative object
KR20210091033A (ko) 객체 정보 추정과 가상 객체 생성을 위한 전자 장치 및 전자 장치의 동작 방법
KR20230053262A (ko) 2d 현실공간 이미지를 기반의 3d 객체 인식 및 변환 방법과 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US12073501B1 (en) Generating facial expressions using a neural network having layers of constrained outputs
US20240073402A1 (en) Multi-perspective augmented reality experience
US20230394773A1 (en) Smart Interactivity for Scanned Objects using Affordance Regions
KR102316389B1 (ko) 가상 오브젝트의 좌표 추정 방법
US20240069637A1 (en) Touch-based augmented reality experience
KR20240035281A (ko) 현실 공간에서 객체를 제어하는 증강 현실 서비스를 제공하는 증강 현실 디바이스 및 그 동작 방법
WO2023189601A1 (ja) 情報処理装置、記録媒体及び情報処理方法
CN117813626A (zh) 从多视图立体（mvs）图像重建深度信息

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240515

R150 Certificate of patent or registration of utility model

Ref document number: 7490784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150