JP2024023307A - 追加のディスプレイを有するデバイスの管理 - Google Patents

追加のディスプレイを有するデバイスの管理 Download PDF

Info

Publication number
JP2024023307A
JP2024023307A JP2023194270A JP2023194270A JP2024023307A JP 2024023307 A JP2024023307 A JP 2024023307A JP 2023194270 A JP2023194270 A JP 2023194270A JP 2023194270 A JP2023194270 A JP 2023194270A JP 2024023307 A JP2024023307 A JP 2024023307A
Authority
JP
Japan
Prior art keywords
representation
display
displaying
primary display
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023194270A
Other languages
English (en)
Inventor
デヴィン ウィリアムズ チャルマーズ
Williams Chalmers Devin
ウィリアム ディー リンドマイヤー
D Lindmeier William
グレゴリー エル ルター
L Lutter Gregory
ジョナサン シー モアザン-トンプソン
C Moisant-Thompson Jonathan
ラフル ナイル
Nair Rahul
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2024023307A publication Critical patent/JP2024023307A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】1つ以上のディスプレイ間で仮想オブジェクトを管理するための1つ以上の技術を提供する。【解決手段】一部の実施形態によれば、仮想オブジェクトを表示するための例示的な技術が説明される。一部の実施形態によれば、方向情報に基づいてディスプレイ間でオブジェクトを遷移させるための例示的な技術が説明される。一部の実施形態によれば、オブジェクトの修正された表現を表示するための例示的な技術が説明される。一部の実施形態によれば、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術が説明される。【選択図】図1A

Description

本開示は、概して、コンピュータ生成現実環境に関し、より具体的には、コンピュータ生成現実環境で使用するための追加のディスプレイを有するデバイスを管理する方法及び技術に関する。
(関連出願の相互参照)
本出願は、2020年8月19日に出願された「追加のディスプレイを有するデバイスの管理」という名称の米国仮特許出願第63/067461号、及び2019年9月27日に出願された「TECHNIQUES FOR MANAGING DEVICES HAVING ADDITIVE DISPLAYS FOR USE IN A COMPUTER-GENERATED REALITY ENVIRONMENT」という名称の米国仮特許出願第62/907207号に対する優先権を主張する。前述の出願の内容は、参照によりその全体が本明細書に組み込まれる。
ユーザは、ヘッドマウントディスプレイ(HMD)デバイスなどのウェアラブルデバイスを使用して、コンピュータ生成現実環境と対話することが多い。ウェアラブルデバイスの使用は、多くの場合、ウェアラブルデバイスのバッテリ寿命によって制限される。したがって、ウェアラブルデバイスのバッテリ寿命を節約するために電力使用量を管理するには、1つ以上の技術が必要である。
一部の実施形態によれば、方法は、1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、ヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて実行され、HMDデバイスは、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを含む。この方法は、二次ディスプレイを介して仮想オブジェクトの第1の部分を表示することと、一次ディスプレイを介して仮想オブジェクトの第2の部分を表示することとを含み、ここで一次ディスプレイを介して仮想オブジェクトの第2の部分を表示することは、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にあるという判定に従って、仮想オブジェクトの第2の部分に視覚効果を適用することを含む。
一部の実施形態によれば、ヘッドマウントディスプレイ(HMD)デバイスは、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを含む。HMDデバイスはまた、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを含む。1つ以上のプログラムは、二次ディスプレイを介して仮想オブジェクトの第1の部分を表示し、一次ディスプレイを介して仮想オブジェクトの第2の部分を表示する命令を含み、ここで一次ディスプレイを介して仮想オブジェクトの第2の部分を表示することは、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にあるという判定に従って、仮想オブジェクトの第2の部分に視覚効果を適用することを含む。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを有する。1つ以上のプログラムは、二次ディスプレイを介して仮想オブジェクトの第1の部分を表示し、一次ディスプレイを介して仮想オブジェクトの第2の部分を表示する命令を含み、ここで一次ディスプレイを介して仮想オブジェクトの第2の部分を表示することは、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にあるという判定に従って、仮想オブジェクトの第2の部分に視覚効果を適用することを含む。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを有する。1つ以上のプログラムは、二次ディスプレイを介して仮想オブジェクトの第1の部分を表示し、一次ディスプレイを介して仮想オブジェクトの第2の部分を表示する命令を含み、ここで一次ディスプレイを介して仮想オブジェクトの第2の部分を表示することは、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にあるという判定に従って、仮想オブジェクトの第2の部分に視覚効果を適用することを含む。
一部の実施形態によれば、システムは1つ以上のプロセッサを含む。システムはまた、二次ディスプレイを介して仮想オブジェクトの第1の部分を表示する手段と、一次ディスプレイを介して仮想オブジェクトの第2の部分を表示する手段とを含み、ここで一次ディスプレイを介して仮想オブジェクトの第2の部分を表示することは、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にあるという判定に従って、仮想オブジェクトの第2の部分に視覚効果を適用することを含む。
一部の実施形態によれば、方法は、1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、ヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて実行され、HMDデバイスは、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを含む。この方法は、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信することを含む。この方法はまた、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第1の基準が満たされているという判定に従って、二次ディスプレイを介して、方向情報の第1の表現を表示することと、オブジェクトの方向情報を三次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第2の基準が満たされているという判定に従って、三次ディスプレイを介して方向情報の第2の表現を表示することと、を含み、ここで、第1の表現は、CGR環境内の仮想オブジェクトであり、第2の表現は、CGR環境内の仮想オブジェクトではない。
一部の実施形態によれば、ヘッドマウントディスプレイ(HMD)デバイスは、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを含む。HMDデバイスはまた、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを含む。1つ以上のプログラムは、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信するための命令を含む。1つ以上のプログラムはまた、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第1の基準が満たされているという判定に従って、二次ディスプレイを介して、方向情報の第1の表現を表示し、オブジェクトの方向情報を三次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第2の基準が満たされているという判定に従って、三次ディスプレイを介して方向情報の第2の表現を表示するための命令を含み、ここで、第1の表現は、CGR環境内の仮想オブジェクトであり、第2の表現は、CGR環境内の仮想オブジェクトではない。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを有する。1つ以上のプログラムは、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信するための命令を含む。1つ以上のプログラムはまた、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第1の基準が満たされているという判定に従って、二次ディスプレイを介して、方向情報の第1の表現を表示し、オブジェクトの方向情報を三次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第2の基準が満たされているという判定に従って、三次ディスプレイを介して方向情報の第2の表現を表示するための命令を含み、ここで、第1の表現は、CGR環境内の仮想オブジェクトであり、第2の表現は、CGR環境内の仮想オブジェクトではない。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを有する。1つ以上のプログラムは、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信するための命令を含む。1つ以上のプログラムはまた、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第1の基準が満たされているという判定に従って、二次ディスプレイを介して、方向情報の第1の表現を表示し、オブジェクトの方向情報を三次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第2の基準が満たされているという判定に従って、三次ディスプレイを介して方向情報の第2の表現を表示するための命令を含み、ここで、第1の表現は、CGR環境内の仮想オブジェクトであり、第2の表現は、CGR環境内の仮想オブジェクトではない。
一部の実施形態によれば、システムは1つ以上のプロセッサを含む。システムはまた、ヘッドマウントディスプレイ(HMD)デバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信する手段を含む。システムは、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第1の基準が満たされているという判定に従って、二次ディスプレイを介して、方向情報の第1の表現を表示し、オブジェクトの方向情報を三次ディスプレイを介して表示することが許可されたときに満たされる基準を含む第2の基準が満たされているという判定に従って、三次ディスプレイを介して方向情報の第2の表現を表示する手段を更に含み、ここで、第1の表現は、CGR環境内の仮想オブジェクトであり、第2の表現は、CGR環境内の仮想オブジェクトではない。
一部の実施形態によれば、方法は、1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、ヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて実行され、HMDデバイスは、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを含む。この方法は、第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出することと、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、第1の位置が、HMDデバイスの一次ディスプレイの視野外の第1の所定の距離内にあるという判定に従って、HMDデバイスの二次ディスプレイを介して、オブジェクトの第1の実際の表現と視覚的に区別されるオブジェクトの第1の修正された表現を表示することとを含む。
一部の実施形態によれば、ヘッドマウントディスプレイ(HMD)デバイスは、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを含む。HMDデバイスはまた、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを含む。1つ以上のプログラムは、第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出し、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、第1の位置が、HMDデバイスの一次ディスプレイの視野外の第1の所定の距離内にあるという判定に従って、HMDデバイスの二次ディスプレイを介して、オブジェクトの第1の実際の表現と視覚的に区別されるオブジェクトの第1の修正された表現を表示するための命令を含む。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを有する。1つ以上のプログラムは、第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出し、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、第1の位置が、HMDデバイスの一次ディスプレイの視野外の第1の所定の距離内にあるという判定に従って、HMDデバイスの二次ディスプレイを介して、オブジェクトの第1の実際の表現と視覚的に区別されるオブジェクトの第1の修正された表現を表示するための命令を含む。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを有する。1つ以上のプログラムは、第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出し、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、第1の位置が、HMDデバイスの一次ディスプレイの視野外の第1の所定の距離内にあるという判定に従って、HMDデバイスの二次ディスプレイを介して、オブジェクトの第1の実際の表現と視覚的に区別されるオブジェクトの第1の修正された表現を表示するための命令を含む。
一部の実施形態によれば、システムは1つ以上のプロセッサを含む。システムはまた、第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出する手段を含む。システムは、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、第1の位置が、HMDデバイスの一次ディスプレイの視野外の第1の所定の距離内にあるという判定に従って、HMDデバイスの二次ディスプレイを介して、オブジェクトの第1の実際の表現と視覚的に区別されるオブジェクトの第1の修正された表現を表示する手段を更に含む。
一部の実施形態によれば、方法は、1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、ヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて実行され、HMDデバイスは、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを含む。この方法は、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信することを含む。プロセスの変更ステータスに対応する情報を受信したことに応じて、この方法はまた、第1の基準が満たされているという判定に従って、HMDデバイスの二次ディスプレイを介して、プロセスのステータスに対応する第1の表現を表示することと、第2の基準が満たされているという判定に従って、HMDデバイスの三次ディスプレイを介して、プロセスのステータスに対応する第2の表現を表示することと、を含み、ここで第2の表現は第1の表現とは異なる。
一部の実施形態によれば、ヘッドマウントディスプレイ(HMD)デバイスは、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを含む。HMDデバイスはまた、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを含む。1つ以上のプログラムは、プロセスのステータスの変化に対応する情報を受信するための命令を含む。プロセスの変更ステータスに対応する情報を受信したことに応じて、1つ以上のプログラムはまた、第1の基準が満たされているという判定に従って、HMDデバイスの二次ディスプレイを介して、プロセスのステータスに対応する第1の表現を表示し、第2の基準が満たされているという判定に従って、HMDデバイスの三次ディスプレイを介して、プロセスのステータスに対応する第2の表現を表示することを含み、ここで第2の表現は第1の表現とは異なる。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを有する。1つ以上のプログラムは、プロセスのステータスの変化に対応する情報を受信するための命令を含む。プロセスの変更ステータスに対応する情報を受信したことに応じて、1つ以上のプログラムはまた、第1の基準が満たされているという判定に従って、HMDデバイスの二次ディスプレイを介して、プロセスのステータスに対応する第1の表現を表示し、第2の基準が満たされているという判定に従って、HMDデバイスの三次ディスプレイを介して、プロセスのステータスに対応する第2の表現を表示することを含み、ここで第2の表現は第1の表現とは異なる。
一部の実施形態によれば、非一時的なコンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶し、電子デバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、一次ディスプレイに物理的及び電子的に結合されており、第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを有する。1つ以上のプログラムは、プロセスのステータスの変化に対応する情報を受信するための命令を含む。プロセスの変更ステータスに対応する情報を受信したことに応じて、1つ以上のプログラムはまた、第1の基準が満たされているという判定に従って、HMDデバイスの二次ディスプレイを介して、プロセスのステータスに対応する第1の表現を表示し、第2の基準が満たされているという判定に従って、HMDデバイスの三次ディスプレイを介して、プロセスのステータスに対応する第2の表現を表示することを含み、ここで第2の表現は第1の表現とは異なる。
一部の実施形態によれば、システムは1つ以上のプロセッサを含む。システムはまた、ヘッドマウントディスプレイ(HMD)デバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信する手段を含む。システムは、プロセスの変更ステータスに対応する情報を受信したことに応じて、第1の基準が満たされているという判定に従って、HMDデバイスの二次ディスプレイを介して、プロセスのステータスに対応する第1の表現を表示し、第2の基準が満たされているという判定に従って、HMDデバイスの三次ディスプレイを介して、プロセスのステータスに対応する第2の表現を表示する手段を更に含み、ここで第2の表現は第1の表現とは異なる。
これらの機能を実行するための実行可能命令は、任意選択で、非一時的なコンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品内に含まれる。これらの機能を実行するための実行可能命令は、任意選択で、一時的なコンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品内に含まれる。
以下の説明では、その一部を形成し、本開示のいくつかの例を示す添付図面を参照する。本開示の範囲から逸脱することなく、他の例を利用することができ、構造上及び動作上の変更を行うことができることが理解される。異なる図で同じ参照記号が使用されている場合は、類似又は同一の項目を示す。
様々なコンピュータ生成現実技術で使用するための例示的なシステムを示す図である。 様々なコンピュータ生成現実技術で使用するための例示的なシステムを示す図である。 様々なコンピュータ生成現実環境で使用するための追加のディスプレイを有するデバイスを含む例示的なシステムを示す図である。 様々なコンピュータ生成現実環境で使用するための追加のディスプレイを有するデバイスを含む例示的なシステムを示す図である。 一部の実施形態による例示的な仮想オブジェクトを示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための追加のディスプレイを有するデバイス上の例示的な領域を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示する方法を示す流れ図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す図である。 一部の実施形態による、方向情報に基づいてディスプレイ間でオブジェクトを遷移させる方法を示す流れ図である。 一部の実施形態による、オブジェクトの修正された表現を表示する方法を示す流れ図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す図である。 一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理する方法を示す流れ図である。
様々なコンピュータ生成現実技術に関連してそのようなシステムを使用するための電子システム及び技術の様々な例が説明される。
物理的環境(又は実環境)とは、電子システムの助けを借りずに、人々が感知及び/又は対話することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な樹木、物理的な建物、及び物理的な人などの物理的物品(又は物理的オブジェクト又は実際のオブジェクト)が含まれる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを通じて、物理的環境を直接感知し、及び/又はそれと対話することができる。
対照的に、コンピュータ生成現実(CGR)環境は、人々が電子システムを介して感知及び/又は対話する、全体的又は部分的にシミュレートされた環境を指す。CGRでは、人の物理的な動きのサブセット又はその表現が追跡され、それに応じて、CGR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性は、少なくとも1つの物理法則に適合するように調整される。例えば、CGRシステムは、人の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィカルコンテンツ及び音場を調整することができる。状況によっては(例えば、アクセシビリティの理由で)、CGR環境内の仮想オブジェクトの特性に対する調整は、物理的な動きの表現(例えば、音声コマンド)に応じて行われてもよい。
人は、視覚、聴覚、触覚、味覚及び嗅覚を含む感覚のいずれかを使用して、CGRオブジェクトを感知し、及び/又はそれと対話することができる。例えば、人は、3D空間内のポイントオーディオソースの知覚を提供する、3D又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び/又はそれと対話することができる。別の例では、オーディオオブジェクトは、コンピュータ生成オーディオの有無にかかわらず、物理的環境からの周囲音を選択的に組み込むオーディオ透過性を可能にすることができる。一部のCGR環境では、人は、オーディオオブジェクトのみを感知し、及び/又はそれと対話することができる。
CGRの例としては、仮想現実及び複合現実が挙げられる。
仮想現実(VR)環境(又は仮想環境)とは、1つ以上の感覚に対するコンピュータ生成感覚入力に完全に基づくように設計されたシミュレートされた環境を指す。VR環境は、人が感知及び/又は対話することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内における人の存在のシミュレーションを通じて、及び/又はコンピュータ生成環境内における人の物理的な動きのサブセットのシミュレーションを通じて、VR環境内の仮想オブジェクトを感知し、及び/又はそれと対話することができる。
コンピュータ生成感覚入力に完全に基づくように設計されたVR環境とは対照的に、複合現実(MR)環境は、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレートされた環境を指す。仮想連続体において、MR環境は、一方の端における完全に物理的な環境と他方の端におけるVR環境との間の任意の場所であるが、これらを含まない。
一部のMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応答する場合がある。また、MR環境を提示するための一部の電子システムは、仮想オブジェクトが実際のオブジェクト(すなわち、物理的環境からの物理的物品又はその表現)と対話することを可能にするために、物理的環境に対する位置及び/又は向きを追跡することができる。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮することができる。
MRの例には、拡張現実及び拡張仮想が含まれる。
拡張現実(AR)環境は、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ね合わされたシミュレートされた環境を指す。例えば、AR環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明ディスプレイを有してもよい。システムは、透明又は半透明ディスプレイ上に仮想オブジェクトを提示するように構成されてもよく、それによって、人は、システムを使用して、物理的環境上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人は、システムを使用して、物理的環境の画像又はビデオを介して物理的環境を間接的に見て、物理的環境上に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用される場合、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサを使用して物理的環境の画像をキャプチャし、そしてこれらの画像を使用して、不透明ディスプレイ上にAR環境を提示することを意味する。更に代替的に、システムは、仮想オブジェクトを、例えば、ホログラムとして又は物理的表面上に物理的環境に投影する投影システムを有してもよく、それによって、人は、システムを使用して、物理的環境上に重ね合わされた仮想オブジェクトを知覚する。
AR環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレートされた環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を変換して、撮像センサによってキャプチャされた視点とは異なる選択された視点(例えば、視点)を適用することができる。別の例として、物理的環境の表現は、その一部をグラフィカルに修正(例えば、拡大)することによって変換することができ、その結果、修正された部分は、最初にキャプチャされた画像の写実的なバージョンではなく、代表的なバージョンである可能性がある。更なる例として、物理的環境の表現は、その一部をグラフィカルに除去又は曖昧化することによって変換することができる。
拡張仮想(AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境からの1つ以上の感覚入力を組み込んだシミュレートされた環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AV公園には仮想の木及び仮想の建物があり得るが、顔のある人々は、物理的な人々を撮影した画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
人が様々なCGR環境を感知し、及び/又はそれと対話することを可能にする様々なタイプの電子システムがある。例としては、ヘッドマウントシステム、投影ベースシステム、ヘッドアップディスプレイ(HUD)、統合表示機能を有する車両フロントガラス、統合表示機能を有する窓、人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ(例えば、コンタクトレンズと同様のもの)、ヘッドホン/イヤホン、スピーカーアレイ、入力システム(例えば、触覚フィードバックを有する又は有さないウェアラブル又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータが挙げられる。ヘッドマウントシステムは、1つ以上のスピーカー及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受け入れるように構成されてもよい。ヘッドマウントシステムは、物理的環境の画像又はビデオをキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境のオーディオをキャプチャするための1つ以上のマイクロフォンを組み込むことができる。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明ディスプレイを有してもよい。透明又は半透明ディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザ走査光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一例では、透明又は半透明ディスプレイは、選択的に不透明になるように構成されてもよい。投影ベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。投影システムはまた、仮想オブジェクトを、例えばホログラムとして又は物理的表面上に、物理的環境に投影するように構成されてもよい。
図1A及び図1Bは、様々なコンピュータ生成現実技術で使用するための例示的なシステム100を示す。
一部の例において、図1Aに示されるように、システム100は、デバイス100aを含む。デバイス100aは、プロセッサ102、RF回路104、メモリ106、画像センサ108、向きセンサ110、マイクロフォン112、位置センサ116、スピーカー118、ディスプレイ120、及びタッチ感知表面122などの様々な構成要素を含む。これらの構成要素は、任意選択で、デバイス100aの通信バス150を介して通信する。
一部の例では、システム100の要素は、基地局デバイス(例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス)に実装され、システム100の他の要素は、ユーザが装着するように設計されたヘッドマウントディスプレイ(HMD)デバイスに実装され、HMDデバイスは、基地局デバイスと通信する。一部の例では、デバイス100aは、基地局デバイス又はHMDデバイスに実装される。
図1Bに示すように、一部の例では、システム100は、有線接続又は無線接続などを介して通信する2つ(又はそれより多く)のデバイスを含む。第1のデバイス100b(例えば、基地局デバイス)は、プロセッサ102、RF回路104、及びメモリ106を含む。これらの構成要素は、任意選択で、デバイス100bの通信バス150を介して通信する。第2のデバイス100c(例えば、ヘッドマウントデバイス)は、プロセッサ102、RF回路104、メモリ106、画像センサ108、向きセンサ110、マイクロフォン112、位置センサ116、スピーカー118、ディスプレイ120、及びタッチ感知表面122などの様々な構成要素を含む。これらの構成要素は、任意選択で、デバイス100cの通信バス150を介して通信する。
一部の例では、システム100はモバイルデバイスである。一部の例では、システム100はHMDデバイスである。一部の例では、システム100はウェアラブルHUDデバイスである。
システム100は、プロセッサ102及びメモリ106を含む。プロセッサ102は、1つ以上の汎用プロセッサ、1つ以上のグラフィックプロセッサ、及び/又は1つ以上のデジタル信号プロセッサを含む。一部の例において、メモリ106は、以下に説明する技術を実行するためにプロセッサ102によって実行されるように構成されたコンピュータ可読命令を記憶する1つ以上の非一時的なコンピュータ可読記憶媒体(例えば、フラッシュメモリ、ランダムアクセスメモリ)である。
システム100は、RF回路104を含む。RF回路104は、任意選択で、電子デバイス、インターネット、イントラネット及び/又はセルラーネットワーク及び無線ローカルエリアネットワーク(LAN)などの無線ネットワークなどのネットワークと通信するための回路を含む。RF回路104は、任意選択で、Bluetooth(登録商標)などの近距離通信及び/又は短距離通信を使用して通信するための回路を含む。
システム100は、ディスプレイ120を含む。一部の例では、ディスプレイ120は、第1のディスプレイ(例えば、左眼表示パネル)及び第2のディスプレイ(例えば、右眼表示パネル)を含み、各ディスプレイは、ユーザの対応する目に画像を表示する。対応する画像は、第1のディスプレイ及び第2のディスプレイ上に同時に表示される。任意選択で、対応する画像は、同じ仮想オブジェクト及び/又は異なる視点からの同じ物理的オブジェクトの表現を含み、結果として、ディスプレイ上のオブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。一部の例では、第1のディスプレイは、一次ディスプレイ及び二次ディスプレイなどの複数の他のディスプレイ(例えば、サブディスプレイ)を含むことができる。一部の実施形態では、一次ディスプレイは、システム100が動作しているとき、二次ディスプレイとは異なる解像度を有する。一部の例では、ディスプレイ120は、単一のディスプレイ(例えば、第1のディスプレイ又は第2のディスプレイ)を含む。一部の例では、単一のディスプレイは、一次ディスプレイ及び二次ディスプレイなどの複数の他のディスプレイ(例えば、サブディスプレイ)を含む。対応する画像は、ユーザの各目に対して、単一のディスプレイの第1の領域及び第2の領域上に同時に表示される。任意選択で、対応する画像は、同じ仮想オブジェクト及び/又は異なる視点からの同じ物理的オブジェクトの表現を含み、結果として、単一のディスプレイ上のオブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。
一部の例では、システム100は、タップ入力及びスワイプ入力などのユーザ入力を受信するためのタッチ感知表面122を含む。一部の例では、ディスプレイ120及びタッチ感知表面122は、タッチ感知ディスプレイを形成する。
システム100は画像センサ108を含む。画像センサ108は、任意選択で、電荷結合素子(CDD)センサ、及び/又は実環境から物理的オブジェクトの画像を取得するように動作可能な相補型金属-酸化物-半導体(CMOS)センサなどの1つ以上の可視光画像センサを含む。画像センサはまた、任意選択で、実環境からの赤外光を検出するための、パッシブIRセンサ又はアクティブIRセンサなどの1つ以上の赤外線(IR)センサを含む。例えば、アクティブIRセンサは、赤外光を実環境に放出するためのIRドットエミッタなどのIRエミッタを含む。画像センサ108はまた、任意選択で、実環境における物理的オブジェクトの動きをキャプチャするように構成された1つ以上のイベントカメラを含む。画像センサ108はまた、任意選択で、システム100からの物理的オブジェクトの距離を検出するように構成された1つ以上の深度センサを含む。一部の例では、システム100は、CCDセンサ、イベントカメラ、及び深度センサを組み合わせて使用して、システム100の周囲の物理的環境を検出する。一部の例では、画像センサ108は、第1の画像センサ及び第2の画像センサを含む。第1の画像センサ及び第2の画像センサは、任意選択で、2つの異なる視点から実環境内の物理的オブジェクトの画像をキャプチャするように構成される。一部の例では、システム100は、画像センサ108を使用して、手のジェスチャなどのユーザ入力を受信する。一部の例では、システム100は、画像センサ108を使用して、実環境におけるシステム100及び/又はディスプレイ120の位置及び向きを検出する。例えば、システム100は、画像センサ108を使用して、実環境における1つ以上の固定オブジェクトに対するディスプレイ120の位置及び向きを追跡する。
一部の例では、システム100は、マイクロフォン112を含む。システム100は、マイクロフォン112を使用して、ユーザ及び/又はユーザの実環境からの音を検出する。一部の例では、マイクロフォン112は、周囲ノイズを識別するために、又は実環境の空間内の音源を位置を特定するためになど、任意選択でタンデムで動作するマイクロフォンのアレイ(複数のマイクロフォンを含む)を含む。
システム100は、システム100及び/又はディスプレイ120の向き及び/又は動きを検出するための向きセンサ110を含む。例えば、システム100は、向きセンサ110を使用して、実環境内の物理的オブジェクトに対してなど、システム100及び/又はディスプレイ120の位置及び/又は向きの変化を追跡する。向きセンサ110は、任意選択で、1つ以上のジャイロスコープ及び/又は1つ以上の加速度計を含む。
図2Aはデバイス202を示す。一部の実施形態では、デバイス202は、1つ以上数のプロセッサ(例えば、プロセッサ102)、メモリ(例えば、メモリ106)、カメラセンサ(例えば、画像センサ108)又は運動センサ(例えば、向きセンサ110)などのシステム100の1つ以上の構成要素を含むことができる。例えば、デバイス202は、図1Aに示されるシステム100のデバイス100aの一実施形態であり得る。あるいは、一部の実施形態では、デバイス202は、図1Bに示される第2のデバイス100cの一実施形態であり得る。
図2Aに示されるように、デバイス202は、第1のディスプレイ(例えば、デバイス202の左眼表示パネル)及び第2のディスプレイ(例えば、デバイス202の右眼表示パネル)を含むウェアラブルデバイスである。第1のディスプレイ及び第2のディスプレイはそれぞれ、二次ディスプレイ206によって囲まれている一次ディスプレイ204を含む。図2Aに示されるように、二次ディスプレイ206は、一次ディスプレイ204の少なくとも一部を囲む。一部の実施形態では、二次ディスプレイ206は、第1又は第2のディスプレイ全体にわたって延びる。一部の実施形態では、一次ディスプレイ204は、二次ディスプレイ206の一部(例えば、中央)のみと重なる。
一部の実施形態では、一次ディスプレイ204及び二次ディスプレイ206は、2つの異なるタイプのディスプレイである。一部の実施形態では、一次ディスプレイ204は、導波路ディスプレイである。一部の実施形態では、二次ディスプレイ206は、有機発光ダイオードディスプレイである。
図2Aにおいて、一次ディスプレイ204は、二次ディスプレイ206に物理的に結合(例えば、接続、取り付け)されているだけでなく、二次ディスプレイ206にも電子的に結合(例えば、接続、取り付け)されている。一部の実施形態では、一次ディスプレイ204と二次ディスプレイ206との間に1つ以上の領域又は追加のディスプレイを配置することができる。
図2Aにおいて、一次ディスプレイ204及び二次ディスプレイ206は、楕円形のディスプレイとして示されている。しかしながら、一次ディスプレイ204及び二次ディスプレイ206は、長方形の形状(例えば、長方形プリズム)などの様々な形状を有することができることを認識されたい。また、一部の実施形態では、一次ディスプレイ204の形状は、二次ディスプレイ206の形状とは異なっていてもよい。一部の実施形態では、一次ディスプレイ204及び/又は二次ディスプレイ206が長方形の形状である場合、デバイス202は、視覚効果(例えば、一次ディスプレイ及び/又は二次ディスプレイの角をぼかす、フェードさせる)を一次ディスプレイ204及び/又は二次ディスプレイ206に適用することができ、その結果、一次ディスプレイ204及び/又は二次ディスプレイ206は丸く見える。
図2Aに示されるように、エッジ208は、一次ディスプレイ204と二次ディスプレイ206との間に画定される。一部の実施形態では、エッジ208は透明及び/又は半透明である。一部の実施形態では、エッジ208は、一次ディスプレイ204のエッジ又は二次ディスプレイ206のエッジである。一部の実施形態では、エッジ208は、一次ディスプレイ204と二次ディスプレイ206との間の物理的境界である。
一部の実施形態では、一次ディスプレイ204は、二次ディスプレイ206の最大潜在解像度よりも高い最大解像度で動作することができる。より高い解像度で動作できるディスプレイは、通常、より多くのエネルギーを必要とするため、デバイス202は、一次ディスプレイ204を介して仮想オブジェクト(又はCGRオブジェクト)を表示する場合、二次ディスプレイ206を介して同じオブジェクトを表示する場合よりも、より多くのエネルギーを使用できる。したがって、デバイス202は、一次ディスプレイ204に1つ以上の仮想オブジェクトを表示する代わりに、二次ディスプレイ206に1つ以上の仮想オブジェクトを表示するという判定に基づいてバッテリ寿命を保持することができる。
図2Aに示されるように、デバイス202は、二次ディスプレイ206の周りに配置されたフレーム210を含む。フレーム210は、発光ダイオード(LED)などの三次ディスプレイを含む。あるいは、一部の実施形態では、フレーム210は、三次ディスプレイを含まない。
以下に説明するように、一部の実施形態では、デバイス202は、1つ以上のLEDを発光させる。一部の実施形態では、LEDは、ユーザの鼻の近くに位置する二次206の内部を取り囲んでいない。
図2Bにおいて、デバイス202は、ユーザ250の鼻がデバイス202のブリッジ214の下に位置するように、ユーザ250によって装着されていると示されている。以下に説明するように、デバイス202は、ユーザ250がCGR環境を見ることを可能にする。
図2Bは、物理的環境内に立っているユーザ250を示し、ユーザ250の目がユーザ250の瞳孔216が一次ディスプレイ204の一部と位置合わせされるような位置にある。それにより、図2Bにおいて、ユーザ250の中心視野又は視線は、一次ディスプレイ204の視野の一部と位置合わせされ、これは、一次ディスプレイ204に表示されたオブジェクトがユーザの中心視野に表示されることを示す。
更に、図2Bは、二次ディスプレイ206の視野の一部と位置合わせされたユーザ250の周辺視野を示し、これは、二次ディスプレイ206に表示されたオブジェクトがユーザの周辺視野に表示されることを示す。以下に説明するように、一部の実施形態では、1つ以上のLEDが発光しているとき、光は、ユーザ250の周辺視野の外部又はエッジに表示される。一部の実施形態では、デバイス202の1つ以上のセンサは、瞳孔216を含めて、ユーザの目の動きを追跡することができる。一部の実施形態では、デバイス202は、動きの追跡を使用して、以下に説明する1つ以上の技術を調整又は修正する。
図3は、一部の実施形態による例示的な仮想オブジェクトを示す。特に、図3は、単色(例えば、黒、青)で陰影を付けられた鉛筆302として仮想オブジェクトを示す。鉛筆302は、異なる部分302a~302cを有する。
図4は、鉛筆302の一部を表示するデバイス202を示す。特に、図4において、鉛筆302は、一次ディスプレイ204及び二次ディスプレイ206の視野外にある位置から落下していると示されている。具体的には、図4において、鉛筆302は、鉛筆302の部分302a及び302bが一次ディスプレイ204の視野内にあり、鉛筆302の部分302cが二次ディスプレイ206の視野内にあるが、図4において破線で示されている鉛筆302の部分が、一次ディスプレイ204及び二次ディスプレイ206の視野外にある位置にあると示されている。
図4に示されるように、部分302a及び302bと比較すると、部分302cはぼかしている。ここで、部分302cのぼかしは、部分302cが図3で示されたよりも薄く陰影を付けられていることによって示される。対照的に、部分302a及び302bは、ぼかしをほとんど又は全く含まず、これは、部分302a~302bが、図3で示されたのと同じ色で陰影を付けられていることによって示される。部分302cは、部分302cが二次ディスプレイ206を介して表示されているため、部分302a及び302bよりも多くのぼかしを有し、二次ディスプレイは、部分302a~302bを表示している一次ディスプレイ204の最大解像度よりも低い最大解像度を有することができる。
デバイス202がユーザによって装着されているとき、ユーザの中心視野と周辺視野との間のエッジは、通常、領域404の近くにある。図4に示されるように、領域404は、部分302b及び302cのセクションを表示する一次ディスプレイ204及び二次ディスプレイ206の領域に対応する。
302cの部分は、部分302bと比較してぼかしているため、領域404及び/又はユーザの中心視野と周辺視野との間のエッジにおいてハードクリッピングが発生する可能性がある。一部の実施形態では、ハードクリッピングは、あるディスプレイ上に表示されたオブジェクトの一部と別のディスプレイ上に表示されたオブジェクトの一部との間に視覚的歪みがある場合に発生する。以下で更に説明するように、ハードクリッピングは、オブジェクトがあるディスプレイから別のディスプレイに遷移するときに発生する可能性がある。
一部の実施形態では、領域404におけるハードクリッピングは、意図しない視覚効果である。特に、ハードクリッピングは、デバイス202によって表示されるユーザインタフェースがデバイス202を装着しているユーザの気を散らす原因となる可能性がある。例えば、オブジェクトがユーザの中心視野に出入りするときに、ユーザインタフェースは、デバイス202を装着しているユーザの気を散らす可能性がある。
図5は、一部の実施形態による、追加のディスプレイを有するデバイス上の例示的な領域を示す。以下で更に説明するように、ハードクリッピングは、デバイス上の1つ以上の例示的な領域の間で発生する可能性がある。一次ディスプレイ204の視野は通常、ユーザの中心視野にあり、二次ディスプレイ206の視野はユーザの周辺視野にあるため、一次ディスプレイ204と二次ディスプレイ206との間で遷移するオブジェクトのハードクリッピングを低減することにより、ユーザの中心及び/又は周辺視野内の高周波ノイズ(例えば、雪視症、オブジェクトのランダム及び/又は突然の変動、オブジェクト間の不規則な動き又は空間的関係))が低減される。高周波ノイズは、ユーザがユーザの周辺視野内のオブジェクトを不必要に見る原因となる可能性があるため、ユーザの中心及び/又は周辺視野内の高周波ノイズを低減することは有利である。したがって、高周波ノイズは、ユーザの中心視野内のオブジェクトに焦点を合わせるユーザの能力に影響を与える可能性があり、これは、ユーザの目の動きに基づいて追跡及び/又は正確な判定を行うデバイス202の能力に影響を与える可能性がある。
図5は、一次ディスプレイ204の例示的な第1の領域504a及び例示的な第2の領域504bを有するデバイス202を示す。第1の領域504aは、一次ディスプレイ204のエッジ208から、一次ディスプレイ204のエッジ208からの距離510aまで、一次ディスプレイ204の領域にわたって延びる。一部の実施形態では、図4に示される領域404の少なくとも一部は、図5に示される第1の領域504aの一部と重なる。一部の実施形態では、ユーザがデバイス202を装着しているとき、ユーザの中心及び周辺視野のエッジの少なくとも一部は、第1の領域504aの一部にある。
第2の領域504bは、一次ディスプレイ204の中央から、一次ディスプレイ204のエッジ208に向かう距離510bまで一次ディスプレイ204の領域にわたって延びる。一部の実施形態では、図4に示される領域404のいかなる部分も、図5に示される第1の領域504bの一部と重ならない。一部の実施形態では、ユーザがデバイス202を装着しているとき、ユーザの中心及び周辺視野のエッジのいかなる部分も、第1の領域504aの一部に存在しない。
一部の実施形態では、第1の領域504a及び/又は第2の領域504bは、図5によって示されていない一次ディスプレイ204の他の領域にわたって延びるか、又は、図5によって示されている領域にわたって延びていない。一部の実施形態では、第1の領域504a及び/又は第2の領域504bは、一次ディスプレイ204全体にわたって延びる。
図6A~図6C及び図7は、一部の実施形態による、仮想オブジェクトを表示するための例示的な技術を示す。特に、図6A~図6C及び図7において、以下に説明する例示的な技術及びプロセスは、例えば、上記の図4に示されるように、異なる解像度を有するディスプレイ間(例えば、一次ディスプレイ204と二次ディスプレイ206との間)でオブジェクトが遷移する場合に、オブジェクトのハードクリッピング(例えば、オブジェクトがあるディスプレイから別のディスプレイに遷移するときの突然の変化)を低減することができる。上記のように、一次ディスプレイ204と二次ディスプレイ206との間で遷移するオブジェクトのハードクリッピングを低減することにより、ユーザの中心及び/又は周辺視野内の高周波ノイズが低減される。高周波ノイズは、ユーザの目の動きに基づいて追跡及び/又は正確な判定を行うデバイス202の能力に影響を与える可能性があるため、ユーザの中心及び/又は周辺視野内の高周波ノイズを低減することは有利である。
図6Aは、デバイス202及び鉛筆302を含む環境を示す。図6Aにおいて、ユーザ250は、図2Bに関連して上述したように、デバイス202を装着している。しかしながら、説明を容易にするために、ユーザ250は図6Aには示されていない。
図6Aは、一次ディスプレイ204及び二次ディスプレイ206の視野外にある位置から落下する鉛筆302を表示するデバイス202を示す。図6A~6Cにおいて、破線で表される鉛筆302の部分は、ユーザがデバイス202を装着している間に一次ディスプレイ204及び/又は二次ディスプレイ206を通して見ても見えない302の部分に対応する。
図6Aに示されるように、鉛筆302は、一次ディスプレイ204及び二次ディスプレイ206の視野外にある位置から、二次ディスプレイ206の視野内にあり、一次ディスプレイ204の視野外にある位置に落下した。図6Aにおいて、部分302aは、二次ディスプレイ206を介して提示される。一部の実施形態では、デバイス202は、部分302aの仮想表現を生成し、そして二次ディスプレイ206を介して仮想表現を表示する。
図6Aにおいて、デバイス202は、二次ディスプレイ206の最大解像度に対応する解像度で提示される部分302aの仮想表現を表示する。図6Aに示されるように、図3の部分302aと比較すると、部分302aはぼかしている(例えば、そのより薄い陰影で示される)。一部の実施形態では、図6Aに表示される部分302aの仮想表現は、ぼかしの変化を作り出すための視覚効果が適用されていない。
図6Aに示されるものに続くある期間、鉛筆302が落下し続けるにつれて、図6Bは、一次ディスプレイ204の特定の領域(例えば、以下の図5で説明される領域504a)内に落ちた部分302aを示す。二次ディスプレイ206を介して鉛筆302を表示している間(例えば、二次ディスプレイ206の視野内で)、鉛筆302は、図6Bに示されるように、一次ディスプレイ204のエッジ208から距離510a以内の位置に落下した(例えば、一次ディスプレイ204内に移動している)と判定される。この判定に基づいて、デバイス202は、図6Bに示されるように、鉛筆302の部分302aに視覚効果を適用することによって仮想表現を生成し、そして仮想表現を一次ディスプレイ204に表示する。
ここで、部分302aに対応する仮想表現は、部分302aに視覚効果を適用することによってぼかされる。図6Bに示されるように、視覚効果を適用すると、部分302aは(例えば、示されるような明るい色から暗い色への)勾配として表示され、ユーザの中心及び周辺視野(及び/又は図4で説明された領域404)のエッジにおいてより滑らかな遷移が提供される。一部の実施形態では、視覚効果を部分302aに適用した後、部分302aに対応する仮想表現はフェードされる。一部の実施形態では、仮想表現は、視覚効果を部分302aに適用した後、二次ディスプレイ206の検出されたぼかし量(又は二次ディスプレイ206の少なくとも1つの領域のぼかし量)に反比例してフェードされる。一部の実施形態では、仮想表現は、視覚効果を部分302aに適用した後の勾配を含まない。他の実施形態では、視覚効果を適用することは、部分302aにぼかし機能を適用することを含む。一部の実施形態では、エッジ208で部分302aに適用されるぼかし量は、二次ディスプレイ206のぼかしに一致するように選択することができる。そうすることで、エッジ208の両側における仮想オブジェクト302の外観は、同一又は類似している可能性があり、それによって上述したハードクリッピング効果が低減される。部分504a内の部分302a(又は他の仮想コンテンツ)に適用されるぼかし量は、エッジ208からの距離に基づいて減少させることができ、エッジ208からの距離D1にはぼかしが適用されない。ぼかしは、エッジ208からの距離に応じて線形又は非線形に減少させることができる。
図6Bに示されるように、部分302bは、二次ディスプレイ206の視野内にも移動した。したがって、部分302aに対応する仮想表現を一次ディスプレイ204に表示することに加えて、デバイス202はまた、鉛筆302の部分302bに対応する仮想表現を表示する。一部の実施形態では、デバイス202は、図6Aにおいて部分302aに対応する仮想表現を表示することに関して上述した技術を用いて、部分302bに対応する仮想表現を表示する。
特に、図6Bに示されるように、部分302a及び302bに対応する仮想表現はぼかしており、このぼかしは、鉛筆302のそれぞれの部分に対応するそれぞれの仮想表現の陰影の違いによって表される。図6Bにおいて、部分302bに対応する仮想表現は、部分302aに対応する仮想表現よりも多くのぼかしを有する。
図6Bにおいて、部分302bに対応する仮想表現は、一次ディスプレイ204よりもぼかした低解像度ディスプレイである二次ディスプレイ206を介して表示されるため、ぼかしている。一方、デバイス202が、一次ディスプレイ204を介して部分302aに対応する仮想表現を表示する前に部分302aに視覚効果を適用したため、部分302aに対応する仮想表現はぼかしている。したがって、視覚効果が適用された部分302aに対応する仮想表現は、視覚効果が適用されていない部分302aに対応する仮想表現よりも、部分302bに対応する仮想表現により類似している(例えば、より近いぼかし値を有する)。
一部の実施形態では、デバイス202は、部分302aの仮想表現が、二次ディスプレイ206に表示される部分302bに対応する仮想表現と視覚的に一致するように見えるように(例えば、部分302bに視覚効果が適用されていない場合)、部分302aに視覚効果を適用する。二次ディスプレイ206は一次ディスプレイ204よりも低い解像度を有するため、デバイス202は、視覚効果を部分302aに適用して、部分302aに対応する仮想表現の視覚的外観を部分302bに対応する仮想表現の視覚的外観と一致させる。
一部の実施形態では、デバイス202は、視覚効果を部分302に適用して、より低い解像度を有するディスプレイ(例えば、二次ディスプレイ)を介して図6Aの部分302aに対応する仮想表現を表示することから、より高い解像度を有するディスプレイ(例えば、一次ディスプレイ204)を介して、図6Bの部分302aに対応する仮想表現を表示することへの遷移を滑らかにする。
図6Cに示されるように、鉛筆302は、一次ディスプレイ204及び二次ディスプレイ206の視野内にある新しい位置に落下した。図6Cに示されるように、部分302aは、距離510aの外側にある一次ディスプレイ204のエッジ208からの距離(例えば、距離510aと距離510bの合計である距離)である。部分302aは、一次ディスプレイ204のエッジ208から距離510aの外側にあるため、部分302aは、一次ディスプレイ204の第1の領域の外側にある一次ディスプレイ204の第2の領域(例えば、図5の領域504b)に入った。したがって、第2の領域504b(図5に示される)にある部分302aの仮想表現には視覚効果は適用されない。一部の実施形態では、視覚効果(又は第1の領域に適用された視覚効果とは異なる視覚効果)は、一次ディスプレイ204の第2の領域504b内の仮想オブジェクトの部分の表現に適用されない。一部の実施形態では、部分302aがユーザの中心視野内にあり、デバイス202が、視覚効果が適用されていない仮想オブジェクト(例えば、又は特定の視覚オブジェクト)によってユーザが気が散る可能性が高いと判断したため、視覚効果は適用されない。図6Cに示されるように、デバイス202は、図6Aの部分302aの仮想表現の表示に関して上述した技術を使用して、二次ディスプレイ206の視野内にある鉛筆302の新しい部分である部分302cの仮想表現を表示する。更に、図6Cにおいて、デバイス202は、部分302bが一次ディスプレイ204のエッジ208から距離510a内にあるため、視覚効果が適用された部分302bの仮想表現を表示する(例えば、図6Cの部分302aに関して上述したものと同様の技術を使用する)。
一部の実施形態では、オブジェクト(例えば、鉛筆302)全体が一次ディスプレイの視野内にある場合(例えば、オブジェクトのいかなる部分も二次ディスプレイの視野内にない)、図5に関して上述した第2の領域504bに表示された仮想オブジェクトの表現の一部を含めて、仮想オブジェクトの表現のいかなる部分にも視覚効果は適用されない。
一部の実施形態では、デバイス202は、異なる仮想オブジェクトを異なるように表示することを判定することができる。一部の実施形態では、デバイス202は、視覚効果を1つの仮想オブジェクトに適用する一方で、別の仮想オブジェクトに視覚効果を適用しないことができる。一部の実施形態では、デバイス202は、仮想オブジェクトに異なる視覚効果を適用することができる。一部の実施形態では、デバイス202は、異なる判定を使用して、視覚効果を仮想オブジェクトの異なるセットに適用する。一部の実施形態では、デバイス202は、仮想オブジェクトがディスプレイの領域に入ったという判定に基づいて1つのタイプの仮想オブジェクトに視覚効果を適用することができるが、別のタイプの仮想オブジェクトが領域に入ったという判定に基づいて、別のタイプの仮想オブジェクトに視覚効果を適用することを放棄することができる。
一部の実施形態では、図6A~図6Cに記載されている動作は、逆に記載することができる(例えば、図6C~図6A)。例えば、仮想オブジェクトは、上述したものと同様の技術を使用して、一次ディスプレイ204及び/又は二次ディスプレイ206の視野内にあることから、一次ディスプレイ204及び二次ディスプレイ206の視野外にあることへと遷移することができる。
図7は、一部の実施形態による、仮想オブジェクトを表示する方法700を示す流れ図である。一部の実施形態では、この方法は、システム100(図1A及び図1B)によって実行される。一部の実施形態では、この方法は、デバイス202(図2A)によって実行される。一部の実施形態では、この方法は、デバイス202又はシステム100とは異なる第3のデバイス又はシステムによって実行される。一部の実施形態では、この方法は、システム100、デバイス202、及び第3のデバイス又はシステムのうちの1つ以上の組み合わせによって実行される。
ブロック702において、仮想オブジェクトの第1の部分は、二次ディスプレイを介して表示される。例えば、図6Cを参照して上述したように、仮想オブジェクト302の第1の部分302cは、二次ディスプレイ206を介して表示される。一部の実施形態では、第1の時点で、一次ディスプレイ(例えば、一次ディスプレイ204)上に仮想オブジェクトを表示することなく、仮想オブジェクトは、二次ディスプレイ(例えば、二次ディスプレイ206)上に提示される。一部の実施形態では、仮想オブジェクトが二次ディスプレイ上に提示されるが、仮想オブジェクトが一次ディスプレイに提示されていない場合、仮想オブジェクトは二次ディスプレイの視野内にあり、仮想オブジェクトは一次ディスプレイの視野内にない。
図7を参照すると、ブロック704において、仮想オブジェクトの第2の部分は一次ディスプレイを介して表示される。例えば、図6Cを参照して上述したように、仮想オブジェクト302の第2の部分302bは、一次ディスプレイ204を介して表示される。一部の実施形態では、デバイスが仮想オブジェクトから所定の距離内に移動したときに、仮想オブジェクトの第2の部分は、一次ディスプレイを介して表示される。一部の実施形態では、仮想オブジェクトが一次ディスプレイのエッジから所定の距離内に、又は一次ディスプレイの視野(例えば、視野のエッジ)から所定の距離内に移動するとき、仮想オブジェクトの第2の部分は一次ディスプレイを介して表示される。
図7を参照すると、仮想オブジェクトの第2の部分を表示する(ブロック704)ことの一部として、ブロック706において、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にあるという判定に従って、視覚効果が仮想オブジェクトの第2の部分に適用される。例えば、図6Cを参照して上述したように、仮想オブジェクト302の第2の部分302bを表示することの一部として、第2の部分302bが一次ディスプレイ204のエッジから所定の距離510a内にあるという判定に従って、視覚効果が仮想オブジェクト302の第2の部分302bに適用される。
一部の実施形態では、1つ以上の仮想オブジェクトの部分が一次ディスプレイの第1の領域にある間に、視覚効果は1つ以上の仮想オブジェクトの部分に適用される。例えば、図6Cに関連して上述したように、第2の部分302bは、図5に示されている領域504aに表示されている間に視覚効果が適用される。一部の実施形態では、領域504aは、二次ディスプレイのエッジに隣接する一次ディスプレイのエッジから所定の距離内にある。
一部の実施形態では、適用される視覚効果の量は、特定の領域内の2つ以上の仮想オブジェクトに対して同じであり得る。あるいは、一部の実施形態では、特定の仮想オブジェクトに適用される視覚効果の量は動的である。例えば、適用される視覚効果の量は、デバイスを装着しているユーザに関連する1つ以上の検出された特性に基づくか、又は1つ以上のユーザ設定に基づくことができる。一部の実施形態では、ユーザ特性は、異なる時点でのユーザの瞳孔サイズ、瞳孔方向、瞳孔位置、眼球優位性、まばたき速度などを含み得る。
一部の実施形態では、適用される視覚効果の量は、仮想オブジェクトの1つ以上の特性に依存する。例えば、一部の実施形態では、適用される視覚効果の量は、仮想オブジェクトのサイズ、動き(例えば、速度、加速度)、色などに依存する。一部の実施形態では、適用される視覚効果の量は、より低い速度で移動している仮想オブジェクトに対してはより少なく、より速い速度で移動している仮想オブジェクトに対してはより多い。
一部の実施形態では、適用される視覚効果の量は、デバイスの速度又は加速度など、デバイスの1つ以上の特性に依存する。一部の実施形態では、適用される視覚効果の量は、デバイスがより低い速度で移動しているときはより少なく、デバイスがより速い速度で移動しているときはより多い。
一部の実施形態では、視覚効果は、仮想オブジェクトが一次ディスプレイのある領域に表示されるときにその一部に適用されるが、視覚効果は、一次ディスプレイの別の領域に表示される仮想オブジェクトの別の部分には適用されない。例えば、図6Cに関連して上述したように、部分302aは、図5に示される領域504bに表示されている間、視覚効果が適用されない。
一部の実施形態では、仮想オブジェクトの第2の部分に視覚効果を適用することは、仮想オブジェクトの第2の部分をぼかすことを含む。一部の実施形態では、仮想オブジェクトの第2の部分に視覚効果を適用する前に、仮想オブジェクトの第2の部分は、既に第1のぼかした外観を含む視覚的外観を有する。一部の実施形態では、仮想オブジェクトの第2の部分に視覚効果を適用した後、仮想オブジェクトの第2の部分は、第1のぼかした外観とは異なる(例えば、よりぼかした)第2のぼかした外観を含む後続の視覚的外観を有する。
一部の実施形態では、仮想オブジェクトの第2の部分は、1つ以上の画像センサを介して検出された、一次及び/又は二次ディスプレイの一部と位置合わせされた瞳孔の特性に基づいてぼかされる。一部の実施形態では、仮想オブジェクトの一部は、検出された瞳孔の1つ以上の特性に応じてぼかされるか、又はフェードされるが、仮想オブジェクトの別の部分はそうではない。一部の実施形態では、仮想オブジェクトの一部のぼかし又はフェードは、検出された瞳孔が一次ディスプレイのエッジから更に離れているときに増加する。
一部の実施形態では、仮想オブジェクトの第2の部分をぼかした後、仮想オブジェクトの第2の部分は、仮想オブジェクトの第1の部分のぼかし量に基づくぼかし量を含む。一部の実施形態では、ぼかし量(例えば、仮想オブジェクトの部分の)は、仮想オブジェクトの第1の部分のぼかしと一致する。一部の実施形態では、仮想オブジェクトの第2の部分をぼかすことの一部として、仮想オブジェクトの第2の部分のぼかし量は、仮想オブジェクトと二次ディスプレイとの間の対応する距離に基づいて(例えば、オブジェクトとデバイス202との間の距離が変化するにつれて連続的に)変化する。
一部の実施形態では、視覚効果を仮想オブジェクトの第2の部分に適用することの一部として、仮想オブジェクトの第2の部分はフェード(例えば、フェードイン又はフェードアウト)される。一部の実施形態では、仮想オブジェクトの第2の部分をフェードさせることは、第2の領域に隣接する一次ディスプレイ及び/又は仮想オブジェクトのエッジをフェザリングすることを含む。
一部の実施形態では、仮想オブジェクトの第2の部分に視覚効果を適用する前に、仮想オブジェクトの第2の部分は既に、第1のフェードされた外観を含む視覚的外観を有する。一部の実施形態では、仮想オブジェクトの第2の部分に視覚効果を適用した後、仮想オブジェクトの第2の部分は、第1のフェードされた外観とは異なる(例えば、よりフェードされた)第2のフェードされた外観を含む後続の視覚的外観を有する。
一部の実施形態では、仮想オブジェクトの第2の部分は、二次ディスプレイ(例えば、ディスプレイ206)(例えば、二次ディスプレイの少なくとも1つの領域)のぼかしに比例してフェードされる。一部の実施形態では、仮想オブジェクトの第2の部分は、二次ディスプレイのぼかしに反比例するレベルまでフェードアウトされる。
一部の実施形態では、仮想オブジェクトの第2の部分は、第1の色から第2の色にフェードされる。一部の実施形態では、仮想オブジェクトの第2の部分に勾配が適用されるように、仮想オブジェクトの第2の部分はフェードされる。一部の実施形態では、勾配が仮想オブジェクトの第2の部分に適用される場合、仮想オブジェクトの第2の部分は、勾配(例えば、第1の色から第2の色に遷移する勾配)を含む。
一部の実施形態では、視覚効果を仮想オブジェクトの第2の部分に適用することの一部として、仮想オブジェクトの第2の部分の角は丸められる。一部の実施形態では、一次ディスプレイと二次ディスプレイ(及び/又は第1の領域)との間のエッジは、丸められるか、又は丸められて表示されるように修正される。一部の実施形態では、角は、フェードされるか、又は特定の視覚効果が適用される(例えば、角をフェードさせる視覚効果は角に適用されるが、仮想オブジェクトの第2の部分の他の部分はフェードされないか、又は特定の視覚効果が適用されない)。一部の実施形態では、角がフェードされると、角に勾配が適用される。
再び図7を参照すると、第2の部分を表示する(ブロック704)ことの一部として、仮想オブジェクトの第2の部分が一次ディスプレイのエッジから所定の距離内にないという判定に従って、仮想オブジェクトの第2の部分に視覚効果を適用することは放棄される。例えば、一次ディスプレイ204を介して仮想オブジェクト302の第2の部分302cを表示することについて図6Cを参照して上述したように、仮想オブジェクト302の第2の部分302cが一次ディスプレイ204のエッジから所定の距離510a内にないという判定に従って、仮想オブジェクト302の第2の部分302cに視覚効果を適用することは放棄される。
図8A~図8B、図9A~図9B、図10A~図10B、図11A~図11B、図12A~図12B、図13A~図13B、及び図14A~図14Bは、一部の実施形態による、ディスプレイ間でオブジェクトを遷移させるための例示的な技術を示す。他の利点の中でも、以下に説明する技術及びプロセスは、デバイス202が情報を提示する(例えば、図2Bのユーザ250に情報を提示する)能力を最大化し続けながら、デバイス202のバッテリ寿命を節約するのに役立つ。デバイス202は、情報の提示を一次ディスプレイ204から二次ディスプレイ206及び三次ディスプレイ(例えば、フレーム210の周りのLED)のうちの1つ以上にインテリジェントにシフトすることによって、バッテリ寿命を節約する。二次ディスプレイ206及び三次ディスプレイが一次ディスプレイ204の解像度よりも低い最大解像度を有することができるため、情報をシフトすることによって、バッテリ寿命が維持される。したがって、二次ディスプレイ206及び三次ディスプレイは、情報を表示するために一次ディスプレイ204よりも少ないエネルギーを使用することができる。
以下に説明するように、図8A、9A、10A、11A、12A、13A、及び14Aは、ユーザ250がデバイス202を装着している間にオブジェクト806と対話する例示的なシナリオを示す。しかしながら、この特定のシナリオは、例示的な目的のためにのみ提供される。以下に説明する技術又は同様の技術は、様々な他のシナリオにも効果的に適用することができる。
上記のように、図8Aは、ユーザ250がデバイス202を装着しているシナリオを示す。このシナリオでは、デバイス202は、一組のキーのようなオブジェクト806から距離804a離れて配置される。一部の実施形態では、オブジェクト806は、ユーザ250がいる物理的環境内に位置する物理的物品又は物理的オブジェクトである。一部の実施形態では、オブジェクト806は、デバイス202を介してユーザ250に表示されているCGR環境内に位置する仮想オブジェクトである。
一部の実施形態では、オブジェクト806は、ユーザ250及び/又はデバイス202が静止しているか、又は代替的に非静止である間に移動する。
一部の実施形態では、環境は、オブジェクト806以外の1つ以上のオブジェクトを含む。一部の実施形態では、デバイス202は、オブジェクト806が図8Aに示される環境にあることを検出する。一部の実施形態では、デバイス202は、オブジェクトが有用又は重要なオブジェクト(例えば、環境内の他のオブジェクトよりも有用又は重要である)であると判定する。一部の実施形態では、デバイス202は、1つ以上のアルゴリズム及び/又は1つ以上のユーザ選好を使用して、オブジェクトがユーザ又は特定のオブジェクトに対応するアプリケーション(例えば、デバイス202と通信するアプリケーション)にとって有用又は重要であるか否かを判定することができる。一部の実施形態では、デバイス202は、オブジェクトに関する要求又は通知を受信し、そして要求又は通知に基づいて、オブジェクトが有用又は重要であるか否かに基づいてこの判定を行う。
図8Bは、図8Aに示されるシナリオに対応する時点でのデバイス202を示す。デバイス202は、(上記の図2Aに記載された1つ以上の構成要素に加えて)一次ディスプレイ204及び二次ディスプレイ206を含む。図8Bにおいて、一次ディスプレイ204及び二次ディスプレイ206は、デバイス202(方向情報)に対するオブジェクト806の位置に対応する方向情報に関連する視覚情報を表示(又は提示)していない。一部の実施形態では、デバイス202がオブジェクト806から遠すぎる(又は距離804aが所定の閾値距離を超える)ため、少なくとも一部の視覚情報は、一次ディスプレイ204及び/又は二次ディスプレイ206を介して表示されない。
図8Bに示されるように、デバイス202は、LED810a~810f及び812a~812f(LED)を更に含む。図8Bにおいて、LEDは発光していない(例えば、方向情報を示すために発光している)。一部の実施形態では、デバイス202がオブジェクト806から遠すぎる(又は距離804aが所定の閾値距離を超える)ため、1つ以上のLEDは発光していない。
図9Aは、図8Aの位置から図9Aの位置に移動したオブジェクト806及び/又はデバイス202を示す。
図9Bは、図9Aに示されるシナリオに対応する時点でのデバイス202を示す。図9A及び図9Bを参照して、デバイス202がオブジェクト806から距離804b離れているとき、デバイス202が方向情報を受信すると仮定する。方向情報の受信に応じて、デバイス202は、オブジェクト806が、方向情報が1つ以上のLEDを介して表示され得る(例えば、そのように構成され、そのように判定される)タイプのオブジェクトであると判定する。一部の実施形態では、デバイス202が、オブジェクト806から距離804b離れている(又は距離804bが所定の閾値距離(例えば、方向情報を表示するための最大距離に対応する閾値距離)未満であるため、デバイス202はこの判定を行う。
図9Bに示されるように、デバイス202がオブジェクト806から距離804b離れている(又は、そのオブジェクト806が、方向情報が1つ以上のLEDを介して表示され得るタイプのオブジェクトである)ため、デバイス202は、方向情報を示すために、LED812a~812fをあるパターンで発光させる。図9Bに示されるように、LED812a~812fは、デバイス202のフレーム210上に配置されるように、下向きよりも上向きの方向でデバイス202の右側にある。したがって、LED812a~812fは、オブジェクト806がデバイス202の前及び右にあることを示し、これは、図9Aにおけるデバイス202とオブジェクト806との間の経路の一般的な方向と一致する。
図9Bにおいて、LED812a及び812fはハッチングされており、一方、LED812b~812eは、光の勾配場を示すために実線である。ここで、光の勾配場は、方向性プルの弱い点(例えば、ハッチングされたLED812a、812f)から、オブジェクト806とデバイス202との間の方向性情報の方向性プルの強い点(例えば、実線のLED812b~812e)を示すことができる。特に、勾配場は、より多くの方向情報をユーザに提供することができ、これは、ユーザがオブジェクト806に向かってより効率的にナビゲートするのを助けることができる。
一部の実施形態では、方向情報は、所定の閾値距離以上の距離(例えば、距離804b以上の距離)で、一次ディスプレイ204及び/又は二次ディスプレイ206ではなく、LEDを介して表示される。一部の実施形態では、一次ディスプレイ204及び/又は二次ディスプレイ206の代わりにLEDを介して方向情報を表示することはバッテリ電力を保持するため、方向情報は一次ディスプレイ204及び/又は二次ディスプレイ206ではなく、LEDを介して表示される。
一部の実施形態では、方向情報は、デバイス202がオブジェクト806から特定の距離離れているときに、表示することが許可されている情報のタイプに基づいて、一次ディスプレイ204及び/又は二次ディスプレイ206ではなく、LEDを介して表示される。一部の実施形態では、デバイス202は、デバイス202がオブジェクト806から更に離れている(又はオブジェクトから第1のセットの距離内にある)ときに、オブジェクトの外観(例えば、点滅するLED)に基づかない方向情報を表示する。一部の実施形態では、デバイス202は、デバイス202がオブジェクトにより近いときに(又は、オブジェクトから第1のセットの距離とは異なる第2のセットの距離内にあるとき)、オブジェクトの外観(例えば、一次ディスプレイ204及び/又は二次ディスプレイ206を介して表示されるオブジェクト又はプロキシオブジェクトの視覚的表現)に基づく方向情報を表示する。一部の実施形態では、デバイス202は、オブジェクトの外観に基づく方向情報と、オブジェクトの外観に基づかない方向情報とを表示することができる(例えば、デバイス202が、オブジェクトから第1のセットの距離と第2のセットの距離との間にある、オブジェクトから第3のセットの距離内にあるとき。一部の実施形態では、方向情報は、オブジェクトが一次ディスプレイ204及び/又は二次ディスプレイ206のFOV内にあるか否かに基づいて、一次ディスプレイ204及び/又は二次ディスプレイ206ではなく、LEDを介して表示される。一部の実施形態では、方向情報は、オブジェクトが一次ディスプレイ204及び/又は二次ディスプレイ206のFOVの外側の特定の距離にあるとき、一次ディスプレイ204及び/又は二次ディスプレイ206ではなく、LEDを介して表示される。
図10Aは、図9Aの位置から図10Aの位置に移動したオブジェクト806及び/又はデバイス202を示す。特に、図10Aにおいて、デバイス202は、オブジェクト806から距離804cに配置され、ここで、距離804cは、図9Aの距離804bとは異なる。
図10Bは、図10Aに示されるシナリオに対応する時点でのデバイス202を示す。図10A及び図10Bを参照して、デバイス202が方向情報を受信すると仮定する。方向情報の受信に応じて、図9A及び図9Bに関して上述したものと同様の技術を使用して、デバイス202は、オブジェクト806が、方向情報がLEDを介して表示され得るタイプのオブジェクトであると判定する(例えば、デバイス202がオブジェクト806から距離804c離れているため)。次に、この判定に基づいて、デバイス202は、LED812d~812fに方向情報に対応する光を放出させ、LED812a~812cに発光を停止させる。ここで、デバイス202の更新されたLEDは、新たに受信された方向情報を示す(例えば、下にあるオブジェクト806の位置及びデバイス202の位置の左側への相対経路の方向情報を示す)。
図10Bに示されるように、デバイス202は、図9Bで発光していたLEDの数から、発光するLEDの数を減らす。一部の実施形態では、デバイス202が図9Bの場合よりもオブジェクト806に近い場合(例えば、一部の実施形態では、ユーザ250がオブジェクトにより近い場合、より少ないLEDがより良い方向情報を提供することができる)。一部の実施形態では、デバイス202とオブジェクト806との間に物理的及び/又は仮想構造又はオブジェクトが存在する場合、デバイス202は、ユーザ250がデバイス202とオブジェクト806との間の物理的及び/又は仮想構造又はオブジェクトの周囲をナビゲートできるように、デバイス202の複数のLED(及び/又は一次ディスプレイ204及び/又は二次ディスプレイ206)を連続して更新する(例えば、あるパターンで発光するLED)。
図11Aは、図10Aの位置から図11Aの位置に移動したオブジェクト806及び/又はデバイス202を示す。特に、図11Aにおいて、デバイス202は、オブジェクト806から距離804dに配置され、ここで、距離804dは、図10Aの距離804cとは異なる。
図11Bは、図11Aに示されるシナリオに対応する時点でのデバイス202を示す。図11A及び図11Bを参照して、デバイス202が(図10Bにおける、オブジェクトト806から距離804c離れたデバイス202とは対照的に)オブジェクト806からの距離804dにおいてより近い(例えば、所定の閾値距離のセット内にある)ため、デバイス202がLEDだけでなく二次ディスプレイ206も更新すると仮定する。一部の実施形態では、オブジェクト806が二次ディスプレイ206のFOV内にあるため、デバイス202は、LEDだけでなく二次ディスプレイ206も更新する。
また、デバイス202が方向情報を受信すると仮定する。方向情報の受信に応じて、図9A及び図9Bに関して上述したものと同様の技術を使用して、デバイス202は、オブジェクト806が、方向情報がLED812eを介して表示され得るタイプのオブジェクトであると判定する(例えば、デバイス202がオブジェクト806から距離804d離れているため)。この判定に基づいて、デバイス202は、図9B及び図10Bに関連して上述した1つ以上の技術を使用して、LED812eに方向情報に対応する光を放出させ、LED812d及び812fに発光を停止させる。
デバイス202が、オブジェクト806が、方向情報が二次ディスプレイ206を介して表示され得るタイプのオブジェクトであると判定した場合、デバイス202は、二次ディスプレイ206を介して方向情報を表示する。ここで、デバイス202は、オブジェクト806から距離804d離れているため、この判定を行う。
一部の実施形態では、デバイス202は、オブジェクト806から距離804d離れており、及び/又はオブジェクト806は、一次ディスプレイ204の視野外の所定の閾値距離内にあるため、デバイス202は、二次ディスプレイ206に、オブジェクト806の修正された表現826aを表示させる。ここで、修正された表現826aは、プロキシオブジェクトの表現又はオブジェクト806の記号表現であり、オブジェクト806と視覚的に区別可能である。図11Bに示されるように、修正された表現826aは、二次ディスプレイ206のエッジにある複数のピクセルのブロブである。
一部の実施形態では、デバイス202がオブジェクト806から距離804d離れているとき、オブジェクト806は、二次ディスプレイ206の視野内にある。一部の実施形態では、オブジェクト806は、修正された表現826aが表示される二次ディスプレイ206上の位置に対応する二次ディスプレイ206の視野内の位置にある。
一部の実施形態では、デバイス202がオブジェクト806から距離804d離れているとき、オブジェクト806は、二次ディスプレイ206の視野外にある。したがって、一部の実施形態では、オブジェクト806が二次ディスプレイ206の視野外にあるときに、デバイス202は、二次ディスプレイ206を介して修正された表現826aを表示する。一部の実施形態では、オブジェクト806が二次ディスプレイ206の視野外にあるときに二次ディスプレイ206上の対応する位置に修正された表現826aを表示することは、デバイス202のディスプレイの視野外にあるオブジェクトを位置特定ための方向情報を提供する。
図11Bにおいて、修正された表現826aは、オブジェクト806の実際の表現に類似していない。一部の実施形態では、修正された表現826aは、オブジェクト806のサイズ、形状、色、テクスチャ、ぼかしなどの2つ以上の特徴を有さないため、オブジェクト806に類似していない。
修正された表現826aは、オブジェクト(例えば、図8Aに関連して上述したような有用又は重要であるオブジェクト)が、ユーザの周辺視野(例えば、二次ディスプレイ206を介して提示又は表示される視覚情報を受信するユーザの周辺視野)内又は外にあることを示す。修正された表現826aはまた、デバイス202の位置に対するオブジェクトの位置の一般的な方向を示すことができる。一部の実施形態では、一般的な方向は、修正されたオブジェクト表現826aを二次ディスプレイ206上の特定の位置に配置することによって示される。
一部の実施形態では、修正された表現826aは静的(例えば、移動しない、脈動しない、アニメーション化しない)であるが、1つ以上のLEDから発する光は静的ではない(例えば、移動する、脈動する、アニメーション化する)、又はその逆である。一部の実施形態では、修正された表現826a及びLED812a~812lは両方とも静的である(例えば、又は静的ではない)。
図12Aは、図11Aの位置から図12Aの位置に移動したオブジェクト806及び/又はデバイス202を示す。特に、図12Aにおいて、デバイス202は、オブジェクト806から距離804eに配置され、ここで、距離804eは、図11Aの距離804dとは異なる。
図12Bは、図12Bに示されるシナリオに対応する時点でのデバイス202を示す。図12A及び図12Bを参照して、デバイス202が新しい方向情報を受信すると仮定する。ここで、新しい方向情報に基づいて、デバイス202は、一次ディスプレイ204及び二次ディスプレイ206を更新して方向情報の表現を表示し、LEDを介して方向情報を表示することを放棄する。
一部の実施形態では、デバイス202がオブジェクト806から距離804e離れているため、デバイス202は、オブジェクト806が、方向情報がLED812a~812lを介して表示され得るタイプのオブジェクトではないと判定する。例えば、デバイス202は、距離804eが、デバイス202がオブジェクト806に近すぎる距離であると判定することができる。一部の実施形態では、デバイス202は、方向情報又は方向情報の1つ以上のタイプ(例えば、表現828)が一次ディスプレイ204及び/又は二次ディスプレイ206を介して表示されると、LEDを介して方向情報を表示することを停止する。
一部の実施形態では、方向情報の受信に応じて、デバイス202は、図11Bで上述したのと同様の技術を使用して、オブジェクト806が、オブジェクトの方向情報が二次ディスプレイ512を介して表示され得るタイプのオブジェクトであると判定する(例えば、デバイス202がオブジェクト806から距離804e離れており、及び/又はオブジェクト806が一次ディスプレイ204の視野外の所定の閾値距離内にあるため)。この判定のために、デバイス202は、二次ディスプレイ206に修正された表現826bを表示させる。
図12Bにおいて、デバイス202が図11Bの場合よりも図12Bのオブジェクト806に近いため、修正された表現826bは修正された表現826aよりも大きい。図12Bに示されるように、修正された表現826bは、図11Aに示されるような修正された表現826aの位置よりも一次ディスプレイ204に近い二次ディスプレイ206上の新しい位置に表示される。オブジェクト806が一次ディスプレイ204の視野により近いため、修正された表現826bは新しい位置に表示される。
一部の実施形態では、修正された表現826bは、修正された表現826aが占めていた二次ディスプレイ206の一部を占める。一部の実施形態では、修正された表現826bは、修正された表現826aから(例えば、アニメーションを介して)成長する。一部の実施形態では、デバイス202は、オブジェクト806のサイズに基づく輝度で、修正された表現826b及び/又は修正された表現826aを表示する。例えば、デバイス202は、小さなオブジェクトの修正された表現の輝度よりも低い又は暗い輝度で、大きなオブジェクトの修正された表現を表示する。
一部の実施形態では、方向情報の受信に応じて、デバイス202は、オブジェクト806が、オブジェクトの方向情報が一次ディスプレイ204を介して表示され得るタイプのオブジェクトであると判定する。図12Bにおいて、デバイス202は、距離804eがオブジェクト806に十分に近いという判定に基づいてこの判定を行う。この判定に基づいて、デバイス202は、表現828を一次ディスプレイ204を介して表示させる。
図12Bにおいて、表現828は、オブジェクト806の位置を指す矢印である。一部の実施形態では、デバイス202は、表現828を表示して、ユーザ250が(例えば、静止して立っている状態でユーザ250の頭を動かすことによって)一次ディスプレイ204の視野を調整できることを示し、それによりオブジェクト806は一次ディスプレイ204の視野内に位置することができる。一部の実施形態では、デバイス202は、表現828をアニメーション化させる。一部の実施形態では、デバイス202は、表現828(又は表現828に対応する表現)を二次ディスプレイ206を介して表示させる。
図13Aは、図12Aの位置から図13Aの位置に移動したオブジェクト806及び/又はデバイス202を示す。特に、図13Aにおいて、デバイス202は、オブジェクト806から距離804fに配置され、ここで、距離804fは、図12Aの距離804eとは異なる。更に、図13Aに示されるように、オブジェクト806は、デバイス202の一次ディスプレイ204の視野内にある。
図13Bは、図13Aに示されるシナリオに対応する時点でのデバイス202を示す。図13A及び図13Bを参照して、デバイス202が新しい方向情報を受信すると仮定する。デバイス202がオブジェクト806から距離804f離れており、及び/又はオブジェクト806の少なくとも一部が一次ディスプレイの視野内及び二次ディスプレイの視野内にあるため、デバイス202は、一次ディスプレイ204を介してオブジェクト806の一部の実際の表現を表示し、二次ディスプレイ206を介してオブジェクト806の修正された表現826cを表示する。一部の実施形態では、オブジェクトの一部の実際の表現はオブジェクト806に類似している(例えば、オブジェクト806に類似している2つ以上の特徴を有する)が、修正された表現はそれに類似していない。一部の実施形態では、オブジェクトの一部の実際の表現は、オブジェクトの第1のモデルを使用して表示されるが、修正された表現は、オブジェクトの第2のモデルを使用して表示される。一部の実施形態では、オブジェクトの第2のモデルがオブジェクトの第1のモデルよりも単純であるため、オブジェクトの第1のモデルは、オブジェクトの第2のモデルとは異なる。一部の実施形態では、第2のモデルが第1のモデルよりも詳細が少ない(例えば、ポリゴンが少ない3次元モデル)ため、オブジェクトの第2のモデルは、オブジェクトの第1のモデルよりも単純である。
一部の実施形態では、図7で上述したものと同様の技術を使用して(例えば、一次ディスプレイ204と二次ディスプレイ206との間で遷移するオブジェクト806のクリッピングを低減するために)、オブジェクト806の一部の仮想表現に視覚効果を適用することによって、修正された表現826bの一部は一次ディスプレイ204内に移動する。一部の実施形態では、図7で上述したものと同様の技術を使用して、デバイス202は、一次ディスプレイ204を介して表示されるオブジェクト806の一部の実際の表現を遷移させるときに、修正された表現826b又は826cを、二次ディスプレイ206上のオブジェクト806の実際の部分の表現に置き換える。
図14Aは、図13Aの位置から図14Aの位置に移動したオブジェクト806及び/又はデバイス202を示す。特に、図14Aにおいて、デバイス202は、オブジェクト806から距離804gに配置され、ここで、距離804gは、図13Aの距離804fとは異なる。更に、図14Aに示されるように、オブジェクト806の全体は、デバイス202の一次ディスプレイ204の視野内にある。
図14Bは、図14Aに示されるシナリオに対応する時点でのデバイス202を示す。図14A及び図14Bを参照すると、デバイス202は、一次ディスプレイ204を介して表示されるオブジェクト806(又は、一部の実施形態では、オブジェクト806の一部)の実際の表現を表示し、二次ディスプレイ206を介してオブジェクト806の修正された表現を表示することを停止する。一部の実施形態では、デバイス202が、一次ディスプレイ204の視野内にあり、二次ディスプレイ206の視野内にないため、デバイス202は、一次ディスプレイ204を介してオブジェクト806の実際の表現を生じさせ、二次ディスプレイ206を介してオブジェクト806の修正された表現を表示することを停止する。
一部の実施形態では、図13B及び14Bにおいて、デバイス202は、一次ディスプレイ204を介してオブジェクト806の実際の表現を表示する代わりに、二次ディスプレイ206を介してオブジェクト806のプロキシ表現を表示することができる。一部の実施形態では、二次ディスプレイ206は、二次ディスプレイ206が一次ディスプレイ204の大部分(又は全体)を覆うように、一次ディスプレイ204と重なることができる。したがって、これらの実施形態一部では、オブジェクト806のプロキシ表現は、デバイス202がオブジェクト806と対話する要求を受信するまで、一次ディスプレイ204の一部の上に二次ディスプレイ206を介して示すことができる。例えば、オブジェクト806と対話する要求は、入力(例えば、音声入力、物理的入力)がオブジェクト806に向けられると判定されたとき、及び/又は、オブジェクト806の1つ以上の構成要素及び/又はオブジェクト806に関連付けられたオブジェクトが(例えば、間接的に又は直接に)関与する操作を実行するためにプロセスが開始されたときに受信することができる。一部の実施形態では、オブジェクト806と対話する要求を受信したことに応じて、デバイス202は、二次ディスプレイ206を介してオブジェクト806のプロキシ表現を表示することを停止し、一次ディスプレイ204を介してオブジェクト806の実際の表現を表示する。したがって、デバイス202が二次ディスプレイ206よりも一次ディスプレイ204を介してオブジェクトを表示するためにより多くのバッテリ電力を使用する実施形態では、オブジェクト806と対話することができるとの判定がなされるまで、一次ディスプレイ204がオブジェクト806の表現を表示するために使用されないため、デバイス202のバッテリ電力は節約される。
一部の実施形態では、図13B及び14Bにおいて、デバイス202は、一次ディスプレイ204を介してオブジェクト806の実際の表現を表示する代わりに、オブジェクト806のプロキシ表現を表示することができる。一部の実施形態では、オブジェクト806のプロキシ表現は、オブジェクト806の実際の表現よりも視覚的詳細が少なく、及び/又は表示するのに必要な電力が少ない。一部の実施形態では、一次ディスプレイ204を介してオブジェクト806のプロキシ表現を表示している間、デバイス202は、オブジェクト806と対話する要求を受信する。例えば、オブジェクト806と対話する要求は、入力(例えば、音声入力、物理的入力)がオブジェクト806に向けられると判定されたとき、及び/又は、オブジェクト806の1つ以上の構成要素及び/又はオブジェクト806に関連付けられたオブジェクトが関与する操作を実行するためにプロセスが開始されたときに受信することができる。一部の実施形態では、オブジェクト806と対話する要求を受信したことに応じて、デバイス202は、オブジェクト806のプロキシ表現の表示を、オブジェクト806の実際の表現に置き換える。したがって、一部の実施形態では、オブジェクト806と対話することができるとの判定がなされた後にのみオブジェクト806の実際の表現が表示されるため、バッテリ電力が節約され、及び/又はデバイス202によって実行されるプロセスの数が減少する。一部の実施形態では、オブジェクト806のプロキシ表現及び/又はオブジェクト806の実際の表現が表示されている間、LEDは非アクティブである(又はデバイス202の一部として含まれていない)。
図15は、一部の実施形態による、方向情報に基づいてディスプレイ間でオブジェクトを遷移させる方法を示す流れ図である。一部の実施形態では、この方法は、システム100(図1A及び図1B)によって実行される。一部の実施形態では、この方法は、デバイス202(図2A)によって実行される。一部の実施形態では、この方法は、デバイス202又はシステム100とは異なる第3のデバイス又はシステムによって実行される。一部の実施形態では、この方法は、システム100、デバイス202、及び第3のデバイス又はシステムのうちの1つ以上の組み合わせによって実行される。
ブロック1502において、デバイスの一次ディスプレイ(例えば、204)及びデバイスの二次ディスプレイの視野外にあるオブジェクトの位置(例えば、北、南、東、西、右、左、後、前、他の基本方位、又はそれらの任意の組み合わせ)に対応する方向情報例えば、804a~804d)が受信される。一部の実施形態では、オブジェクトは、物理的環境内の物理的オブジェクト又は物品であり、一部の実施形態では、オブジェクトは、仮想環境内の仮想オブジェクトである。
一部の実施形態では、一次ディスプレイ、二次ディスプレイ、及び/又は三次ディスプレイは、異なるタイプのディスプレイである。一部の実施形態では、一次ディスプレイは導波路ディスプレイである。一部の実施形態では、二次ディスプレイは、有機発光ダイオードディスプレイである。一部の実施形態では、三次ディスプレイは、複数の発光ダイオードである。
ブロック1504及び1506において、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、そして第1の基準が満たされているという判定に従って、方向情報の第1の表現は二次ディスプレイを介して表示される。
一部の実施形態では、第1の基準は、オブジェクトが、オブジェクトの方向情報が二次ディスプレイに表示され得るタイプのオブジェクトである場合に満たされる基準を含む。一部の実施形態では、オブジェクトがある部分(例えば、一次ディスプレイ、二次ディスプレイ、デバイスのフレーム)から所定の距離離れているか、又はその横にある場合、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可される。一部の実施形態では、アプリケーション又はアプリケーションに対応するオブジェクトから方向情報が受信された場合に、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可され、また、オブジェクトが二次ディスプレイを介して表示されることを可能にする1つ以上の特性又は特徴(例えば、サイズ、形状、距離)を有する場合、オブジェクトは、二次ディスプレイを介して表示されるようにアプリケーション(又は他のプロセス)によって構成される)。一部の実施形態では、オブジェクトが特定の位置又は方向にない場合、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可され、又は、オブジェクトにより、オブジェクトの表現がデバイスの一部(例えば、デバイスのフレームの内側、デバイスのブリッジの近く、ユーザの鼻の近く)に隣接して表示される。
ブロック1504及び1508において、一次ディスプレイ及び二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、そして第2の基準が満たされているという判定に従って、方向情報(例えば、804b~804d)の第2の表現(例えば、812a~812g)は三次ディスプレイを介して表示される。
一部の実施形態では、第2の基準は、オブジェクトが、オブジェクトの方向情報が三次ディスプレイに表示され得るタイプのオブジェクトである場合に満たされる基準を含む。一部の実施形態では、アプリケーション又はアプリケーションに対応するオブジェクトから方向情報が受信されたとき、オブジェクトがデバイスの一部(例えば、一次ディスプレイ、二次ディスプレイ、フレーム)から所定の距離離れているか、又はその横にある場合、オブジェクトの方向情報を三次ディスプレイを介して表示することが許可され、又は、オブジェクトが、三次ディスプレイを介して表示されることを可能にする1つ以上の特性又は特徴(例えば、サイズ、形状、距離)を有する場合、オブジェクトが特定の位置又は方向にない場合、又は、オブジェクトにより、オブジェクトの表現がデバイスの一部(例えば、デバイスのフレームの内側、デバイスのブリッジの近く、ユーザの鼻の近く)に隣接して、又は三次ディスプレイの一部に表示される場合、オブジェクトは、三次ディスプレイを介して表示されるようにアプリケーション(又は他のプロセス)によって構成される。
一部の実施形態では、第1の表現は仮想オブジェクトであり(例えば、第1の表現はオブジェクトの修正された表現である)、第2の表現はCGR環境内の仮想オブジェクトではない。一部の実施形態では、仮想オブジェクトの第1の修正された表現は、オブジェクトの実際の表現と視覚的に区別することができる。例えば、第1の修正された表現は、実際のオブジェクトに類似していないか、又は似ていない視覚的外観を有することができるが、オブジェクトの実際の表現は、実際のオブジェクトに類似しているか、又は似ている視覚的外観を有することができる。一部の実施形態では、デバイスは、画像認識技術を使用して、オブジェクトの修正された表現を処理するときに実際のオブジェクトを識別することができないが、オブジェクトの実際の表現を処理するときに実際のオブジェクトを識別することができる。一部の実施形態では、第1の修正された表現は、実際のオブジェクトに似ていない(例えば、色、形状、テクスチャ、サイズ、輝度、太さ、フェードなどの2つ以上の同じ特徴を有さない)表現であり得るが、実際の表現は、実際のオブジェクトに似ている表現である。
一部の実施形態では、第1の表現は静的表現である。例えば、静的表現は、一定期間にわたって移動しない、又はアニメーション化されない表現である(例えば、変化しない、脈動しない、所定のシーケンス又はパターンにないなど)。一部の実施形態では、第2の表現は動的表現である。例えば、動的表現は、一定期間にわたって移動する、又はアニメーション化される表現である(例えば、脈動する、所定のシーケンス又はパターンで表示される、一定期間にわたって色が変化する)。一部の実施形態では、第1の表現は、第2の表現とは異なる色である。一部の実施形態では、第1の表現は、第2の表現とは異なるサイズである。一部の実施形態では、第1の表現は表示されないが、第2の表現は表示され、その逆も同様である。一部の実施形態では、第1の表現及び第2の表現の少なくとも1つは、勾配(例えば、方向を示す勾配場(例えば、実線及びハッチングされたLED))を含む。
一部の実施形態では、一次ディスプレイ及び二次ディスプレイは、オブジェクトの異なる表現を表示することができる。一部の実施形態では、方向情報の第1の表現は、二次ディスプレイを介して表示されるオブジェクトの第1の表現である。一部の実施形態では、方向情報の第1の表現が二次ディスプレイを介して表示されている間、オブジェクトは、HMDデバイスの一次ディスプレイの視野内で検出される。一部の実施形態では、オブジェクトが一次ディスプレイの視野内にあることを検出したことに応じて、オブジェクトの第2の表現は一次ディスプレイを介して表示される。一部の実施形態では、二次ディスプレイを介して表示されるオブジェクトの第1の表現は、オブジェクトの第1のモデルに基づいて表示される。一部の実施形態では、一次ディスプレイを介して表示されるオブジェクトの第2の表現は、オブジェクトの第2のモデルに基づいて表示される。一部の実施形態では、オブジェクトの第2のモデルは、オブジェクトの第1のモデルよりも単純である(例えば、より多くの視覚的特徴、より多くの視覚的詳細を有する)。
一部の実施形態では、三次ディスプレイは、二次ディスプレイの第1の部分を囲む。一部の実施形態では、三次ディスプレイは、二次ディスプレイの第1の部分を囲むが、二次ディスプレイの第2の部分を囲まない。一部の実施形態では、一次ディスプレイは二次ディスプレイと重なる。
一部の実施形態では、方向情報の第1及び第2の表現とは異なるオブジェクトの表現は、一次ディスプレイを介して表示され、第1の表現は、二次ディスプレイを介して表示される。一部の実施形態では、方向情報の表現は、オブジェクトの位置に関連付けられている。例えば、方向情報の表現は、オブジェクトの位置に対するデバイスの位置を示すことができる。
一部の実施形態では、オブジェクトの表現は、オブジェクトと対話するまで、一次ディスプレイを介して表示されない場合がある。一部の実施形態では、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野内にあるオブジェクトの位置に対応する方向情報が受信される。一部の実施形態では、HMDデバイスの一次ディスプレイ及びHMDデバイスの二次ディスプレイの視野内にあるオブジェクトの位置に対応する方向情報を受信したことに応じて、一次ディスプレイを介してオブジェクトの第5の表現を表示せずに、オブジェクトの第4の表現は、二次ディスプレイを介して表示される。一部の実施形態では、オブジェクトと対話する(例えば、オブジェクトを選択する、オブジェクトが関与するプロセスを開始する)要求が受信される。一部の実施形態では、オブジェクトと対話する要求を受信したことに応じて、オブジェクトの第5の表現は一次ディスプレイを介して表示され、オブジェクトの第4の表現は二次ディスプレイを介しての表示を停止する。
一部の実施形態では、オブジェクトと対話する要求が受信される。一部の実施形態では、オブジェクトの表現は、オブジェクトと対話する要求を受信したことに応じて、一次ディスプレイを介して表示される。
一部の実施形態では、第1の表現及び第2の表現が表示されている間、第1の表現は、二次ディスプレイを介して、一次ディスプレイに対する対応する方向にある第1の位置に表示され、第2の表現は、三次ディスプレイを介して、一次ディスプレイに対する対応する方向にある第2の位置に表示されない。
図16は、一部の実施形態による、オブジェクトの修正された表現を表示する方法を示す流れ図である。一部の実施形態では、この方法は、システム100(図1A及び図1B)によって実行される。一部の実施形態では、この方法は、デバイス202(図2A)によって実行される。一部の実施形態では、この方法は、デバイス202又はシステム100とは異なる第3のデバイス又はシステムによって実行される。一部の実施形態では、この方法は、システム100、デバイス202、及び第3のデバイス又はシステムのうちの1つ以上の組み合わせによって実行される。
ブロック1602において、第1の位置(又はある位置)でコンピュータ生成現実(CGR)環境内のオブジェクト(例えば、仮想オブジェクト、物理的オブジェクトの表現である仮想オブジェクト、物理的環境内の物理的オブジェクト)が検出される。一部の実施形態では、オブジェクトは重要又は有用であると判定される。例えば、オブジェクトは、オブジェクトに関連するユーザ入力を受信することによって、オブジェクトに関連するユーザ対話を受信することによって、オブジェクトを重要又は有用として識別するデータを受信することによって、重要又は有用であると判定することができる。一部の実施形態では、オブジェクトを重要又は有用として識別するデータは、デバイス202と通信しているか、又はそれによって実行されている1つ以上のアプリケーションから受信される。
ブロック1604及び1606において、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、そして、第1の位置がデバイスの一次ディスプレイの視野外の第1の所定の距離内にあるという判定に従って、仮想オブジェクトの第1の修正された表現が表示される。
仮想オブジェクトの第1の修正された表現は、オブジェクトの実際の表現と視覚的に区別することができる。例えば、第1の修正された表現は、実際のオブジェクトに類似していないか、又は似ていない視覚的外観を有することができるが、オブジェクトの実際の表現は、実際のオブジェクトに類似しているか、又は似ている視覚的外観を有することができる。一部の実施形態では、デバイスは、画像認識技術を使用して、オブジェクトの修正された表現を処理するときに実際のオブジェクトを識別できない場合があるが、オブジェクトの実際の表現を処理するときに実際のオブジェクトを識別することができる。一部の実施形態では、第1の修正された表現は、実際のオブジェクトに似ていない(例えば、色、形状、テクスチャ、サイズ、輝度、太さ、フェードなどの2つ以上の同じ特徴を有さない)表現であり得るが、実際の表現は実際のオブジェクトに似ている表現である。
一部の実施形態では、第1の修正された表現は、第1の実際の表現の視覚的コンテンツとは異なる視覚的コンテンツ(例えば、表示された表現を表すデータ)を有する。一部の実施形態では、オブジェクトの修正された表現は、実際のオブジェクトの構造とは異なる構造を有し、オブジェクトの実際の表現は、オブジェクトと同じ構造を有する。例えば、実際のオブジェクトが木である場合、オブジェクトの実際の表現は視覚的に木のように見えるが、第1の修正された表現は、木の形をしていないピクセルのブロブのように見える。
一部の実施形態では、第1の修正された表現は、第1の位置とデバイスの一次ディスプレイの視野との間の距離に基づくサイズを有する。一部の実施形態では、オブジェクトの位置が一次ディスプレイの外側の第1の距離にある場合、第1の修正された表現は第1のサイズである。一部の実施形態では、オブジェクトの位置が一次ディスプレイの外側の第2の距離にある場合、第1の修正された表現は第2のサイズである。一部の実施形態では、第1の距離が第2の距離よりも一次ディスプレイに近い場合、第1のサイズで表示される第1の修正された表現は、第2のサイズで表示される第1の修正された表現よりも大きい。一部の実施形態では、オブジェクトが、第1の位置よりもデバイスの一次ディスプレイの視野に近い位置で検出された場合に、第1の修正された表現のサイズが増大する。
一部の実施形態では、第1の修正された表現は、オブジェクトのサイズに基づく輝度(例えば、より大きなオブジェクトがより暗くなるようにされる)を有する。一部の実施形態では、オブジェクトが第1のサイズである場合、第1の修正された表現は第1の輝度を有する。一部の実施形態では、オブジェクトが第2のサイズである場合、第1の修正された表現は第2の輝度を有する。一部の実施形態では、オブジェクトの第1のサイズがオブジェクトの第2のサイズよりも小さい場合、第1の輝度で表示される第1の修正された表現は、第2の輝度で表示される第1の修正された表現よりも明るい。
一部の実施形態では、第1の修正された表現は、デバイスを介して表示される別のオブジェクトに対するオブジェクトのサイズに基づく輝度を有する。例えば、第1の修正された表現の輝度は、オブジェクトのサイズが別のオブジェクトのサイズよりも大きくなるにつれて増加することができ、その逆も同様である。一部の実施形態では、オブジェクトのサイズが別のオブジェクトのサイズに実質的に等しい場合、オブジェクトの修正された表現の輝度は、別のオブジェクトの表現の輝度に等しくなり得る。したがって、一部の実施形態では、ユーザが環境全体を移動するにつれて、オブジェクトの修正された表現の輝度は、環境内の他のオブジェクトに基づいて変化することができる。
一部の実施形態では、第1の修正された表現は、第1の実際の表現のぼかしよりも高いぼかしを有する。一部の実施形態では、第1の修正された表現は、第1の実際の表現よりもフェードされる。
一部の実施形態では、第1の修正された表現を表示することの一部として、アニメーションを表示することができる。例えば、アニメーションは、脈動するアニメーション、第1の修正された表現をシフト又は移動するアニメーション、オブジェクトの第1の実際の表現を第1の修正された表現に変換するアニメーション、第1の修正された表現をフェードイン又はフェードアウトするアニメーションなどであり得る。
一部の実施形態では、オブジェクトの第1の部分の第2の実際の表現は、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、そして第1の位置が一次ディスプレイの視野及び二次ディスプレイの視野内にあるという判定に従って、一次ディスプレイを介して表示される。例えば、図13Bに示されるように、オブジェクトの第1の部分の第2の実際の表現(例えば、806)は、デバイスが二次ディスプレイの視野内の閾値距離内にある場合、一次ディスプレイを介して表示することができる。
一次ディスプレイを介して、オブジェクトの第1の部分の第2の実際の表現を表示している間、オブジェクトの第2の部分の第2の修正された表現は、二次ディスプレイを介して表示される。例えば、図13Bに示されるように、第2の修正された表現(例えば、826c)は、二次ディスプレイを介して表示される。
一部の実施形態では、オブジェクトの第2の部分は、オブジェクトの第1の部分とは異なるオブジェクトの部分である。一部の実施形態では、オブジェクトの第1の部分は、一次ディスプレイの視野内にあるが、二次ディスプレイの視野内にはない。一部の実施形態では、オブジェクトの第2の部分は、二次ディスプレイの視野内にあるが、一次ディスプレイの視野内にはない。一部の実施形態では、第2の実際の表現は、第2の修正された表現よりも高い解像度で表示される。一部の実施形態では、第2の実際の表現は、二次ディスプレイに隣接する一次ディスプレイのエッジに隣接して表示される。一部の実施形態では、第2の修正された表現は、一次ディスプレイに隣接する二次ディスプレイのエッジに隣接して表示される。
一部の実施形態では、一次ディスプレイを介してオブジェクトの第2の実際の表現を表示することの一部として、視覚効果が、オブジェクトの第2の実際の表現に適用される。一部の実施形態では、視覚効果が適用された後のオブジェクトの第2の実際の表現は、視覚効果が適用される前のオブジェクトの第2の実際の表現のぼかしよりも大きいぼかしを有する。一部の実施形態では、一次ディスプレイを介して表示されるオブジェクトの第1の部分の第2の実際の表現、及び二次ディスプレイを介して表示されるオブジェクトの第2の部分の第2の修正された表現のうちの1つ以上は、図7に関連して上述した1つ以上の技術を使用して表示される。
一部の実施形態では、オブジェクトを位置特定するための方向情報に対応する表現は、第1の位置でCGR環境内のオブジェクトを検出したことに応じて、そして第1の位置がデバイスの一次ディスプレイの視野外の第2の所定の距離内にあるという判定に従って、一次ディスプレイを介して表示される。例えば、図12A及び12Bに示されるように、図11Aにおいてユーザ250とオブジェクト806が互いに距離804d離れていることとは異なり、ユーザ250とオブジェクト806との間の距離が互いに離れている距離804eである場合、オブジェクトを位置特定するための方向情報に対応する表現(例えば、828)は、一次ディスプレイを介して表示される。
一部の実施形態では、オブジェクトを位置特定するための方向情報に対応する表現は、実際の表現とは異なる。オブジェクトを位置特定するための方向情報に対応する表現は、オブジェクトの位置、デバイスへのオブジェクトの近さ、デバイスがオブジェクトから離れて移動しているか又はオブジェクトに接近して移動しているかのインジケーションを提供することができる。
一部の実施形態では、一次ディスプレイを介してオブジェクトの位置に対応する表現を表示している間、オブジェクトの修正された表現は、二次ディスプレイを介して表示される。
一部の実施形態では、第1の位置でオブジェクトを検出したことに応じて、そして第1の位置が一次ディスプレイの視野内にあり、二次ディスプレイの視野内にないという判定に従って、第1の実際の表現(例えば、806)は、一次ディスプレイを介して表示されるが、第1の修正された表現は、二次ディスプレイを介しての表示を停止する。一部の実施形態では、オブジェクトの第1の実際の表現の一部が表示される。一部の実施形態では、オブジェクト全体が表示される。
図17A~図17B、図18及び図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。図17Aにおいて、デバイス202は、図2A~図2B及び図8Aで上述したように、1つ以上の構成要素を有すると示されている。
図17Aは、複数のアプリケーションアイコンを表示するデバイス202を示す。複数のアプリケーションアイコンは、メッセージングアプリケーションアイコン1702a、健康アプリケーションアイコン1702b、電話アプリケーションアイコン1702c、及び電子メールアプリケーションアイコン1702dを含む。
図17Aを参照し、デバイス202が、メッセージングアイコン1702aに対応するメッセージングアプリケーションを介して新しいメッセージを受信すると仮定する。新しいメッセージの受信に応じて、デバイス202は、新しいメッセージに関連する情報が特定のディスプレイ(例えば、一次ディスプレイ204、二次ディスプレイ206、LEDなど)を介して表示されるか否かを判定することができる。
一部の実施形態では、新しいメッセージの受信に応じて、デバイス202は、新しいメッセージに関連する情報が二次ディスプレイ206を介して表示されることが許可(又は構成)されると判定する。図17Bに示されるように、デバイス202は、この判定のために、メッセージステータスインジケータ1702a1を含めるようにメッセージングアプリケーションアイコン1702aを更新する。図17Bに示されるように、メッセージステータスインジケータ1702a1は、メッセージングアイコン1702aに隣接する「1」であり、1つの追加の新規又は未読メッセージが受信されたことを示す。未読メッセージには、ユーザ対話を受信していないメッセージ、例えば、聞いていないボイスメールメッセージ、未読のテキスト又は電子メールメッセージ、まだ開いていないアプリケーションからの通知又はアラート、削除されていない通知又はアラートなどが含まれる場合がある。
一部の実施形態では、新しいメッセージの受信に応じて、デバイス202は、新しいメッセージに関連する情報が、LEDなどの三次ディスプレイを介して表示されることが許可(又は構成)されると判定する。図17Bに示されるように、デバイス202は、この判定のためにLEDを発光させる。一部の実施形態では、デバイス202は、LEDの一部のみを発光させる。
1つ以上の他のタイプのアラート、通知、センサデータ、アプリケーションからの要求又はデータ、着信電話などを受信することができる。一部の実施形態では、デバイス202は、図17A~図17Bで受信された新しいメッセージに関して上述したように、それらの受信に応じて同様の動作を実行する。例えば、デバイス202は、心拍数センサ(又は個人データ又は健康データを検出する1つ以上の他のセンサ)によって検出された健康データが閾値レベルより上又は下であり、そのデータに関連する情報がLEDを介して表示されることが許可されていると判定した場合、LEDを発光させることができる。
デバイス202はまた、1つ以上のメッセージ、アラート、通知、センサデータ、アプリケーションからの要求又はデータ、着信電話などの受信に応じて他の動作を実行することができる。例えば、図18に示されるように、デバイス202は、新しいメッセージに関連する情報が二次ディスプレイ206を介して表示されることが許可されているという判定に基づいて、二次ディスプレイ206の少なくとも一部にわたって色を表示する。一部の実施形態では、一次ディスプレイ204の一部は、この判定のために更新される。
一部の実施形態では、デバイス202は、1つ以上のディスプレイを介してアニメーションを表示することができる。一部の実施形態では、アニメーションは、1つ以上の脈動する色、1つ以上の移動するオブジェクト、形状を変えるか又は1つ以上の他のオブジェクトに遷移する1つ以上のオブジェクトなどを含むことができる。例えば、デバイス202は、ユーザの健康データが閾値レベルより上/下であり、健康データに関連する情報が対応するディスプレイ上に表示されることが許可されているという判定に基づいて、脈動する色のアニメーションを一次ディスプレイ204及び/又は二次ディスプレイ206上に表示することができる。
図19A~図19B及び図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。
図19Aは、複数のオブジェクトト1910a~1910dの表現を含むCGR環境を表示するデバイス202を示す。オブジェクト1910a~1910dは、一次ディスプレイ204及び二次ディスプレイ206の視野内にある自動車である。ここで、オブジェクト1910a~1910dは、デバイス202の一次204及び二次ディスプレイ206を通して見られる、物理的環境内の物理的な自動車を表す。一部の実施形態では、オブジェクト1910a~1910dは、デバイス202の一次204及び二次ディスプレイ206によって表示される仮想オブジェクトを表す。
図19Aを参照して、デバイス202が、オブジェクト1910aがデバイス202のユーザに関連付けられていることを示すデータをアプリケーションから受信すると仮定する。例えば、図19Aにおいて、アプリケーションは、カーシェアリングアプリケーション、タクシーアプリケーション、車位置アプリケーションなどであり得る。一部の実施形態では、デバイス202は、1つ以上のユーザ設定、メモリに記憶されたデータ、1つ以上の機械学習アルゴリズムなどを使用して専用アプリケーションからデータを受信することなく、オブジェクト1910aがデバイス202のユーザに関連付けられていると判定する。
アプリケーションからデータを受信したことに応じて、デバイス202は、アプリケーションからのデータに関連する情報が特定のディスプレイを介して表示されるか否かを判定することができる。一部の実施形態では、アプリケーションからデータを受信したことに応じて、デバイス202は、データに関連する情報が二次ディスプレイ206を介して表示されることが許可されていると判定する。図19Bに示されるように、この判定に基づいて、デバイス202は、二次ディスプレイ206上のオブジェクト1910aの周りにインジケータ1912を表示する。
インジケータ1912は、オブジェクト1910aをオブジェクト1910b~1910dから視覚的に区別するために、オブジェクト1910aの周りに表示される。一部の実施形態では、デバイス202は、他の方法でオブジェクト1910aを他のオブジェクトから視覚的に区別させる。例えば、デバイス202は、オブジェクト1910b~1910dの表示を停止し、オブジェクト1910b~1910dを最小化し、オブジェクト1910aを拡大し、オブジェクト1910aを強調表示することなどができる。
一部の実施形態では、アプリケーションからデータを受信したことに応じて、デバイス202は、データに関連する情報がLEDを介して表示されることが許可されていると判定する。図19Bに示されるように、デバイス202は、この判定に基づいて、1つ以上のLEDを発光させる。
図20A~図20D及び図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。
図20Aは、時間2002の表現を含むCGR環境を表示するデバイス202を示す。時間2002の表現は、一次ディスプレイ204を介して表示され、プロセスが60秒の残り時間を有することを示す。一部の実施形態では、時間2002の表現は、タイマーアプリケーション、配信アプリケーション、ワークアウトアプリケーション、会議アプリケーション、生産性アプリケーションなどに関連するプロセスを表す。一部の実施形態では、時間2002の表現が一次ディスプレイ204を介して表示されることが許可されているという判定がなされたため、時間2002の表現は、一次ディスプレイ204を介して表示される。
時間2002の表現と同時に、時間2004の表現は、二次ディスプレイ2006を介して表示される。時間の表現2004は、60秒の残り時間を示すために二次ディスプレイ206全体を覆う色付きオーバーレイを含む。一部の実施形態では、時間2004の表現は、時間2002の表現によって表される時間を示す。言い換えれば、一部の実施形態では、1つのディスプレイを介して表示される表現は、別のディスプレイを介して表示される表現に対応するか、又はそれを表すことができる。
一部の実施形態では、時間2004の表現が二次ディスプレイ206を介して表示されることが許可されているという判定がなされたため、時間2002の表現は、二次ディスプレイ206を介して表示される。
図20Aに示されるように、時間2004の表現は、タイマー又はプロセスの開始時間と比較した場合の残り時間のパーセンテージを示す。例えば、プロセスが開始されて60秒で終了すると仮定した場合、表現2004は、残り時間のパーセンテージが100%であることを示す。
時間2002の表現及び時間2004の表現と同時に、デバイス202は、図20Aに示されるように、LEDを発光させる。時間2004の表現と同様に、LEDは、時間2002の表現によって表される時間を示し、したがって、時間2002の表現に対応する。ここで、プロセスが開始されて60秒で終了すると仮定した場合、残り時間のパーセンテージが100%であるため、すべてのLEDが発光している。
図20Bに示されるように、デバイス202が、プロセスの残り時間が30秒であるというインジケーションを受信すると仮定する。インジケーションの受信に応じて、デバイス202は、時間2002の表現及び時間2004の表現を更新する。図20Bにおいて、時間2004の表現は、二次ディスプレイ206の領域のほぼ半分を覆う色付きオーバーレイを含む。一部の実施形態では、図20Bの表現2004は、残り時間(例えば、30秒)が、プロセスが設定された元の時間(例えば、図20Aの60秒)の50%であることを表す。更に、デバイス202はまた、残り時間が元の時間の少なくとも50%であることに応じて、LEDの半分(例えば、810a~810l及び812a~812l)の発光を停止させる。
図20C~図20Dに示されるように、残り時間はそれぞれ15秒と5秒である。図20C~図20Dに示されるように、デバイス202は、プロセスの残り時間(例えば、図20Cの15秒及び図20Dの5秒)に基づいて、一次ディスプレイ204、二次ディスプレイ206、及びLED(例えば、810a~810l及び812a~812l)を更新し続ける。
しかしながら、図20A~図20Cとは対照的に、デバイス202は、図20Dにおいて、LEDの予想される部分より多くの部分(例えば、1/12より多くの部分)を発光させる。ここで、デバイス202は、すべてのLEDを発光させて、残り時間が所定の最小時間未満であることのインジケーションを提供する。
一部の実施形態では、デバイス202は、残り時間がゼロに近づくにつれて、1つ以上のLED及び/又は二次ディスプレイ206をアニメーション化させる(例えば、脈動させる、明るくさせる)。一部の実施形態では、二次ディスプレイ206及び/又はLEDは、所定の時間が残っている場合、異なる色及び/又は色合いに変化する。例えば、二次ディスプレイ206は、所定の時間が残っている場合に半透明から赤色に変化することができる。一部の実施形態では、1つ以上のLED及び/又は二次ディスプレイ206はアニメーション化するが、1つ以上の他のディスプレイはアニメーション化しない。一部の実施形態では、二次ディスプレイ206は、一次ディスプレイ204と重なることができ、その結果、二次ディスプレイ206の重なり部分に示されるアニメーションは、デバイス202のディスプレイの中央(例えば、ユーザの瞳孔の周りに対応する領域)に示される。
図21A~図21D及び図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。
図21Aは、デバイス2102a及びデバイス2102bを含むCGR環境を表示するデバイス202を示す。図21Aに示されるように、デバイス2102a及びデバイス2102bは、一次ディスプレイ204及び二次ディスプレイ206の視野内にある。
図21Aに示されるように、ユーザインタフェース(UI)要素2110は、デバイス2102a上に表示される。例えば、UI要素2110は、1つ以上のアイコン、ファイル、アプリケーションショートカット、文字などであり得る。
図21Bを参照すると、デバイス202は、UI要素2110上のドラッグアンドドロップ入力2150を検出する。UI要素2110上のドラッグアンドドロップ入力2150を検出したことに応じて、デバイス202は、ドラッグアンドドロップ入力のステータスに関連する情報がLEDを介して表示され得るか否かを判定する。図21Bに示されるように、デバイス202は、この判定のためにLEDを発光させる。
図21Bを参照して、デバイス202がドラッグアンドドロップ入力2150の動きを検出すると仮定する。ドラッグアンドドロップ入力2150の動きを検出したことに応じて、デバイス202は、デバイス2102a上の位置からデバイス2102b上の位置に移動するUI要素2110を表示する。
図21Cは、デバイス2102b上の位置にあるUI要素2110を示す。図21Cに示されるように、UI要素2110が選択されたままであるため、LEDは発光し続ける。
図21Cを参照して、デバイス202がUI要素2110が選択されていないことを検出すると仮定する。UI要素2110が選択されていないことを検出したことに応じて、デバイス202は、図21Dに示されるように、LEDを発光させることを放棄する。一部の実施形態では、UI要素2110が選択されていないことを検出したことに応じて、デバイス202は、1つ以上のLEDを異なるように発光させる。例えば、デバイス202は、UI要素2110が選択されている間に、1つ以上のLEDに、以前に図21Cで放出した色とは異なる色の光を放出させることができる。
一部の実施形態では、1つ以上のLEDを異なるように発光させることは、ユーザ動作の完了又は効果を示す。例えば、デバイス202は、ユーザがメディアファイルをデバイス2102aからデバイス2102bにドラッグした後に再生されるメディアファイルのリズムに従って、LEDを異なるように発光させることができる。
一部の実施形態では、デバイス202は、ドラッグアンドドロップ入力2150に関して(例えば、図21A~図21Dにおいて)上述した技術を実行して、他のユーザ対話及び/又はアプリケーションの状態を示す。例えば、一部の実施形態では、デバイス202は、ドラッグ、リリース、コピー、編集、クリッピング、又は移動操作が検出されたときに、上記の技術を実行する。一部の実施形態では、デバイス202がファイルのダウンロードに関連する状態、メディアの再生に関連する状態、運動ルーチンの完了に関連する状態、定期的な目標(例えば、健康目標、生産性目標)の完了に関連する状態など、アプリケーション又はプロセスの状態に関するデータを受信するときに、デバイス202は上記の技術を実行する。
図22A~図22B及び図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。
図22Aは、人2202を含むCGR環境を表示するデバイス202を示す。人2202は、一次ディスプレイ204及び二次ディスプレイ206の視野内にあり、それらを通して見られる。
図22Aに示されるように、人2202は眉をひそめている。図22Aを参照して、デバイス202が、1つ以上の顔認識アルゴリズムなどの1つ以上のアルゴリズムによって処理される、人2202の気分を表すデータを受信すると仮定する。一部の実施形態では、1つ以上のアルゴリズムは、人2202が眉をひそめていると判定し、この判定を表すデータを送信することができる。
人2202が眉をひそめていることを表すデータを受信したことに応じて、デバイス202は、そのデータに関連する情報がLEDを介して表示されることが許可されていると判定する。一部の実施形態では、この判定に従って、デバイス202は、LEDを第1の状態で発光させる。例えば、図22Aは、LEDが第1の状態(例えば、LEDが充填されている)にあることを示す。一部の実施形態では、デバイス202は、図22Aに実線で示されているLEDの一部のみを更新する。
一部の実施形態では、デバイス202は、(例えば、データが二次ディスプレイ206を介して表示されることが許可されているという判定に従って)人22Aの気分を示唆する状態で色付きオーバーレイで二次ディスプレイ206を更新する。
図22Bは、人2204を含むCGR環境を表示するデバイス202を示す。図22Bに示されるように、人2204は、図22Aの人2202とは対照的に微笑んでいる。図22Bを参照して、デバイス202が、1つ以上の顔認識アルゴリズムなどの1つ以上のアルゴリズムによって処理される、人2204の気分を表すデータを受信すると仮定する。
人2204の気分を表すデータを受信したことに応じて、デバイス202は、そのデータに関連する情報がLEDを介して表示されることが許可されていると判定する。一部の実施形態では、この判定に従って、デバイス202は、第1の状態とは対照的に、第2の状態でLEDを発光させる。例えば、図22Bは、LEDがハッチングされていることを示すことによって、LEDが第2の状態にあることを示す。ここで、デバイス202は、データがユーザの異なる気分を表すため、第2の状態において第1の状態とは異なるようにLEDを発光させる。
一部の実施形態では、他の気分(例えば、悲しい、満足しているなど)を表すデータ又は他のタイプのデータは、図22A~図22Bに関連して上述したものと同様の技術を使用して表示することができる。例えば、他のタイプのデータは、金融市場の状態、天気予報、評価(例えば、レストランの評価、映画の評価など)を含むことができる。
図23A~図23B及び図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。
図23Aは、二次ディスプレイ206を介して表示される進捗インジケータの表現2302を含むCGR環境を表示するデバイス202を示す。一部の実施形態では、表現2302は、追跡されている1つ以上のメトリックを示す。例えば、メトリックは、取られた(又は目標を達成するために残された)ステップ数、ダウンロード速度、一定期間にわたるワークアウトの数、及び/又は任意の他のメトリックであり得る。一部の実施形態では、表現2302は、歩行アプリケーション、トレーニングアプリケーション、筋力トレーニングアプリケーションなどの1つ以上の健康アプリケーションから受信したデータに対応する。
一部の実施形態では、デバイス202は、進捗インジケータに関連する情報がLEDを介して表示されることが許可されているという判定に基づいて、LEDに進捗インジケータを表す光を放出させる。例えば、図23Aに示されるように、LED810a及び810h~810lは発光しており、LED810a及び810h~810lは、表現2302の長さ及び位置に対応する。LED810a及び810h~810lは進捗インジケータのレベルを示す。
一部の実施形態では、図23Aに示されるように、LED812a、812h、812i、812lは発光する。LED812a、812h、812i、812lは、表現2302の長さに沿ってデバイス202の右側にある。LED812a、812h、812i、812lはまた、進捗インジケータのレベルを示す。特に、デバイス202のLED812j及び812kは、デバイス202を装着しているユーザの鼻から特定の距離内にあるため、発光しない。
図23Bを参照すると、デバイス202は、二次ディスプレイ206及びLEDを介して表現2302を更新して、追跡されたメトリックの進捗が達成されたことを示す。特に、LED812j及び812kは、デバイス202を装着しているユーザの鼻から特定の距離内にあるため、発光しないままである。
図24A~図24Dは、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理するための例示的な技術を示す。図24A~図24Dは、デバイス202が、LED810a~210l及び812a~812lの1つ以上を、デバイス202を装着しているユーザの両目の周りに時計回りのパターンで順次に発光させるシナリオを示す。一部の実施形態では、パターンは、ユーザへの方向を示すことができ、また、図8A~図8B、図9A~図9B、図10A~図10B、図11A~図11B、図12A~図12B、図13A~図13B、図14A~図14B、図15、及び図16に関連して上述した例に加えて置き換えるか又は使用することができる。
例えば、LEDはパターンを放出することができ、この場合、LEDは順次にオン及びオフになり、これは、円の周りを移動する点に類似する。円は、時計回り又は反時計回りの方向にデバイス202を装着しているユーザの1つ以上の目の周りでアニメーション化することができる。一部の実施形態では、ユーザの両目の周りにパターンを描くとき、デバイス202は、図24B~図24Cに示されるように、デバイス202の右側と左側のLEDの間を遷移し、デバイス202は、シーケンス内のLEDの一部(例えば、810g及び810h)をスキップする。
図25は、一部の実施形態による、1つ以上のプロセスに関連するデータに基づいて1つ以上のディスプレイを管理する方法を示す流れ図である。一部の実施形態では、この方法は、システム100(図1A及び図1B)によって実行される。一部の実施形態では、この方法は、デバイス202(図2A)によって実行される。一部の実施形態では、この方法は、デバイス202又はシステム100とは異なる第3のデバイス又はシステムによって実行される。一部の実施形態では、この方法は、システム100、デバイス202、及び第3のデバイス又はシステムのうちの1つ以上の組み合わせによって実行される。
ブロック2502において、プロセスのステータスの変化に対応する情報が受信される。一部の実施形態では、情報は、1つ以上の機能、プロセス、アプリケーション、センサなどからの1つ以上の通知、アラート、及び/又は1つ以上の出力であり得る。一部の実施形態では、センサは、1つ以上の健康センサ、心拍数センサ、歩数計、熱センサなどを含むことができる。
一部の実施形態では、情報は、1つ以上の環境因子又は1つ以上のアプリケーションからのデータに基づいて計算される。例えば、図20A~図20Dにおいて、デバイス202は、上記のようにプロセスの開始又は終了を計算することができる。一部の実施形態では、環境因子は、天候、環境内の1つ以上のユーザ又はデバイスの特性などに対応するデータを含むことができる。
図25を参照すると、ブロック2504及び2506において、プロセスの変更ステータスに対応する情報を受信したことに応じて、そして第1の基準が満たされているという判定に従って、プロセスのステータスに対応する第1の表現は、二次ディスプレイを介して表示される。例えば、表現は、図17Bの表現ステータスインジケータ1702a1、図18の二次ディスプレイ206全体に表示される色付きオーバーレイ、図19Bのインジケータ1912、図20A~図20Dの表現2004、図23A~図23Bの進捗インジケータの表現2302などの1つ以上の表現を含むことができる。
一部の実施形態では、第1の基準は、図8A~図8B、図9A~図9B、図10A~図10B、図11A~図11B、図12A~図12B、図13A~図13B、図14A~図14B、図15及び図16に関連して上述したように、オブジェクトの方向情報を二次ディスプレイを介して表示することが許可されているという判定がなされたときに満たされる基準を含む。
図25を参照すると、ブロック2504及び2506において、プロセスのステータスの変化に対応する情報の受信に応じて、そして第2の基準が満たされているという判定に従って、プロセスのステータスに対応する第2の表現が表示される。例えば、図17A~図17B、図18、図19A~図19B、図20A~図20D、図21A~図21D、図22A~図22B、図23A~図23B、及び図24A~図24Dの810a~810l及び812a~812lである。
一部の実施形態では、第2の基準は、図8A~図8B、図9A~図9B、図10A~図10B、図11A~図11B、図12A~図12B、図13A~図13B、図14A~図14B、図15及び図16に関連して上述したように、オブジェクトを三次ディスプレイを介して表示することが許可されているという判定がなされたときに満たされる基準を含む。
一部の実施形態では、第2の表現は、第1の表現とは異なる。一部の実施形態では、第1の表現は仮想オブジェクトであり、第2の表現は仮想オブジェクトではない。
一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、一次ディスプレイを介して提示される第3の表現に関連付けられる(例えば、同じアプリケーションの1つ以上のプロセスに対応する)。例えば、図20A~図20Dにおいて、二次ディスプレイ及びLED(例えば、三次ディスプレイ)を介して表示される表現2004は両方とも、一次ディスプレイ204を介して表示される時間2002の表現に関連付けられる。
一部の実施形態では、第1の表現を提示している間、第2の仮想オブジェクトが第1の表現と同時に表示される。一部の実施形態では、第1の表現は、二次ディスプレイを介して表示される第2の仮想又は物理的オブジェクトの少なくとも一部を強調表示する。例えば、図19Bにおいて、インジケータ1912は、二次ディスプレイ206を介して表示されるオブジェクト1910aを強調表示(又は括弧)する。
一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、進捗インジケータを含む。一部の実施形態では、進捗インジケータは、図23A~図23Bの表現2302に関して上述したように、デバイスに関連するメトリックの変化を示すように更新される。
一部の実施形態では、第1の表現は、アプリケーションアイコンを含む。一部の実施形態では、プロセスは、プロセスに基づいて更新されるステータスインジケータを含むアプリケーションに関連付けられる。例えば、図17A~図17Bにおいて、メッセージングアプリケーションに関連するデータの受信に応じて、ステータスインジケータ1702a1が表示される。
一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、1つ以上のセンサに基づいて表示される。一部の実施形態では、1つ以上のセンサは、心拍数センサを含む。一部の実施形態では、受信された情報は、心拍数センサを介して検出されたデータに対応する。一部の実施形態では、1つ以上のセンサのうちの少なくとも1つに基づいて第1の表現(例えば、図18の206)及び第2の表現のうちの1つ以上を表示することの一部として、心拍数センサを介して検出されたデータに基づいてアニメーションが表示される。
一部の実施形態では、受信された情報は、アプリケーションに対応するアラートに対応する。一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、例えば、図18に関連して上述したように、アプリケーションに対応するアラートに基づいて提示される。
一部の実施形態では、受信された情報は、カレンダーイベントに対応するアラートに対応する。一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、例えば図18に関連して上述したように、カレンダーイベントに対応するアラートに基づいて提示される。
一部の実施形態では、受信された情報は、顔認識アルゴリズムを介して取得されたデータに対応する。一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、例えば図22A及び図22BのLEDに関して上述したように、顔認識アルゴリズムを介して取得されたデータに基づいて提示される。
一部の実施形態では、受信された情報は、アプリケーションの状態に対応する。一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、アプリケーションの状態に基づいて提示される。例えば、図21A~図21Dにおいて、LEDは、ドラッグアンドドロップ入力2150が検出されたか否かに基づいて更新される。
一部の実施形態では、受信された情報は、ユーザの検出された姿勢に対応する。一部の実施形態では、第1の表現及び第2の表現のうちの1つ以上は、デバイスを装着しているユーザの検出された姿勢に基づいて提示される。一部の実施形態では、第1の表現は、ユーザの検出された目の位置に基づいて表示される。例えば、表現は、ユーザの現在の姿勢又は目の位置を表す線であり得る。一部の実施形態では、ユーザの姿勢又は目の位置の変化を検出したことに応じて、線は、新しい姿勢(又は、代替的に、姿勢の変化)又は目の位置を示すように更新される。一部の実施形態では、線は、二次ディスプレイを介してのみ表示される。一部の実施形態では、LEDは、新しい姿勢(又は、代替的に、姿勢の変化)又は目の位置を示す様々な組み合わせで発光することができる。
上記のように、本技術の一態様は、様々なソースから入手可能なデータを収集及び使用して、追加のディスプレイを有するデバイス(例えば、追加のディスプレイを有するデバイス)の専門リソース管理を提供して、ユーザのためにバッテリ寿命を節約し、デバイスのユーザに専門コンテンツを提供することである。本開示は、いくつかの例において、この収集されたデータが、特定の人を一意に識別するか、又は特定の人に連絡又は位置特定するために使用できる個人情報データを含み得ることを企図している。そのような個人情報データには、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関連するデータ若しくは記録(例えば、バイタルサイン測定値、投薬情報、運動情報)、生年月日、又は任意の他の識別情報若しくは個人情報が含まれる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益のために使用できることを認識する。例えば、個人情報データを使用して、ユーザのデバイスのバッテリ寿命を節約することができる。したがって、例えば、そのような個人情報データの使用は、システムがリソースを適切に管理してデバイスのバッテリ寿命を節約するのに役立つ。更に、ユーザに利益をもたらす個人情報データの他の使用も、本開示によって企図される。例えば、健康及びフィットネスデータは、ユーザの全体的な健康に関する洞察を提供するために使用され得るか、又は技術を使用して健康目標を追求する個人への肯定的なフィードバックとして使用され得る。
本開示は、そのような個人情報データの収集、分析、開示、転送、保管、又は他の使用に責任を負う事業体が、確立されたプライバシーポリシー及び/又はプライバシー慣行に従うことを企図している。特に、そのような事業体は、個人情報データのプライバシー及びセキュリティを維持するための業界又は政府の要件を満たす、又は超えると一般に認識されているプライバシーポリシー及び慣行を実施し、一貫して使用すべきである。そのようなポリシーは、ユーザが簡単に入手できる必要があり、またデータの収集及び/又は使用が変更された場合に更新する必要がある。ユーザからの個人情報は、事業体の合法的かつ合理的な使用のために収集されるべきであり、それらの合法的な使用以外に、共有又は販売されるべきではない。更に、そのような収集/共有は、ユーザのインフォームドコンセントを受け取った後に行われるべきである。更に、そのような事業体は、そのような個人情報データへのアクセスを保護及び確保し、個人情報データへのアクセスを有する他の人が、プライバシーポリシー及び手順を遵守することを保証するために、あらゆる必要な措置を講じることを考慮するべきである。更に、そのような事業体は、広く受け入れられているプライバシーポリシー及び慣行を遵守することを証明するために、サードパーティによる評価を受けることができる。更に、ポリシー及び慣行は、収集及び/又はアクセスされる特定のタイプの個人情報データに適合させ、また、管轄区域固有の考慮事項を含めて、適用可能な法律及び基準に適合させるべきである。例えば、米国では、特定の健康データの収集又はアクセスは、医療保険の携行性と責任に関する法律(HIPAA)などの連邦法及び/又は州法によって規制される場合があり、一方、他の国の健康データは、他の規制及びポリシーの対象となる可能性があり、それに応じて対処する必要がある。したがって、国ごとに異なる個人データタイプに対して異なるプライバシー慣行を維持する必要がある。
上記にもかかわらず、本開示はまた、ユーザが個人情報データの使用又は個人情報データへのアクセスを選択的にブロックする例も企図している。即ち、本開示はそのような個人情報データへのアクセスを防止又はブロックするためにハードウェア及び/又はソフトウェア要素を提供することができることを企図している。例えば、低電力デバイスのリソースを管理する場合、本技術は、ユーザが、サービスの登録中又はその後いつでも、個人情報データの収集への参加を「オプトイン」又は「オプトアウト」することを選択できるように構成することができる。別の例では、ユーザは、専門リソース管理のために、瞳孔位置、瞳孔拡張、及び/又まばたき速度などの視線追跡データを提供しないことを選択することができる。更に別の例では、ユーザは、視線追跡データが維持される時間の長さを制限するか、又はベースライン視線追跡プロファイルの開発を完全に禁止するかを選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企図している。例えば、ユーザは、アプリをダウンロードするときに、自分の個人情報データがアクセスされることを通知され、その後、個人情報データがアプリによってアクセスされる直前に再度通知される場合がある。
更に、本開示の意図は、個人情報データが、意図しない若しくは不正なアクセス又は使用のリスクを最小限に抑える方法で管理及び処理されるべきであるということである。データの収集を制限し、不要になったデータを削除することで、リスクを最小限に抑えることができる。更に、特定の健康関連アプリケーションを含めて、適用可能な場合には、データの匿名化を使用してユーザのプライバシーを保護することができる。匿名化は、必要に応じて、特定の識別子(例えば、生年月日など)を削除すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを、住所レベルではなく都市レベルで収集する)、データがどのように記憶されるかを制御すること(例えば、ユーザ間でデータを集約する)、及び/又は他の方法によって、容易にすることができる。
したがって、本開示は、1つ以上の様々な開示された例を実施するために個人情報データの使用を広くカバーするが、本開示はまた、そのような個人情報データにアクセスする必要なしに様々な例を実施することもできることを企図している。即ち、本技術の様々な例は、そのような個人情報データのすべて又は一部が欠如しているために動作不能になることはない。例えば、低電力デバイスのリソースを管理することができ、また、ユーザに関連付けられたデバイスによって要求されているコンテンツ、デバイスを制御するシステムに利用可能な他の非個人情報、又は公開されている情報などの非個人情報データ又は必要最小限の個人情報に基づいて好みを推測することにより、コンテンツ(例えば、ステータス更新及び/又はオブジェクト)を選択してユーザに配信することができる。

Claims (68)

  1. 1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイ、及び前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイを含むヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて、仮想オブジェクトを表示する方法であって、
    前記二次ディスプレイを介して仮想オブジェクトの第1の部分を表示することと、
    前記一次ディスプレイを介して前記仮想オブジェクトの第2の部分を表示することであって、前記一次ディスプレイを介して前記仮想オブジェクトの前記第2の部分を表示することは、
    前記仮想オブジェクトの前記第2の部分が前記一次ディスプレイのエッジから所定の距離内にあるという判定に従って、前記仮想オブジェクトの前記第2の部分に視覚効果を適用することを含む、ことと、を含む、方法。
  2. 前記仮想オブジェクトの前記第2の部分が前記一次ディスプレイの前記エッジから所定の距離内にないという判定に従って、前記仮想オブジェクトの前記第2の部分に前記視覚効果を適用することを放棄することを更に含む、請求項1に記載の方法。
  3. 前記仮想オブジェクトの前記第1の部分は第1の視覚的外観を有し、
    前記仮想オブジェクトの前記第2の部分に前記視覚効果を適用した後、前記仮想オブジェクトの前記第2の部分は、前記第1の視覚的外観と同じ第2の視覚的外観を有する、請求項1又は2に記載の方法。
  4. 前記一次ディスプレイを介して、前記視覚効果が適用されていない前記仮想オブジェクトの第3の部分を同時に表示することであって、前記仮想オブジェクトの前記第3の部分は、前記視覚効果が適用されておらず、また前記仮想オブジェクトの前記第2の部分よりもぼかしが少ない、ことを更に含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記仮想オブジェクトの前記第1の部分は、前記仮想オブジェクトの前記第2の部分と視覚的に区別される、請求項1から4のいずれか一項に記載の方法。
  6. 前記視覚効果を前記仮想オブジェクトの前記第2の部分に適用することは、
    前記仮想オブジェクトの前記第2の部分をぼかすことを含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記仮想オブジェクトの前記第2の部分をぼかした後、前記仮想オブジェクトの前記第2の部分は、前記仮想オブジェクトの前記第1の部分のぼかし量に基づくぼかし量を含む、請求項6に記載の方法。
  8. 前記仮想オブジェクトの前記第2の部分をぼかすことは、前記仮想オブジェクトと前記二次ディスプレイとの間の対応する距離に基づいて、前記仮想オブジェクトの前記第2の部分のぼかし量を変更することを含む、請求項6又は7に記載の方法。
  9. 前記仮想オブジェクトの前記第2の部分は、前記1つ以上の画像センサを介して検出された前記HMDデバイスを通して見ている瞳孔の特徴に基づいてぼかされる、請求項6から8のいずれか一項に記載の方法。
  10. 前記仮想オブジェクトの前記第2の部分を適用することは、
    前記仮想オブジェクトの前記第2の部分をフェードさせることを含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記仮想オブジェクトの前記第2の部分は、前記二次ディスプレイの検出されたぼかしに比例してフェードされる、請求項10に記載の方法。
  12. 前記仮想オブジェクトの前記第2の部分は、第1の色から第2の色にフェードされる、請求項10又は11に記載の方法。
  13. 前記第1の色は黒であり、前記第2の色は白である、請求項12に記載の方法。
  14. 前記仮想オブジェクトの前記第2の部分を表示することは、
    前記仮想オブジェクトの前記第2の部分の角を丸めることを含む、請求項1から13のいずれか一項に記載の方法。
  15. 前記角はフェードされる、請求項1から14のいずれか一項に記載の方法。
  16. 1つ以上の画像センサと、
    視野全体に広がり、第1の解像度を有する一次ディスプレイと、
    前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを備え、前記1つ以上のプログラムは、
    前記二次ディスプレイを介して仮想オブジェクトの第1の部分を表示し、
    前記一次ディスプレイを介して前記仮想オブジェクトの第2の部分を表示する、命令を含み、前記一次ディスプレイを介して前記仮想オブジェクトの前記第2の部分を表示することは、
    前記仮想オブジェクトの前記第2の部分が前記一次ディスプレイのエッジから所定の距離内にあるという判定に従って、前記仮想オブジェクトの前記第2の部分に視覚効果を適用することを含む、ヘッドマウントディスプレイ(HMD)デバイス。
  17. ヘッドマウントディスプレイ(HMD)デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、
    前記HMDデバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを有し、前記1つ以上のプログラムは、
    前記二次ディスプレイを介して仮想オブジェクトの第1の部分を表示し、
    前記一次ディスプレイを介して前記仮想オブジェクトの第2の部分を表示する、命令を含み、前記一次ディスプレイを介して前記仮想オブジェクトの前記第2の部分を表示することは、
    前記仮想オブジェクトの前記第2の部分が前記一次ディスプレイのエッジから所定の距離内にあるという判定に従って、前記仮想オブジェクトの前記第2の部分に視覚効果を適用することを含む、非一時的なコンピュータ可読記憶媒体。
  18. 1つ以上のプロセッサと、
    二次ディスプレイを介して仮想オブジェクトの第1の部分を表示する手段と、
    一次ディスプレイを介して前記仮想オブジェクトの第2の部分を表示する手段とを備え、前記一次ディスプレイを介して前記仮想オブジェクトの前記第2の部分を表示することは、
    前記仮想オブジェクトの前記第2の部分が前記一次ディスプレイのエッジから所定の距離内にあるという判定に従って、前記仮想オブジェクトの前記第2の部分に視覚効果を適用することを含む、システム。
  19. 1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイ、前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイ、及び三次ディスプレイを含むヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて、
    前記HMDデバイスの前記一次ディスプレイ及び前記HMDデバイスの前記二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信することと、
    前記方向情報の受信に応じて、
    前記二次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記二次ディスプレイを介して方向情報の第1の表現を表示し、
    前記三次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記三次ディスプレイを介して方向情報の第2の表現を表示することとを含み、
    前記第1の表現は、CGR環境内の仮想オブジェクトであり、
    前記第2の表現は、前記CGR環境内の仮想オブジェクトではない、方法。
  20. 前記オブジェクトは、物理的環境に位置する物理的オブジェクトである、請求項19に記載の方法。
  21. 前記オブジェクトは、仮想環境に位置する仮想オブジェクトである、請求項19に記載の方法。
  22. 方向情報の前記第1の表現は、前記二次ディスプレイを介して表示される前記オブジェクトの第1の表現であり、前記方法は、
    前記二次ディスプレイを介して方向情報の前記第1の表現を表示している間、前記オブジェクトが前記HMDデバイスの前記一次ディスプレイの前記視野内にあることを検出することと、
    前記オブジェクトが前記一次ディスプレイの前記視野内にあることを検出したことに応じて、前記一次ディスプレイを介して前記オブジェクトの第2の表現を表示することとを更に含み、
    前記二次ディスプレイを介して表示される前記オブジェクトの前記第1の表現は、前記オブジェクトの第1のモデルに基づいて表示され、
    前記一次ディスプレイを介して表示される前記オブジェクトの前記第2の表現は、前記オブジェクトの第2のモデルに基づいて表示され、前記オブジェクトの前記第2のモデルは、前記オブジェクトの前記第1のモデルよりも多くの視覚的特徴を含む、請求項19から21のいずれか一項に記載の方法。
  23. 前記一次ディスプレイは導波路ディスプレイであり、前記二次ディスプレイは有機発光ダイオードディスプレイであり、前記三次ディスプレイは複数の発光ダイオードである、請求項19から22のいずれか一項に記載の方法。
  24. 前記第1の表現は静的表現であり、
    前記第2の表現は動的表現である、請求項19から23のいずれか一項に記載の方法。
  25. 前記第1の表現及び前記第2の表現のうちの1つ以上は勾配を含む、請求項19から24のいずれか一項に記載の方法。
  26. 前記一次ディスプレイは前記二次ディスプレイと重なる、請求項19から25のいずれか一項に記載の方法。
  27. 前記二次ディスプレイを介して前記第1の表現を表示している間、前記一次ディスプレイを介して、方向情報の前記第1の表現及び方向情報の前記第2の表現とは異なる前記オブジェクトの表現を表示することを更に含む、請求項19から26のいずれか一項に記載の方法。
  28. 前記HMDデバイスの前記一次ディスプレイ及び前記HMDデバイスの前記二次ディスプレイの視野内にあるオブジェクトの位置に対応する方向情報を受信することと、
    前記HMDデバイスの前記一次ディスプレイ及び前記HMDデバイスの前記二次ディスプレイの前記視野内にある前記オブジェクトの前記位置に対応する前記方向情報を受信したことに応じて、前記一次ディスプレイを介して前記オブジェクトの第5の表現を表示せずに、前記二次ディスプレイを介して前記オブジェクトの第4の表現を表示することと、
    前記オブジェクトと対話するための要求を受信することと、
    前記オブジェクトと対話するための前記要求を受信したことに応じて、
    前記一次ディスプレイを介して前記オブジェクトの前記第5の表現を表示ことと、
    前記二次ディスプレイを介して前記オブジェクトの前記第4の表現を表示することを停止することと、を更に含む、請求項19から27のいずれか一項に記載の方法。
  29. 前記第1の表現及び前記第2の表現が表示されている間、
    前記第1の表現は、前記二次ディスプレイを介して、前記一次ディスプレイに対する対応する方向にある第1の位置に表示され、
    前記第2の表現は、前記三次ディスプレイを介して、前記一次ディスプレイに対する対応する前記方向にある第2の位置に表示されない、請求項19から28のいずれか一項に記載の方法。
  30. 前記三次ディスプレイは前記二次ディスプレイの第1の部分を囲む、請求項19から29のいずれか一項に記載の方法。
  31. 前記三次ディスプレイは、前記二次ディスプレイの第2の部分を囲まないが、前記二次ディスプレイの前記第1の部分を囲む、請求項30に記載の方法。
  32. ヘッドマウントディスプレイ(HMD)デバイスであって、
    1つ以上の画像センサと、
    視野全体に広がり、第1の解像度を有する一次ディスプレイと、
    前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、
    三次ディスプレイと、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを備え、前記1つ以上のプログラムは、
    前記HMDデバイスの前記一次ディスプレイ及び前記HMDデバイスの前記二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信し、
    前記方向情報の受信に応じて、
    前記二次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記二次ディスプレイを介して方向情報の第1の表現を表示し、
    前記三次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記三次ディスプレイを介して方向情報の第2の表現を表示する、命令を含み、
    前記第1の表現は、CGR環境内の仮想オブジェクトであり、
    前記第2の表現は、前記CGR環境内の仮想オブジェクトではない、HMDデバイス。
  33. ヘッドマウントディスプレイ(HMD)デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、
    前記HMDデバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを有し、前記1つ以上のプログラムは、
    前記HMDデバイスの前記一次ディスプレイ及び前記HMDデバイスの前記二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信し、
    前記方向情報の受信に応じて、
    前記二次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記二次ディスプレイを介して方向情報の第1の表現を表示し、
    前記三次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記三次ディスプレイを介して方向情報の第2の表現を表示する、命令を含み、
    前記第1の表現は、CGR環境内の仮想オブジェクトであり、
    前記第2の表現は、前記CGR環境内の仮想オブジェクトではない、非一時的なコンピュータ可読記憶媒体。
  34. 1つ以上のプロセッサと、
    ヘッドマウントディスプレイ(HMD)デバイスの一次ディスプレイ及び前記HMDデバイスの二次ディスプレイの視野外にあるオブジェクトの位置に対応する方向情報を受信する手段と、
    前記方向情報の受信に応じて、
    前記二次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記二次ディスプレイを介して方向情報の第1の表現を表示し、
    前記三次ディスプレイを介して前記オブジェクトの方向情報を表示することが許可されているという判定に従って、前記三次ディスプレイを介して方向情報の第2の表現を表示する手段と、を備え、
    前記第1の表現は、CGR環境内の仮想オブジェクトであり、
    前記第2の表現は、前記CGR環境内の仮想オブジェクトではない、システム。
  35. 1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイ、及び前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイを含むヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて、
    第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出することと、
    前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記HMDデバイスの前記一次ディスプレイの前記視野外の第1の所定の距離内にあるという判定に従って、前記HMDデバイスの前記二次ディスプレイを介して、前記オブジェクトの第1の実際の表現と視覚的に区別される前記オブジェクトの第1の修正された表現を表示することと、を含む、方法。
  36. 第1の修正された表現は、前記第1の実際の表現の視覚的コンテンツとは異なる視覚的コンテンツを有する、請求項35に記載の方法。
  37. 前記第1の修正された表現は、前記第1の位置と前記HMDデバイスの前記一次ディスプレイの前記視野との間の前記距離に基づくサイズを有する、請求項35又は36に記載の方法。
  38. 前記第1の修正された表現は、前記オブジェクトの前記サイズに基づく輝度を有する、請求項35から37のいずれか一項に記載の方法。
  39. 前記第1の修正された表現は、前記第1の実際の表現のぼかしよりも高いぼかしを有する、請求項35から38のいずれか一項に記載の方法。
  40. 前記第1の修正された表現を表示することは、アニメーションを表示することを含む、請求項35から39のいずれか一項に記載の方法。
  41. 前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記一次ディスプレイの前記視野及び前記二次ディスプレイの視野内にあるという判定に従って、
    前記一次ディスプレイを介して、前記オブジェクトの第1の部分の第2の実際の表現を表示することと、
    前記一次ディスプレイを介して前記オブジェクトの前記第1の部分の前記第2の実際の表現を表示している間、前記二次ディスプレイを介して、前記オブジェクトの第2の部分の第2の修正された表現を表示することと、を更に含む、請求項35から40のいずれか一項に記載の方法。
  42. 前記第2の実際の表現は、前記第2の修正された表現よりも高い解像度で表示される、請求項35から41のいずれか一項に記載の方法。
  43. 前記第2の実際の表現は、前記一次ディスプレイのエッジに隣接して表示される、請求項35から42のいずれか一項に記載の方法。
  44. 前記一次ディスプレイを介して前記第2の実際の表現を表示することは、前記第2の実際の表現に視覚効果を適用することを含み、
    前記視覚効果を適用した後の前記オブジェクトの前記第2の実際の表現は、前記視覚効果を適用する前の前記オブジェクトの前記第2の実際の表現のぼかしよりも大きいぼかしを有する、請求項35から43のいずれか一項に記載の方法。
  45. 前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記HMDデバイスの前記一次ディスプレイの前記視野外の、前記第1の所定の距離とは異なる第2の所定の距離内にあるという判定に従って、
    前記一次ディスプレイを介して、前記オブジェクトを位置特定するための方向情報に対応する表現を表示することを更に含み、前記オブジェクトを位置特定するための前記方向情報に対応する前記表現は、前記実際の表現とは異なる、請求項35から44のいずれか一項に記載の方法。
  46. 前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記一次ディスプレイの前記視野内にあり、前記二次ディスプレイの前記視野内にないという判定に従って、
    前記一次ディスプレイを介して前記第1の実際の表現を表示することと、
    前記二次ディスプレイを介して前記第1の修正された表現を表示することを放棄することと、を更に含む、請求項35から45のいずれか一項に記載の方法。
  47. ヘッドマウントディスプレイ(HMD)デバイスであって、
    1つ以上の画像センサと、
    視野全体に広がり、第1の解像度を有する一次ディスプレイと、
    前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを備え、前記1つ以上のプログラムは、
    第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出し、
    前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記HMDデバイスの前記一次ディスプレイの前記視野外の第1の所定の距離内にあるという判定に従って、前記HMDデバイスの前記二次ディスプレイを介して、前記オブジェクトの第1の実際の表現と視覚的に区別される前記オブジェクトの第1の修正された表現を表示する、命令を含む、HMDデバイス。
  48. ヘッドマウントディスプレイ(HMD)デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、
    前記HMDデバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイとを有し、前記1つ以上のプログラムは、
    第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出し、
    前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記HMDデバイスの前記一次ディスプレイの前記視野外の第1の所定の距離内にあるという判定に従って、前記HMDデバイスの前記二次ディスプレイを介して、前記オブジェクトの第1の実際の表現と視覚的に区別される前記オブジェクトの第1の修正された表現を表示する、命令を含む、非一時的なコンピュータ可読記憶媒体。
  49. 1つ以上のプロセッサと、
    第1の位置でコンピュータ生成現実(CGR)環境内のオブジェクトを検出する手段と、
    前記第1の位置で前記CGR環境内の前記オブジェクトを検出したことに応じて、
    前記第1の位置が、前記HMDデバイスの一次ディスプレイの前記視野外の第1の所定の距離内にあるという判定に従って、前記HMDデバイスの二次ディスプレイを介して、前記オブジェクトの第1の実際の表現と視覚的に区別される前記オブジェクトの第1の修正された表現を表示する手段と、を備えるシステム。
  50. 1つ以上のプロセッサと、メモリと、1つ以上の画像センサと、視野全体に広がり、第1の解像度を有する一次ディスプレイ、前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイ、及び三次ディスプレイを含むヘッドマウントディスプレイ(HMD)デバイスとを有するシステムにおいて、
    プロセスのステータスの変化に対応する情報を受信することと、
    前記プロセスの前記変更ステータスに対応する情報を受信したことに応じて、
    第1の基準が満たされているという判定に従って、前記HMDデバイスの前記二次ディスプレイを介して、前記プロセスの前記ステータスに対応する第1の表現を表示ことと、
    第2の基準が満たされているという判定に従って、前記HMDデバイスの前記三次ディスプレイを介して、前記プロセスの前記ステータスに対応する第2の表現を表示することと、を含み、前記第2の表現は前記第1の表現とは異なる、方法。
  51. 前記第1の表現を表示している間、前記二次ディスプレイを介して第1の仮想オブジェクトを同時に表示することを更に含み、
    前記第1の表現は、前記二次ディスプレイを介して表示される前記第1の仮想オブジェクトの少なくとも一部を囲む、請求項50に記載の方法。
  52. 前記第1の表現及び前記第2の表現のうちの1つ以上は、前記一次ディスプレイを介して提示される第3の表現に関連付けられている、請求項50又は51に記載の方法。
  53. 前記第1の表現を表示している間、前記二次ディスプレイを介して第2の仮想オブジェクトを同時に表示することを更に含み、前記第1の表現は、前記二次ディスプレイを介して表示される前記第2の仮想オブジェクトの少なくとも一部を強調表示する、請求項50から52のいずれか一項に記載の方法。
  54. 前記第1の表現及び前記第2の表現のうちの1つ以上は、進捗インジケータを含む、請求項50から53のいずれか一項に記載の方法。
  55. 前記進捗インジケータは、前記HMDデバイスに関連するメトリックの変化を示すように更新される、請求項54に記載の方法。
  56. 前記第1の表現はアプリケーションアイコンを含む、請求項50から55のいずれか一項に記載の方法。
  57. 前記プロセスはアプリケーションに関連付けられ、前記アプリケーションアイコンは、前記プロセスに基づいて更新されるステータスインジケータを含む、請求項56に記載の方法。
  58. 前記第1の表現及び前記第2の表現のうちの1つ以上は、前記1つ以上のセンサのうちの1つ以上に基づいて表示される、請求項50から57のいずれか一項に記載の方法。
  59. 前記1つ以上のセンサは心拍数センサを含み、
    前記情報は、心拍数センサを介して検出されたデータに対応し、
    前記1つ以上のセンサのうちの少なくとも1つに基づいて前記第1の表現及び前記第2の表現のうちの1つ以上を表示することは、心拍数センサを介して検出されたアニメーションベースのデータを表示することを含む、請求項58に記載の方法。
  60. 前記情報は、アプリケーションに対応するアラートに対応し、
    前記第1の表現及び前記第2の表現のうちの1つ以上は、前記アプリケーションに対応する前記アラートに基づいて提示される、請求項50から59のいずれか一項に記載の方法。
  61. 前記情報は、カレンダーイベントに対応するアラートに対応し、
    前記第1の表現及び前記第2の表現のうちの1つ以上は、前記カレンダーイベントに対応する前記アラートに基づいて提示される、請求項50から60のいずれか一項に記載の方法。
  62. 前記情報は、顔認識アルゴリズムを介して取得されたデータに対応し、
    前記第1の表現及び前記第2の表現のうちの1つ以上は、顔認識アルゴリズムを介して取得された前記データに基づいて提示される、請求項50から61のいずれか一項に記載の方法。
  63. 前記情報は、アプリケーションの状態に対応し、
    前記第1の表現及び前記第2の表現のうちの1つ以上は、前記アプリケーションの前記状態に基づいて提示される、請求項50から62のいずれか一項に記載の方法。
  64. 前記情報は、前記検出されたユーザの姿勢に対応し、
    前記第1の表現及び前記第2の表現のうちの1つ以上は、前記HMDデバイスを装着しているユーザの検出された姿勢に基づいて提示される、請求項50から63のいずれか一項に記載の方法。
  65. 前記第1の表現は、ユーザの検出された目の位置に基づいて表示される、請求項50から64のいずれか一項に記載の方法。
  66. ヘッドマウントディスプレイ(HMD)デバイスであって、
    1つ以上の画像センサと、
    視野全体に広がり、第1の解像度を有する一次ディスプレイと、
    前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、
    三次ディスプレイと、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリとを備え、前記1つ以上のプログラムは、
    プロセスのステータスの変化に対応する情報を受信し、
    前記プロセスの前記変更ステータスに対応する情報を受信したことに応じて、
    第1の基準が満たされているという判定に従って、前記HMDデバイスの前記二次ディスプレイを介して、前記プロセスの前記ステータスに対応する第1の表現を表示し、
    第2の基準が満たされているという判定に従って、前記HMDデバイスの前記三次ディスプレイを介して、前記プロセスの前記ステータスに対応する第2の表現を表示する、命令を含み、前記第2の表現は前記第1の表現とは異なる、HMDデバイス。
  67. ヘッドマウントディスプレイ(HMD)デバイスの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、
    前記HMDデバイスは、1つ以上のセンサと、視野全体に広がり、第1の解像度を有する一次ディスプレイと、前記一次ディスプレイに物理的及び電子的に結合されており、前記第1の解像度よりも低い第2の解像度を有する二次ディスプレイと、三次ディスプレイとを有し、前記1つ以上のプログラムは、
    プロセスのステータスの変化に対応する情報を受信し、
    前記プロセスの前記変更ステータスに対応する情報を受信したことに応じて、
    第1の基準が満たされているという判定に従って、前記HMDデバイスの二次ディスプレイを介して、前記プロセスの前記ステータスに対応する第1の表現を表示し、
    第2の基準が満たされているという判定に従って、前記HMDデバイスの前記三次ディスプレイを介して、前記プロセスの前記ステータスに対応する第2の表現を表示する、命令を含み、前記第2の表現は前記第1の表現とは異なる、非一時的なコンピュータ可読記憶媒体。
  68. 1つ以上のプロセッサと、
    プロセスのステータスの変化に対応する情報を受信する手段と、
    前記プロセスの前記変更ステータスに対応する情報を受信したことに応じて、
    第1の基準が満たされているという判定に従って、前記HMDデバイスの二次ディスプレイを介して、前記プロセスの前記ステータスに対応する第1の表現を表示し、
    第2の基準が満たされているという判定に従って、前記HMDデバイスの前記三次ディスプレイを介して、前記プロセスの前記ステータスに対応する第2の表現を表示する手段と、を備え、前記第2の表現は前記第1の表現とは異なる、システム。
JP2023194270A 2019-09-27 2023-11-15 追加のディスプレイを有するデバイスの管理 Pending JP2024023307A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962907207P 2019-09-27 2019-09-27
US62/907,207 2019-09-27
US202063067461P 2020-08-19 2020-08-19
US63/067,461 2020-08-19
JP2021559557A JP7387756B2 (ja) 2019-09-27 2020-08-31 追加のディスプレイを有するデバイスの管理
PCT/US2020/048842 WO2021061350A1 (en) 2019-09-27 2020-08-31 Managing devices having additive displays

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021559557A Division JP7387756B2 (ja) 2019-09-27 2020-08-31 追加のディスプレイを有するデバイスの管理

Publications (1)

Publication Number Publication Date
JP2024023307A true JP2024023307A (ja) 2024-02-21

Family

ID=72560901

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021559557A Active JP7387756B2 (ja) 2019-09-27 2020-08-31 追加のディスプレイを有するデバイスの管理
JP2023194270A Pending JP2024023307A (ja) 2019-09-27 2023-11-15 追加のディスプレイを有するデバイスの管理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021559557A Active JP7387756B2 (ja) 2019-09-27 2020-08-31 追加のディスプレイを有するデバイスの管理

Country Status (6)

Country Link
US (2) US11907420B2 (ja)
EP (1) EP3928191A1 (ja)
JP (2) JP7387756B2 (ja)
KR (1) KR20210138739A (ja)
CN (1) CN113661477A (ja)
WO (1) WO2021061350A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10823970B2 (en) * 2018-08-23 2020-11-03 Apple Inc. Head-mounted electronic display device with lens position sensing
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7081870B2 (en) * 2001-05-09 2006-07-25 Hewlett-Packard Development Company, L.P. Wearable display and method of displaying images using a wearable display
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
EP3256900A4 (en) * 2015-02-12 2018-10-31 Google LLC Combining a high resolution narrow field display and a mid resolution wide field display
CA2991322C (en) * 2015-07-17 2023-07-04 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10810701B2 (en) * 2016-02-09 2020-10-20 Sony Interactive Entertainment Inc. Video display system
CN109643515B (zh) * 2016-08-15 2022-07-12 苹果公司 具有可变分辨率的显示器
KR102563846B1 (ko) * 2016-11-16 2023-08-03 매직 립, 인코포레이티드 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
WO2018183405A1 (en) * 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10949947B2 (en) * 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices

Also Published As

Publication number Publication date
US20240143071A1 (en) 2024-05-02
JP2022526182A (ja) 2022-05-23
JP7387756B2 (ja) 2023-11-28
US20210365113A1 (en) 2021-11-25
WO2021061350A1 (en) 2021-04-01
US11907420B2 (en) 2024-02-20
KR20210138739A (ko) 2021-11-19
EP3928191A1 (en) 2021-12-29
CN113661477A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
US11893964B2 (en) Controlling displays
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
JP2024023307A (ja) 追加のディスプレイを有するデバイスの管理
JP7436505B2 (ja) 仮想オブジェクトの制御
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
CN115413334A (zh) 用于扩展现实系统的多设备连续性
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US11776225B2 (en) Environment application model
KR20240049345A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US11694379B1 (en) Animation modification for optical see-through displays
US20230350539A1 (en) Representations of messages in a three-dimensional environment
US20230334765A1 (en) Techniques for resizing virtual objects
US11783550B2 (en) Image composition for extended reality systems
US20230206572A1 (en) Methods for sharing content and interacting with physical devices in a three-dimensional environment
WO2023009318A1 (en) Method and device for enabling input modes based on contextual state
CN117916691A (zh) 用于基于情境状态启用输入模式的方法和设备
CN118076941A (zh) 用于促进与外围设备进行交互的方法和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231215