JP7459375B2 - ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース - Google Patents

ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース Download PDF

Info

Publication number
JP7459375B2
JP7459375B2 JP2023515028A JP2023515028A JP7459375B2 JP 7459375 B2 JP7459375 B2 JP 7459375B2 JP 2023515028 A JP2023515028 A JP 2023515028A JP 2023515028 A JP2023515028 A JP 2023515028A JP 7459375 B2 JP7459375 B2 JP 7459375B2
Authority
JP
Japan
Prior art keywords
user
electronic device
graphical representation
predetermined
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023515028A
Other languages
English (en)
Other versions
JP2023542628A (ja
Inventor
トーマス エス. ハルバート,
カーリン ワイ. バーク,
ワグナー アルフレート ビー. ウエルゴ,
デ アラウージョ エ シルヴァ, フェリペ バーシム
スン ウク キム,
サード, ウィリアム エー. ソレンティーノ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023542628A publication Critical patent/JP2023542628A/ja
Priority to JP2024043683A priority Critical patent/JP2024096704A/ja
Application granted granted Critical
Publication of JP7459375B2 publication Critical patent/JP7459375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

(関連出願)
本出願は、2020年9月26日出願の米国特許仮出願第63/083,911号の優先権を主張する2021年9月23日出願の米国特許出願第17/483,744号の継続出願であり、これら特許出願のそれぞれは、参照によりその全体が組み込まれる。
(技術分野)
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、コンピュータ生成体験を提供する1つ以上の入力デバイスと、を有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想/拡張現実環境と相互作用するために使用される。例示的な仮想要素は、仮想オブジェクトを含み、デジタル画像、動画、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。
しかし、少なくともいくつかの仮想要素を含む環境(例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境)と相互作用する方法及びインターフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、退屈かつエラーを起こしやすいシステムは、ユーザに対して大きな認知負荷を引き起こし、仮想/拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインターフェースを有するコンピュータシステムが必要とされている。このような方法及びインターフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を任意選択的に補完又は置換することができる。このような方法及びインターフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインターフェースを生成する。
表示生成コンポーネント及び1つ以上の入力デバイスを有するコンピュータシステムのためのユーザインターフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイス(例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス)である。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス(例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス)である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて1つ以上の出力デバイスを有し、出力デバイスは、1つ以上の触知出力生成器及び1つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインターフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び/又は指の接触やジェスチャ、カメラ及び他の動きセンサによってキャプチャされたときのGUI又はユーザの身体に対する空間内のユーザの目及び手の動き、並びに1つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてGUIと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
三次元環境と相互作用するための改善された方法及びインターフェースを備えた電子デバイスが必要とされている。そのような方法及びインターフェースは、三次元環境と相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインターフェースは、ユーザからの入力の数、程度、及び/又は種類を低減し、より効率的なヒューマンマシンインターフェースを生成する。
いくつかの実施形態によれば、方法は、ユーザの身体の所定の部分の上に装着されるように構成された電子デバイスにおいて実行され、電子デバイスは、1つ以上のプロセッサと、メモリと、ユーザの身体の部分とは反対側にて電子デバイス上に配置された表示生成コンポーネントとを有する。本方法は、電子デバイスがユーザの身体の所定の部分の上に装着されている間に、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を表示することを含む。本方法は、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出することを更に含む。本方法は、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出したことに応答して、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することを含む。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、CGR体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのCGR体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、CGR体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、ディスプレイを備えたデバイスを示す図である。
いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。 いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す図である。
いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。 いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。 いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。 いくつかの実施形態による、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供するためのプロセスのフロー図である。
本開示は、いくつかの実施形態による、コンピュータ生成現実(CGR)体験をユーザに提供するユーザインターフェースに関する。
本明細書に記載するシステム、方法、及びGUIは、複数の方法で仮想/拡張現実環境とのユーザインターフェース相互作用を改善する。
いくつかの実施形態では、本明細書に記載するシステム、方法、及びGUIは、表示によって網羅されるユーザの身体のアニメーション化された部分を表示することによって、ユーザ及び周囲環境内の他者に利用可能な視覚情報を改善する。例えば、それらは、コンピューティングシステムとの相互作用をユーザ及び周囲環境内の他者にとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供することをより容易にする。
図1~図6は、CGR体験をユーザに提供するための例示的なコンピュータシステムを説明する。図7A~図7Jは、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための例示的なユーザインターフェースを示す。図8A~図8Dは、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするコンピュータ生成体験をユーザに提供する方法のフロー図を示す。図7A~図7Jのユーザインターフェースを使用して、図8A~図8Dのプロセスを示す。
いくつかの実施形態では、図1に示すように、CGR体験は、コンピュータシステム101を含む動作環境100を介してユーザに提供される。コンピュータシステム101は、コントローラ110(例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ)と、表示生成コンポーネント120(例えば、ヘッドマウントデバイス(HMD)、ディスプレイ、プロジェクタ、タッチスクリーンなど)と、1つ以上の入力デバイス125(例えば、アイトラッキングデバイス130、ハンドトラッキングデバイス140、他の入力デバイス150)と、1つ以上の出力デバイス155(例えば、スピーカ160、触知出力生成器170、及び他の出力デバイス180)と、1つ以上のセンサ190(例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど)と、任意選択的に1つ以上の周辺デバイス195(例えば、家電製品、ウェアラブルデバイスなど)と、を含む。いくつかの実施形態では、入力デバイス125、出力デバイス155、センサ190、及び周辺デバイス195のうちの1つ以上は、(例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で)表示生成コンポーネント120と一体化される。
CGR体験を説明するとき、ユーザが感知する、及び/又は(例えば、CGR体験を生成するコンピュータシステムに、CGR体験を生成するコンピュータシステム101に提供される様々な入力に対応するオーディオ、視覚、及び/又は触覚フィードバックを生成させる、コンピュータシステム101によって検出された入力を用いて)ユーザが相互作用することができる、いくつかの関連するが別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境:物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
コンピュータ生成現実:対照的に、コンピュータ生成現実(CGR)環境とは、人々が電子システムを介して感知及び/又は相互作用する、全体的又は部分的にシミュレートされた環境を指す。CGRでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、CGR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調節される。例えば、CGRシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては(例えば、アクセス性の理由から)、CGR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、CGRオブジェクトを感知し、かつ/又はCGRオブジェクトと相互作用してもよい。例えば、人は、3D空間において点音源の知覚を提供する、3D又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ/又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのCGR環境では、人は、オーディオオブジェクトのみを感知し、かつ/又はそれと相互作用し得る。
CGRの例としては、仮想現実及び複合現実が挙げられる。
仮想現実:仮想現実(VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された、シミュレートされた環境を指す。VR環境は、人が感知かつ/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
複合現実:複合現実(MR)環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された、シミュレートされた環境を指す。仮想の連続体上では、複合現実環境は、一方の完全な物理的環境と、他方の仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(即ち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対する位置及び/又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実:拡張現実(AR)環境とは、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた、シミュレートされた環境を指す。例えば、AR環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される、シミュレートされた環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図(例えば、視点)を付与するように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更(例えば、拡大)することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想:拡張仮想(AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境から1つ以上の感覚入力を組み込んだ、シミュレートされた環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア:人が様々なCGR環境を感知し、及び/又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(heads-up displays、HUD)、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、(例えば、コンタクトレンズと同様に)人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境のオーディオをキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィック画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ110は、ユーザのCGR体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ110は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。コントローラ110については、図2を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ110は、シーン105(例えば、物理的環境)に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ110は、シーン105内に位置するローカルサーバである。別の例では、コントローラ110は、シーン105の外側に位置するリモートサーバ(例えば、クラウドサーバ、中央サーバなど)である。いくつかの実施形態では、コントローラ110は、1つ以上の有線又は無線通信チャネル144(例えば、BLUETOOTH、IEEE802.11x、IEEE802.16x、IEEE802.3xなど)を介して、表示生成コンポーネント120(例えば、HMD、ディスプレイ、プロジェクタ、タッチスクリーンなど)と通信可能に結合される。別の例では、コントローラ110は、表示生成コンポーネント120(例えば、HMD、又はディスプレイ及び1つ以上のプロセッサなどを含むポータブル電子デバイス)、入力デバイス125のうちの1つ以上、出力デバイス155のうちの1つ以上、センサ190のうちの1つ以上、及び/又は周辺デバイス195のうちの1つ以上の筐体(例えば、物理的ハウジング)内に含まれる、又は上記のうちの1つ以上と同じ物理的筐体又は支持構造体を共有する。
いくつかの実施形態では、表示生成コンポーネント120は、CGR体験(例えば、CGR体験の少なくとも視覚的コンポーネント)をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント120は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント120について、図3を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ110の機能は、表示生成コンポーネント120によって提供される、及び/又は表示生成コンポーネント120と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント120は、ユーザがシーン105内に仮想的及び/又は物理的に存在している間に、CGR体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部(例えば、自身の頭部や自身の手など)に装着される。したがって、表示生成コンポーネント120は、CGRコンテンツを表示するために提供された1つ以上のCGRディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント120は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント120は、CGRコンテンツを提示するように構成されたハンドヘルドデバイス(スマートフォン又はタブレットなど)であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン105に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体(例えば、三脚)上に配置される。いくつかの実施形態では、表示生成コンポーネント120は、ユーザが表示生成コンポーネント120を装着又は保持しない状態でCGRコンテンツを提示するように構成されたCGRチャンバ、筐体、又は部屋である。CGRコンテンツを表示するための1つのタイプのハードウェア(例えば、ハンドヘルドデバイス又は三脚上のデバイス)を参照して説明される多くのユーザインターフェースは、CGRコンテンツを表示するための別のタイプのハードウェア(例えば、HMD又は他のウェアラブルコンピューティングデバイス)上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるCGRコンテンツとの相互作用を示すユーザインターフェースは、相互作用がHMDの前の空間で発生し、CGRコンテンツの応答がHMDを介して表示されるHMDと同様に実施され得る。同様に、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するハンドヘルド又は三脚搭載デバイスの動きに基づいてトリガされたCRGコンテンツとの相互作用を示すユーザインターフェースは、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するHMDの動きによって引き起こされるHMDと同様に実施され得る。
動作環境100の関連する特徴が図1に示されているが、当業者は、本明細書に開示される例示的な実施形態のより関連のある態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図2は、いくつかの実施形態による、コントローラ110の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより関連のある態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ110は、1つ以上の処理ユニット202(例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、中央処理ユニット(CPU)、処理コアなど)、1つ以上の入出力(I/O)デバイス206、1つ以上の通信インターフェース208(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、グローバル移動通信システム(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、グローバル測位システム(GPS)、赤外線(IR)、BLUETOOTH、ZIGBEE、又は同様のタイプのインターフェース)、1つ以上のプログラミング(例えば、I/O)インターフェース210、メモリ220、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス204を含む。
いくつかの実施形態では、1つ以上の通信バス204は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス206は、キーボード、マウス、タッチパッド、ジョイスティック、1つ以上のマイクロフォン、1つ以上のスピーカ、1つ以上の画像センサ、1つ以上のディスプレイなどのうちの少なくとも1つを含む。
メモリ220は、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)、ダブルデータレートランダムアクセスメモリ(double-data-rate random-access memory、DDR RAM)、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ220は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ220は、1つ以上の処理ユニット202から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ220は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ220、又はメモリ220の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム230及びCGR体験モジュール240を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム230は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、CGR体験モジュール240は、1人以上のユーザに対する1つ以上のCGR体験(例えば、1人以上のユーザに対する単一のCGR体験、又は1人以上のユーザの各グループに対する複数のCGR体験)を管理及び調整するように構成されている。その目的で、様々な実施形態では、CGR体験モジュール240は、データ取得ユニット242、トラッキングユニット244、調整ユニット246、及びデータ送信ユニット248を含む。
いくつかの実施形態では、データ取得ユニット242は、データ(例えば、提示データ、相互作用データ、センサデータ、場所データなど)を、少なくとも、図1の表示生成コンポーネント120、及び任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上から取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット242は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット244は、シーン105をマッピングし、図1のシーン105に対する少なくとも表示生成コンポーネント120、及び任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上の位置を追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット244は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット244は、ハンドトラッキングユニット245及び/又はアイトラッキングユニット243を含む。いくつかの実施形態では、ハンドトラッキングユニット245は、図1のシーン105に対する、表示生成コンポーネント120に対する、及び/又はユーザの手に対して定義された座標系に対する、ユーザの手の1つ以上の部分の位置、及び/又はユーザの手の1つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット245について、図4に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット243は、シーン105に対する(例えば、物理的環境及び/又はユーザ(例えば、ユーザの手)に対する)、又は表示生成コンポーネント120を介して表示されるCGRコンテンツに対する、ユーザの視線(又は、より広範にはユーザの目、顔、又は頭部)の位置及び動きを追跡するように構成される。アイトラッキングユニット243について、図5に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット246は、表示生成コンポーネント120によって、及び任意選択的に、出力デバイス155及び/又は周辺デバイス195のうちの1つ以上によって、ユーザに提示されるCGR体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット246は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット248は、データ(例えば、提示データ、位置データなど)を少なくとも表示生成コンポーネント120、及び任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット248は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット242、トラッキングユニット244(例えば、アイトラッキングユニット243及びハンドトラッキングユニット245を含む)、調整ユニット246、及びデータ送信ユニット248が、単一のデバイス(例えば、コントローラ110)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット242、トラッキングユニット244(例えば、アイトラッキングユニット243及びハンドトラッキングユニット245を含む)、調整ユニット246、及びデータ送信ユニット248の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図2は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図2に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図3は、いくつかの実施形態による、表示生成コンポーネント120の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより関連のある態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、HMD120には、1つ以上の処理ユニット302(例えば、マイクロプロセッサ、ASIC、FPGA、GPU、CPU、処理コアなど)、1つ以上の入出力(I/O)デバイス及びセンサ306、1つ以上の通信インターフェース308(例えば、USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、赤外線、BLUETOOTH、ZIGBEE、及び/又は同様のタイプのインターフェース)、1つ以上のプログラミング(例えば、I/O)インターフェース310、1つ以上のCGRディスプレイ312、1つ以上の任意の内向き及び/又は外向き画像センサ314、メモリ320、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス304、が含まれる。
いくつかの実施形態では、1つ以上の通信バス304は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス及びセンサ306は、慣性測定装置(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理的センサ(例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間など)などのうちの少なくとも1つを含む。
いくつかの実施形態では、1つ以上のCGRディスプレイ312は、ユーザにCGR体験を提供するように構成される。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、ホログラフィック、デジタル光処理(DLP)、液晶ディスプレイ(LCD)、液晶オンシリコン(LCoS)、有機発光電界効果トランジスタ(OLET)、有機発光ダイオード(OLED)、表面伝導型電子放射素子ディスプレイ(SED)、電界放射ディスプレイ(FED)、量子ドット発光ダイオード(QD-LED)、MEMS、及び/又は同様のディスプレイタイプに相当する。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、HMD120は、単一のCGRディスプレイを含む。別の実施例では、HMD120は、ユーザの各目用のCGRディスプレイを含む。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、MR又はVRコンテンツを提示することができる。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、MR又はVRコンテンツを提示することができる。
いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される(及び、アイトラッキングカメラと称する場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの手(単数又は複数)及び任意選択的にユーザの腕(単数又は複数)の少なくとも一部に対応する画像データを取得するように構成される(及び、ハンドトラッキングカメラと称される場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、HMD120が存在しない場合にユーザが視認するシーンに対応する画像データを取得するように、前方を向くように構成される(及び、シーンカメラと称される場合がある)。1つ以上の任意選択的な画像センサ314は、(例えば、相補型金属酸化膜半導体(CMOS)画像センサ若しくは電荷結合デバイス(CCD)画像センサを備えた)1つ以上のRGBカメラ、1つ以上の赤外線(IR)カメラ、1つ以上のイベントベースのカメラ、及び/又は同様のもの、を含むことができる。
メモリ320は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ320は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ320は、1つ以上の処理ユニット302から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ320は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ320、又はメモリ320の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム330及びCGR提示モジュール340を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム330は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、CGR提示モジュール340は、1つ以上のCGRディスプレイ312を介してCGRコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、CGR提示モジュール340は、データ取得ユニット342、CGR提示ユニット344、CGRマップ生成ユニット346、及びデータ送信ユニット348を含む。
いくつかの実施形態では、データ取得ユニット342は、少なくとも図1のコントローラ110からデータ(例えば、提示データ、相互作用データ、センサデータ、位置データなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット342は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、CGR提示ユニット344は、1つ以上のCGRディスプレイ312を介してCGRコンテンツを提示するように構成される。その目的で、様々な実施形態では、CGR提示ユニット344は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、CGRマップ生成ユニット346は、メディアコンテンツデータに基づいて、CGRマップ(例えば、複合現実シーンの3Dマップ又はコンピュータ生成現実を生成するためにコンピュータ生成オブジェクトを配置することができる物理的環境のマップ)を生成するように構成される。その目的で、様々な実施形態では、CGRマップ生成ユニット346は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット348は、少なくともコントローラ110、及び任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上にデータ(例えば、提示データ、位置データなど)を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット348は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット342は、CGR提示ユニット344、CGRマップ生成ユニット346、及びデータ送信ユニット348は、単一のデバイス(例えば、図1の表示生成コンポーネント120)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット342、CGR提示ユニット344、CGRマップ生成ユニット346、及びデータ送信ユニット348の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図3は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図3に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図4は、ハンドトラッキングデバイス140の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス140(図1)は、ハンドトラッキングユニット245(図2)によって制御されて、ユーザの手の1つ以上の部分の位置、及び/又は図1のシーン105に対する(例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成コンポーネント120に対する、又はユーザの部分(例えば、ユーザの顔、目、若しくは頭部)に対する、及び/又はユーザの手に対して定義された座標系に対するユーザの手の1つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成コンポーネント120の一部である(例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる)。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成コンポーネント120とは別個である(例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる)。
いくつかの実施形態では、ハンドトラッキングデバイス140は、人間のユーザの少なくとも手406を含む三次元シーン情報をキャプチャする画像センサ404(例えば、1つ以上のIRカメラ、3Dカメラ、深度カメラ、及び/又はカラーカメラなど)を含む。画像センサ404は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手の画像をキャプチャする。画像センサ404は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ404はまた、手406の2Dカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ404は、シーン105の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン105の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ404は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の動きがコントローラ110への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ404は、3Dマップデータ(及び場合によってはカラー画像データ)を含むフレームのシーケンスをコントローラ110に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインターフェース(API)を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント120を駆動する。例えば、ユーザは、手408を移動させ、手の姿勢を変更することによって、コントローラ110上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ404は、手406を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ110は、パターンのスポットの横方向シフトに基づいて、三角測量によって(ユーザの手の表面上の点を含む)シーン内の点の3D座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は装着する必要がないという点で有利である。これは、画像センサ404からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ404は、シーン内の点の深度座標が画像センサによって測定されたz成分に対応するように、直交する一連のx、y、z軸を定義すると想定される。あるいは、ハンドトラッキングデバイス440は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の3Dマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス140は、ユーザが手(例えば、手全体又は1本以上の指)を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ404及び/又はコントローラ110内のプロセッサ上で動作するソフトウェアは、3Dマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース408に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手の関節及び指先の3D位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び/又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が2つ(又はそれ以上)のフレーム毎に1回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のAPIを介して、コントローラ110上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び/又はジェスチャ情報に応答して、表示生成コンポーネント120上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ110に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース408は、同様に、コントローラ110に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアに実装されてもよい。コントローラ110は、例として、画像センサ440からの別個のユニットとして図4に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス402のハウジング内の専用回路によって、又は他の方法で画像センサ404に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、(例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて)表示生成コンポーネント120と一体化された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の好適なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ404の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図4は、いくつかの実施形態による、画像センサ404によってキャプチャされた深度マップ410の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手406に対応するピクセル412は、このマップで背景及び手首からセグメント化されている。深度マップ410内の各ピクセルの輝度は、深度値、即ち、画像センサ404からの測定されたz距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ110は、人間の手の特徴を有する画像の成分(即ち、隣接ピクセル群)を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図4はまた、いくつかの実施形態による、コントローラ110が手406の深度マップ410から最終的に抽出する手の骨格414を概略的に示す。図4では、骨格414は、元の深度マップからセグメント化された手の背景416に重畳される。いくつかの実施形態では、手(例えば、指関節、指先、掌の中心、手首に接続する手の終端など)、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格414上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び動きがコントローラ110によって使用されて、いくつかの実施形態により、手によって実行される手のジェスチャ又は手の現在の状態を判定する。
図5は、アイトラッキングデバイス130(図1)の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス130は、アイトラッキングユニット243(図2)によって制御されて、シーン105に対する、又は表示生成コンポーネント120を介して表示されるCGRコンテンツに対するユーザの視線の位置及び動きを追跡する。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成コンポーネント120と一体化される。例えば、いくつかの実施形態では、表示生成コンポーネント120がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのCGRコンテンツを生成するコンポーネント及びCGRコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成コンポーネント120とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はCGRチャンバである場合、アイトラッキングデバイス130は、任意選択的に、ハンドヘルドデバイス又はCGRチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス130は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス130はヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス130はヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント120は、ユーザの目の前に左及び右の画像を含むフレームを表示して、3D仮想ビューをユーザに提供するディスプレイ機構(例えば、左右の目近傍ディスプレイパネル)を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ(本明細書では接眼レンズと称される)を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする1つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図5に示すように、いくつかの実施形態では、視線トラッキングデバイス130は、少なくとも1つのアイトラッキングカメラ(例えば、赤外線(IR)又は近IR(NIR)カメラ)、並びに光(例えば、IR又はNIR光)をユーザの目に向けて発する照明源(例えば、LEDのアレイ若しくはリングなどのIR又はNIR光源)を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射IR又はNIR光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにIR又はNIR光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス130は、任意選択的に、ユーザの目の画像を(例えば、1秒当たり60~120フレーム(fps)でキャプチャされるビデオストリームとして)キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ110に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、対応するアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス130は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境100用のアイトラッキングデバイスのパラメータ、例えば、LED、カメラ、ホットミラー(存在する場合)、接眼レンズ、及びディスプレイスクリーンの3D幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、AR/VR機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目のパラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目の間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス130についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図5に示すように、アイトラッキングデバイス130(例えば、130A又は130B)は、接眼レンズ(単数又は複数)520と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも1つのアイトラッキングカメラ540(例えば、赤外線(IR)又は近IR(NIR)カメラ)と、光(例えば、IR又はNIR光)をユーザの目(単数又は複数)592に向かって発する照明源530(例えば、NIR発光ダイオード(LED)のアレイ若しくはリングなどのIR又はNIR光源)とを含む視線追跡システムと、を含む。アイトラッキングカメラ540は、ユーザの目(単数又は複数)592とディスプレイ510(例えば、ヘッドマウントディスプレイの左若しくは右のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど)との間に位置し、(例えば、図5の上部に示すように)可視光を透過させながら、目(単数又は複数)592からのIR又はNIR光を反射するミラー550に向けられてもよく、あるいは、(例えば、図5の下部に示すように)ユーザの目(単数又は複数)592からの反射されたIR又はNIR光を受け取るようにユーザの目(単数又は複数)592に向けられてもよい。
いくつかの実施形態では、コントローラ110は、AR又はVRフレーム562(例えば、左及び右のディスプレイパネルの左及び右のフレーム)をレンダリングし、フレーム562をディスプレイ510に提供する。コントローラ110は、様々な目的のために、例えば、表示のためにフレーム562を処理する際に、アイトラッキングカメラ540からの視線追跡入力542を使用する。コントローラ110は、任意選択的に、グリント支援方法又は他の好適な方法を使用して、アイトラッキングカメラ540から得られた視線追跡入力542に基づいて、ディスプレイ510上のユーザの視点を推定する。視線追跡入力542から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ110は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ110は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ARアプリケーションにおける別の例示的な使用事例として、コントローラ110は、CGR体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ510上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ520は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目592の収束に一致するために適切な両目連動を有するように接眼レンズ520の焦点を調節する。コントローラ110は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ520を方向付けて焦点を調節することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ(例えば、ディスプレイ510)、2つの接眼レンズ(例えば、接眼レンズ(単数又は複数)520)、アイトラッキングカメラ(例えば、アイトラッキングカメラ(単数又は複数)540)、及び光源(例えば、光源530(例えば、IR LED又はNIR LED))を含むヘッドマウントデバイスの一部である。光源は、ユーザの目(単数又は複数)592に向かって光(例えば、IR又はNIR光)を発する。いくつかの実施形態では、光源は、図5に示すように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、8つの光源530(例えば、LED)が、一例として各レンズ520の周りに配置される。しかしながら、より多くの又はより少ない光源530が使用されてもよく、光源530の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ510は、可視光範囲内の光を発し、IR又はNIR範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ(単数又は複数)540の位置及び角度は例として与えられおり、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、ユーザの顔の各側に位置する単一のアイトラッキングカメラ540。いくつかの実施形態では、2つ以上のNIRカメラ540をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野(FOV)を有するカメラ540と狭いFOVを有するカメラ540が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、1つの波長(例えば、850nm)で動作するカメラ540と異なる波長(例えば、940nm)で動作するカメラ540とが、ユーザの顔の各側に使用されてもよい。
図5に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び/又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び/又は拡張仮想の体験をユーザに提供することができる。
図6は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム(例えば、図1及び図5に示すようなアイトラッキングデバイス130)によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図6に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、610で開始される処理のために視線追跡パイプラインに入力される。要素600に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒60~120フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
610で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素640に進む。610で、追跡状態がいいえである場合、620に示すように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。630で、瞳孔とグリントが正常に検出される場合、方法は要素640に進む。正常に検出されない場合、方法は要素610に戻り、ユーザの目の次の画像を処理する。
640で、要素410から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。640で、要素630から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素640での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。650で、結果が信頼できない場合、追跡状態は、いいえに設定され、方法は要素610に戻り、ユーザの目の次の画像を処理する。650で、結果が信頼できる場合、方法は要素670に進む。670で、追跡状態は、はいに設定され(まだはいではない場合)、瞳孔及びグリント情報が要素680に渡されて、ユーザの視点を推定する。
図6は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現存するか、又は将来開発される他のアイトラッキング技術が、様々な実施形態によるCGR体験をユーザに提供するためにコンピュータシステム101において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が1つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が1つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインターフェース及び関連するプロセス
ここで、ユーザインターフェース(「UI」)の実施形態、並びに、表示生成コンポーネント、1つ以上の入力デバイス、及び(任意選択的に)1つ以上のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図7A~図7Jは、いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図8A~図8Dのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム112を有するデバイス上で実行される操作を参照して議論される。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ450上で図に示すユーザインターフェースを表示する間にタッチ感知面451上の接触を検出したことに応じて、ディスプレイ450及び別々のタッチ感知面451を有するデバイス上で実行される。
図7Aは、いくつかの実施形態による、ディスプレイを備えたデバイスを示す。いくつかの実施形態では、デバイス700は、コンピュータシステム301である。いくつかの実施形態では、デバイス700は、ディスプレイ712(例えば、タッチ感知ディスプレイ)及び側面入力ボタン702を含む。いくつかの実施形態では、デバイス700は、ウェアラブルデバイス(例えば、ウォッチ、ヘッドセットなど)である。デバイス700は、ユーザによって装着されるように設計されたバンド706に取り付けられる(例えば、装着される)。
図7B~図7Jは、いくつかの実施形態による、ユーザの身体に対するデバイスの表示を更新するための例示的なユーザインターフェースを示す。図7は、2つのタトゥ、すなわち太陽タトゥ716及び星タトゥ714を含むユーザの腕を示す。腕は、タトゥが腕の異なる部分に位置することを示すために、腕の上からの第1の斜視図と、腕の内側を見る第2の斜視図とを含む2つの異なる斜視図から示されている。以下の説明では、タトゥは、タトゥに対するデバイス700の調節(例えば、デバイス700の位置の調節)に基づくユーザインターフェース特徴を示すために使用される。ユーザは、デバイス700が以下のユーザインターフェースを提供するためにタトゥを有する必要はない。例えば、以下の説明は、ユーザによって装着されたときにデバイスによって覆われる、ユーザの任意の身体部分又は身体特徴(例えば、目、眉、髪、顔、そばかすなど)に適用される。「タトゥ」を指す説明は、ユーザの任意の他の身体部分又は身体特徴を指すこともできる。
図7Cは、ユーザの腕の第1の位置に装着される、デバイス700に取り付けられる、又はそれと一体化された、バンド706を示す。ユーザの腕の第1の位置において、デバイス700は、星タトゥ714の一部分を覆い、デバイス700のディスプレイ712は、デバイス700によって覆われているユーザの腕の物理的特徴のグラフィック表現を表示する。例えば、図7C及び図7Dにおいて、グラフィック表現を表示することは、デバイス700によって覆われている星タトゥ714の一部に対応するアニメーション化されたバージョンの星タトゥ(例えば、アニメーション化された星タトゥ718の一部)を表示することを含む。より具体的には、図7Cでは、星の先端のうちの2つのグラフィック表現が、デバイス700によって、2つの星の先端がユーザの腕に現れるおおよその位置に(例えば、ユーザがデバイス700を通して見ることができるかのように)表示される。アニメーション化された星タトゥ718に加えて、ディスプレイ712はまた、デバイス700によって覆われているユーザの腕の一部分のグラフィック表現をも表示する。ユーザの腕のグラフィック表現は、任意選択でアニメーション化され、その場合、デバイス700のディスプレイ712は、ユーザの腕のアニメーション化されたバージョンを表示する。このようにして、ディスプレイ712は、ディスプレイ712によって覆われているユーザの腕の部分(例えば、星タトゥ714の部分を含む)を表示する。
いくつかの実施形態では、バンド706は、ユーザの身体上に配置された後に調節可能(例えば、移動可能)である。例えば、ユーザは、図7Cから図7Dへの変化によって示すように、バンド706を左に(例えば、ユーザの手に向かって)移動させる。バンド706は、左に移動される、右に移動される、上に移動される(例えば、垂直に、腕から離れるように)、下に移動される(例えば、腕に向かって)、回転される、又はこれらの動きの任意の組み合わせを含む、複数の方法で調節することができる。バンド706が調節される(例えば、かつデバイス700がユーザの身体に対して移動される)、アニメーション化された星タトゥ718の表示部分及びユーザの腕のグラフィック表現は、デバイス700の現在位置に対応するように更新される。例えば、デバイス700が星タトゥ714のより大きな部分を覆うように移動されると、アニメーション化された星タトゥ718のより大きな部分が表示される。
図7Dは、図7Cに示す第1の位置の左に(例えば、手に向かって)移動された後の、ユーザの腕の第2の位置にあるバンド706を示す。ディスプレイ712は、デバイス700が覆うユーザの腕の新しい部分(例えば、ユーザの手首)を表示するように更新される。更に、デバイス700及びそのディスプレイ712は、ここで、星タトゥ714を完全に覆う(例えば、重なる)。ディスプレイ712は、星タトゥ714がデバイス700に対して相対的である位置に、アニメーション化された星タトゥ718を(例えば、リアルタイムで)表示する。いくつかの実施形態では、グラフィック表現のアニメーションを生成するために、1つ以上の視覚効果がグラフィック表現(例えば、アニメーション化された星タトゥ718)に重ね合わされる(又は適用される)。例えば、1つ以上の視覚効果は、グラフィック表現(例えば、アニメーション化された星タトゥ718)を移動させ、サイズを増大させ、回転させ、点滅させ、フェードさせ、ぼかし、及び/又は色を変化させる。いくつかの実施形態では、アニメーション化された動きは、デバイスによって覆われる身体部分(又は身体特徴)に基づく。例えば、デバイスがユーザの目及び/又は眉を覆う場合、アニメーションは、目が動くこと、まばたきすること、及び/又は焦点若しくは視線方向を変更すること、及び/又は眉が動くこと(例えば、様々な表情を示すために)を含む。
図7Eは、ユーザの身体上のデバイス700の位置を変更するためにユーザがバンド706を回転させることを示す。例えば、ユーザは、ディスプレイがユーザの手首の上部を覆うように、バンドを回転させる。いくつかの実施形態では、ユーザがバンド706を回転させると、デバイス700は、デバイス700及びそのディスプレイ712が現在覆っているユーザの身体の部分のグラフィック表現を表示するように、ディスプレイ712を更新し続ける。いくつかの実施形態では、ユーザがバンド706を回転させると、デバイス700は、図7Eのディスプレイ712の陰影によって示すように、(例えば、アニメーションにおいて)経時的に変化するディスプレイのフェード、ぼかし、又は暗化などのアニメーションを生成する。いくつかの実施形態では、生成されたアニメーションは、ディスプレイ712全体に適用される。いくつかの実施形態では、生成されたアニメーションは、ディスプレイの一部(例えば、アニメーション化された星タトゥ718を含む部分)に適用される。例えば、デバイス700は、ディスプレイ712上のアニメーション化された星タトゥ718をぼかす(又は暗くする)。
図7Fは、第3の位置に回転された後のバンド706を示し、ディスプレイ712は、太陽タトゥ716を含むユーザの身体の部分に重なる。ディスプレイ712は、太陽タトゥ720及びデバイス712の下にあるユーザの腕の部分の外観のグラフィック表現を表示するように更新される。グラフィック表現は、任意選択的に、アニメーション化された太陽タトゥ720を含む。いくつかの実施形態では、アニメーション化された太陽タトゥ720は、太陽タトゥ716とは異なる色である。図7Dを参照して説明するように、いくつかの実施形態では、デバイス700は、ディスプレイ712上で、タトゥを移動させ、サイズを増大させ、回転させ、点滅させ、及び/又は色を変化させるようにアニメーション化する。いくつかの実施形態では、アニメーション化された太陽タトゥ720のアニメーションは、アニメーション化された星タトゥ718のアニメーションとは異なるアニメーションである。
図7Gは、太陽タトゥ716を含むユーザの腕の部分を覆うディスプレイ712の別の斜視上面図を示す。上面図から、アニメーション化された太陽タトゥ720がディスプレイ712上に表示される。図7Gは、(例えば、バンドを取り外すために)ユーザがバンド706をユーザの腕から持ち上げることを示す。
図7Hは、ユーザの身体から取り外されつつあるときのデバイス700を示す。いくつかの実施形態では、バンド706をユーザの腕から持ち上げたことに応じて、ディスプレイ712は、アニメーション(例えば、図7Eに記載されるバンドを回転させるためのアニメーションとは異なるアニメーション)を示す。図7Hに示すように、デバイス700の動きは、表示されているタトゥ716のグラフィック表現720の全てよりも少ないサブセットのみをもたらしている。別の例では、バンド706の異なる動きは、(例えば、動きの方向及び向きに基づいて)異なるアニメーションを生成する。例えば、デバイスがユーザの身体から離れる(例えば、取り外される)につれて、アニメーションは、ディスプレイ712上に現在表示されているコンテンツの少なくとも一部のぼかしアニメーションを含む。更に別の例では、デバイスがユーザの身体から離れる(例えば、取り外される)と、デバイスは、ユーザの身体の所定の部分のグラフィック表現の少なくとも一部を徐々に不明瞭にする(例えば、その特性が、デバイスとユーザの身体の所定の部分との間の距離が変化するにつれて変化する、オーバーレイを用いて)。デバイスがユーザの腕から持ち上げられると、ディスプレイ712は、デバイス700が現在重なっているユーザの身体の部分に対応するように、アニメーション化された太陽タトゥ720の部分を更新し続ける。
図7Iでは、デバイス700は、(例えば、デバイスをユーザの手に向かってスライドさせ、デバイスを腕から引き離すことによって)ユーザの身体から取り外され続ける。ディスプレイ712は、デバイスによって覆われているユーザの身体の部分に対応するユーザの身体の部分の外観のグラフィック表現を表示し続ける。デバイス700は、図7Hを参照して説明するように、(例えば、表示をぼかすことによって)ディスプレイ712をアニメーション化し続ける。図7Iに見られるように、デバイス700は、もはや、太陽タトゥ716を含むユーザの腕の部分と重なっておらず、したがって、ディスプレイ712は、もはや、アニメーション化された太陽タトゥ720を含むグラフィック表現を表示しない。
図7Jでは、(例えば、バンド706上に搭載される)デバイス700は、ユーザの腕から取り外されている。いくつかの実施形態では、デバイス700がユーザの身体から取り外されているという判定に従って、ディスプレイ712が更新される。いくつかの実施形態では、ディスプレイ712は暗くなる(例えば、陰影を増加させる、又は色を変化させる)。いくつかの実施形態では、ディスプレイ712はオフになる。
図8A~図8Dは、いくつかの実施形態による、所定の入力ジェスチャを使用して三次元環境と相互作用するための例示的な方法800のフローチャートである。いくつかの実施形態では、方法800は、表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)と、1つ以上のカメラ(例えば、カメラ(例えば、ユーザの手元で下方に向く又はユーザの頭部から前方に向くカメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ))と、を含む、電子デバイス又はウェアラブル電子デバイスとも呼ばれるコンピュータシステム(例えば、図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法800は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法800のいくつかの動作は、任意選択的に組み合わされ、及び/又はいくつかの動作の順序は、任意選択的に変更される。
以下で説明するように、方法800は、コンピューティングシステムとの相互作用をユーザにとってより効率的かつ直観的にするために、コンピュータ生成された体験をユーザに提供する直観的な方法を提供する。本方法は、デバイスの位置を調節することに関連付けられたアクションを実行する間に提供される視覚的フィードバックを改善する。バッテリ動作式電子デバイスの場合、デバイスをユーザ入力に対してより応答性があるように見せることは、電力を節約し、バッテリ充電間の時間を増加させる。改善された視覚的フィードバックは、(例えば、デバイスを操作する/デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって)デバイスの操作性を更に向上させる。
いくつかの実施形態では、電子デバイスは、ユーザの手首に近い若しくは隣接するユーザの腕の部分、又はユーザの目など、ユーザの身体の所定の部分の上に装着されるように構成される。いくつかの実施形態では、電子デバイスの表示生成コンポーネントは、ユーザの身体の所定の部分に最も近いデバイスの側部とは反対側のデバイスの側部又は表面上にて、電子デバイス上に配置される。例えば、図7B~図7Jでは、ディスプレイ712は、ユーザの腕の部分に最も近い電子デバイスの側部とは反対側の電子デバイスの側部又は表面に配置され、外向き(ユーザの身体から離れる方向)に向いている。電子デバイスがユーザの身体の所定の部分の上に装着されている間、電子デバイスは、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を表示する(802)。
いくつかの実施形態では、グラフィック表現は、ユーザの身体の所定の部分に対応する身体部分の外観のシミュレートされた表現又は模写であり、これは身体部分の外観の現実的にレンダリングされた表現又は身体部分の外観の戯画化された表現(例えば、身体部分の外観の1つ以上の特徴を意図的に単純化し、及び/又は身体部分の外観の1つ以上の特徴を意図的に誇張する身体部分の外観のグラフィック表現)であってもよい。例えば、図7C~図7Hに示すように、ユーザの腕の外側部分及びユーザの腕にあるタトゥーのグラフィック表現が、デバイス700に表示される。いくつかの実施形態では、グラフィック表現は、(例えば、ディスプレイ上のグラフィック表現に視覚効果を適用することによって)アニメーション化される。いくつかの実施形態では、ユーザの身体の所定の部分は、ユーザの顔の少なくとも一部を含む。
例えば、電子デバイスは、(例えば、ユーザの頭部に装着されるように構成された)ヘッドセット又はヘッドマウントディスプレイ(HMD)であり、これは外向き(ユーザの身体から離れる方向)の表示生成コンポーネントを含み、ユーザの身体の所定の部分は、ユーザの目、眉、鼻、口、髪、そばかす、眼鏡、及び/又はユーザの顔に存在する任意の他の特徴を含む。例えば、HMDの表示生成コンポーネントは、HMDがユーザの目(及び/又は他の特徴)の上に装着されると、ユーザの目(及び/又は他の特徴)のグラフィック表現を表示する。いくつかの実施形態では、ユーザの目のグラフィック表現はアニメーション化されて、ユーザの目のグラフィック表現がまばたき(又はウインク)して見えるように、サイズを変化させる(例えば、ユーザの目のグラフィック表現が、より大きく又はより小さくなる)ように、又は別様に、異なる顔の表情を示すようにされる(例えば、ユーザの眉のグラフィック表現が、ユーザの目のグラフィック表現の位置に対して上昇又は下降する)。
電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出する(804)。電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出したことに応答して、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正する(806)。例えば、図7C~図7Hに示すように、デバイス700がユーザの腕に対して調節される(例えば、再配置される)と、ディスプレイ712上のグラフィック表現は、ユーザの腕の部分及びデバイス700によって現在覆われているタトゥの部分を表示するように更新される。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出する。
例えば、HMDは、ユーザがHMDをユーザの頭部に置くとき、ユーザがHMDをユーザの頭部から取り外すとき、及びHMDがユーザの頭部にある間にユーザがHMDを調節するとき、例えば、HMDをユーザの顔(及び目)から引き離す、HMDを(ユーザの目の上の所定の位置に配置されたHMDに対応する中立位置に対して)左右に移動させる、及びHMDを上下に移動させるとき(又はこれらの移動の任意の組み合わせ)を含む、複数の状況において、ユーザの目に対して位置を変化させる。いくつかの実施形態では、HMDがこれらの方法のいずれかで位置を変化させているという判定に従って、HMD上の表示生成コンポーネントは、HMD上に表示されるユーザの目のグラフィック表現を修正するように更新される。以下に説明するように、ユーザの目のグラフィック表現に対する修正は、ユーザの目に対するHMDの位置の変化又は調節の種類に基づく(例えば、対応する)。
電子デバイスの背後に隠れているユーザの身体の一部を示すようにディスプレイを更新することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対してどこに位置しているか、ユーザの身体のその部分が覆われてユーザ(又は周囲環境内の他者)に見えない場合であっても、それを知るためのより直感的な方法を提供する。これは、電子デバイスの背後に何があるかを想像又は推測するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスの位置の検出された変化は、ユーザの身体の所定の部分から離れるデバイスの動きである(808)。例えば、図7G~図7Hは、ユーザの腕から引き離されているときのデバイス700を示す。いくつかの実施形態では、ユーザの身体の所定の部分から離れるデバイスの動きは、ユーザの身体から電子デバイスを取り外すことなく、ユーザの身体から離れるように電子デバイスを移動させることを含む。いくつかの実施形態では、検出された位置の変化は、ユーザの身体の所定の部分から離れるデバイスの動きとして始まり、デバイスがユーザの身体から少なくとも閾値距離離れた位置にあるという判定に従って、検出された位置の変化は、ユーザの身体からデバイスを取り外すことに対応する。
ユーザの目の上に装着されるように構成されるHMDの上記の例によれば、いくつかの実施形態では、ユーザは、ユーザの目から離れるようにHMDを移動させる(例えば、ユーザの顔から離れるようにHMDを前方に引っ張る)。いくつかの実施形態では、ユーザは、HMDをユーザの頭部から取り外すことなく、HMDをユーザの目から離して移動させる。例えば、ユーザは、ユーザの顔とHMDとの間により多くの空間(例えば、より大きな距離)を生じさせる。いくつかの実施形態では、ユーザは、HMDをユーザの顔から(例えば、真っ直ぐ前方を見ているユーザの顔に対して、HMDを左、右、上、又は下に移動させることなく)真っ直ぐに引き離す。
ユーザの身体に対する電子デバイスの動きを追跡することは、電子デバイスによって隠されているユーザの身体の部分のより正確な表現を提供する。電子デバイスによって隠されているユーザの身体の部分の表現を正確に表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、ユーザの身体に対して電子デバイスがどこに位置しているか、ユーザの身体又は少なくともユーザの身体の前述の部分が覆われてユーザに見えない場合であっても、それを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従ってグラフィック表現を修正することは、ユーザの身体の所定の部分から所定の距離だけ離れたところで、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部(又は全部)の表示を停止することを含む(810)。例えば、図7Jに示すように、ディスプレイ712は、デバイスがユーザの腕から(例えば、少なくとも所定の距離だけ)離れると、ユーザの腕のグラフィック表現を表示するのを停止する。例えば、上で説明したように、位置の変化が、デバイスが少なくとも閾値量(身体から離れた所定の距離)だけ離れた後にユーザの身体からデバイスを取り外すことに対応するとき、デバイスは、身体部分の外観のグラフィック表現の少なくとも一部を表示するのを停止する。
ユーザの目の上に装着されるように構成されるHMDの上記の例において、いくつかの実施形態では、ユーザは、HMDをユーザの頭部から取り外すことによって、HMDの位置を変更する。いくつかの実施形態では、HMDがユーザの目から所定の距離だけ取り外されたという判定に従って、表示生成コンポーネントは、ユーザの目のグラフィック表現を表示するのを停止する。
電子デバイスが取り外されたときにユーザの身体の一部の表現を表示するのを停止することは、電子デバイスがユーザの身体から取り外されたこと、かつデバイスがユーザの身体の一部から取り外されたときにディスプレイがユーザの身体の一部の表現をもはや表示しないことを、ユーザ及びディスプレイを見ている周囲環境内の他者に示す直感的な遷移を提供する。これは、ユーザの身体に対する電子デバイスの現在位置を認識するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対する(ユーザの身体の所定の部分に対応する身体部分の外観の)グラフィック表現の少なくとも一部の位置を維持することを含む(812)。例えば、電子デバイスの位置が変化する間、電子デバイスは、ユーザの身体の解剖学的特徴のグラフィック表現を、ユーザの身体のその解剖学的特徴に対して同じ位置に維持する(例えば、ユーザの目又は腕のグラフィック表現は、解剖学的特徴を覆う位置で表示生成コンポーネント上に表示されたままであるように更新又は移動される)。例えば、図7C~図7Dに示すように、デバイス700がユーザの腕の異なる部分に調節されると、デバイスの現在位置に対応するユーザの腕の部分のグラフィック表現がディスプレイ712上に表示される。したがって、デバイス700が星タトゥ714を完全に覆うように移動すると、アニメーション化されたバージョンの星タトゥ718が生成され、ユーザの腕の上の星タトゥ714の位置に対応する位置に表示され、したがって、アニメーション化されたバージョンの星タトゥ718は、デバイス700が移動するにつれて、星タトゥ714の位置に一致し続け、それを覆い続ける。
ユーザの目の上に装着されるように構成されるHMDの上記の例によれば、いくつかの実施形態では、ユーザがユーザの目に対してHMDを移動させる(例えば、調節する)と、表示生成コンポーネントは、ユーザの目のグラフィック表現を、(HMDによって現在カバーされている)ユーザの目の現在位置に対応するディスプレイ上の位置に表示するように更新される。例えば、ユーザがHMDをユーザの左に移動させると、ユーザの目のグラフィック表現は、(例えば、表示生成コンポーネントを見ている第三者には)HMDとともに移動しないように見える。代わりに、ユーザの目のグラフィック表現は、ユーザの実際の目の前の位置に対応する一定の位置に留まるように見える。したがって、ユーザがHMDをユーザの顔上の異なる場所に移動させても、ユーザの目のグラフィック表現は、表示生成コンポーネントを見ている第三者には、ユーザの目が現在HMDによって覆われていない場合にユーザの目が見られるであろう位置に現れる。
電子デバイスがユーザの身体の異なる部分を覆うように移動するときに、ユーザの身体の部分のグラフィック表現内の特徴の相対位置を維持することは、ユーザ、及びディスプレイを見ている周囲環境内の他者が、ユーザの身体が覆われてユーザに見えない場合であっても、ユーザの身体に対して電子デバイスがどこに位置するかを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の全てよりも少ないサブセットを含むように、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を(例えば、徐々に)修正することを含む(814)。グラフィック表現のそのような修正の例は図7Hに示されており、図7Hに関して上で論じられている。別の例では、グラフィック表現は、電子デバイスがユーザの身体の所定の部分に対して位置を変えるにつれて、より抽象的になる(例えば、あまり詳細でなくなる)。
いくつかの実施形態では、ユーザの身体の所定の部分の外観のグラフィック表現は、ユーザの身体の複数の解剖学的特徴(例えば、目、眉、鼻、口、タトゥ)のグラフィック表現(例えば、描写)を含む。いくつかの実施形態では、ユーザの身体の所定の部分のグラフィック表現の全てよりも少ないサブセットを含むように表示されたグラフィック表現を修正することは、複数の解剖学的特徴のグラフィック表現の数を減らすこと(例えば、複数の解剖学的特徴における解剖学的特徴のグラフィック表現のうちの1つ以上を排除すること)を含む。
いくつかの実施形態では、ユーザの身体の所定の部分のグラフィック表現の全てよりも少ないサブセットを含むように表示されたグラフィック表現を修正することは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化がユーザの身体の所定の部分(から離れる)第1の方向に沿っているという判定に従って実行される(例えば、修正することは、ユーザが電子デバイスを取り外している間に行われる)。例えば、グラフィック表現は、電子デバイスがユーザの身体から離れるように移動されるにつれて、ユーザの身体の所定の部分のあまり詳細でないバージョン(より少ない特徴又はあまり詳細でない特徴を有する)を示す。
例えば、ユーザがHMDをユーザの目から離れるように移動させる(例えば、HMDをユーザの顔から離れるように前方に引っ張る)と、ユーザの目のグラフィック表現は、より詳細でなくなる。例えば、HMDが中立位置に(例えば、ユーザの顔に適切に配置されて)配置されると、グラフィック表現は、ユーザの目のグラフィック表現及びユーザの眉のグラフィック表現(及び/又はユーザの目に関連する他の特徴のグラフィック表現又はユーザの目を取り囲むユーザの顔のグラフィック表現)を含む。HMDが(例えば、ユーザがHMDをユーザの顔から引き離すことによって)ユーザの目から更に離れるように移動されると、グラフィック表現は、(例えば、グラフィック表現内にある1つ以上の特徴を除去するか又は不明瞭にすることによって)より抽象的になるように更新される。例えば、グラフィック表現は、修正されたグラフィック表現がユーザの眉のグラフィック表現のみを含むように、ユーザの目のグラフィック表現の表示を控えるように更新される。別の実施例では、グラフィック表現は、ユーザの目のグラフィック表現の表示を目の簡略化されたグラフィック表現(例えば、目の線画、目のシミュレートされた三次元表現の代わりの目の二次元表現、及び/又は、5、10、若しくは256色などのより多くの色を伴う目の表現の代わりの目のモノトーン又は2トーン表現)と置換するように更新される。
いくつかの実施形態では、方法は、ユーザの身体の所定の部分に対する電子デバイスの位置の後続の変化を検出することを含み、ユーザの身体の所定の部分に対する電子デバイスの位置の後続の変化は、第1の方向と反対である。例えば、後続の変化は、電子デバイスをユーザの身体に近づけること(例えば、電子デバイスをユーザの身体の上に置くこと)を含む。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の後続の変化に応答して、ユーザの身体の解剖学的特徴のグラフィック表現の数を増加させる(例えば、ユーザが電子デバイスをユーザの身体の所定の部分から離れるように移動させている間に行われた表示されたグラフィック表現の修正(単数又は複数)を反転させる)。例えば、グラフィック表現は、電子デバイスがユーザの身体のより近くに移動されるにつれて、(より多くの特徴又はより詳細な特徴を有する)ユーザの身体の所定の部分のより詳細を示す。
例えば、ユーザがHMDをユーザの目から引き離した後、ユーザは、その後、HMDを反対方向に(例えば、ユーザの目に向かって戻るように)持ってくる。ユーザがHMDをユーザの顔(及び目)のより近くに移動させると、ユーザの眉のみを含んだ(かつユーザの目のグラフィック表現ではない)修正されたグラフィック表現は、修正されたグラフィック表現内に存在する詳細のレベルを増加させるように更新される。例えば、修正されたグラフィック表現は、ユーザがHMDをユーザの顔に近づけるにつれて、ユーザの眉のグラフィック表現のみを表示する状態から、ユーザの目及びユーザの眉を含むグラフィック表現を表示する状態に更新される。
ユーザの身体の所定の部分のより詳細でない(又はより詳細な)表現を徐々に表示することは、電子デバイスがユーザの身体から遠く離れて(又は近くに)移動しているかどうかを視覚的に示し、これは、ユーザの身体の所定の部分が覆われてユーザに見えない場合であっても、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体にどの程度近接して位置しているかを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の検出された変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部を不明瞭にすることを含む(816)。例えば、図7G~図7Hを参照して上述したように、デバイス700がユーザの腕に対して位置を変える(例えば、ユーザの腕から離れるように移動される)と、ディスプレイ712は、図7Hに示すユーザの腕及びアニメーション化された太陽タトゥ720のグラフィック表現を(例えば、オーバーレイを用いて)不明瞭にする。任意選択的に、不明瞭にすることの1つ以上の視覚特性(例えば、ぼかし、輝度、彩度、コントラストなどのうちの1つ以上)は、デバイスとユーザの身体の所定の部分との間の距離が変化するにつれて変化する。
いくつかの実施形態では、表示されたグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が、ユーザの身体の所定の部分から離れる第2の方向(例えば、第1の方向とは異なる)に沿っているという判定に従って実行される。
例えば、上記で説明したように、ユーザが、(例えば、HMDを左、右、上、又は下に移動させることなく)HMDを顔から真っ直ぐに引き離すことによって、HMDをユーザの顔から離れるように移動させると、グラフィック表現は、より詳細でなくなるように更新される。いくつかの実施形態では、ユーザがHMDを上などの別の方向に(例えば、HMDがユーザの目の上のユーザの額に配置されるかのように)移動させると、グラフィック表現は、グラフィック表現に適用される視覚効果を表示するように修正される。いくつかの実施形態では、修正されたグラフィック表現は、グラフィック表現の不明瞭にされたバージョンである(例えば、グラフィック表現の少なくとも一部のフェード、ぼかし、又はビネットによって生成される)。例えば、ユーザがHMDを上方に移動させることによって、HMDの位置が変化するにつれて、ユーザの目のグラフィック表現はぼかされる。動きの個別の方向又はタイプに従って特定の視覚効果を生成することを説明する記述は単なる例であり、本明細書に説明される視覚効果(又は視覚効果の組み合わせ)のいずれも、電子デバイスが任意の他の可能な方向に移動されるときにグラフィック表現に適用され得ることが理解されよう。更に、以下でより詳細に説明するように、複数の方向におけるHMDの動き(例えば、左、上、及び離れる方向における成分を伴う動き)は、視覚効果の組み合わせをもたらし、各視覚効果は、個別の移動方向に対応する。
電子デバイスがユーザの身体に対して移動していることを示すためにユーザの身体の一部の表現の不明瞭にされたビューを表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直観的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態において、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部をフェードアウトさせることを含む(818)。例えば、いくつかの実施形態では、不明瞭にすることは、グラフィック表現の周辺部分をフェードアウトさせることによって(例えば、輝度及び/又は彩度を低減することによって)、グラフィック表現にビネット効果を適用することを含む。
上記の例に続いて、いくつかの実施形態では、ユーザがHMDを上などの別の方向に(例えば、HMDがユーザの目の上のユーザの額に配置されるかのように)移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にフェードアウト視覚効果を適用するように修正される。例えば、ユーザがHMDを上方に移動させることによってHMDの位置が変化するにつれて、ユーザの目(例えば、及び/又は眉)のグラフィック表現はフェードされる。
電子デバイスがユーザの身体に対して移動していることを示すためにユーザの身体の一部の表現のフェードされたビューを表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスの位置がユーザの身体に対して又はユーザの身体の所定の部分に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態において、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部をぼかすことを含む(820)。
上記の例に続いて、いくつかの実施形態では、ユーザがHMDを左などの別の方向に移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にぼかし効果を適用するように修正される。例えば、ユーザがHMDを左に移動させることによってHMDの位置が変化するにつれて、ユーザの目(例えば、及び/又は眉)のグラフィック表現はぼかされる。
電子デバイスがユーザの身体又はユーザの身体の所定の部分に対して移動していることを示すために、ユーザの身体の部分の表現のぼかされたビューを表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直観的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態において、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を不明瞭にすることは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現をビネットにすることを含む(822)。
上記の例に続いて、ユーザがHMDを右に移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にビネット効果を適用するように修正される。例えば、ユーザがHMDを右に移動させることによってHMDの位置が変化するにつれて、ユーザの目(例えば、及び/又は眉)のグラフィック表現は、ユーザの目のグラフィック表現の中心が焦点が合っているように見える一方で、ユーザの目のグラフィック表現の外側部分は、ぼやけて、フェードされて、及び/又は(色が)あまり濃くないように見える、ビネット効果を伴って表示される。
電子デバイスがユーザの身体に対して移動していることを示すために、ユーザの身体の所定の部分のグラフィック表現上にオーバーレイされたビネット効果を表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、ユーザが電子デバイスを装着する前に、ユーザが電子デバイスを装着している間に、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を(例えば、アニメーション化されたグラフィック表現として)表示する(824)。いくつかの実施形態では、グラフィック表現の表示は、グラフィック表現の(例えば、視覚効果をグラフィック表現に適用することによる)修正バージョンである。例えば、グラフィック表現は、デバイスが移動するにつれて、暗くされるか、ぼかされるか、又は移動する(例えば、アニメーション化する)ように見える。いくつかの実施形態では、電子デバイスは、ステップ826を参照して以下に説明するように、電子デバイスがユーザの身体の所定の部分から所定の距離内にあるという判定に従って、ユーザが電子デバイスを装着していると判定する。
いくつかの実施形態では、ユーザがHMDを(例えば、物理的特徴の表現が個別の外観で表示される位置として指定され、任意選択で、HMDがAR又はVR環境を見るためのAR又はVRビューイングデバイスとして機能する位置である、ユーザの頭部の所定の位置(例えば、使用位置、操作位置、又は適切な位置)に)装着すると、ユーザの目のグラフィック表現がHMDの表示生成コンポーネント上に現れる。例えば、HMDの表示生成コンポーネントは、(例えば、HMDがユーザの頭部上の所定の位置に到達する前に)ユーザの目のグラフィック表現の修正バージョンを表示する。例えば、HMDが依然として調節されている(例えば、所定の位置に移動されている)ことを示すために、ユーザの目のグラフィック表現の不明瞭にされたバージョン(例えば、暗くされたバージョン)が表示される。いくつかの実施形態では、ユーザがHMDをユーザの頭部に装着しているときにHMDが位置を変えるにつれて、ユーザの目のグラフィック表現を目が移動する(例えば、目で見回す)ように表示するなど、ユーザの目のグラフィック表現のアニメーション化されたバージョンが表示される。
電子デバイスがユーザの身体上の適所に配置されると、電子デバイスによって現在隠されているユーザの身体の部分の表現を表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者に、電子デバイスがユーザの身体上に配置されつつあること、かつ電子デバイスが電子デバイスによって覆われているユーザの身体の部分を表示するためにディスプレイを更新し続けることになることを示す、直観的な遷移を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分から所定の距離だけ離れたところで、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の表示を開始する(826)。例えば、電子デバイスは、電子デバイスがユーザの身体の所定の部分に近接する(例えば、3インチ以内、又は6インチ以内)まで、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を表示しない。いくつかの実施形態では、電子デバイスは、1つ以上のセンサ(例えば、図3B~図3Cのカメラ(単数又は複数)311及び/又は姿勢センサ(単数又は複数)312)を使用して、ユーザの身体の所定の部分からの距離を決定する。
いくつかの実施形態では、ユーザがHMDを(例えば、物理的特徴の表現が個別の外観で表示される位置として指定され、任意選択で、HMDがAR又はVR環境を見るためのAR又はVRビューイングデバイスとして機能する位置である、ユーザの頭部の所定の位置に)装着すると、ユーザの目のグラフィック表現は、HMDがユーザの頭部の所定の位置から所定の距離内(例えば、ユーザの目の上)になった後にのみ、HMDの表示生成コンポーネント上に現れる。例えば、表示生成コンポーネントは、HMDがユーザによって持ち上げられたときにはユーザの目のグラフィック表現を表示しない。ユーザがHMDをユーザの目に向かって移動させ続けると、HMDがユーザの目に十分に近い(例えば、所定の距離内にある)(例えば、所定の位置にある)という判定に従って、表示生成コンポーネントは、ユーザの目のグラフィック表現(又は、上で説明された不明瞭にされたバージョンなどの、ユーザの目のグラフィック表現の修正バージョン)を表示し始める。
電子デバイスがユーザの身体に十分に接近すると、電子デバイスによって隠されているユーザの身体の部分のグラフィック表現の表示を開始することは、ユーザ及びディスプレイを見ている周囲環境内の他者に、電子デバイスがユーザの身体に接近していること、及びディスプレイが電子デバイスによって覆われているユーザの身体の部分を表示するようにディスプレイを更新し続けることになることを示す、直観的な遷移を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化を検出し(828)、電子デバイスの位置の第2の変化は、ユーザの身体の所定の部分に向かうものである。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化を検出することに応答して、徐々に、経時的に、又はユーザの身体の所定の部分に向かう位置の変化の進行に従って、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化に従ってユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正する。いくつかの実施形態では、グラフィック表現は、電子デバイスがユーザの身体の一部から所定の距離内にあるという判定に従って、初期状態で最初に表示される。いくつかの実施形態では、所定の距離に達する前にはグラフィック表現は表示されない。例えば、ディスプレイは、グラフィック表現を表示する前は、別のユーザインターフェースを表示する、ブランクにされる/暗くされる、又はオフにされる。ユーザが電子デバイスを装着すると、電子デバイスは、ユーザが電子デバイスを装着するにつれて、グラフィック表現をぼかす、フェードインさせる、ビネットを低減する、又は抽象化のレベルを低減することによって、最終状態のグラフィック表現(例えば、ユーザの身体の所定の部分のグラフィック表現)を表示することに徐々に遷移する。
いくつかの実施形態では、ユーザがHMDを(例えば、物理的特徴の表現が個別の外観で表示される位置として指定され、任意選択で、HMDがAR又はVR環境を見るためのAR又はVRビューイングデバイスとして機能する位置である、ユーザの頭部の所定の位置に)装着すると、ユーザの目のグラフィック表現が表示生成コンポーネント上に徐々に現れる。例えば、HMDが移動した距離に従ってより明確になる(例えば、より焦点が合う)ように、グラフィック表現のフェードインなどの1つ以上の視覚効果がグラフィック表現に適用される。例えば、HMDが所定の位置に近づけられるほど、グラフィック表現はより焦点が合うようになる。このようにして、ユーザの目のグラフィック表現は、HMDが所定の位置に配置されるまで修正されて(例えば、ぼかされて、暗くされて、又は他の方法で不明瞭にされて)見え、その時点で、ユーザの目のグラフィック表現は修正されずに(例えば、ユーザの目の修正されていないグラフィック表現が所定の輝度及び所定の量の詳細(及び焦点)で表示される中立位置に)見える。
電子デバイスがユーザの身体に対して位置を変えるにつれて、ユーザの身体の一部の表現の表示を徐々に更新して、より表現に詳細を示すことは、電子デバイスがユーザの身体のより近くに移動していることを示す直感的な遷移効果を提供し、これにより、ユーザ及びディスプレイを見ている周囲環境内の他者は、デバイスが調節されていながらも、電子デバイスがユーザの身体に対してどこに位置するかを知ることができる。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、電子デバイスがユーザの身体の所定の部分に向かって移動するにつれて、より多い数の解剖学的特徴のグラフィック表現を含むように、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を(例えば、徐々に)修正することを含む(830)。例えば、グラフィック表現は、デバイスがユーザの身体の所定の部分のより近くに移動されるにつれて、より抽象的でなくなる(例えば、より詳細になる)。
例えば、ユーザがHMDをユーザの目に向かって移動させる(例えば、HMDを内向きに移動させてユーザの顔に近づける)につれて、ユーザの目のグラフィック表現は徐々に(例えば、HMDがユーザの目に近づくにつれて)より多くの詳細を含むようになる。例えば、グラフィック表現は、ユーザの目のグラフィック表現に加えて、グラフィック表現であるユーザの眉(及び/又はユーザの目を関連付けさせた他の特徴若しくはユーザの目を取り囲むユーザの顔のグラフィック表現)などの追加の特徴を表示する。いくつかの実施形態では、より詳細なグラフィック表現を表示することは、焦点が合った(ぼかされていない又はフェードされていない)グラフィック表現を表示することを含む。いくつかの実施形態では、グラフィック表現は、ユーザの目に対するHMDの移動量(例えば、移動距離)に比例して、より詳細になるように修正される。例えば、HMDがユーザの目に近づけられるにつれて、グラフィック表現は徐々に不明瞭さが少なくなる。
デバイスがユーザの身体に近づくにつれてディスプレイ上により多くの特徴を示すユーザの身体の表現のより詳細なビューを徐々に表示することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、ユーザの身体が覆われてユーザに見えない場合であっても、電子デバイスがユーザの身体に近づいていることを知るための直感的な方法を提供する。これは、電子デバイスの下に何があるかを想像するための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部をフェードインさせることを含む(832)。
上記の例に続いて、いくつかの実施形態では、ユーザが、下向き(例えば、HMDがユーザの頭/額の上部から移動され、ユーザの目の上に引き下げられるかのように)又はユーザの目に向かって(例えば、ユーザの顔に近づくように内向きに)などの別の方向にHMDを移動させると、グラフィック表現は、グラフィック表現の少なくとも一部にフェードイン視覚効果を適用するように修正される。例えば、ユーザがHMDを下方及び/又は内側に移動させることによってHMDの位置が変化すると、ユーザの目(例えば、及び/又は眉)のグラフィック表現がフェードインする(例えば、フェード状態から非フェード状態に変わる)。
表現であるユーザの身体の部分のビューをフェードインさせるための視覚効果を提供することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直観的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部のぼかしを減少させることを含む(834)。
上記の例に続いて、いくつかの実施形態では、ユーザがHMDを右などの別の方向に(ユーザの目に向かって)(例えば、HMDがユーザの目の左に位置し、右に移動されユーザの目の上に装着されるかのように)移動させると、グラフィック表現は、グラフィック表現の少なくとも一部に対するぼかし視覚効果を低減するように修正される。例えば、ユーザがHMDを右に(かつユーザの目に向かって)移動させることによってHMDの位置が変化するにつれて、ユーザの目(例えば、及び/又は眉)のグラフィック表現は、ぼかしが少なくなる(例えば、より焦点が合う)。
ユーザの身体の一部の表現の上に表示されるぼかし効果を低減することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現を修正することは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現のビネット効果を低減することを含む(836)。
上記の例に続いて、いくつかの実施形態では、ユーザがHMDを左などの別の方向に(例えば、HMDがユーザの目の右に位置し、左に移動されてユーザの目の上に装着されるかのように)移動させると、グラフィック表現は、グラフィック表現の少なくとも一部に対するビネット効果を低減するように修正される。例えば、ユーザがHMDを右に(かつユーザの目に向かって)移動させることによってHMDの位置が変化すると、ユーザの目(例えば、及び/又は眉)のグラフィック表現は、ビネット効果が低減されて表示される(例えば、グラフィック表現のディスプレイの外側部分に適用されるビネット/ぼかしは、グラフィック表現全体が焦点が合って表示されるように除去される)。
ユーザの身体の部分の表現の上に表示されるビネット効果を低減することは、ユーザ及びディスプレイを見ている周囲環境内の他者が、電子デバイスがユーザの身体に対して調節されていることを知るための直感的な方法を提供する。これは、電子デバイスが調節されていることを知るための、ユーザ及び周囲環境内の他者に対する認知負荷を減少させることによって、ウェアラブルデバイスと相互作用する体験を改善する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
上記の例では、HMDの動きは、ユーザの目に対する動きの方向(上、下、左、右)によって定義される。例えば、ステップ816~822に関連付けられた例では、特定の効果に関連付けられた動きの方向は、その特定の効果に対するステップ830~836に関連付けられた例とは反対方向の動きから生成される。これは、HMDがユーザの目から離れて左に移動されるとき、より不明瞭なグラフィック表現が表示される一方で、ユーザの目に向かう(かつHMDの中立位置に戻る)右へのHMDの移動は、より不明瞭でないグラフィック表現を生成するためである。したがって、不明瞭なグラフィック表現は、HMDがユーザの目から離れるにつれて(ステップ816~822に記載されるように、それが上、下、左、又は右の方向であるかどうかにかかわらず)より不明瞭になり、不明瞭にされたグラフィック表現は、HMDがユーザの目に向かって移動するにつれて(例えば、ステップ830~836に記載されるように)より不明瞭でなくなる(例えば、より鮮明かつより焦点が合う)。ユーザの目のグラフィック表現は、HMDがユーザの目の上の所定の位置に装着されているとき、修正されていない(例えば、鮮明で焦点が合っている)と見なされる。ユーザの目のグラフィック表現は、HMDがその中立位置から離れるように移動されるとき、任意の視覚効果又は視覚効果の組み合わせを使用して不明瞭にされる。
いくつかの実施形態では、ユーザの身体の所定の部分は、ユーザの目(例えば、両目)を含む(838)。上記の例で説明したように、いくつかの実施形態では、電子デバイスは、ユーザの目の上に装着されるように構成されたヘッドセット又はHMDであり、電子デバイスは、ユーザの身体の所定の部分に最も近い(例えば、身体から離れて面する)デバイスの側とは反対の電子デバイスの側又は表面に位置する表示生成コンポーネント上に表示するために、ユーザの目のグラフィック表現を生成する。
ユーザの目が電子デバイスによって覆われているときにユーザの目の表現を表示することは、ユーザの目を見ることができない状態でディスプレイを見ている他者間のより直感的な相互作用を提供する。他者に対してユーザの目のグラフィック表現を表示することによって、他者とユーザとの間の相互作用は、他者がユーザとより関わりがあると感じることを可能にすることにより改善される。他者がユーザの目のグラフィック表現を見ることを可能にすることは、他者に、デバイスを装着しているユーザと対話することがより容易であると感じさせる。改善された視覚的フィードバックをユーザ及び他者に提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの検出された位置の変化は、ユーザの身体の所定の部分に対する電子デバイスの位置の第1の変化である(840)。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化を検出し、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化は、第1の変化と反対である。いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の第2の変化に応答して、ある期間にわたって、又はユーザの身体の所定の部分から離れる第2の位置の変化の進行に従って、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の修正を反転(例えば、徐々に反転)させる。例えば、第1の位置の変化は、電子デバイスをユーザの身体から取り外すこと(例えば、電子デバイスをユーザの身体から離すこと)を含み、第2の位置の変化は、電子デバイスをユーザの身体に装着すること(例えば、電子デバイスをユーザの身体に向かって移動させること)を含む。いくつかの実施形態では、ユーザの身体の所定の部分のグラフィック表現に適用される視覚効果は、2つの位置の(反対の)変化の間で反転される。例えば、デバイスがユーザの身体から取り外されるにつれて、修正は、ユーザの身体のグラフィック表現を徐々に(より少ない詳細を提供するように)抽象化することを含む。次いで、デバイスがユーザの身体に置かれると、修正は、ユーザの身体のグラフィック表現により多くの詳細を徐々に追加することを含む。
いくつかの実施形態では、電子デバイスの位置を調節するためのジェスチャ(又は一連のジェスチャ)は、電子デバイスをユーザの身体に向かって移動させることを含む1つ以上の成分と、電子デバイスをユーザの身体から離れるように移動させることを含む1つ以上の成分とを含む、複数の成分を含む。ジェスチャの複数の成分が動きのタイプの間で交互になるにつれて、グラフィック表現に対する修正は、滑らかに(例えば、流れるように)遷移される。例えば、電子デバイスは、電子デバイスの位置の移動に従って、(電子デバイスが身体の所定の部分から離れるように移動されるにつれて)身体部分の外観のグラフィック表現の修正(例えば、抽象化のレベル)を増加させることと、(デバイスがユーザの身体の所定の部分に向かって移動されるにつれて)身体部分の外観のグラフィック表現の修正を減少させることとの間を滑らかに遷移する。
電子デバイスの位置を調節するためのジェスチャの複数の成分は、例えば、ユーザの身体の所定の部分に対する電子デバイスの垂直アライメントに対する調節、ユーザの身体の所定の部分に対する電子デバイスの水平アライメントに対する調節、電子デバイスとユーザの身体の所定の部分との間の距離に対する調節、及びユーザの身体の所定の部分に対する電子デバイスの向き(例えば、垂直軸及び/又は水平軸に対する傾き)に対する調節、のうちの2つ以上を含み得る。更に、いくつかの実施形態では、複数の成分の各別個の成分に対して、グラフィック表現に対する対応する修正は、ジェスチャのその成分が経時的に変化するにつれて滑らかに遷移される。したがって、ジェスチャの異なる同時成分は、限定することなく、フェード、ぼかし、抽象化、又はビネットなどのグラフィック表現の異なるタイプの修正における同時遷移をもたらし得る。
例えば、ユーザがHMDをユーザの目に対して第1の方向に移動させた後、ユーザは、その後、HMDを反対方向に移動させる。例えば、ユーザは、HMDを上方に(例えば、ユーザの額の上に)移動させることによって、HMDを再配置し、それは、ユーザの目のグラフィック表現を不明瞭にさせ(例えば、ぼかし、フェード、ビネットなど)、ユーザがHMDを上方に再配置した後、ユーザは、HMDを下方に(例えば、ユーザの目の上の位置に戻るように)移動させ、それは、グラフィック表現への修正を取り消すことによって、ユーザの目のグラフィック表現を反対の方に(例えば、より不明瞭でなくなるように)修正させる。このようにして、グラフィック表現は、HMDがユーザの目から離れて再配置されるにつれて、グラフィック表現が1つ以上の視覚効果を使用してより不明瞭になり、HMDがユーザの目の上の所定の位置に再配置されるにつれて、グラフィック表現がその未修正状態に戻るように、動的に修正される(例えば、未修正状態では、グラフィック表現はユーザの目の不明瞭にされていない表現である)。
電子デバイスの動きの方向(又はタイプ)に基づいて修正が増加又は減少するように見えるように、ユーザの身体の表現に対する異なる修正を生成することは、表示される修正に基づいてデバイスがどのように動いているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が第1の方向に沿っているという判定に従って、第1の方式でグラフィック表現を修正する(842)。例えば、電子デバイスの位置の変化は、デバイスをユーザの身体の所定の部分から離れるように移動させること(例えば、デバイスをシフトさせてユーザの目から引き離すこと)を含み、修正は、グラフィック表現に適用される視覚効果、例えばぼかし、ビネットの適用、及び/又はディスプレイ上のユーザの身体の所定の部分(例えば、ユーザの目)の位置(z高さ)の変化を含む。
いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が第1の方向とは異なる(例えば、平行ではない)第2の方向に沿っているという判定に従って、第1の方式とは異なる第2の方式でグラフィック表現を修正する。いくつかの実施形態では、第2の方向は、(第1の軸に沿った)第1の方向とは異なる第3の軸に沿って定義される。このようにして、グラフィック表現に適用される視覚効果は、電子デバイスがどのように移動されるかに依存する。例えば、電子デバイスを傾けることは第1の視覚効果を生成し、電子デバイスをユーザの身体に向かって(又はそこから離れるように)移動させることは(第1の効果とは異なる)第2の視覚効果を生成し、電子デバイスを(例えば、y軸に沿って)上又は下にシフトすることは(第1及び第2の視覚効果とは異なる)第3の視覚効果を生成し、電子デバイスをユーザの身体の所定の部分から取り外すことは第4の視覚効果を生成する。
例えば、ユーザがHMDを傾ける(例えば、HMDの左側を上に移動させる一方でHMDの右側を下に移動させる)ことによってHMDを動かすとき、グラフィック表現は、ユーザの目のグラフィック表現をフェードさせるなど、第1の視覚効果を使用して修正される。ユーザがHMDをユーザの目から(例えば、前方に)引き離すと、グラフィック表現は、ユーザの目のグラフィック表現をぼかすなど、第1の視覚効果とは異なる第2の視覚効果を使用して修正される。ユーザがHMDを上又は下に(例えば、HMDをユーザの額又は鼻の上に配置するために)移動させると、グラフィック表現は、グラフィック表現内に表示される特徴の数を減らす(例えば、ユーザの目のグラフィック表現を示さずにユーザの眉のグラフィック表現を示す)など、第1の視覚効果及び第2の視覚効果とは異なる第3の視覚効果を使用して修正される。ユーザがユーザの頭部からHMDを取り外すと、グラフィック表現は、グラフィック表現がもはや表示されなくなるまでグラフィック表現を(例えば、徐々に)暗くするなど、第4の視覚効果を使用して修正される。どの視覚効果が特定の位置の変化と関連付けられるかの関連付けは、例示的な目的のためだけのものである。(例えば、第1の方向における)第1の位置の変化は、本明細書に説明される1つ以上の視覚効果のいずれかと関連付けられ得ることが理解されるであろう。
各視覚効果が電子デバイスの位置に対する異なる調節を反映するように、電子デバイスの位置がどのように変化しているかに基づく異なる視覚効果をユーザの身体の表現に適用することは、表示される視覚効果に基づいてデバイスがどのように移動しているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化が第1の方向に沿った成分及び第2の方向に沿った成分を有するという判定に従って、第1の方向に沿った成分に基づいて第1の方式でグラフィック表現を修正し、第2の方向に沿った成分に基づいて第2の方式でグラフィック表現を修正する(844)。いくつかの実施形態では、第1の方式での修正及び第2の方式での修正は、上記のように徐々に起こり、同時に起こる(例えば、両方の修正が同時に適用される)。例えば、ユーザが電子デバイス(例えば、ヘッドセット)をユーザの頭部から取り外すと、少なくとも2つの方向、すなわち、ユーザの身体から離れる方向及びユーザの身体の上を下に移動する方向に位置の変化がある。この例では、ユーザが電子デバイスを取り外す際に両方の視覚効果が表示される、例えば、ヘッドセットがユーザの頭部から取り外される際に、(ユーザの身体の下への位置の変化を反映するために)ユーザの目をシフトさせることと、(ユーザの身体から離れる位置の変化を反映するために)ユーザの目をぼかすことの両方が表示される。
いくつかの実施形態では、ユーザは、同時に(例えば、同じ動き内で)複数の方向にHMDを移動させる。複数の方向におけるユーザの動きに応答して、動きの方向の各々に関連付けられた視覚効果が、ユーザの目のグラフィック表現に同時に適用される。例えば、ユーザが、ユーザの目から離れるようにHMDを前方に引っ張り、ユーザの目から離れるようにHMDを上方向に移動させる場合、ユーザの目のグラフィック表現は(例えば、HMDを引き離す際の移動量に比例して)ぼかされ、グラフィック表現内に表示される特徴の数は、(例えば、上方向へのHMDの移動量に比例して)減らされる。いくつかの実施形態では、HMDの(例えば、複数の軸に沿った)位置の変化をもたらす動きの他の組み合わせは、ユーザの目のグラフィック表現に同時に適用される視覚効果の対応する組み合わせを生成する。
視覚効果の組み合わせが電子デバイスの位置に対する異なるタイプの調節を同時に反映するように、電子デバイスの位置がどのように変化しているかに基づくユーザの身体の表現に異なる視覚効果を組み合わせることは、表示される視覚効果の組み合わせに基づいてデバイスがどのように移動しているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイスは、ユーザの身体の所定の部分に対する電子デバイスの位置の変化がユーザの身体の所定の部分に対する電子デバイスの回転であるという判定に従って、第3の方式でグラフィック表現を修正する(846)。いくつかの実施形態では、ユーザの身体の所定の部分に対する電子デバイスの回転を検出することは、ユーザの身体に対する電子デバイスの位置の調節を検出することを含む。例えば、図7Eでは、デバイス700が回転されてバンドをユーザの腕の周りに巻き付けるとき、ディスプレイ712は、デバイス700がユーザの手首に向かって又は手首から離れて移動されるときに表示される修正(例えば、図7C~図7Dに示すとおり)とは異なり、デバイス700が腕から離れて移動されるときに表示される修正(例えば、図7G~図7Hに示すとおり)とは異なる修正(第3の方式)を使用して、アニメーションのグラフィック表現を修正する。いくつかの実施形態では、位置の変化が異なる軸に沿っているとき、異なる修正(例えば、視覚効果)が表示される。
以下の例では、軸は、(ユーザの身体の所定の部分としてのユーザの目に対して)以下のように定義される。x軸は、前方又は後方への(例えば、目から離れる又は目に近づく)動きを指し、y軸は、上又は下への(例えば、目の上方又は下方への)動きを指し、z軸は、左及び右への動きを指す。例えば、デバイスの(例えば、y軸に対して上又は下に移動する)傾きは、電子デバイスの旋回(回転)(例えば、z軸に沿った移動)とは異なる視覚効果、及び押す又は引く移動(例えば、x軸に沿って前方又は後方に移動する)とは異なる視覚効果を引き起こす。いくつかの実施形態では、電子デバイスの傾きは、ディスプレイをオフにするか又は薄暗くし、目の代わりに眉を示す視覚効果に対応する(例えば、電子デバイスに視覚効果を生成させる)。いくつかの実施形態では、電子デバイスの巻き付けは、ディスプレイ上のユーザの身体の部分の表現をシフトさせて、表現がユーザの身体の部分の位置に一致する(例えば、ユーザの目のグラフィック表現の位置がユーザの実際の目に一致するように移動される)ようにする視覚効果に対応する(例えば、電子デバイスに視覚効果を生成させる)。例えば、ユーザがHMDを傾ける(例えば、HMDの左側を上に移動させる一方で、HMDの右側を下に移動させる)ことによってHMDを移動させると、ユーザの目のグラフィック表現が薄暗くなる(又は暗くなる)。ユーザが(例えば、HMDをz軸に沿って右又は左に移動させることによって)HMDを回すと、グラフィック表現は、ディスプレイ上のユーザの目のグラフィック表現の場所を変えることによって修正される。例えば、ユーザの目のグラフィック表現は、ユーザの目のグラフィック表現の位置が、ディスプレイによって覆われるユーザの実際の目に対応する位置に留まるように、ディスプレイ上で移動される。
電子デバイスの位置の変化を引き起こす動きのタイプ(又は方向)に基づいて複数の視覚効果を区別することは、どの視覚効果が表示されるかに基づいてデバイスがどのように動いているかをユーザが認識するための直感的な方法を生成する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、(例えば、デバイスを操作する/デバイスと対話するときに、ユーザが適切な入力を提供するように支援してユーザのミスを低減することにより)ユーザデバイス間インターフェースの効率が高まり、更には、ユーザがより迅速かつ効率的にデバイスを使用できるようにすることによって、デバイスの電力消費が低減されてバッテリ寿命が改善される。
いくつかの実施形態では、第1の方式でグラフィック表現を修正することは、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部を不明瞭にするオーバーレイを表示することを含む。例えば、電子デバイスの位置が変えられている間(例えば、ユーザが電子デバイスの位置を調節するにつれて)、オーバーレイを表示することは、ユーザが電子デバイスの位置を調節していることを示すために、身体部分の外観のグラフィック表現を、ぼかす、フェードさせる、又は薄暗くするなどして流動的に示すことを含む。いくつかの実施形態では、オーバーレイは、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部の上にテキスト又は絵文字を示すことを含む。
例えば、いくつかの実施形態では、ユーザがHMDの位置を変えた(例えば、ユーザの頭部にあるHMDを調節する)ことに応答して、ユーザがHMDを調節していることを(例えば、ディスプレイを見ている第三者に)示すために、ユーザの目のグラフィック表現の上にオーバーレイが表示される。いくつかの実施形態では、ユーザの目のグラフィック表現は、ユーザの目が閉じて見えるようにアニメーション化される。
いくつかの実施形態では、電子デバイスは、電子デバイスにおいてのトリガ(例えば、入力)を検出する(例えば、ユーザの身体の所定の部分に対する電子デバイスの位置の変化を検出して、又は検出せずに)。いくつかの実施形態では、トリガは、電子デバイスの表示生成コンポーネントの前で検出された入力(例えば、顔の前で(電子デバイスがユーザの顔の上にある間に電子デバイスの前で)検出された手)、電子デバイスの物理的制御部(例えば、ボタン)を選択する入力、及び電子デバイスの縁部で検出された入力、からなる群から選択された入力を含む。
いくつかの実施形態では、電子デバイスは、トリガを検出したことに応答して、検出されたトリガに従ってユーザの身体の所定の部分の外観のグラフィック表現を修正し、これは、表示生成コンポーネントを介して、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現の少なくとも一部を不明瞭にするオーバーレイを表示することを含む。例えば、トリガは、現在のセッションを一時停止するためのトリガであり、トリガに応答して、電子デバイスは、電子デバイスの表示生成コンポーネントで表示されるグラフィック表現の少なくとも一部の上にオーバーレイを表示して、現在のセッションが一時停止されていることを示す。
例えば、ユーザが、ユーザの頭部に装着されたHMDの前に手を置くことに応答して、ユーザの目のグラフィック表現は、ディスプレイ上で不明瞭にされる(例えば、ユーザの目のグラフィック表現の上に置かれたオーバーレイを用いて)。いくつかの実施形態では、ユーザの目の不明瞭にされたグラフィック表現は、表示生成コンポーネントを見る第三者に、ユーザが現在第三者に関わっていない(例えば、第三者とのユーザのセッションが一時停止されている)ことを示す。
いくつかの実施形態では、ユーザの身体の所定の部分に対応する身体部分の外観のグラフィック表現は、デバイスがユーザの所定の部分の上に装着されているときにユーザの身体の対応する部分が移動するにつれて移動する。例えば、目のグラフィック表現は、電子デバイスの、又は電子デバイスと通信する、カメラ又は他のバイオメトリックセンサによって検出されるような、ユーザの目の動き及び開閉に基づいて、見回す及び/又は開閉するように動く。
図8A~図8Dにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (26)

  1. ユーザの身体の所定の部分の上に装着されるように構成された電子デバイスであって、1つ以上のプロセッサと、メモリと、前記ユーザの身体の前記所定の部分とは反対側にて前記電子デバイス上に配置された表示生成コンポーネントとを有する、電子デバイスにおいて、
    前記電子デバイスが前記ユーザの身体の前記所定の部分の上に装着されている間に、前記表示生成コンポーネントを介して、前記ユーザの身体の前記所定の部分に対応する身体部分の外観のグラフィック表現を表示することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出したことに応答して、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って、前記ユーザの身体の所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することであって、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の一部を不明瞭にすることを含む、ことと、
    を含む、方法。
  2. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出することが、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの個別の位置から離れる方向への前記電子デバイスの動きを検出することを含み、
    前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記電子デバイスの前記位置が前記電子デバイスの前記個別の位置に対して変化するにつれて、前記身体部分の前記外観の前記グラフィック表現の1つ以上の特徴を徐々に不明瞭にすること、
    を含む、請求項1に記載の方法。
  3. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って前記グラフィック表現を修正することが、
    前記ユーザの身体の前記所定の部分から離れた所定の距離において、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部の表示を停止すること、
    を含む、請求項2に記載の方法。
  4. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することが、
    前記ユーザの身体の前記所定の部分に対する前記グラフィック表現の少なくとも一部の位置を維持すること、
    を含む、請求項1~3のいずれか一項に記載の方法。
  5. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することが、
    前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の全てよりも少ないサブセットを含むように、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすること、
    を含む、請求項1~のいずれか一項に記載の方法。
  6. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することが、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置を前記ユーザが調節しているのを検出することを含む、請求項1~3のいずれか一項に記載の方法。
  7. 前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部をフェードアウトさせることを含む、請求項1~3のいずれか一項に記載の方法。
  8. 前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部をぼかすことを含む、請求項1~3のいずれか一項に記載の方法。
  9. 前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記一部を不明瞭にすることが、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現をビネットにすることを含む、請求項1~3のいずれか一項に記載の方法。
  10. 前記ユーザが前記電子デバイスを装着する前に、前記ユーザが前記電子デバイスを着けようとしている間、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を表示すること、
    を含む、請求項1~3のいずれか一項に記載の方法。
  11. 前記ユーザの身体の前記所定の部分から離れた所定の距離において、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の表示を開始すること、
    を含む、請求項1~3のいずれか一項に記載の方法。
  12. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の第2の変化を検出することであって、前記電子デバイスの前記位置の前記第2の変化が前記ユーザの身体の前記所定の部分に向かうものである、ことと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化を検出したことに応答して、徐々に、経時的に、又は前記ユーザの身体の前記所定の部分に向かう前記位置の変化の進行に従って、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することと、
    を含む、請求項1~のいずれか一項に記載の方法。
  13. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することが、
    前記電子デバイスが前記ユーザの身体の前記所定の部分に向かって移動されるにつれて、より多い数の解剖学的特徴のグラフィック表現を含むように、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正すること、
    を含む、請求項12に記載の方法。
  14. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することは、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部をフェードインさせることを含む、請求項12に記載の方法。
  15. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することは、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の少なくとも一部のぼかしを減少させることを含む、請求項12に記載の方法。
  16. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化に従って前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することは、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現のビネット効果を低減することを含む、請求項12に記載の方法。
  17. 前記ユーザの身体の前記所定の部分が両目を含む、請求項1~のいずれか一項に記載の方法。
  18. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化が、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の第1の変化であり、
    前記方法が、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の第2の変化を検出することであって、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化は、前記第1の変化と反対である、ことと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記第2の変化に応答して、ある期間にわたって、又は前記ユーザの身体の前記所定の部分から離れる位置の前記第2の変化の進行に従って、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の前記修正を反転させることと、
    を更に含む、請求項1~のいずれか一項に記載の方法。
  19. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の前記第2の変化を検出することが、前記ユーザの身体の前記所定の部分から離れる又は近づく前記電子デバイスの動き、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの上又は下への動き、及び前記ユーザの身体の前記所定の部分に対する前記電子デバイスの左又は右への動きのうちの1つ以上を検出することを含む、請求項18に記載の方法。
  20. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が第1の方向に沿っているという判定に従って、第1の方式で前記グラフィック表現を修正することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が前記第1の方向とは異なる第2の方向に沿っているという判定に従って、前記第1の方式とは異なる第2の方式で前記グラフィック表現を修正することと、
    を含む、請求項1~のいずれか一項に記載の方法。
  21. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が、前記第1の方向に沿った成分及び前記第2の方向に沿った成分を有するという判定に従って、
    前記第1の方向に沿った前記成分に基づいて、前記第1の方式で前記グラフィック表現を修正することと、
    前記第2の方向に沿った前記成分に基づいて、前記第2の方式で前記グラフィック表現を修正することと、
    を含む、請求項20に記載の方法。
  22. 前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の変化が、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの回転であるという判定に従って、第3の方式で前記グラフィック表現を修正すること、
    を含む、請求項21に記載の方法。
  23. 電子デバイスであって、
    ユーザの身体の所定の部分とは反対側にて前記電子デバイス上に配置された表示生成コンポーネントと、
    1つ以上の入力デバイスと、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成されている1つ以上のプログラムを記憶したメモリと、を備え、前記1つ以上のプログラムが、
    前記電子デバイスが前記ユーザの身体の前記所定の部分の上に装着されている間に、前記表示生成コンポーネントを介して、前記ユーザの身体の前記所定の部分に対応する身体部分の外観のグラフィック表現を表示することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出したことに応答して、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って、前記ユーザの身体の所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することであって、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の一部を不明瞭にすることを含む、ことと、
    を行うための命令を含む、
    電子デバイス。
  24. 前記1つ以上のプロセッサが、請求項2~22のいずれか一項に記載の方法を実行するように構成されている、請求項23に記載の電子デバイス
  25. プログラムであって、ユーザの身体の所定の部分とは反対側にて電子デバイス上に配置された表示生成コンポーネントと1つ以上の入力デバイスとを含む、及び/又はそれらと通信する前記電子デバイスによって実行されると、前記電子デバイスに、
    前記電子デバイスが前記ユーザの身体の前記所定の部分の上に装着されている間に、前記表示生成コンポーネントを介して、前記ユーザの身体の前記所定の部分に対応する身体部分の外観のグラフィック表現を表示することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの位置の変化を検出することと、
    前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記位置の前記変化を検出したことに応答して、前記ユーザの身体の前記所定の部分に対する前記電子デバイスの前記検出された位置の変化に従って、前記ユーザの身体の所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現を修正することであって、前記ユーザの身体の前記所定の部分に対応する前記身体部分の前記外観の前記グラフィック表現の一部を不明瞭にすることを含む、ことと、
    を行わせる命令を含む、プログラム
  26. 前記電子デバイスによって実行されると、前記電子デバイスに請求項2~22のいずれか一項に記載の方法を実行させる、命令を更に含む、請求項25に記載のプログラム
JP2023515028A 2020-09-26 2021-09-24 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース Active JP7459375B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024043683A JP2024096704A (ja) 2020-09-26 2024-03-19 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063083911P 2020-09-26 2020-09-26
US63/083,911 2020-09-26
US17/483,744 US11579693B2 (en) 2020-09-26 2021-09-23 Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US17/483,744 2021-09-23
PCT/US2021/052047 WO2022067097A1 (en) 2020-09-26 2021-09-24 Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024043683A Division JP2024096704A (ja) 2020-09-26 2024-03-19 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース

Publications (2)

Publication Number Publication Date
JP2023542628A JP2023542628A (ja) 2023-10-11
JP7459375B2 true JP7459375B2 (ja) 2024-04-01

Family

ID=80821198

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023515028A Active JP7459375B2 (ja) 2020-09-26 2021-09-24 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース
JP2024043683A Pending JP2024096704A (ja) 2020-09-26 2024-03-19 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024043683A Pending JP2024096704A (ja) 2020-09-26 2024-03-19 ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース

Country Status (7)

Country Link
US (2) US11579693B2 (ja)
EP (1) EP4182780A1 (ja)
JP (2) JP7459375B2 (ja)
KR (1) KR20230037054A (ja)
CN (1) CN116710181A (ja)
AU (2) AU2021350084B2 (ja)
WO (1) WO2022067097A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579693B2 (en) 2020-09-26 2023-02-14 Apple Inc. Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US20230368453A1 (en) * 2022-05-12 2023-11-16 Microsoft Technology Licensing, Llc Controlling computer-generated facial expressions
US11972526B1 (en) 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041871A1 (ja) 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
WO2016076376A1 (ja) 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
US20180004478A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Display Screen Front Panel of HMD for Viewing by Users Viewing the HMD Player
JP2018512640A (ja) 2015-02-12 2018-05-17 クゥアルコム・インコーポレイテッドQualcomm Incorporated ウェアラブルディスプレイ上のコンテンツの制御された表示
JP2020034646A (ja) 2018-08-28 2020-03-05 株式会社Nttドコモ ウェアラブル端末及び表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080150921A1 (en) * 2006-12-20 2008-06-26 Microsoft Corporation Supplementing and controlling the display of a data set
US10554962B2 (en) * 2014-02-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-layer high transparency display for light field generation
US11107195B1 (en) * 2019-08-23 2021-08-31 Lucasfilm Entertainment Company Ltd. Motion blur and depth of field for immersive content production systems
US11627259B2 (en) * 2019-10-24 2023-04-11 Sony Corporation Device, method and computer program
US11579693B2 (en) 2020-09-26 2023-02-14 Apple Inc. Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041871A1 (ja) 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
WO2016076376A1 (ja) 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
JP2018512640A (ja) 2015-02-12 2018-05-17 クゥアルコム・インコーポレイテッドQualcomm Incorporated ウェアラブルディスプレイ上のコンテンツの制御された表示
US20180004478A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Display Screen Front Panel of HMD for Viewing by Users Viewing the HMD Player
JP2020034646A (ja) 2018-08-28 2020-03-05 株式会社Nttドコモ ウェアラブル端末及び表示システム

Also Published As

Publication number Publication date
JP2024096704A (ja) 2024-07-17
US20220100271A1 (en) 2022-03-31
AU2021350084A1 (en) 2023-03-23
US11893154B2 (en) 2024-02-06
EP4182780A1 (en) 2023-05-24
AU2024219585A1 (en) 2024-10-03
US20230185375A1 (en) 2023-06-15
CN116710181A (zh) 2023-09-05
WO2022067097A1 (en) 2022-03-31
JP2023542628A (ja) 2023-10-11
KR20230037054A (ko) 2023-03-15
US11579693B2 (en) 2023-02-14
AU2021350084B2 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
US11995285B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US20230185426A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US11720171B2 (en) Methods for navigating user interfaces
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
JP7459375B2 (ja) ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
CN118159935A (zh) 用于内容应用程序的设备、方法和图形用户界面
US20230114043A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US12124674B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240104819A1 (en) Representations of participants in real-time communication sessions
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面
JP2024535753A (ja) 三次元環境との相互作用のためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2023096940A2 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
WO2024063786A1 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
JP2024537657A (ja) メディア及び三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN118672393A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150