JP2023511107A - 中立アバタ - Google Patents

中立アバタ Download PDF

Info

Publication number
JP2023511107A
JP2023511107A JP2022543678A JP2022543678A JP2023511107A JP 2023511107 A JP2023511107 A JP 2023511107A JP 2022543678 A JP2022543678 A JP 2022543678A JP 2022543678 A JP2022543678 A JP 2022543678A JP 2023511107 A JP2023511107 A JP 2023511107A
Authority
JP
Japan
Prior art keywords
user
avatar
neutral
visual
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022543678A
Other languages
English (en)
Other versions
JPWO2021154646A5 (ja
JP7676416B2 (ja
Inventor
カレン ストールゼンバーグ，
ロレーナ パズミノ，
サバンナ ナイルズ，
イアン マンコウスキ，
ポール キム，
クリスティーナ リー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023511107A publication Critical patent/JP2023511107A/ja
Publication of JPWO2021154646A5 publication Critical patent/JPWO2021154646A5/ja
Application granted granted Critical
Publication of JP7676416B2 publication Critical patent/JP7676416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Figure 2023511107000001
中立アバタは、体重、民族性、性別、またはさらに身元等、対応するユーザの参照物理特性に関して漠然としたものである。したがって、中立アバタは、ユーザが上記に記載の特性に関連するプライバシを維持することを所望する、種々の共存環境下で使用することが望ましくあり得る。中立アバタは、リアルタイムで、ユーザのアクションおよび挙動の事実に即した形態を使用せずに、対応するユーザのアクションおよび挙動を伝達するように構成され得る。

Description

本開示は、複合現実を含む、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、アバタ等の仮想キャラクタをアニメーション化することに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、および「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、コンピュータ生成仮想画像情報の提示を伴う。拡張現実（ＡＲ）シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としての仮想画像情報の提示を伴う。複合現実（ＭＲ）は、その中に物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用し得る、拡張現実のタイプである。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
本明細書に説明される主題の１つまたはそれを上回る実装の詳細は、付随の図面および以下の説明に記載される。他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本開示の実施形態は、仮想または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一例示的実施形態として、１つまたはそれを上回るユーザ入力デバイスが、ＶＲ、ＡＲ、またはＭＲセッションにおいて相互作用するために使用されてもよい。そのようなセッションは、仮想要素またはオブジェクトを３次元空間内に含んでもよい。１つまたはそれを上回るユーザ入力デバイスはさらに、ＡＲまたはＭＲセッションにおける、仮想オブジェクト、実オブジェクト、または虚空上でのアクションの中でもとりわけ、指差す、選択する、注釈を付ける、および描画するために使用されてもよい。読解および理解を容易にするために、本明細書で議論されるあるシステムおよび方法は、拡張現実環境または他の「拡張現実」または「ＡＲ」コンポーネントを指す。「拡張現実」または「ＡＲ」のこれらの説明は、「複合現実」、「仮想現実」、「ＶＲ」、「ＭＲ」、および同等物を、それらの「現実環境」のそれぞれもまた具体的に述べられた場合と同様に、含むように解釈されるべきである。
本明細書に開示されるように、「中立アバタ」は、ユーザの民族性、性別、またはさらに身元等、上記に列挙された特性、およびアバタの物理特性の組み合わせに基づいて決定され得る、他の特性に関して漠然としたものであるアバタである。したがって、これらの中立アバタは、ユーザが上記に記載の特性に関連するプライバシを維持することを所望する、種々の共存環境下で使用することが望ましくあり得る。中立アバタは、リアルタイムで、ユーザのアクションおよび挙動の事実に即した形態を使用せずに、対応するユーザのアクションおよび挙動を伝達するように構成され得る。
本明細書に説明される主題の１つまたはそれを上回る実装の詳細は、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成され得る、例示的ＡＲデバイスを図示する。
図３は、ＡＲデバイスの例示的コンポーネントを図式的に図示する。
図４は、複合現実環境内にアバタ処理およびレンダリングシステムを備え得る、ＡＲデバイスの別の実施例のブロック図である。
図５Ａは、例示的アバタ処理およびレンダリングシステムを図示する。
図５Ｂは、中立アバタの実装と関連付けられる、コンポーネントおよび信号の実施例を図示する、ブロック図である。
図６Ａ、６Ｂ、および６Ｃは、１つまたはそれを上回るユーザセンサからの事実に即していない入力信号を示す、異なる視覚的特徴を伴う、例示的中立アバタを図示する。
図７Ａ、７Ｂ、および７Ｃは、別の例示的中立アバタを図示し、視覚的特徴は、種々の入力信号のうちの１つまたはそれを上回るものに基づいて調節される。
図８Ａおよび８Ｂは、別の例示的中立アバタを図示し、視覚的特徴は、１つまたはそれを上回る入力信号に基づいて修正されてもよい。
図９Ａ、９Ｂ、９Ｃ、および９Ｄは、別の例示的中立アバタを図示し、視覚的特徴は、異なる入力信号に別個に応答する、部分（例えば、リングおよび円形）を含む。
図１０Ａ－１０Ｆは、６つの例示的中立アバタを図示し、視覚的特徴における調節は、種々の１つまたはそれを上回る入力信号に結び付けられ得る。
図１１Ａ－１１Ｉは、１つまたはそれを上回る入力信号に基づいて動的に更新され得る、種々の形態の視覚的特徴を伴う、別の例示的中立アバタを図示する。
図１２Ａ－１２Ｂは、別の例示的中立アバタを図示し、中立アバタの一部へのモーフィング、移動、および／または他の視覚的変化は、１つまたはそれを上回る入力信号にマッピングされてもよい。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
詳細な説明
概要
仮想アバタは、ＡＲ環境内の実際または架空の人物の仮想表現であってもよい。例えば、その中で２人またはそれを上回るＡＲユーザが相互に相互作用する、テレプレゼンスセッションの間、視認者は、別のユーザのアバタを視認者の環境内で知覚し、それによって、他のユーザの存在の有形感覚を視認者の環境内に作成することができる。アバタはまた、共有仮想環境内において、ユーザが、相互に相互作用し、ともに物事を行うための方法を提供することができる。例えば、オンラインクラスに出席する生徒は、仮想教室内の他の生徒または教師のアバタを知覚し、彼らと相互作用することができる。別の実施例として、ＡＲ／ＶＲ／ＭＲ環境内でゲームをプレーしているユーザは、ゲーム内の他のプレーヤのアバタを視認し、彼らと相互作用してもよい。
アバタは、アバタの動きを可能な限り生きているように作製する際、ユーザの身体、頭部、眼、唇等の動きを鏡映するように、ヒトユーザの見た目および人格を模倣してモデル化され得る。したがって、これらの「事実に即したアバタ」は、体形、性別、身長、体重、髪色、髪の長さ、髪型、眼の色、肌の色等の特性を他のユーザに伝達し得る。加えて、そのような事実に即したアバタは、直接、ユーザアクションとアバタアニメーションまたは音をマッピングさせ得る。例えば、ユーザが、発話すると、アバタは、その口を動かし得る。ある場合には、ユーザの事実に即した見た目およびアクションを表す、アバタは、望ましくあり得るが、他の環境では、これらの事実に即した特性に関してユーザのプライバシを保護するように、アバタの中立性が、所望される。
本明細書に開示されるように、「中立アバタ」は、ユーザの民族性、性別、またはさらに身元等、上記に列挙された特性、およびアバタの物理特性の組み合わせに基づいて決定され得る、他の特性に関して漠然としたものであるアバタである。したがって、これらの中立アバタは、ユーザが上記に記載の特性に関連するプライバシを維持することを所望する、種々の共存環境下で使用することが望ましくあり得る。
いくつかの実施形態では、中立アバタは、リアルタイムで、ユーザのアクションおよび挙動の事実に即した形態を使用せずに、対応するユーザのアクションおよび挙動を伝達するように構成され得る。これらの挙動は、例えば、以下を含み得る。
・眼視線（例えば、ある人物が見ている方向）
・音声アクティビティ（例えば、話者）
・頭部位置（例えば、その人物の注意が向けられている場所）
・手方向（例えば、ある人物が、会話の間のアクティビティとして、指差している、保持している、または議論している対象）。
有利なこととして、中立アバタは、通信、挙動、および／またはソーシャルキューを他者に伝達する様式において、アニメーション化され得る。例えば、ユーザのアクション（例えば、視線方向の変化、頭部移動、発話等）が、ユーザのアクションを事実に即さずに表す、中立アバタの視覚的キューにマッピングされてもよい。中立アバタは、事実に即したヒト特徴の代わりに、ユーザ挙動を表すための幾何学形状、形態、および形状を使用してもよい。例えば、ユーザによって装着されるＡＲデバイスのセンサ等からの入力信号が、非具体的身体部分を用いてユーザの挙動をリアルタイムで表すための抽象化された幾何学的形態にマッピングされてもよい。その抽象化および最小限化のため、これらの幾何学的形態は、具体的性別、民族性を含意することを回避し、異なるユーザ間で容易に共有されることができる。
中立アバタ使用のいくつかの付加的利点は、以下を含み得る。
・より容易かつより迅速な設定。例えば、ユーザが、アバタの異なる様式に示され得る、無限の特性を選択するプロセスを経るのではなく、中立アバタは、非常に限定されたカスタマイズオプションを有する。いくつかの実施形態では、アバタは、ユーザに自動的に割り当てられ、ユーザがカスタムアバタ特徴を選択する要件を全体的に排除する。
・アバタレンダリングで使用されるコンピュータリソース（例えば、プロセッササイクル、記憶装置等）を低減させる。ある挙動、ソーシャル、および通信キューを全てのユーザにおいて同一様式で伝達することに焦点が当てられるため、特定のユーザに特有の複雑なアバタグラフィックは、必要ない。
・中立アバタが、対応するユーザの具体的特性（例えば、具体的身元、民族性、性別等）を表さないため、単一ＡＲデバイスを使用して、複数のユーザ間でより容易に共有され得る。
・例えば、業務上の協働のために所望され得るように、ユーザが、そのアバタを介して、個人情報を開示することを可能にしない。
・ユーザの視覚的形態の隠蔽を可能にする一方、依然として、ＡＲ環境内の協働および移動を可能にする。ユーザは、そのアバタに関して、企業コンテキスト等では、目立つ、注意を逸らす、または意図しないメッセージを伝え得る、審美的選択を行う必要はない。
・リアルタイムユーザ挙動およびアクションを表す。
ＡＲデバイスの３Ｄディスプレイの実施例
ＡＲデバイス（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ＡＲデバイスの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイスと同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」および「ＶＲ」と同義的に使用される。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＡＲ体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ＡＲデバイス２００の実施例を図示し、これは、ＡＲ場面を提供するように構成されることができる。ＡＲデバイス２００はまた、ＡＲシステム２００と称され得る。ＡＲデバイス２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ＡＲデバイス２００は、音声または発話認識をオーディオストリームに実施することができる。
ＡＲデバイス２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システムを含むことができる。ＡＲデバイス２００はまた、ユーザの眼移動を追跡し得る、内向きに向いた結像システムを含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに向いた結像システムは、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに向いた結像システムは、１つまたはそれを上回るカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。
実施例として、ＡＲデバイス２００は、外向きに向いた結像システムまたは内向きに向いた結像システムを使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムおよび／または外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）可能性として処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４を遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ＡＲデバイスの例示的コンポーネント
図３は、ＡＲデバイスの例示的コンポーネントを図式的に図示する。図３は、ＡＲデバイス２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ＡＲデバイス２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つまたはそれを上回るものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ＡＲデバイス２００のユーザまたはユーザの環境と関連付けられる種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。いくつかの実施形態では、ＡＲデバイス２００は、ＡＲデバイスが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよい。なお、図３は、種々のコンポーネントのうちのいくつかと、ＡＲデバイスを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図３の実施形態では、ディスプレイ２２０は、ユーザの頭部または筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を含む。ディスプレイレンズ２２６は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つまたはそれを上回る透明ミラーを備えてもよく、投影された光３３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、外向きに向いた結像システムの一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つまたはそれを上回るオブジェクト認識装置を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。
図３を継続して参照すると、光３３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のために）光プロジェクタモジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。ＡＲデバイス２００はさらに、センサアセンブリ３３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。頭部姿勢プロセッサ３３６は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）を含んでもよく、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成されてもよい。いくつかの実施形態では、ウェアラブルヘッドセット内の１つまたはそれを上回るセンサ（例えば、６ＤＯＦセンサ）から感知される、頭部位置情報が、アバタ特性および移動を決定するために使用される。例えば、ユーザの頭部位置は、アバタ頭部位置を駆動し、アバタ胴体のための推定場所および空間の周囲のアバタの歩行運動のための推定場所を提供してもよい。
ＡＲデバイスはまた、１つまたはそれを上回る深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ライダ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。
また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。ＡＲデバイス２００はまた、図３に示されるように、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。
ＡＲデバイスは、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲデバイス等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ＡＲデバイスは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ＡＲデバイス２００は、世界カメラ３１６を使用して、環境を監視することができる。世界カメラ３１６によって入手された画像に基づいて、ＡＲデバイス２００は、環境内のオブジェクトを検出することができる（例えば、１つまたはそれを上回るオブジェクト認識装置を使用することによって）。
ＡＲデバイス２００はまた、レンダリングエンジン３３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、ＡＲデバイス２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することができる。
カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動を用いて推定されてもよい）を含んでもよい。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つまたはそれを上回るものは、画像および姿勢を入手することができ、これは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。
図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ＡＲデバイスの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ＡＲデバイス２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。
ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルデバイスおよび他のディスプレイシステムの実施例はまた、「Ｍｅｔｈｏｄｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｄｉａｇｎｏｓｉｎｇ ａｎｄ ｔｒｅａｔｉｎｇ ｈｅａｌｔｈ ａｉｌｍｅｎｔｓ」と題され、２０１６年３月１６日に出願された、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として、あらゆる目的のために、本明細書に組み込まれる）に説明される。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化が、正常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解像されることができる。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒またはそれを上回るフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう）。
いくつかの実施形態では、ＡＲデバイス２００は、ユーザの眼の遠近調節に基づいて、１つまたはそれを上回る仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ＡＲデバイスは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つまたはそれを上回る画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のＡＲデバイス２００は、ユーザの眼がより自然な様式において機能することを可能にする。
そのようなＡＲデバイス２００は、仮想現実デバイスに関して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ＡＲデバイス２００の種々の実施形態は、１つまたはそれを上回る可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つまたはそれを上回る実施形態では、３Ｄ知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実施形態は、可変面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。
多面焦点システムおよび可変面焦点システムの両方において、ＡＲデバイス２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ＡＲデバイス２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するＡＲデバイス２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つまたはそれを上回る導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
複合現実におけるアバタレンダリングの実施例
ＡＲデバイスは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ＡＲデバイスのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ＡＲデバイスは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図４は、ＡＲデバイスの別の実施例のブロック図であって、これは、拡張現実環境内へのアバタ処理およびレンダリングシステム６９０を備えることができる。本実施例では、ＡＲデバイス６００は、マップ６２０を備えることができ、これは、マップデータベース内のデータの少なくとも一部を含んでもよい。マップは、部分的に、ＡＲデバイス上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス６１０は、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、マップ６２０からのデータを利用して、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定してもよい。姿勢データは、ユーザが、システムを体験し、世界内で動作するにつれてオンザフライで収集されたデータから、算出されてもよい。データは、画像、センサ（慣性測定ユニット等であって、これは、概して、加速度計と、ジャイロスコープコンポーネントとを備える）からのデータ、および実または仮想環境内のオブジェクトと関連する表面情報を含んでもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚専用である構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。本システムは、種々のコンポーネントが存在する世界内の場所だけではなく、世界が成る内容も見出すように構成されることができる。姿勢は、マップの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それだけでは完全に適正ではあり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生産するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、ステレオ６４０と称される、プロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して作成された赤外線パターン等）、画像カメラから入手された画像、または手のジェスチャ／トーテム６５０が、ステレオプロセス６４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合され得、そのうちの一部は、表面表現とともに要約され得る。例えば、数学的に定義可能な表面は、効率的（例えば、大点群と比較して）であって、ゲームエンジンのような他の処理デバイスへの理解しやすい入力であり得る。したがって、ステレオプロセス（例えば、深度マップ）６４０の出力は、融合プロセス６３０において組み合わせられてもよい。姿勢６１０も同様に、本融合プロセス６３０への入力であってもよく、融合６３０の出力は、マップ取込プロセス６２０への入力となる。サブ表面は、トポグラフィマッピングにおけるように、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス６６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図４に描写される実施形態では、ゲームパラメータが、入力され、システムのユーザが、種々の場所における１匹またはそれを上回るモンスタ、種々の条件下で死にかけている、または逃げているモンスタ（ユーザがモンスタを射撃する場合等）、種々の場所における壁または他のオブジェクト、および同等物を伴った状態で、モンスタバトルゲームをプレーしていることを決定し得る。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報（例えば、オブジェクトが、平坦または丸いかどうか、水平または垂直であるか、テーブルまたはランプであるかどうか等の分類）を含んでもよく、世界マップは、複合現実への別の有益な入力であり得る。世界に対する姿勢も同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を担う。
ユーザからの制御または入力は、ＡＲデバイス６００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回る、またはゲームをプレーするために、例えば、ユーザは、自らが所望する内容に関して、ＡＲデバイス６００に命令する必要があり得る。単に、自らを空間内で移動させる以外にも利用され得る、種々の形態のユーザ制御が存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。本システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、本システムは、場所および配向と、ユーザが、トリガまたは他の感知されるボタンまたは要素（アクティビティがカメラのいずれかの視野内にないときでも、生じている内容を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る）をクリックしているかどうかとを理解するように構成されてもよい）。
手のジェスチャの追跡または認識もまた、入力情報を提供し得る。ＡＲデバイス６００は、ボタン押下、左または右、停止、握持、保持のジェスチャ等に関して、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム用環境において電子メールまたはカレンダをフリップする、または「フィストバンプ」を別の人物またはプレーヤと行うことを所望し得る。ＡＲデバイス６００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止のために手を開く、ＯＫのためのサムズアップ、非ＯＫのためのサムズダウン、または指向性コマンドのための右または左または上／下への手のフリップのような単純静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して、決定されてもよく、次いで、その特定の人物に関して開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。他の技法は、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等の眼追跡のために使用されることができる。
発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム６００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。ＡＲデバイス６００は、発話している人物（例えば、発話が、ＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術と、話されている内容を決定するための発話認識技術とを組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム、または音響モデル化または言語モデル化を使用する、他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、発話のコンテンツを識別することができる。
ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者が、ＡＲデバイス６００のユーザ２１０またはユーザが会話している別の人物であるかどうか等、話者の識別を識別することができる。いくつかの例示的音声認識アルゴリズムは、周波数推定、隠れマルコフモデル、ガウス混合物モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、行列表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮法（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴が、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
ＡＲデバイスの実装は、ＵＩを介したこれらのユーザ制御または入力を使用することができる。ＵＩ要素（例えば、制御、ポップアップウィンドウ、吹き出し、データエントリフィールド等）は、例えば、情報、例えば、オブジェクトのグラフィックまたは意味論情報のディスプレイを閉じるために使用されることができる。
カメラシステムに関して、示される例示的ＡＲデバイス６００は、３つの対のカメラ、すなわち、ユーザの顔の側面に配列される、一対の相対的広ＦＯＶまたは受動ＳＬＡＭカメラと、ステレオ結像プロセス６４０をハンドリングし、また、ユーザの顔の正面における手のジェスチャおよびトーテム／オブジェクト追跡を捕捉するために、ユーザの正面に配向される、異なる対のカメラとを含むことができる。ＦＯＶカメラおよびステレオプロセス６４０のための対のカメラは、外向きに向いた結像システムの一部であってもよい。ＡＲデバイス６００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される、眼追跡カメラを含むことができる。ＡＲデバイス６００はまた、１つまたはそれを上回るテクスチャ加工された光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
ＡＲデバイス６００は、アバタ処理およびレンダリングシステム６９０を備えることができる。アバタ処理およびレンダリングシステム６９０は、コンテキスト情報に基づいて、アバタを生成、更新、アニメーション化、およびレンダリングするように構成されることができる。アバタ処理およびレンダリングシステム６９０の一部または全部は、単独で、または組み合わせて、ローカル処理およびデータモジュール２６０または遠隔処理モジュール２６２、２６４の一部として実装されることができる。種々の実施形態では、複数のアバタ処理およびレンダリングシステム６９０（例えば、異なるウェアラブルデバイス上に実装されるように）が、仮想アバタ６７０をレンダリングするために使用されることができる。例えば、第１のユーザのウェアラブルデバイスは、第１のユーザの意図を決定するために使用されてもよい一方、第２のユーザのウェアラブルデバイスは、アバタの特性を決定し、第１のユーザのウェアラブルデバイスから受信された意図に基づいて、第１のユーザのアバタをレンダリングすることができる。第１のユーザのウェアラブルデバイスおよび第２のユーザのウェアラブルデバイス（または他のそのようなウェアラブルデバイス）は、ネットワークを介して、通信することができる。
図５Ａは、例示的アバタ処理およびレンダリングシステム６９０を図示する。例示的アバタ処理およびレンダリングシステム６９０は、単独で、または組み合わせて、３Ｄモデル処理システム６８０と、コンテキスト情報分析システム６８８と、アバタ自動スケーラ６９２と、意図マッピングシステム６９４と、解剖学的構造調節システム６９８と、刺激応答システム６９６とを備えることができる。システム６９０は、アバタ処理およびレンダリングのための機能性を図示するように意図され、限定することを意図するものではない。例えば、ある実装では、これらのシステムのうちの１つまたはそれを上回るものは、別のシステムの一部であってもよい。例えば、コンテキスト情報分析システム６８８の一部は、個々に、または組み合わせて、アバタ自動スケーラ６９２、意図マッピングシステム６９４、刺激応答システム６９６、または解剖学的構造調節システム６９８の一部であってもよい。
コンテキスト情報分析システム６８８は、図２および３を参照して説明される、１つまたはそれを上回るデバイスセンサに基づいて、環境およびオブジェクト情報を決定するように構成されることができる。例えば、コンテキスト情報分析システム６８８は、ユーザまたはユーザのアバタの視認者の外向きに向いた結像システムによって入手された画像を使用して、環境およびユーザの環境のオブジェクト（物理的または仮想オブジェクトを含む）またはその中にユーザのアバタがレンダリングされる環境を分析することができる。コンテキスト情報分析システム６８８は、単独で、または場所データまたは世界マップから入手されたデータと組み合わせて、そのような画像を分析し、環境内のオブジェクトの場所およびレイアウトを決定することができる。コンテキスト情報分析システム６８８はまた、仮想アバタ６７０を現実的にアニメーション化するために、ユーザまたはヒト全般の生物学的特徴にアクセスすることができる。例えば、コンテキスト情報分析システム６８８は、違和感曲線を生成することができ、これは、ユーザのアバタの身体の一部（例えば、頭部）がユーザの身体の他の部分に対して違和感のある（または非現実的）位置にないように（例えば、アバタの頭部は、２７０度方向転換されない）、アバタに適用されることができる。ある実装では、１つまたはそれを上回るオブジェクト認識装置は、コンテキスト情報分析システム６８８の一部として実装されてもよい。
アバタ自動スケーラ６９２、意図マッピングシステム６９４、刺激応答システム６９６、および解剖学的構造調節システム６９８は、コンテキスト情報に基づいて、アバタの特性を決定するように構成されることができる。アバタのいくつかの例示的特性は、サイズ、外観、位置、配向、移動、姿勢、表現等を含むことができる。アバタ自動スケーラ６９２は、ユーザがアバタを不快な姿勢で見る必要がないように、アバタを自動的にスケーリングするように構成されることができる。例えば、アバタ自動スケーラ６９２は、ユーザが、それぞれ、アバタを見下ろす、またはアバタを見上げる必要がないように、アバタのサイズを増加または減少させ、アバタをユーザの眼の高さに持って来ることができる。意図マッピングシステム６９４は、アバタがその中にレンダリングされる環境に基づいて、ユーザの相互作用の意図を決定し、（正確なユーザ相互作用ではなく）意図をアバタにマッピングすることができる。例えば、第１のユーザの意図は、テレプレゼンスセッションにおいて第２のユーザと通信することであり得る。典型的には、２人が、通信するとき、相互に向かい合う。第１のユーザのＡＲデバイスの意図マッピングシステム６９４は、テレプレゼンスセッションの間に存在するそのような対面意図を決定することができ、第１のユーザのＡＲデバイスに、第２のユーザのアバタを第１のユーザに向かってレンダリングさせることができる。第２のユーザが、物理的に方向転換しようとする場合、第２のユーザのアバタを方向転換された位置にレンダリングする代わりに（第２のユーザのアバタの背面を第１のユーザに対してレンダリングさせるであろう）、第１のユーザの意図マッピングシステム６９４は、第２のアバタの顔を第１のユーザに対してレンダリングし続けることができ、これは、テレプレゼンスセッションの推測される意図（例えば、本実施例では、対面意図）である。
刺激応答システム６９６は、環境内の関心オブジェクトを識別し、関心オブジェクトに対するアバタの応答を決定することができる。例えば、刺激応答システム６９６は、アバタの環境内の音源を識別し、音源を見るようにアバタを自動的に方向転換させることができる。刺激応答システム６９６はまた、閾値終了条件を決定することができる。例えば、刺激応答システム６９６は、音源が消失した後またはある期間が経過した後、アバタをそのオリジナル姿勢に戻らせることができる。
解剖学的構造調節システム６９８は、生物学的特徴に基づいて、ユーザの姿勢を調節するように構成されることができる。例えば、解剖学的構造調節システム６９８は、違和感曲線に基づいて、ユーザの頭部とユーザの胴体との間またはユーザの上半身と下半身との間の相対的位置を調節するように構成されることができる。
３Ｄモデル処理システム６８０は、仮想アバタ６７０をアニメーション化し、ディスプレイ２２０にレンダリングさせるように構成されることができる。３Ｄモデル処理システム６８０は、仮想キャラクタ処理システム６８２と、移動処理システム６８４とを含むことができる。仮想キャラクタ処理システム６８２は、ユーザの３Ｄモデルを生成および更新するように構成されることができる（仮想アバタを作成およびアニメーション化するため）。移動処理システム６８４は、例えば、アバタの姿勢を変化させることによって、アバタをユーザの環境内で移動させることによって、またはアバタの顔の表情をアニメーション化することによって等、アバタをアニメーション化するように構成されることができる。本明細書にさらに説明されるであろうように、仮想アバタは、リギング技法を使用して、アニメーション化されることができる。いくつかの実施形態では、アバタは、２つの部分、すなわち、仮想アバタの外向き外観をレンダリングするために使用される表面表現（例えば、変形可能メッシュ）と、メッシュをアニメーション化するために相互接続された関節の階層セット（例えば、コア骨格）とにおいて表される。いくつかの実装では、仮想キャラクタ処理システム６８２は、表面表現を編集または生成するように構成されることができる一方、移動処理システム６８４は、アバタを移動させる、メッシュを変形させる等によって、アバタをアニメーション化するために使用されることができる。
例示的中立アバタマッピングシステム
図５Ｂは、中立アバタの実装と関連付けられる、コンポーネントおよび信号の実施例を図示する、ブロック図である。本実施例では、いくつかのユーザセンサコンポーネント６０１－６０４が、入力信号６０５（６０５Ａ、６０５Ｂ、６０５Ｃ、および６０５Ｄを含む）を信号マッピングコンポーネント６０６に提供する。信号マッピングコンポーネント６０６は、入力信号６０５を分析し、中立アバタへの更新を決定するように構成され、これは、次いで、１つまたはそれを上回る出力信号６０７として、アバタレンダラ６０８（例えば、図５Ａのアバタ処理およびレンダリングシステム６９０の一部）に伝送される。図５Ｂの実施形態では、ユーザセンサは、視線追跡６０１、発話追跡６０２、頭部姿勢追跡６０３、および手姿勢追跡６０４を含む。これらのユーザセンサはそれぞれ、同一タイプまたは複数の異なるタイプの１つまたは複数のセンサを含んでもよい。入力信号６０５のタイプは、より少ないまたは付加的ユーザセンサを含むように、実施形態毎に変動してもよい。いくつかの実施形態では、入力信号６０５はまた、信号マッピングコンポーネントによる使用のための付加的入力信号を決定するように処理されてもよい（例えば、信号マッピングコンポーネント６０６への伝送に先立って、またはそれと同時に）。図５Ｂの実施例では、導出信号生成器６０９もまた、入力信号６０５Ａ－６０５Ｄのそれぞれを受信し、信号マッピングコンポーネント６０６に伝送される、１つまたはそれを上回る入力信号６０５Ｅを生成してもよい。導出信号生成器は、入力信号６０５Ａ－６０５Ｄのうちの１つに直接リンクされない、ユーザ意図、挙動、またはアクションを示す、入力信号６０５Ｅを作成してもよい。
信号マッピングコンポーネント６０６は、種々の形態におけるマッピングテーブルを含んでもよい。例えば、入力信号と出力信号との間の１対１、１対多、および多対多マッピングを可能にする、ルックアップテーブルである。同様に、ルールリスト、擬似コード、および／または任意の他の論理も、信号マッピングコンポーネント６０６によって、現在の入力信号６０５にマッピングされる、適切な出力信号６０７を決定するために使用されてもよい。有利なこととして、信号マッピングコンポーネント６０６は、（アバタレンダラ６０８によって実装されるような）中立アバタへの更新が、ユーザアクティビティをトリガすることと同時に適用されるように、リアルタイムで動作し、入力信号６０５を１つまたはそれを上回る出力信号６０７にマッピングする。
いくつかの実施形態では、信号マッピングコンポーネントは、１）ユーザの身体の一部と関連付けられる、ユーザのパラメータを測定し、次いで、２）測定されたパラメータを中立アバタの特徴にマッピングするように構成され、中立アバタの特徴は、ユーザの身体の一部を表さない。測定されたパラメータは、入力信号６０５であってもよく、中立アバタのマッピングされた特徴は、信号マッピングコンポーネント６０６によって生成される、対応する出力信号６０７に示されてもよい。本マッピングの実施例として、ユーザの眼の回転は、ユーザのパラメータであってもよく、これは、ユーザの身体の眼と関連付けられる。上記に述べられたように、ユーザによる本眼回転は、中立アバタの眼エリアの外側に位置付けられ、したがって、ユーザの眼を表さない、線または他の幾何学的特徴にマッピングされてもよい。１つの身体部分と関連付けられる入力信号と第２の身体部分の中立アバタの視覚的インジケータの本タイプのマッピングは、事実に即していないマッピングと称され得る。
いくつかの実施形態では、事実に即していないマッピングはまた、そこからパラメータが測定された、ユーザの身体のアクションを表さない、中立アバタの特徴のアクション（例えば、アニメーション、色、テクスチャ、音等）に対して行われてもよい。例えば、中立アバタの線特徴は、ユーザから測定された発話入力信号に応答して、色を変化させてもよい。色の本変化は、ユーザによって発話入力を提供するために実施される発話アクション（例えば、ユーザの口の開閉）を表わさない。したがって、本マッピングもまた、事実に即していないマッピングと見なされ得る。
いくつかの実施形態では、ユーザの特定の身体部分および／または特定の身体部分のアクティビティと関連付けられる、入力信号は、中立アバタの異種、非関連、非関連付け、明確に異なる、および／または異なる特徴および／またはアクティビティにマッピングされてもよい。例えば、信号マッピングコンポーネント６０６は、入力信号を、中立アバタと関連付けられる、事実に即していない出力信号にマッピングしてもよい。例えば、ユーザが発話することに応答して、入力信号６０５Ｂが、信号マッピングコンポーネント６０６に伝送され得、これは、次いで、発話を、中立アバタに適用される、色または陰影調節出力信号６０７にマッピングしてもよい。したがって、中立アバタのいくつかまたは全ての陰影は、音声入力が受信されるにつれて、動的に調節されてもよい。陰影は、（例えば、ユーザの特定の顔特徴と直接関連付けられない）中立アバタの顔または幾何学的特徴の非口エリア等、発話と直接関連付けられない、アバタの一部に適用されてもよい。例えば、中立アバタの上側部分は、ユーザが発話しているとき、異なるように陰影が付けられてもよい。陰影は、音声入力（例えば、発話の音量、トーン、パターン等）が変化するにつれて、陰影のレベルおよび／またはエリアに対する調節等を用いて、動的に更新されてもよい。これは、ユーザによる発話が、ある発話パターンにおけるアバタの口の移動を伴って、アバタに示される、典型的アバタ挙動と対照的である。したがって、中立アバタは、対応するユーザアクションに直接マッピングされない様式で表される、挙動、ソーシャル、および通信キューを用いて、身元が漠然としたものである可視化を提供するように構成される。
別の実施例では、事実に即したマッピング下で行われるであろうように、眼視線入力信号（例えば、ＡＲデバイスの１つまたはそれを上回るセンサによって測定される）を１対１または直接様式でマッピングし、アバタの眼の回転を制御するのではなく、間接（または事実に即していない）マッピングは、ユーザの眼の瞳孔追跡を、中立アバタの特徴（例えば、中立アバタの頭部、身体、または幾何学的形状）の形状、特徴（例えば、中立アバタ頭部、身体、または幾何学的形状の一部または全部）の陰影、特徴の色、および／またはアバタの瞳孔ではない、アバタの任意の他の特徴の変化にマッピングしてもよい。したがって、ユーザの眼移動は、中立アバタの色または陰影またはさらに中立アバタの近くの背景またはオブジェクト等の中立アバタの補助特徴の変動にマッピングされてもよい。
いくつかの実施形態では、複数の入力信号６０５は、中立アバタの単一の視覚的要素と関連付けられてもよい。例えば、眼視線方向および音声は、水平線または他の幾何学的形状等の中立アバタの同一視覚的要素にマッピングされてもよい。その単一の視覚的要素は、音声アクティビティを表すように揺れ、視線方向を表すように偏移（例えば、左右）または変形するように構成されてもよい。したがって、複数のユーザアクションが、高度にカスタマイズされたアバタの視覚的特性による注意散漫を伴わずに、より精密な視覚的様式において伝達され得る。いくつかの実装では、複数の入力信号と中立アバタの１つの視覚的要素のマッピングは、これらの単純中立特徴の突出した躍動感および／または視覚的複雑性を増加させ得る。実際のヒトの顔は、多くの微妙な移動が可能であるため、単一キュー（例えば、単一入力信号）に応答する単純視覚的要素は、本複雑なヒト挙動を表す際、複数のキュー（例えば、複数の入力信号）に応答するより複雑な挙動を有する、単一の視覚的要素ほど、あまり真実味がないものになり得る。複数の入力信号と中立アバタの同一視覚的要素のマッピングは、事実に即した視覚的熟知性ではなく、さらなる視覚的抽象化を提供してもよい。
中立アバタの視覚的要素は、通信および協働のためのヒト挙動を伝達するように構成される（例えば、遠隔共存環境において）。
いくつかの実施形態では、ユーザの頭部位置（例えば、頭部姿勢追跡６０３から）は、中立アバタのより大きい要素の変化（例えば、陰影、移動、モーフィング）にマッピングされてもよい。いくつかの実施形態では、眼視線および眼追跡情報（例えば、視線追跡６０１から）は、移動、平行移動、およびアニメーション化し、眼追跡信号に対応する、幾何学的形状等、より小さい要素にマッピングされてもよい。いくつかの実施形態では、音声信号は、音声振幅および／または音声音素に従って、遷移、変換、および／またはアニメーション化する、粒子シェーダまたは幾何学的要素にマッピングされてもよい。
図６－１２は、いくつかの中立アバタ実施例を、中立アバタへの更新をトリガする、出力信号にマッピングされ得る、例示的入力信号とともに図示する。図６から開始し、中立アバタは、図６Ａ、６Ｂ、６Ｃのそれぞれに示され、１つまたはそれを上回るユーザセンサからの事実に即していない入力信号を示す、異なる視覚的特徴６０３を伴う。いくつかの実装では、ユーザが、ある音を発音するにつれて、それらは、視覚的特徴６０３、６１１、または６１２の不透明度等の特定の視覚的特徴の表示および／または特性と相関される。実施例では、特徴は、例えば、音声入力内で認識される、音量、ピッチ、トーン、速度、パターン、および／または発話に基づいて、ユーザが話している内容に応じて、より不透明になる、またはあまり不透明ではなくなってもよい。したがって、これらの視覚的特徴の視覚的特性は、そのような視覚的特徴の不透明度に比例するようにマッピングされてもよい。例えば、視覚的特徴の陰影または色は、動的に増加および減少し、対応する１つまたはそれを上回る音声特徴の増加および減少に追従してもよい。
一実施形態では、図６Ａの中立アバタの視覚的特徴６０３は、ユーザが「ａｈ」音（または別の前舌母音音）を出すと現れ得、図６Ｂの中立アバタの視覚的特徴６１１は、ユーザが「ｏｏ」音（または別の後舌母音音）を出すと現れ得、図６Ｃの中立アバタの視覚的特徴６１２は、ユーザが「ｔｈ」音を出すと現れ得る。したがって、視覚的特徴６０３、６１１、６１２は、ユーザが異なる対応する音を出すにつれて、交互に、中立アバタ上に表示され得る。いくつかの実施形態では、ユーザの口の形状（例えば、口形素と称され得る）は、中立アバタの見た目および／または挙動に影響を及ぼし得る、種々の出力信号にマッピングされてもよい。例えば、口形素の相対的サイズ、例えば、ユーザの口の開口部のサイズは、振幅または音圧特性にマッピングされてもよい。本振幅特性は、次いで、中立アバタの視覚的インジケータのサイズまたは形状等の中立アバタのいくつかの側面の駆動子として使用されてもよい。加えて、視覚的特徴の色、テクスチャ、陰影、不透明度等は、音声入力の他の要因および／または他の入力信号に基づいて、調節されてもよい。
いくつかの実施形態では、中立アバタの視覚的インジケータの位置および／または平行移動は、眼視線方向入力信号にマッピングされてもよい。例えば、口形素形状にマッピングされる、視覚的インジケータ（例えば、口形素内の口の開放面積が、増加／減少するにつれて、サイズを増加／減少させる）は、ユーザの眼視線に基づいて、移動されてもよい。
いくつかの実施形態では、瞑目、縮小等、視覚的インジケータの他の変換が、瞬目イベントにマッピングされてもよい。
図７Ａ、７Ｂ、および７Ｃは、別の例示的中立アバタを図示し、視覚的特徴７０２は、種々の入力信号のうちの１つまたはそれを上回るものに基づいて調節される。本実施例では、視覚的特徴７０２内の変形は、ユーザの頭部姿勢と関連付けられてもよい。例えば、右向きの頭部姿勢を示す、入力信号は、視覚的特徴７０２Ｂの変形をもたらし得る一方、左向きの頭部姿勢は、視覚的特徴７０２Ｃの変形をもたらし得る。変形の方向（例えば、上向きまたは下向き）は、ユーザの注意等の別の入力信号に基づく、または特定のユーザ意図に基づいてもよい（例えば、複数の入力信号に基づいて決定されてもよい）。単一線の視覚的特徴７０２は、視線を示すために、第１の様式において、音声入力を示すために、第２の様式において、変形する等、複数の入力信号を反映させてもよい。
一実施形態では、視覚的特徴７０２Ａは、ユーザのアイドル状態を示す。図７Ｂでは、視覚的特徴７０２Ｂは、特定の口形素（例えば、「Ａｈｈ」音）を示す、入力信号に応答して変形される。視覚的特徴７０２Ｂの変形エリアは、例えば、視線方向に応答して、左に偏移してもよい。したがって、視覚的特徴７０２Ｃは、ユーザの視線方向が左に偏移したことを示し得、更新された変形は、別の口形素または無音声入力を示し得る。
いくつかの実施形態では、視覚的特徴７０２（または他の単純幾何学的形状）の変換（例えば、変形）は、眼視線偏移にマッピングされてもよい一方、頭部姿勢は、視覚的特徴７０２を含む、半球形状全体の回転等、他の視覚的特徴にマッピングされてもよい。一例示的実施形態では、視覚的特徴７０２は、全体的頭部方向の視覚的参照（例えば、顔方向のように）を提供し、特徴７０２の変形（例えば、図７Ｃにおけるように）は、眼眉の上昇および／または変形の位置に向かった眼視線偏移にマッピングされてもよい（例えば、視覚的特徴７０２Ｃは、左上への眼視線偏移を示し得る）。
いくつかの実施形態では、視覚的特徴７０２Ａ等の幾何学的形状は、視覚的特徴７０２の変化を他の入力信号のために使用されるものと異なるパターンで生産する、唇同期または音声アニメーションを示す、入力信号にマッピングされてもよい。例えば、視覚的特徴は、具体的口形素の検出に応答して、波動する、または揺れ得る。線変換の半径および／または線の平滑度は、検出される特定の口形素、発話の振幅、発話のピッチ、および／またはユーザから導出される任意の他の入力信号に従って、（例えば、動的に）調節され得る。別の実施例として、中立アバタ上の視覚的特徴７０２Ａの位置は、眼視線の降下または上昇を表すように垂直に平行移動し得る。別の実施例として、視覚的特徴７０２（または他の視覚的特徴）の長さは、音声振幅を表すように、スケーリング／短縮／増加され得る。
図８Ａおよび８Ｂは、別の例示的中立アバタを図示し、視覚的特徴８０２および８０４は、１つまたはそれを上回る入力信号に基づいて修正されてもよい。例えば、１つの実装では、上側線８０２Ａは、ユーザ視線の変化が上側線８０２Ａの種々の変化によって示され得るように、ユーザの視線にマッピングされてもよい（例えば、図７におけるものに類似する変形、色変化、陰影変化、サイズまたは厚さ変化等）。本実施例では、下側線８０４は、下側線８０４Ｂが、ユーザが音声入力を提供するにつれて変形するように、音声信号の変化にマッピングされてもよい。入力信号と、中立アバタ（例えば、図８の中立アバタおよび対応する視覚的特徴を有する任意の他の中立アバタ）への変化を引き起こす、出力信号の他の例示的マッピングは、以下である。
・視覚的特徴（例えば、線８０２Ａ、８０４Ａの一方または両方）の長さが、瞬目イベントに伴って、短縮または延長され得る。
・視覚的特徴が、眼視線方向変化と関連付けられて、左右に平行移動し得る。
・視覚的特徴８０４が、形状および／または鮮明度において、揺れまたは変形を伴って、口形素変化に応答し得る。
・全体的長さおよび／または位置が、振幅に関して変化し得る。
図９Ａ、９Ｂ、９Ｃ、および９Ｄの中立アバタは、別の例示的中立アバタを図示し、視覚的特徴９０４は、リングおよび円形を含む。１つの実装では、円形のサイズは、１つまたはそれを上回る入力信号に基づいて調節される。例えば、図９Ｂおよび９Ｃに示されるように、円形のサイズは、音声入力がユーザから受信されたときを示すように、入力信号の変化を示すように調節されてもよい。本実施例では、視覚的特徴９０４Ｂのより大きい円形は、アクティブ音声信号が受信されていることを示し得る一方、視覚的特徴９０４Ｃのより小さい円形は、アクティブ音声信号が受信されていないことを示し得る。したがって、視覚的インジケータのサイズの変化は、リアルタイムで動的に調節され、ユーザからの音声信号の変化を反映させ得る。例えば、視覚的特徴９０４Ｃの円形部分は、音声入力を提供するユーザと連動してパルス振動してもよい。同一視覚的特徴９０４は、他の様式において移動し、他の入力信号を反映させてもよい。例えば、視覚的特徴９０４は、ユーザの頭部姿勢および／または眼姿勢の変化に応答して、図９Ａおよび９Ｄに示される配向間で回転してもよい。故に、視覚的特徴９０４は、容易に理解可能かつ低複雑性の中立アバタ内に提供される、複数の入力信号に応答してもよい。入力信号と、（例えば、図９の中立アバタおよび対応する視覚的特徴を有する任意の他の中立アバタ）中立アバタへの変化を引き起こす、出力信号の他の例示的マッピングは、以下である。
・円形９０３のサイズが、音声振幅に基づいて、パルス振動（または別様に変化）し得る。例えば、サイズは、単に、ユーザが音を出しているかどうかを示し得るだけではなく、サイズを動的に調節し、複数のレベルの音声音圧を示し得る。
・円形９０３が、リング要素に沿って、左右に平行移動し、眼視線方向を示し得、これは、頭部姿勢位置から独立し得る。
・円形９０３が、瞬目に関する圧潰された円筒形に平坦化または伸展し得る。
図１０Ａ－１０Ｆの実施例では、中立アバタの６つの例示的可視化が、図示され、視覚的特徴１００２における調節は、種々の１つまたはそれを上回る入力信号に結び付けられてもよい。一実施形態では、視覚的特徴１００２の位置、形状、および／またはアニメーションは、音声入力にマッピングされてもよい。例えば、ユーザの口形素（例えば、対応する音を示す、ユーザの口の形状）は、視覚的特徴１００２における変動にマッピングされてもよい。図１０Ａの実施例では、視覚的特徴１００２Ａ（または他の実質的に丸みを帯びた形状）は、「Ｏｏｏ」音声入力を示す、口形素にマッピングされてもよく、視覚的特徴１００２Ｂ（または略正方形縁を伴う、他の形状）は、「Ｔｈｈ」音声入力を示す、口形素にマッピングされてもよく、視覚的特徴１００２Ｄ（またはより鋭利な縁を有する、他の形状）は、「Ａｈｈ」音声入力を示す、口形素にマッピングされてもよい。図１０Ｃでは、視覚的特徴１００２Ｃは、右下を見るために偏移している、ユーザの視線方向を示す。
視覚的特徴１００２のこれらのアニメーションのいずれかに関して、音声入力の振幅は、視覚的特徴１００２の２つの線間の距離によって視覚的に示されてもよい。例えば、視覚的特徴１００２Ｅは、大きい（例えば、高振幅）音声入力を表し得る一方、視覚的特徴１００２Ｆは、より静かな（例えば、低振幅）音声入力を表す。他の実施形態では、他の口形素および／または音声または他の入力信号は、視覚的特徴１００２（または中立アバタの他の視覚的特徴）における類似調節にマッピングされてもよい。
図１１Ａ－１１Ｈは、１つまたはそれを上回る入力信号に基づいて動的に更新され得る、種々の形態の視覚的特徴１１０２を伴う、別の例示的中立アバタを図示する。いくつかの実施形態では、視覚的特徴１１０２（例えば、いくつかの実装では、バイザまたは浮遊サングラスのように現れ得る）は、眼姿勢および／または頭部姿勢の変化に応答して、左右に移動してもよい（例えば、図１１Ｂおよび１１Ｃに示されるように）。図１１Ｆおよび１１Ｇは、視覚的特徴１１０２Ｇのようなより小さいサイズに変化する、視覚的特徴１１０２Ｆを図示し、これは、ユーザの注意の変化を反映させ得る、またはユーザからの音声入力と対応するようにアニメーション化され得る。例えば、より大きい視覚的特徴１１０２Ｆは音声入力を示す入力信号が受信されているときに示され得る一方、より小さい視覚的特徴１１０２Ｇは、音声入力が受信されていないときに示される（例えば、発話される単語間または発話における他の一時停止）。視覚的特徴１１０２Ｈは、２つの入力信号の変化を示してもよく、１つは、視覚的特徴１１０２Ｈの左に、１つは、視覚的特徴１１０２Ｈの右にマッピングされる。したがって、視覚的特徴１１０２Ｈの一部（例えば、視覚的特徴１１０２Ｈの左および右側）のサイズ、形状、色、陰影等は、独立して、ユーザ挙動またはソーシャルキューを示してもよい。いくつかの実施形態では、テクスチャ効果が、音声アクティビティを示す、視覚的特徴１１０２を基準として示されてもよい。例えば、図１１Ｉに示されるようなバックライト効果が、音声入力に従って、パルス振動、移動等してもよい。一実施形態では、パルス形状（および／または他の特性）は、図１０Ａ－１０Ｆを参照して上記に議論されるものと類似様式において変化してもよい（例えば、特定の口形素および／または振幅を反映させるために）。本実施例では、視覚的特徴１１０２Ｉの他の特性は、上記に議論されるもの等の他の信号入力にマッピングされたままであってもよい。図１１Ｅは、種々の音声入力および／または他の入力信号にマッピングされ得る、視覚的特徴１１０２Ｅ上の別の例示的視覚的特徴を図示する。
図１２Ａおよび１２Ｂは、別の例示的中立アバタを図示し、中立アバタの一部に対するモーフィング、移動、および／または他の視覚的変化が、１つまたはそれを上回る入力信号にマッピングされてもよい。本実施例では、球体１２０２の動的スケーリングは、音声振幅における変化を示してもよく、より大きい球体サイズ（例えば、１２０２Ａ）は、より高い振幅の音声入力と関連付けられてもよい一方、より小さい球体サイズ（例えば、１２０２Ｂ）は、より低い振幅の音声入力と関連付けられてもよい。一実施例では、球体１２０２の色、テクスチャ、または他の属性が、具体的音または口形素等の他の音声属性にマッピングされ得る。一実施形態では、水平要素１２０４は、伸展、スケーリング、または別様にモーフィングされ、ユーザの視線または注意方向を示してもよい。
上記の実施例のいずれかでは、入力信号と出力信号との間のリンクは、組み合わせられ、分離され、および／または他の視覚的特徴の変化にマッピングされてもよい。上記に述べられたように、いくつかの実施形態では、視覚的特徴の陰影は、１つまたはそれを上回る入力信号の変化を示してもよい。加えて、アバタの顔または身体の一部等、中立アバタの他の部分の陰影も、入力信号の変化を示してもよい。
例示的実装
本明細書に説明されるシステム、方法、およびデバイスはそれぞれ、いくつかの側面を有するが、そのうちのいずれの単一の１つだけが、その望ましい属性に関与するわけではない。本開示の範囲を限定することなく、いくつかの非限定的特徴が、ここで、簡単に議論されるであろう。以下の段落は、本明細書に説明されるデバイス、システム、および方法の種々の例示的実装を説明する。１つまたはそれを上回るコンピュータのシステムが、動作時、本システムにアクションを実施させる、本システム上にインストールされる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。１つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、本装置にアクションを実施させる、命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。
実施例１：コンピューティングシステムであって、ハードウェアコンピュータプロセッサと、その上に記憶されるソフトウェア命令を有する、非一過性コンピュータ可読媒体であって、ソフトウェア命令は、ハードウェアコンピュータプロセッサによって実行可能であって、コンピューティングシステムに、拡張現実環境内で相互作用するために、複数のユーザによって使用可能な共存環境データを提供することと、複数のユーザ毎に、ユーザのための中立アバタの１つまたはそれを上回る視覚的特異性を決定することであって、視覚的特異性は、複数のユーザの他者の中立アバタの視覚的特異性と異なる、ことと、中立アバタの決定された視覚的特異性を含むように、共存環境データを更新することとを含む、動作を実施させる、非一過性コンピュータ可読媒体とを備える、コンピューティングシステム。
実施例２：視覚的特異性は、中立アバタの色、テクスチャ、または形状を備える、実施例１に記載のコンピューティングシステム。
実施例３：動作はさらに、特定のユーザに関する決定された視覚的特異性を記憶することを含み、該ユーザのための中立アバタを決定することは、ユーザと関連付けられる記憶された視覚的特異性を選択することを含む、実施例１に記載のコンピューティングシステム。
実施例４：ユーザのための中立アバタの視覚的特異性を決定することは、ユーザの個人的特性に関係なく、自動的に実施される、実施例１に記載のコンピューティングシステム。
実施例５：コンピューティングシステムであって、ハードウェアコンピュータプロセッサと、
その上に記憶されるソフトウェア命令を有する、非一過性コンピュータ可読媒体であって、ソフトウェア命令は、ハードウェアコンピュータプロセッサによって実行可能であって、コンピューティングシステムに、拡張現実環境内のユーザと関連付けられる、中立アバタを決定することであって、中立アバタは、ユーザの性別、民族性、および身元のインジケーションを含まず、中立アバタは、対応する入力キューの事実に即していないインジケーションである、中立アバタの視覚的要素に対する変化に伴って、ユーザからの入力キューを表すように構成される、ことと、共有拡張現実環境内の複数のユーザのそれぞれによって視認可能である、中立アバタへのリアルタイムレンダリング更新を提供することとを含む、動作を実施させる、非一過性コンピュータ可読媒体とを備える、コンピューティングシステム。
実施例６：第１の視覚的要素は、２つまたはそれを上回る入力キューと関連付けられる、実施例５に記載のコンピューティングシステム。
実施例７：入力キューは、視線方向、音声、頭部姿勢、および手姿勢のうちの１つまたはそれを上回るものを含む、実施例６に記載のコンピューティングシステム。
実施例８：入力キューは、共有注意、共有視線、および相互ジェスチャのうちの１つまたはそれを上回るものを含む、実施例７に記載のコンピューティングシステム。
実施例９：
入力キューと対応する出力信号との間のマッピングを記憶する、信号マッピングコンポーネントをさらに備え、リアルタイムレンダリング更新は、出力信号に基づいて決定される、実施例５に記載のコンピューティングシステム。
実施例１０：中立アバタは、音声入力キューに応答して変形可能である、視覚的要素を含む、実施例５に記載のコンピューティングシステム。
実施例１１：視覚的要素は、特定の視線アクティビティを示す、入力キューに応答して、別の様式で変形可能である、実施例１０に記載のコンピューティングシステム。
実施例１２：中立アバタは、音声入力キューに応答してサイズが変化する、視覚的要素を含む、実施例５に記載のコンピューティングシステム。
実施例１３：中立アバタは、音声入力キューに応答して中立アバタの一部の陰影を変化させる、視覚的要素を含む、実施例５に記載のコンピューティングシステム。
実施例１４：中立アバタの一部は、中立アバタの口エリアと関連付けられない、実施例１３に記載のコンピューティングシステム。
実施例１５：中立アバタは、１つまたはそれを上回る幾何学的形状を備える、実施例５に記載のコンピューティングシステム。
上記に述べられたように、上記に提供される説明される実施例の実装は、ハードウェア、方法またはプロセス、および／またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。
他の考慮点
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的に、算出上、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、アニメーションまたはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。別の実施例として、これらのパラメータのための制約付き最適化問題を解法することによる、スキニングシステムのための加重マップ、回転、および平行移動パラメータを計算することは、高度に算出上集約的である（例えば、図１４を参照して説明される例示的プロセス１４００参照）。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶されてもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送されてもよく、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとってもよい。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶されてもよい、またはコンピュータ可読伝送媒体を介して通信されてもよい。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去されてもよい。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能性として考えられる。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであってもよい。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴の群も、あらゆる実施形態に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (15)

  1. コンピューティングシステムであって、
    ハードウェアコンピュータプロセッサと、
    非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるソフトウェア命令を有し、前記ソフトウェア命令は、前記ハードウェアコンピュータプロセッサによって実行可能であり、前記コンピューティングシステムに、
    拡張現実環境内で相互作用するために、複数のユーザによって使用可能な共存環境データを提供することと、
    複数のユーザ毎に、
    前記ユーザのための中立アバタの１つまたはそれを上回る視覚的特異性を決定することであって、前記視覚的特異性は、前記複数のユーザの他者の中立アバタの視覚的特異性と異なる、ことと、
    中立アバタの前記決定された視覚的特異性を含むように、前記共存環境データを更新することと
    を含む動作を実施させる、非一過性コンピュータ可読媒体と
    を備える、コンピューティングシステム。
  2. 前記視覚的特異性は、前記中立アバタの色、テクスチャ、または形状を備える、請求項１に記載のコンピューティングシステム。
  3. 前記動作はさらに、
    特定のユーザに関する決定された視覚的特異性を記憶することを含み、前記ユーザのための中立アバタを決定することは、前記ユーザと関連付けられる記憶された視覚的特異性を選択することを含む、請求項１に記載のコンピューティングシステム。
  4. ユーザのための中立アバタの視覚的特異性を決定することは、前記ユーザの個人的特性に関係なく、自動的に実施される、請求項１に記載のコンピューティングシステム。
  5. コンピューティングシステムであって、
    ハードウェアコンピュータプロセッサと、
    非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるソフトウェア命令を有し、前記ソフトウェア命令は、前記ハードウェアコンピュータプロセッサによって実行可能であり、前記コンピューティングシステムに、
    拡張現実環境内のユーザと関連付けられる中立アバタを決定することであって、
    前記中立アバタは、前記ユーザの性別、民族性、および身元のインジケーションを含まず、
    前記中立アバタは、対応する入力キューの事実に即していないインジケーションである中立アバタの視覚的要素に対する変化に伴って、前記ユーザからの入力キューを表すように構成される、ことと、
    共有拡張現実環境内の複数のユーザのそれぞれによって視認可能である前記中立アバタへのリアルタイムレンダリング更新を提供することと
    を含む動作を実施させる、非一過性コンピュータ可読媒体と
    を備える、コンピューティングシステム。
  6. 第１の視覚的要素は、２つまたはそれを上回る入力キューと関連付けられる、請求項５に記載のコンピューティングシステム。
  7. 前記入力キューは、視線方向、音声、頭部姿勢、および手姿勢のうちの１つまたはそれを上回るものを含む、請求項６に記載のコンピューティングシステム。
  8. 前記入力キューは、共有注意、共有視線、および相互ジェスチャのうちの１つまたはそれを上回るものを含む、請求項７に記載のコンピューティングシステム。
  9. 入力キューと対応する出力信号との間のマッピングを記憶する信号マッピングコンポーネントをさらに備え、前記リアルタイムレンダリング更新は、前記出力信号に基づいて決定される、請求項５に記載のコンピューティングシステム。
  10. 前記中立アバタは、音声入力キューに応答して変形可能である視覚的要素を含む、請求項５に記載のコンピューティングシステム。
  11. 前記視覚的要素は、特定の視線アクティビティを示す入力キューに応答して、別の様式で変形可能である、請求項１０に記載のコンピューティングシステム。
  12. 前記中立アバタは、音声入力キューに応答してサイズが変化する視覚的要素を含む、請求項５に記載のコンピューティングシステム。
  13. 前記中立アバタは、音声入力キューに応答して前記中立アバタの一部の陰影を変化させる視覚的要素を含む、請求項５に記載のコンピューティングシステム。
  14. 前記中立アバタの一部は、前記中立アバタの口エリアと関連付けられない、請求項１３に記載のコンピューティングシステム。
  15. 前記中立アバタは、１つまたはそれを上回る幾何学的形状を備える、請求項５に記載のコンピューティングシステム。
JP2022543678A 2020-01-27 2021-01-25 中立アバタ Active JP7676416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062966278P 2020-01-27 2020-01-27
US62/966,278 2020-01-27
PCT/US2021/014917 WO2021154646A1 (en) 2020-01-27 2021-01-25 Neutral avatars

Publications (3)

Publication Number Publication Date
JP2023511107A true JP2023511107A (ja) 2023-03-16
JPWO2021154646A5 JPWO2021154646A5 (ja) 2024-01-29
JP7676416B2 JP7676416B2 (ja) 2025-05-14

Family

ID=76971123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022543678A Active JP7676416B2 (ja) 2020-01-27 2021-01-25 中立アバタ

Country Status (5)

Country Link
US (4) US11380072B2 (ja)
EP (1) EP4097685A4 (ja)
JP (1) JP7676416B2 (ja)
CN (1) CN115023738A (ja)
WO (1) WO2021154646A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
USD1051169S1 (en) * 2021-12-22 2024-11-12 Nike, Inc. Display screen with virtual three-dimensional character icon or display system with virtual three-dimensional character icon
USD1051170S1 (en) * 2021-12-22 2024-11-12 Nike, Inc. Display screen with virtual three-dimensional character icon or display system with virtual three-dimensional character icon
US20240029218A1 (en) * 2022-07-19 2024-01-25 Meta Platforms Technologies, Llc Gaze-aware tone mapping and chromatic adaptation
US12032737B2 (en) * 2022-08-22 2024-07-09 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
JP2017060611A (ja) * 2015-09-25 2017-03-30 株式会社コロプラ システム、方法及びプログラム

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20020067362A1 (en) * 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
JP2001346031A (ja) 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
US6802495B1 (en) 2002-05-03 2004-10-12 Roland F. Schmidt Pull through clip for wire fences
USD499956S1 (en) 2004-05-18 2004-12-21 Thomas A. Wall Suspendable accessory hook
US7804997B2 (en) 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
USD519122S1 (en) 2004-08-13 2006-04-18 Microsoft Corporation Image for a display screen
USD531676S1 (en) 2004-10-12 2006-11-07 Pimmler Holdings, Inc. Holder for targets
USD521016S1 (en) 2005-09-09 2006-05-16 Microsoft Corporation User interface for a portion of a display screen
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
USD561197S1 (en) 2006-03-08 2008-02-05 Disney Enterprises, Inc. Portion of a computer screen with an icon image
USD563992S1 (en) 2006-10-24 2008-03-11 Adobe Systems Incorporated Icon for a portion of a display screen
USD599646S1 (en) 2008-03-04 2009-09-08 Meyers Steven D Hanger
USD593128S1 (en) 2008-10-24 2009-05-26 Microsoft Corporation User interface for a display screen
USD593129S1 (en) 2008-10-24 2009-05-26 Microsoft Corporation Icon for a display screen
USD633524S1 (en) 2010-04-16 2011-03-01 Microsoft Corporation Icon for a display screen
US9648279B2 (en) 2010-06-08 2017-05-09 Mitel Networks Corporation Method and system for video communication
US20120110064A1 (en) 2010-11-01 2012-05-03 Google Inc. Content sharing interface for sharing content in social networks
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
USD650806S1 (en) 2010-12-01 2011-12-20 Microsoft Corporation Display screen with an icon
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US9348143B2 (en) 2010-12-24 2016-05-24 Magic Leap, Inc. Ergonomic head mounted display device and optical system
EP3229107B1 (en) 2011-05-06 2018-10-17 Magic Leap, Inc. Massive simultaneous remote digital presence world
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
USD717339S1 (en) 2012-02-28 2014-11-11 Microsoft Corporation Display screen with icon
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
AU2013243380B2 (en) 2012-04-05 2017-04-20 Magic Leap, Inc. Wide-field of view (FOV) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20140047361A1 (en) 2012-08-08 2014-02-13 Oracle International Corporation Screen device for interacting with a multi-level hierarchy
KR20150054967A (ko) 2012-09-11 2015-05-20 매직 립, 인코포레이티드 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템
AU350158S (en) 2013-01-04 2013-08-13 Samsung Electronics Co Ltd Display screen for an electronic device
USD704734S1 (en) 2013-02-08 2014-05-13 Universalapps, LLC. Display screen or portion thereof with icon
WO2014144526A2 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR20230098359A (ko) 2013-10-16 2023-07-03 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
USD738401S1 (en) 2013-10-21 2015-09-08 Apple Inc. Display screen or portion thereof with graphical user interface
USD761320S1 (en) 2013-11-08 2016-07-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
USD737331S1 (en) 2013-11-21 2015-08-25 Microsoft Corporation Display screen with animated graphical user interface
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN113433700B (zh) 2013-11-27 2024-03-22 奇跃公司 虚拟和增强现实系统与方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
USD758448S1 (en) 2014-03-25 2016-06-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
USD763309S1 (en) 2014-12-31 2016-08-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD762673S1 (en) 2014-12-31 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD765733S1 (en) 2015-01-20 2016-09-06 Microsoft Corporation Display screen with animated graphical user interface
JP6887953B2 (ja) * 2015-03-16 2021-06-16 マジック リープ，インコーポレイティド 健康を損う疾病を診断して治療する方法及びシステム
USD764521S1 (en) 2015-03-17 2016-08-23 Microsoft Corporation Display screen with animated graphical user interface
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
USD768206S1 (en) 2015-06-10 2016-10-04 Quantcast Corporation Display screen or portion thereof with icon
USD801382S1 (en) 2015-12-24 2017-10-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional icon
USD808427S1 (en) 2016-06-27 2018-01-23 Quantcast Corporation Display screen or portion thereof with icon
USD809014S1 (en) 2016-07-01 2018-01-30 Rockwell Automation Technologies, Inc. Display screen or portion thereof with icon
USD806118S1 (en) 2016-08-12 2017-12-26 Hospital IQ Display screen portion with computer icon
JP6698216B2 (ja) 2016-09-23 2020-05-27 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． アバターの作成及び編集に関する米国特許商標局への特許出願
US10540817B2 (en) * 2017-03-03 2020-01-21 Augray Pvt. Ltd. System and method for creating a full head 3D morphable model
US20190114037A1 (en) * 2017-10-17 2019-04-18 Blend Systems, Inc. Systems and methods for distributing customized avatars responsive to events
CA3084169A1 (en) * 2017-12-14 2019-06-20 Magic Leap, Inc. Contextual-based rendering of virtual avatars
USD877194S1 (en) 2018-03-16 2020-03-03 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
USD873285S1 (en) 2018-07-24 2020-01-21 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
USD873852S1 (en) 2018-07-24 2020-01-28 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD884737S1 (en) 2018-07-24 2020-05-19 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD894226S1 (en) 2018-10-31 2020-08-25 Stryker Corporation Display screen or portion thereof with graphical user interface
USD885235S1 (en) 2019-03-26 2020-05-26 Tasaki & Co., Ltd. Ring
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
JP2017060611A (ja) * 2015-09-25 2017-03-30 株式会社コロプラ システム、方法及びプログラム

Also Published As

Publication number Publication date
US20210233318A1 (en) 2021-07-29
US20220405995A1 (en) 2022-12-22
US11645823B2 (en) 2023-05-09
EP4097685A1 (en) 2022-12-07
US12079943B2 (en) 2024-09-03
EP4097685A4 (en) 2024-02-21
WO2021154646A1 (en) 2021-08-05
CN115023738A (zh) 2022-09-06
US11380072B2 (en) 2022-07-05
US20230298287A1 (en) 2023-09-21
US20240378831A1 (en) 2024-11-14
JP7676416B2 (ja) 2025-05-14

Similar Documents

Publication Publication Date Title
JP7676416B2 (ja) 中立アバタ
JP7307119B2 (ja) 完全な顔画像の眼球周囲およびオーディオ合成
JP7578711B2 (ja) 最適視線弁別のためのアバタカスタマイズ
JP7342008B2 (ja) 仮想アバタのためのメッシュの合致
JP7389032B2 (ja) 仮想アバタのコンテキストベースのレンダリング
JP7355748B2 (ja) 眼球位置合わせを使用した頭部走査整合
US10445917B2 (en) Method for communication via virtual space, non-transitory computer readable medium for storing instructions for executing the method on a computer, and information processing system for executing the method
JP2024028376A (ja) 拡張現実および仮想現実のためのシステムおよび方法
US9479736B1 (en) Rendered audiovisual communication
JP2022549853A (ja) 共有空間内の個々の視認
WO2019209431A1 (en) Avatar facial expression representation in multidimensional space
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
JP2023100820A (ja) 空間コンピューティングのための写実的キャラクタ構成
JP2023536064A (ja) 交互サンプリングを使用した眼追跡
WO2022066400A1 (en) Sensor emulation
US20230290096A1 (en) Progressive body capture of user body for building an avatar of user
CN119576128A (zh) 用于扩展现实环境中的三维用户体验会话的设备、方法和图形用户界面
JP2022008613A (ja) コミュニケーション装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250430

R150 Certificate of patent or registration of utility model

Ref document number: 7676416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150