JP6438087B2 - ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 - Google Patents
ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 Download PDFInfo
- Publication number
- JP6438087B2 JP6438087B2 JP2017156748A JP2017156748A JP6438087B2 JP 6438087 B2 JP6438087 B2 JP 6438087B2 JP 2017156748 A JP2017156748 A JP 2017156748A JP 2017156748 A JP2017156748 A JP 2017156748A JP 6438087 B2 JP6438087 B2 JP 6438087B2
- Authority
- JP
- Japan
- Prior art keywords
- hmd
- game
- user
- screen
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000002452 interceptive effect Effects 0.000 claims description 99
- 230000033001 locomotion Effects 0.000 claims description 71
- 230000007704 transition Effects 0.000 claims description 71
- 230000008859 change Effects 0.000 claims description 63
- 238000009877 rendering Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000002604 ultrasonography Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 description 78
- 238000012545 processing Methods 0.000 description 73
- 239000000872 buffer Substances 0.000 description 41
- 239000003550 marker Substances 0.000 description 29
- 238000001514 detection method Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 15
- 230000004886 head movement Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000004424 eye movement Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001289753 Graphium sarpedon Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
Description
本発明は、ヘッドマウントディスプレイにおいて透明モードを変更する方法及びシステムに関する。
ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。コンピューターの処理能力の向上とともに、テレビゲームの開発者らも、このような処理能力の高度化を利用したゲームソフトウェアを開発してきた。このため、テレビゲームの開発者らは、非常にリアルなゲーム体験となるように高度な演算や数値演算を組み込んだゲームをコーディングしてきた。
数多くのゲームプラットホームが、ゲームコンソールの形態で開発され、販売されてきた。典型的なゲームコンソールは、モニター（通常、テレビ受像機）に接続し、ユーザーが、ハンドヘルドコントローラーを介して相互作用することができるように設計される。ゲームコンソールは、中央処理装置（ＣＰＵ）、重いグラフィック演算を処理するためのグラフィックスシンセサイザー、ジオメトリ変換を実施するためのベクトルユニット、及びグルーハードウェアと呼ばれるその他のハードウェア、ソフトウェア、及びファームウェアを含む専用の処理ハードウェアで設計されている。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためのゲームのコンパクトディスクを収容するための光学ディスクトレイを備えるようにさらに設計される。ゲームコンソールは、ユーザーが、インターネット上で他のユーザーと対戦して、または、他のユーザーと一緒にインタラクティブにプレイすることができるオンラインゲーム用にも設計されている。ゲームの複雑さがプレーヤーの興味を引き付けるように、ゲーム及びハードウェアの製造業者らは、新しい手法を取り入れてさらなるインタラクティビティとコンピュータープログラムとを可能にしようとしてきた。
コンピューターゲーム業界では、ユーザーとゲームシステムとの間のインタラクションを高めるゲーム及びゲームコントローラーを開発する傾向が広がっている。ゲームコントローラーは、ゲームシステムがプレーヤーの多様な動きをトラッキングし、この動きをゲームシステム上で実行されるゲームの入力として使用できるようにすることによってより質の高いインタラクティブな経験を可能にする特徴を含んでいる。
本発明の実施形態は、この状況においてなされたものである。
本発明の実施形態は、本明細書に記載するように、１つの透過モードから別のモードに移行するためのシステム及び方法を提供するものである。
大まかにいうと、本発明の様々な実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームを実行するためのシステム及び方法を開示する。ゲームが実行され、ゲームからのインタラクティブなシーンがヘッドマウントディスプレイのスクリーン上にレンダリングされる。ユーザーによって着用されているＨＭＤの画像が受信され、ＨＭＤの第１の空間位置を、ユーザーに向かうように方向付けられた捕捉場所と相対的に識別するために使用される。ユーザーによって保持されているコントローラーの画像が受信され、かつコントローラーの第２の空間場所を捕捉場所と相対的に識別するために使用される。コントローラーは、少なくとも部分的に実行中のゲームとの相互作用を推進するために入力を提供する。ＨＭＤのスクリーン上に提示されるインタラクティブなシーンを視認するユーザーの視線方向を識別する画像が受信される。ＨＭＤの前方向から捕捉される現実世界の画像も受信される。スクリーンの一部は、透過モードに移行され、透過モードはスクリーンの一部にレンダリングされたインタラクティブなシーンを現実世界の画像の少なくとも一部分によって置き換える。この透過モードは、一定の期間後中断するので、ユーザーは、継続的にゲームに完全に浸り込み、かつゲームプレイを完全に体験することができる。ユーザーがゲームに完全に浸り込んでいる非透過モードから、透過モードへの移行は、ユーザーのゲームプレイを妨げることなく、ユーザーが現実世界を覗き見るのを可能にする。この移行は、ユーザーがとても激しいゲームから段階的に現実世界に入っていくことも可能にする。
一実施形態では、ヘッドマウントディスプレイのスクリーン上に提示されるゲームを実行する方法が開示される。この方法は、ゲームを実行することを含む。ゲームの実行に応答して、ゲームのインタラクティブなシーンがＨＭＤのスクリーン上にレンダリングされる。ユーザーによって着用されているＨＭＤの画像が受信される。このＨＭＤの画像は、ＨＭＤの第１の空間位置を、ユーザーに向かうように方向付けられた捕捉場所と相対的に識別するために使用される。ユーザーによって保持されているコントローラーの画像が受信される。このコントローラーの画像は、コントローラーの第２の空間位置を、捕捉場所と相対的に識別するために使用される。コントローラーは、実行中のゲーム内の相互作用を少なくとも部分的に推進するために入力を提供する。ＨＭＤのスクリーン上に提示される、ゲームのインタラクティブなシーンを視認するユーザーの視線方向の変更を識別する画像が受信される。ユーザーの変更した視線方向と一致する現実世界の画像が受信される。現実世界の画像は、ＨＭＤの前方向から捕捉される。視線方向の変更の検出に応答して、スクリーンの一部は半透過モードに移行される。この移行は、捕捉された現実世界の画像の少なくとも一部を、インタラクティブなシーンをレンダリングするスクリーンの一部に提示させる。半透過モードは、一定の期間後中断する。
別の実施形態では、ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームを実行する方法が開示される。この方法は、ゲームを実行することを含む。ゲームの実行は、ゲームのインタラクティブなシーンをＨＭＤのスクリーン上にレンダリングする。ＨＭＤのスクリーン上に提示される、インタラクティブなシーンを視認しているとき、ＨＭＤを着用しているユーザーの視線方向の変更を識別する画像が受信される。ＨＭＤの前方を向いたカメラから捕捉された現実世界の画像が受信される。捕捉された現実世界の画像は、ユーザーの視線方向と一致する。スクリーンの一部は、捕捉された現実世界の画像の少なくとも一部分が、インタラクティブなシーンをレンダリングするスクリーンの一部に重ね合わせられるように、視線方向の変更に応答して非透過モードから半透過モードへと移行される。半透過モードは、一定の期間後中断する。
別の実施形態では、ヘッドマウントディスプレイのスクリーン上に提示されるゲームを実行する方法が開示される。この方法は、ゲームを実行することを含む。ゲームが実行されると、ゲームのインタラクティブなシーンは、ＨＭＤのスクリーン上にレンダリングされる。ゲームの実行の間にＨＭＤの近くの範囲内で発生するトリガーイベントが検出される。このトリガーイベントは、スクリーンの非透過モードから完全透過モードへの移行を生じさせる。この移行することには、スクリーンを完全透過モードへと切り換えるために、スクリーンの１つ以上の光学特性を調節することを含む。この完全透過モードは、ユーザーがＨＭＤの近くの現実世界の環境を、スクリーンを通して視認できるようにする。完全透過モードは、一定の期間後中断する。
本発明の他の態様は、本発明の実施形態の原理を例示する手段として図示する添付の図面を併用して、以下の課題を解決するための手段から明らかとなるであろう。
本発明の様々な実施形態は、添付の図面を併用して以下の記述を参照することによって、最も良好に理解される場合がある。
ヘッドマウントディスプレイ（ＨＭＤ）内で、非透過モードから半透過または完全透過モードへ移行するシステム及び方法が記載される。ゲームコンソールまたはゲームクラウド上で実行されるゲームは、ゲームのインタラクティブなシーンをＨＭＤのスクリーン上にレンダリングさせる。ゲームの実行の間に、トリガーイベントの発生が検出される。トリガーイベントの検出に応答して、ＨＭＤのスクリーンの一部、または全スクリーンのいずれかが、非透過モードから半透過または完全透過モードに移行される。この移行は、ＨＭＤの近くから捕捉される現実世界の画像の少なくとも一部分を、ＨＭＤスクリーンの一部にレンダリングされたインタラクティブなシーンと並んで提示できるようにする。またはユーザーがＨＭＤの近くからの現実世界の画像をスクリーンを通して視認できるようにする。
いくつかの実施形態では、半透過モードへ移行することは、インタラクティブなシーンを背景へとフェードインさせ、一方で現実世界の画像を前景にレンダリングさせることを含む。いくつかの実施形態では、この移行は、段階的な増分で行われてもよい。いくつかの実施形態では、この段階的な増分での移行は、ゲームの強度によって、線形的あってもまたは非線形的であってもよい。いくつかの実施形態では、完全透過モードへと移行することは、ＨＭＤスクリーンの一部にレンダリングするインタラクティブなシーンを、ＨＭＤの前を向いたカメラによって捕捉される現実世界の画像で置き換えることを含む。他の実施形態では、非透過モードから完全透過モードへの移行は、スクリーンを完全に透過的にするように、スクリーンの光学特性を調節することによって実現される。いくつかの実施形態では、イベントは、ＨＭＤを着用しているユーザーの視線方向の変化が検出されたときにトリガーされる場合がある。いくつかの他の実施形態では、イベントは、ユーザーがＨＭＤを使用してゲームをプレイしている部屋に人が入ってくるなどのように、ユーザーのすぐそばの現実世界環境で動きが検出されたとき、またはユーザーのすぐそばの現実世界環境内でＨＭＤによって音が検出されるとき、等々に、トリガーされる場合がある。いくつかの実施形態では、トリガーイベントは、ユーザーからの音声または動きによるコマンド、またはコントローラーもしくはＨＭＤから発せられるコマンドに応答する場合がある。
本開示に記載される様々な実施形態は、これらの具体的な詳細の一部または全てを用いずに実践される場合があることに留意するべきである。他の場合では、周知のプロセス動作は、本開示に記載される様々な実施形態を不必要に不明瞭にしないために、詳細には記載されない。
一実施形態では、システムは、コンピューター、ハンドヘルドコントローラー（ＨＨＣ）、及びヘッドマウントディスプレイ（ＨＭＤ）を含む。様々な実施形態では、コンピューターは、汎用コンピューター、専用コンピューター、ゲームコンソール、移動電話、タブレットデバイス、またはＨＭＤのディスプレイスクリーン上にレンダリングされたインタラクティブなプログラムの１つ以上の部分を実行するその他のかかるデバイスであってもよい。このインタラクティブなプログラムは、複数のユーザーによってプレイされるマルチユーザーゲームプログラムであっても、または１人のユーザーによってプレイされるシングルユーザーゲームプログラムであってもよい。いくつかの実施形態では、ゲームプログラムの少なくとも一部は、コンピューター上で実行される。かかる実施形態では、インタラクティブなプログラムの何らかの残りの部分は、ゲームクラウドシステム（例えば、１つ以上のバーチャルマシン（ＶＭ））上で実行される。いくつかの実施形態では、インタラクティブなプログラムのすべての部分がゲームクラウドシステム上で実行される。
ＨＭＤは、ユーザーの頭の上に直接、またはヘルメットの一部分として着用されるディスプレイデバイスである。ＨＭＤは、ユーザーの１つのまたはそれぞれの目の前に小さいディスプレイ光学機器を有する。いくつかの実施形態では、ＨＭＤは、コンピューター及び／またはゲームクラウドシステム上で実行されるプログラムからのビデオ出力を受信し、かつレンダリングする能力がある。ユーザーは、インタラクティブなプログラムに提供される１つ以上の入力を作り出すハンドヘルドコントローラー（ＨＨＣ）及び／またはＨＭＤを操作する。様々な実施形態では、ＨＨＣ及び／またはＨＭＤは、コンピューターとワイヤレスで通信する。これは、ＨＨＣ及び／またはＨＭＤが有線接続された場合より動きの自由度が高いためである。ＨＨＣは、インタラクティブなプログラムに入力を提供するために、ボタン、慣性センサー、トラッキング可能なＬＥＤライト、タッチスクリーン、入力コントロール付きジョイスティック、方向パッド、トリガー、タッチパッド、タッチスクリーンなどの様々な特徴のいずれかを含んでもよく、また手のジェスチャー、音声入力、または他のタイプの入力機構を検出及び解釈する回路／ロジックを有してもよい。さらに、ＨＨＣは、コントローラーを動かすことによってユーザーが、インタラクティブなプログラムとインターフェースをとること、及びインタラクティブなプログラムに入力を提供することができるようにする、モーションコントローラーであってもよい。
似たようなやり方で、ＨＭＤは、ＨＭＤを動かすことによってユーザーが、インタラクティブなプログラムとインターフェースをとること、及びインタラクティブなプログラムに入力を提供することができるようにする、ユーザー入力回路を含んでもよい。モーションコントローラー及び／またはＨＭＤの位置及び動きを検出するために、様々な技術が採用されてもよい。例えば、ＨＭＤのモーションコントローラー及び／またはユーザー入力回路は、加速度計、ジャイロスコープ、及び磁力計などの様々なタイプの慣性センサー回路を含んでもよい。いくつかの実施形態では、モーションコントローラーは、グローバルポジショニングシステム（ＧＰＳ）、コンパス、等々を含んでもよい。いくつかの実施形態では、加速度計は、６軸低遅延加速度計である。いくつかの実施形態では、モーションコントローラー及び／またはユーザー入力回路は、例えば、発光ダイオード（ＬＥＤ）、カラーポイント、光反射板、等々などの１つ以上の固定参照対象物（あるいは、「マーカーエレメント」という用語でも呼ばれる）を含むことができる。固定参照対象物の画像は、システムの１つ以上のデジタルカメラによって捕捉される。いくつかの実施形態では、デジタルカメラとしては、ビデオカメラが挙げられ、これにはさらに、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮及びエンコード装置が挙げられ、これにより圧縮ビデオデータは、イントラ画像ベースのモーション・ピクチャー・エクスパート・グループ（ＭＰＥＧ）標準形式などの適切な形式で送信されてもよい。次いで、モーションコントローラー及び／またはＨＭＤの位置及び動きは、１つ以上のデジタルカメラによって捕捉された画像の解析を通して決定することができる。
図１Ａは、システム１００の例示的な構成の実施形態である。一実施形態では、システムは、インターネット１１０を通して通信するゲームクラウド１０２、ＨＭＤ１０４、及びＨＨＣ１０６を含む。一実施形態では、ＨＭＤ１０４は、インターネット１１０と通信するルーター（図示せず）を含む。いくつかの実施形態では、ゲームクラウド１０２は、本明細書ではゲームクラウドシステムと呼ばれている。ＨＭＤ１０４は、ユーザー１０８によって、ディスプレイスクリーン（複数可）が自身の目（複数可）の前にくるように、ユーザー１０８がヘルメットを着けるのと同様の要領で、自身の頭の上に定置される。ＨＨＣ１０６は、ユーザー１０６によって自身の手で保持されている。
様々な実施形態では、ＨＨＣ１０６の代わりに、ユーザー１０８の両手は、例えば、ハンドジェスチャー、フィンガージェスチャー、等々のジェスチャーを提供するために使用される場合がある。ジェスチャーは、ＨＭＤ１０４内のインタラクティブなプログラム及び／またはロジックによって解釈される場合がある。かかる実施形態では、ユーザーは、触覚的なフィードバックを提供するセンサー付きのインタラクティブな手袋を着用する場合がある。インタラクティブな手袋は、ユーザーが着用しているとき、ＨＨＣとして作用し、インタラクティブなプログラム及び／またはＨＭＤにインタラクティブなジェスチャー／行為の形態で入力を提供する。インタラクティブな手袋は、様々な動きを検出できるように、ＬＥＤ、光反射板、等々などの、マーカーエレメントを含む場合がある。インタラクティブな手袋は、ＨＭＤ及び／またはインタラクティブなプログラムに入力を提供するために使用されるウェアラブルデバイスの１つの形態であり、他の形態の着用できる衣類／デバイスも用いられてもよい。ＨＭＤ１０４のデジタルカメラ１０１は、ジェスチャーの画像を捕捉し、ＨＭＤ１０４内のプロセッサは、このジェスチャーを解析して、ＨＭＤ１０４内に表示されたゲームが影響を受けるかどうかを判定する。一実施形態では、カメラ１０１は、ＨＭＤ１０４のフェースプレート４０５上に前方に面して位置付けられた外部デジタルカメラである。いくつかの実施形態では、現実世界の画像の異なる角度を捕捉するために、ＨＭＤ１０４のフェースプレート上に２つ以上の外部デジタルカメラが提供される場合がある。いくつかの実施形態では、カメラは、ステレオカメラ、赤外線カメラ、単レンズカメラ、等々であってもよい。本明細書で使用される場合、プロセッサは、マイクロプロセッサ、プログラマブルロジックデバイス、特定用途向け集積回路、またはこれらの組合せであってもよい。
システム１００は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、またはこれらの組合せであってもよい、ネットワーク１１０を含む。ネットワーク１１０の実施例としては、インターネット、イントラネット、またはこれらの組合せが挙げられる。いくつかの実施形態では、ネットワーク１１０は、ゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でネットワーク１１０を介してメディアデータを通信するために伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）を使用する。実施形態は、ＴＣＰ／ＩＰプロトコルに制限されず、ネットワークを介してメディアデータを通信するための他の形態の通信プロトコルも用いることができる。様々な実施形態では、ネットワークは、イーサネット（登録商標）とＴＣＰ／ＩＰの組合せを、ゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でネットワーク１１０を介してメディアデータを通信するためのプロトコルとして使用する。
ゲームクラウド１０２は、コーダー／デコーダー（コーデック）１１２及びストリームバッファ１１４を含む。ストリームバッファ１１４は、ゲームプログラム１１７の実行時に作り出されたメディアデータ１１６のストリームを保存する。メディアデータ１１６としては、バーチャル環境データ、バーチャルゲーム対象物データ、これらの組合せ、等々が挙げられる。バーチャル環境データは、ゲームのバーチャル環境を作り出すために使用され、バーチャルゲーム対象物データは、１つ以上のバーチャルゲーム対象物、例えば、バーチャルゲームキャラクター、バーチャルゲーム対象物、バーチャルポイント、バーチャルプライズ、ゲームインターフェース、等々を作り出すために使用される。ゲームプログラム１１７は、ゲームクラウド１０２の１つ以上のサーバーによって実行されるインタラクティブなプログラムの実施例である。コーデック１１２は、非可逆圧縮、可逆圧縮、等々を使用して、メディアデータをコード／デコードするための圧縮プログラム／圧縮解除プログラムを使用する。
ＨＭＤ１０４は、ＨＭＤ１０４のプロセッサによって実行されるオペレーティングシステム（ＯＳ）にアクセスするために使用される。例えば、ＨＭＤ１０４のボタンの選択及び起動は、ＨＭＤ１０４のプロセッサにＯＳを実行させることを可能にする。同様に、ＨＨＣ１０６は、ＨＨＣ１０６のプロセッサによって実行されるＯＳにアクセスするために使用される場合がある。ＨＨＣ１０６上のボタンは、ＨＨＣ１０６のプロセッサにＯＳを実行させるために使用される場合がある。
いくつかの実施形態では、ＯＳは、ＨＭＤ１０４がネットワーク１１０に直接アクセスすることができるようにする。例えば、ユーザーは、ＨＭＤ１０４のプロセッサによって、ＯＳ上で実行される、ネットワークアクセスアプリケーションをネットワークアクセスアイコン、ネットワークアクセスシンボル、等々を使用して選択する場合がある。ネットワークアクセスアプリケーションは、ネットワーク１１０にアクセスするために選択するネットワークのリストを提供する。ネットワーク１１０にアクセスするためには、ネットワークアクセスプロトコルに従って、ユーザー認証が要求される場合がある。選択され、（必要に応じて）ユーザー認証が正常に行なわれると、ユーザーはネットワーク１１０へアクセスできるようになる。ＨＭＤ１０４内のビルトインルーター（図示せず）は、ゲームデータを交換するために、ゲームクラウドと相互作用するようにネットワーク１１０を使用する。これらの実施形態では、ネットワーク１１０とＨＭＤ１０４との間の通信は、ワイヤレス通信プロトコルに従う。似たようなやり方で、ＨＨＣ１０６はネットワークアクセスアプリケーションを使用してネットワークを選択することによってネットワーク１１０へのアクセスを得、かつＨＨＣ１０６とネットワークとの間の通信はワイヤレス通信プロトコルに従う。
ネットワーク１１０が一旦アクセスされるようになると、ＯＳは、ネットワークの選択と同様な様式で、ＨＭＤ１０４がゲームプログラム１１７にアクセスできるようにする。例えば、ユーザー１０８が、ＯＳ上で、ＨＭＤ１０４のプロセッサによって実行されるゲームアクセスアプリケーションをゲームアクセスアイコン、ゲームアクセスシンボル、等々を通して選択するとき、ゲームアクセスアプリケーションは、ユーザー１０８に対して表示するために、ＨＭＤ１０４のプロセッサを介してゲームプログラム１１７へのアクセスを要求する。ゲームプログラム１１７へのアクセスを得ると、ＨＭＤ１０４のマイクロコントローラーは、ゲームをＨＭＤ１０４のディスプレイスクリーン上に表示する。いくつかの実施形態では、ＨＭＤ１０４のディスプレイスクリーンは、ＨＭＤ１０４が迅速に動いたときに不鮮明になるのを低減させるための、高性能スクリーンである。一実施形態では、ディスプレイスクリーンは、液晶ディスプレイ（ＬＣＤ）スクリーンである。ユーザー１０８は、例えば、頭を傾ける、ウインクする、凝視する、視線を変更する、じっと見つめる、等々の、１つ以上の頭及び／または目の動きを実施し、それぞれの頭または目の動きは、ユーザー入力回路が入力を作り出すのをトリガーする。入力はゲームをプレイするために使用されてもよい。これらの実施形態では、ゲームプログラム１１７をゲームクラウド１０２上で実行し、かつゲームプログラム１１７とＨＭＤ１０４との間の通信は、ビルトインルーター及びネットワーク１１０を通る。
いくつかの実施形態では、ゲームアクセスアプリケーションは、ゲームプログラム１１７にアクセスするために、ユーザー１０８から、ユーザー名及び／またはパスワードなどのユーザー認証情報を要求する。ゲームクラウド１０２から正常に認証を受けると、ゲームアクセスアプリケーションは、ユーザー１０８に対してゲームプログラム１１７へのアクセスを可能にする。
様々な実施形態では、ゲームアプリケーション／プログラムにアクセスする代わりに、ユーザー１０８は、ネットワーク１１０にアクセスすると、ウェブページへのアクセスを要求し、ウェブページは、ユーザー１０８がゲームプログラム１１７にアクセスできるようにする。例えば、ユーザー１０８は、ユーザー入力回路またはＨＨＣ１０６を介して、ウェブページにアクセスするためのウェブブラウザアプリケーションを選択する。ウェブページにアクセスすると、ユーザー１０８はウェブページ上に表示されたゲームをプレイするか、またはその中で提供されるリンクを使用してゲームにアクセスする。ゲームは、ゲームプログラム１１７がゲームクラウド１０２上で実行されるとき、レンダリングされる。いくつかの実施形態では、ゲームをプレイするためのウェブページへのアクセスを提供する前にユーザー認証が要求される場合があり、これはゲームプログラム１１７がゲームクラウド１０２上で実行されるとき、表示される。ユーザー名及び／またはパスワードは、上述のユーザー１０８がゲームアクセスアプリケーションを介してゲームにアクセスするときと同様の様式で認証される。
ゲームプログラム１１７にアクセスすると、コーデック１１２は、エンコードしたメディアデータのストリームをネットワーク１１０を介してＨＭＤ１０４に送るために、メディアデータ１１６のデジタルデータストリームをエンコード（例えば、圧縮、等々）する。いくつかの実施形態では、エンコードしたメディアデータのデジタルデータストリームは、ネットワーク１１０を介して送るためのパケットの形態をとる。
ＨＭＤ１０４は、選択されたゲームプログラムのエンコードしたメディアデータのデジタルデータストリームを、コーデック１１２からネットワーク１１０を介して受信し、このデジタルデータストリームは、処理（例えば、パケット解除、デコード、等々）され、処理されたストリームは、ＨＭＤ１０４のディスプレイスクリーン上にゲームを表示するために使用される。ゲームデータがＨＭＤ１０４のディスプレイスクリーン上に表示されるとき。ＨＭＤ１０４の外部カメラ１０１は、ＨＭＤにおけるトリガーイベントの検出に応答して、ユーザー１０８のすぐそばの現実世界環境の１つ以上の画像を捕捉する。いくつかの実施形態では、外部カメラ１０１は、ビデオカメラである。現実世界環境の実施例としては、ユーザー１０８がゲームにアクセスしている部屋、ユーザー１０８が位置付けられた地理的領域、ユーザー１０８の周囲の現実世界の対象物、等々が挙げられる。地理的領域の実施例としては、公園、道路、通り、湖、都市、ランドマーク、等々が挙げられる。現実世界の対象物の実施例としては、バスターミナル、コーヒーショップ、商店、オフィス、車両、部屋、机、テーブル、椅子、ボール、等々が挙げられる。現実世界環境データとしては、現実世界環境の１つ以上の画像が挙げられ、一実施形態では、これらの画像は処理され、ＨＭＤ内にローカルで保存され、かつこれに続くＨＭＤのスクリーン上へのレンダリングのために使用される。トリガーイベントなどのユーザー入力は、ＨＭＤ１０４によって処理、パケット化、及びエンコードされ、ビルトインルーター及びネットワーク１１０を通してゲームクラウド１０２内のコーデック１１２に送られてもよい。いくつかの実施形態では、ユーザー入力に加えて、現実世界環境データも、ＨＭＤ１０４によってパケット化及びエンコードされ、エンコードされた環境データのストリームとして、ＨＭＤ１０４のビルトインルーター、ネットワーク１１０を介してゲームクラウド１０２内のコーデック１１２へ送ってもよい。
ユーザー入力及び／または現実世界環境データを受信すると、ゲームプログラム１１７は、追加的なメディアデータのストリームを作り出すために、ゲームクラウド１０２の１つ以上のサーバーによってパケット化された、追加的なメディアデータを作り出す。追加的なメディアデータは、ＨＭＤ上にレンダリングされたバーチャルゲーム環境を更新するために使用される、バーチャルゲーム対象物（例えば、コンピューターで作り出された対象物、等々）の修正を含む、ゲームプレイに対する修正を含んでもよい。追加的なメディアデータのストリームは、ストリームバッファ１１４内に保存され、コーデック１１２によってエンコードされ、エンコードされた追加的なメディアデータのストリームとして、ネットワーク１１０を介してＨＭＤ１０４に送られる。ＨＭＤ１０４は、エンコードした追加的なメディアデータのストリームを受信し、このストリームをパケット解除し、追加的なメディアデータをＨＭＤ１０４のマイクロコントローラーに提供するために、エンコードした追加的なメディアデータをデコードする。ＨＭＤ１０４のマイクロコントローラーは、追加的なメディアデータに基づいて、ゲームプログラム１１７によって実行され、ＨＭＤのスクリーン上にレンダリングされた、ゲームのディスプレイを変化させる。
ユーザー入力は、ＨＭＤ１０４及び／またはＨＨＣ１０６を通して提供されてもよい。例えば、ユーザー１０８は、ＨＭＤ１０４内に提供される入力インターフェース／入力機構を使用して入力を提供してもよい。代替的に、ユーザー１０８は、ＨＨＣを使って、手の動き（例えば、ボタンの押圧、ジョイスティックの動き、ハンドジェスチャー、フィンガージェスチャー、これらの組合せ、等々）を実施してもよく、ＨＨＣ１０６で提供されるかかるユーザー入力は、ＨＭＤ１０４の通信回路に送るために、ＨＨＣ１０６の通信回路によって入力信号に変換された、入力データを作り出す。当然のことながら、ＨＨＣとしては、ハンドヘルドコントローラー、ジョイスティック、モーションコントローラー、ウェアラブル衣料品、ウェアラブルデバイス、等々が挙げられる。ＨＨＣ１０６及びＨＭＤ１０４を起源とする入力信号は、ＨＭＤ１０４の通信回路によってアナログ形態からデジタル形態に変換され、パケット化され、ＨＭＤ１０４によってエンコードされ、ネットワーク１１０を介してコーデック１１２へ送られる。ＨＭＤの通信回路の実施例としては、トランシーバー、送信／受信回路、ネットワークインターフェースコントローラー、等々が挙げられる。
いくつかの実施形態では、ゲームプログラム１１７は、ＨＭＤによって作り出された入力データを、ＨＨＣにおいて（例えば、手の動きに基づいて）作り出された入力データを用いてマッピングし、ＨＭＤ１０４上に表示されたゲーム状態を変化させるかどうかを判定する。例えば、ＨＭＤからの入力を、ＨＨＣ１０６上のボタンの押圧などのＨＨＣ１０６において作り出された入力とともにネットワーク１１０を介して受信したとき、ゲームプログラム１１６は、ゲーム状態を変化することを決定する。そうでなければ、ゲームプログラム１１７は、ゲーム状態を変化しないことを決定する。
手の動き及び／またはハンドヘルドコントローラーの動きに基づいて作り出された入力の入力データは、ＨＨＣ１０６の通信回路（例えば、トランシーバー、送信／受信回路、等々）によって、ＨＭＤ１０４の通信回路（例えば、トランシーバー、送信／受信回路、等々）に通信される。ＨＭＤに通信された入力データ及び／またはＨＭＤによって作り出された入力データは、ＨＭＤ１０４によってパケット化及びエンコードされ、エンコードした入力データのストリームとしてネットワーク１１０を介して、コーデック１１２に送られる。例えば、入力データは、ＨＭＤ１０４からビルトインルーターを使用して、ネットワーク１１０を介してゲームクラウド１０２へ直接送られてもよい。数多くの実施形態では、ユーザー１０８は、手の動きを実施し、ＨＭＤからユーザー入力を提供して、ＨＭＤにおいてレンダリングされる仮想対象物の場所及び／または配向を変化させる。
コーデック１１２は、ネットワーク１１０を介してＨＭＤ１０４から受信されたエンコードされた入力データのストリームをデコード（例えば、圧縮解除、等々）し、デコードされた入力データは、パケット解除するために、ストリームバッファ１１４内にバッファされ、ゲームプログラム１１７に送られる。ゲームクラウド１０２の１つ以上のサーバーは、デコードされた入力データのストリームをパケット解除して、入力データをゲームプログラム１１７に送信する。入力データを受信すると、ゲームプログラム１１７は、次のメディアデータを作り出し、これは次のメディアデータのストリームを作り出すために、ゲームクラウド１０２の１つ以上のサーバーによってパケット化される。次のメディアデータのストリームは、ストリームバッファ１１４内に保存され、コーデック１１２によってエンコードされ、エンコードした次のメディアデータのストリームとして、ネットワーク１１０を介してＨＭＤ１０４へ送られる。ＨＭＤ１０４は、エンコードされた次のメディアデータのストリームを受信し、このストリームをパケット解除し、エンコードされた次のメディアデータをデコードして、次のメディアデータをＨＭＤ１０４のマイクロコントローラーに提供する。ＨＭＤ１０４のマイクロコントローラーは、次のメディアデータに基づいて、ゲームプログラム１１７によって実行されるゲームのディスプレイを変化させる。例えば、マイクロコントローラーは、バーチャルゲーム対象物の見た目、位置、及び／または配向を変化させ、これは、現実世界環境の１つ以上の画像の上にオーバーレイされているか、または単純にＨＭＤ１０４のスクリーン上にレンダリングされているか、のいずれかである。
ＨＨＣ及び／またはＨＭＤにおいて作り出された入力データはゲーム状態を変化させることに留意するべきである。いくつかの実施形態では、ゲームのディスプレイは、本明細書ではゲームプログラム１１７に組み込まれたインタラクティブ性の一部と称される。
様々な実施形態では、手の動きに基づいて作り出された入力データを、ＨＨＣ１０６からＨＭＤ１０４に通信する代わりに、入力データを、ＨＨＣ１０６からネットワーク１１０を介して直接コーデック１１２に通信する。ＨＨＣ１０６において作り出された入力データは、ＨＨＣ１０６によって、ＨＭＤ１０４による通信と同様の様式で通信される。例えば、手の動きに基づいてＨＨＣ１０６から作り出された入力データは、ＨＨＣ１０６によってエンコード及びパケット化され、エンコードした入力データのストリームとしてネットワーク１１０を介してコーデック１１２に送られる。
図１Ａに図示される実施形態では、ＨＭＤ及びＨＨＣが、ゲームコンソールまたは外部ルーターを通過せずに、ネットワーク１１０と個別に直接通信していることに留意するべきである。代替的な実施形態では、ＨＨＣは、ＨＨＣにおいて作り出された入力データを送信するためにＨＭＤと通信してもよく、ＨＭＤは、ＨＨＣ及び／またはＨＭＤにおけるデータを、ネットワーク１１０に直接的に通信してもよい。これらの実施形態の両方では、メディアデータ１１６、追加的なメディアデータ、次のデータ、等々は、ゲームクラウド１０２のコーデック１１２によって、ネットワーク１０１及びビルトインルーターを介して、ＨＭＤ１０４のワイヤレスアクセスカード（ＷＡＣ）へと直接的に簡素化される。さらに、これらの実施形態では、データ（例えば、入力データ、現実世界環境データ、等々）は、ＨＭＤ１０４のＷＡＣによって、ビルトインルーター及びネットワーク１１０を介して、ゲームクラウド１０２のコーデック１１２へ直接的にストリーミングされる。ＨＭＤのビルトインルーターと連携するＷＡＣは、ストリーミングメディアデータ及び入力データを、ＨＭＤへ、及びＨＭＤから伝送することができる。
図１Ｂは、ＨＭＤ１０４またはＨＨＣ１０６とゲームクラウド１０２との間の、ネットワーク１１０及びルーター１５２を介したデータ転送のためのシステム１５０の実施形態の線図である。システム１５０は、システム１５０がＨＭＤ１０４とネットワーク１１０との間にルーター１５２を含むことを除いて、システム１００（図１Ａ）と同様である。ルーター１５２も、ＨＨＣ１０６とネットワーク１１０との間に位置付けられる。この実施形態では、ＨＭＤ１０４のＷＡＣは、ネットワーク１１０と通信するために、ルーター１５２とインターフェースする。
ＨＭＤ１０４は、ワイヤレス接続（例えば、ブルートゥース（登録商標）接続、またはＷｉ−Ｆｉ（登録商標）接続、等々）を介して、ルーター１５２に連結される。さらに、ＨＨＣ１０６は、ワイヤレス接続を介してルーター１５２に連結される。いくつかの実施形態では、ルーター１５２は、有線接続を介してネットワーク１１０に連結される。
図１Ｂに図示されるシステム１５０は、エンコードしたデータのストリームがＨＭＤ１０４またはＨＨＣ１０６からルーター１５２に送られることを除いて、システム１００（図１Ａ）と同様の様式で操作される。ルーター１５２は、ストリームをコーデック１１２に送るのを容易にするために、エンコードしたデータのストリームをネットワーク１１０内のパスにルーティングする（例えば、向ける、等々）。ルーター１５２は、エンコードしたデータのストリームをコーデック１１２にルーティングするために、コーデック１１２のＩＰアドレスを使用する。いくつかの実施形態では、ルーター１５２は、ネットワーク１１０のネットワークパスを、ネットワークトラフィックファクター（例えば、ネットワークパス上のパケットトラフィック、ネットワークパス上の輻輳、等々）に基づいて決定する。
ルーター１５２は、エンコードしたデータのストリームをゲームクラウド１０２からネットワーク１１０を介して受信し、エンコードしたデータのストリームをＨＭＤ１０４にルーティングする。例えば、ルーター１５２は、ゲームクラウド１０２からネットワーク１１０を介して受信した、エンコードしたデータのストリームを、ＨＭＤ１０４のＩＰアドレスに基づいて、ＨＭＤ１０４にルーティングする。システム１００及び１５０を使用するいくつかの実施形態では、ゲーム実行は、主としてゲームクラウド１０２上で発生する。いくつかの実施形態では、ゲームのある一部分を、ＨＭＤ１０４上で実行する場合があるが、残りの部分は、ゲームクラウド１０２上で実行する場合がある。
図１Ｃは、メディアデータを、直接的にまたはルーター１５２通して、のいずれかで、ネットワークに通信する目的でコンピューター１７２を使用するためのシステム１７０の実施形態の線図である。
いくつかの実施形態では、ワイヤレスネットワークのリストが、ユーザー選択のために、ＨＭＤ１０４のスクリーン上にレンダリングされる。代替的に、いくつかの他の実施形態では、ワイヤレスネットワークのリストが、コンピューター１７２に付随するディスプレイスクリーン上に提示される。例えば、コンピューター１７２が移動電話であるときには、移動電話は、ワイヤレスネットワークのリストを表示するディスプレイスクリーンを含む。別の例としては、コンピューター１７２がテレビ受像機のディスプレイスクリーンに連結されているとき、ワイヤレスネットワークのリストは、テレビ受像機のディスプレイスクリーン上に表示される。これらの実施形態では、ワイヤレスネットワークのリストは、コンピューター１７２のプロセッサが、コンピューター１７２のメモリデバイス内に保存されているワイヤレスアクセスアプリケーションを実行するときにアクセスされる。プロセッサ１７６は、ユーザー１０８が、ＨＭＤ１０４またはＨＨＣ１０６を介して、頭の動き及び／または手の動きを実施することによって、入力データを作り出すときに、ワイヤレスアクセスアプリケーションを実行する。頭の動き及び／または手の動きに基づいて作り出された入力データは、ＨＭＤ１０４またはＨＨＣ１０６の通信回路からコンピューター１７２へ送られる。コンピューター１７２のプロセッサが入力データを受信するとき、ワイヤレスネットワークのリストを作り出すために、ワイヤレスアクセスアプリケーションが実行される。
コンピューター１７２は、ゲームクラウド１０２からゲームプログラム１１７の一部を要求する、ネットワークインターフェースコントローラー（ＮＩＣ）１７４を含む。ＮＩＣの実施例としては、ネットワークインターフェースカード及びネットワークアダプターが挙げられる。ゲームプログラム１１７の一部は、コーデック１１２によってエンコードされ、かつネットワーク１１０を介してコンピューター１７２のＮＩＣ１７４にストリーミングされる。コンピューター１７２のプロセッサ１７６は、コンピューター１７２の、通信回路１７８（例えば、トランシーバー、送信／受信回路、ネットワークインターフェースコントローラー、等々）から、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、ＨＭＤ１０４へ送られる、メディアデータを作り出すために、ゲームプログラム１１７の一部を実行する。ＨＭＤ１０４の通信回路は、メディアデータをコンピューター１７２から受信し、このメディアデータを処理し、かつＨＭＤ１０４のディスプレイスクリーン上に表示するために、このメディアデータをＨＭＤ１０４のマイクロコントローラーに送る。
さらに、コンピューター１７２の通信回路１７８は、ＨＭＤ１０４からの頭の動き、及び／またはＨＨＣ１０６からの手の動きに基づいて作り出された入力データを受信し、入力データをプロセッサ１７６に送る。一実施形態では、入力データは、ＨＭＤ１０４の通信回路から受信される現実世界環境データであってもよい。プロセッサ１７６は、通信回路１７８からＨＭＤ１０４の通信回路へ送られる、追加的なメディアデータを作り出すために、コンピューター１７２の中に保存されたゲームプログラム１１７の一部を実行する。追加的なメディアデータを受信する前または後に、ゲームプレイの一部分として頭の動き及び／または手の動きを使用して作り出された、ＨＨＤ１０４及び／またはＨＨＣ１０６からの入力データは、ＨＭＤ１０４の通信回路によって、通信回路１７８を介してプロセッサ１７６に送られる。入力データに応答して、プロセッサ１７６は、通信回路１７８からＨＭＤ１０４の通信回路へ送られる、次のメディアデータを作り出すためにコンピューター１７２内に保存された、ゲームプログラム１１７の一部を実行する。次のメディアデータは、ゲームプログラム１１７の実行によって表示されるゲームのバーチャルゲーム対象物及び／またはバーチャル環境を変化／更新することを含む、ゲームプレイの変化のために、ＨＭＤ１０４の通信回路へ送られる。ゲーム対象物（例えば、現実世界の対象物、バーチャルゲーム対象物、等々）、及び／またはバーチャル環境が変化するとき、ゲームプログラム１１７の実行によって表示されるゲームのゲーム状態は変化する。
いくつかの実施形態では、ゲームクラウドの１つ以上のサーバーに現在のゲーム状態を通知するために、ゲーム状態が、コンピューター１７２のＮＩＣ１７４によって、ルーター１５２及びネットワーク１１０を介して、ゲームクラウド１０２に送られる。
様々な実施形態では、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々は、当初は、ゲームプログラム１１７の一部がゲームクラウド１０２からコンピューター１７２にダウンロードされるまで、コーデック１１２から、ネットワーク１１０及びルーター１５２を介してＨＭＤ１０４へ送られる。例えば、当初は、ユーザー１０８は、ゲームプログラム１１７にアクセスするために、ゲームアクセスアプリケーションを使用する。ゲームプログラム１１７にアクセスすると、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々は、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、コーデック１１２から、ネットワーク１１０及びルーター１５２を介して、ＨＭＤ１０４へ送られる。ＨＭＤ１０４上に表示するためにゲームクラウド１０２からメディアデータにアクセスしている時間の間に、コンピューター１７２のＮＩＣ１７４は、ゲームクラウド１０２からゲームプログラム１１７の一部をネットワーク１１０及びルーター１５２を介してダウンロードする。
いくつかの実施形態では、ゲームプログラム１１７がコンピューター１７２によってアクセスされる場合、コンピューターがダウンロードするためにゲームクラウド上のゲームプログラムにアクセスしている間、コンピューター１７２をバイパスして、メディアデータ（例えば、メディアデータ１１６）、追加的なメディアデータ、次のメディアデータ、等々を、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、コーデック１１２からネットワーク１１０を介してＨＭＤ１０４へ直接送る。受信されたメディアデータは、ＨＭＤ１０４のディスプレイ上にレンダリングされる。その間、コンピューター１７２のＮＩＣ１７４は、ゲームプログラム１１７の一部を、ゲームクラウド１０２からネットワーク１１０及びルーター１５２を介してダウンロードする。
数多くの実施形態では、頭の動き及び／または手の動きに基づいて作り出された入力データの一部、及び／または現実世界環境データの一部は、ＨＭＤ１０４から、ルーター１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２へ送られ、一方で、入力データの残りの部分、及び／または現実世界環境データの残りの部分は、ＨＭＤ１０４の通信回路からコンピューター１７２の通信回路１７８へ送られる。
様々な実施形態では、手の動きに基づいて作り出された入力データの一部は、ＨＨＣ１０６の通信回路から、ルーター１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２に送られ、入力データの残りの部分は、ＨＨＣ１０６の通信回路から、ＨＭＤを通してかまたは直接のどちらかで、コンピューター１７２の通信回路１７８へ送られる。
様々な実施形態では、コンピューター／ＨＭＤ／ＨＨＣから受信されたユーザー入力を使用してゲームプログラム１１７を実行することによって作り出された、メディアデータ（例えば、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々）は、ゲームプレイの一部としてＨＭＤ１０４のディスプレイスクリーン上にレンダリングするために、ゲームクラウド１０２のコーデック１１２から、ネットワーク１１０及びルーター１５２を介してＨＭＤ１０４に送られ、コンピューター１７２のプロセッサ１７６によるゲームプログラム１１７の一部の実行によって作り出されたメディアデータは、ディスプレイスクリーン上に表示するために、コンピューター１７２の通信回路１７８から、ＨＭＤ１０４へ送られる。これらの実施形態では、ゲームクラウド１０２及びコンピューター１７２は、同期したゲーム状態である。例えば、コーデック１１２は、ゲームプログラム１１７を実行することによって作り出されたゲーム状態を、コンピューター１７２にゲーム状態を通知するために、ネットワーク１１０及びルーター１５２を介してコンピューター１７２のＮＩＣ１７４に送る。別の実施例としては、コンピューター１７２のＮＩＣ１７４は、コンピューター１７２上でのゲームプログラム１１７の一部の実行によって作り出されたゲーム状態を、１つ以上のゲームクラウドサーバーにゲーム状態を通知するために、ルーター１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２に送る。ゲームクラウド１０２のコーデック１１２とコンピューターのＮＩＣとの間の通信は、両方の側でゲーム状態を同期した状態に保つために定期的に行われる。
いくつかの実施形態では、ゲームプログラム１１７を実行することによって作り出され、かつゲームクラウド１０２のコーデック１１２からＨＭＤ１０４に送られた、メディアデータ（例えば、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々）は、コンピューター１７２のプロセッサ１７６によって作り出されたメディアデータより大量のグラフィックを有する。明らかなように、いくつかの実施形態では、メディアデータがゲームクラウド１０２のコーデック１１２からネットワーク１１０を介してＨＭＤ１０４に直接的に送られる場合、コンピューター１７２はバイパスされる。
図１Ｄは、コンピューター１７２及びルーター１５２を使用して、ＨＭＤが、コーデック１１２へ／コーデック１１２から入力データ及び／またはメディアデータを通信するシステム構成を図示する。システム１９０の構成は、図１Ｃを参照して記載されたシステム１７０の構成と同様である。システム１９０は、ルーター１５２及びインターネット１１０を通してゲームクラウド１０２に通信可能に接続され、ゲームプログラム及びゲームに関連するデータの部分を得るように構成されたコンピューター１７２を含む。コンピューターは、入力データを得るために、ＨＭＤ１０４及びＨＨＣ１０６にも通信可能に接続される。
いくつかの実施形態では、コンピューター１７２のプロセッサは、ネットワーク１１０にアクセスするために、コンピューター１７２のメモリデバイス内に保存されているワイヤレスアクセスアプリケーションを実行する。いくつかの実施形態では、ワイヤレスアクセスアプリケーションは、ＨＭＤ１０４またはＨＨＣ１０６を介してユーザーから受信される入力データに応答して実行される。入力データには、頭の動き及び／または手の動きを含んでもよい。コンピューター１７２のプロセッサが、ＨＭＤまたはＨＨＣが作り出した入力データを受信するとき、ワイヤレスアクセスアプリケーションは、ネットワーク１１０にアクセスするためのネットワークをここから選択する、利用可能なワイヤレスネットワークのリストを作り出す。
コンピューター１７２は、ゲームクラウド１０２からゲームプログラム１１７の一部を要求するネットワークインターフェースコントローラー（ＮＩＣ）１７４を含み、これに応じて、コーデック１１２によってエンコードされたゲームプログラム１１７の一部１１７−ｂは、ネットワーク１１０を介してコンピューター１７２のＮＩＣ１７４へストリーミングされる。いくつかの実施形態では、ゲームクラウドはゲームデータベース１３１を含み、このゲームデータベースからゲームプログラム１１７がコンピューター１７２へ読み出され、かつダウンロードされる。いくつかの実施形態では、ゲームプログラム１１７の一部１１７−ａは、ゲームデータベース１３１からゲームサーバー１０２上へダウンロードされ、ゲームプログラム１１７の残りの部分である１１７−ｂは、コンピューター１７２にダウンロードされる。いくつかの実施形態では、コンピューター１７２にダウンロードされた一部１１７−ｂがゲーム全体である。コンピューター１７２のプロセッサ１７６は、ゲームプログラム１１７の一部１１７−ｂを実行して、メディアデータ、追加的なメディアデータ、及び次のメディアデータ（集合的に「メディアデータ」と称される）を作り出す。このメディアデータは、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、コンピューター１７２の通信回路１７８、ネットワークインターフェースコントローラー、等々から、ＨＭＤ１０４へ送られる。
追加的なメディアデータ及び次のメディアデータは、ＨＭＤ１０４から受信される頭の動き／他のユーザー入力、手の動き、等々、を含む入力データに応答して提供される場合がある。頭の動き及び／または手の動きに加えて、一実施形態では、入力データは、ＨＭＤ１０４の外面に配置される外部カメラ１０１によって捕捉され、かつＨＭＤ１０４の通信回路によって送信される現実世界環境データも含む場合がある。いくつかの他の実施形態では、外部カメラ１０１で捕捉された現実世界環境データは、ＨＭＤ内でローカルで保存され、ＨＭＤのスクリーン上にレンダリングするために使用される。追加的なメディアデータは、バーチャルゲームシーンをＨＭＤ上にレンダリングするための、バーチャル環境に関連したデータを提供し、次のメディアデータは、ゲームプレイの間にバーチャルゲームシーンの中に表示される、バーチャルゲーム対象物及び／またはバーチャル環境に対する変化を提供する。ＨＭＤ１０４の通信回路は、コンピューター１７２からメディアデータをメディアストリームとして受信し、このメディアデータを、解釈し、かつＨＭＤ１０４のディスプレイスクリーン上に表示するために、ＨＭＤ１０４のマイクロコントローラーに送る。ゲーム対象物（例えば、リアルゲーム対象物、バーチャルゲーム対象物、等々）及び／またはバーチャル環境が変化すると、ゲームプログラム１１７の実行によって表示されたゲームの、ゲーム状態が変化する。
前述のように、いくつかの実施形態では、コンピューター１７２のＮＩＣ１７４によって、ゲーム状態がルーター１５２及びネットワーク１１０を介してゲームクラウド１０２に送られ、ゲームクラウド１０２の１つ以上のサーバーにゲーム状態を通知し、ゲーム状態をコンピューター１７２上のゲーム状態と同期する。これらの実施形態では、ほとんどのゲーム実行は、コンピューター１７２上で発生する。
いくつかの実施形態では、ゲームプログラム１１７をコンピューター１７２にダウンロードしている間、ゲームプログラム１１７の一部１１７−ａは、ゲームクラウド１０２上で実行される。それに応じて、ゲームプログラム１１７の一部１１７−ｂがゲームクラウド１０２からコンピューター１７２にダウンロードされるまで、ＨＭＤ上にレンダリングするために、ゲームクラウド１０２上のゲームプログラム１１７の一部１１７−ａの実行に関連付けられたメディアデータが、コーデック１１２からネットワーク１１０及びルーター１５２を介してＨＭＤ１０４へ直接送られる。一実施形態では、ゲームプログラム１１７の一部１１７−ｂは、ダウンロードされ、かつコンピューター１７２のローカルストレージ１１３に保存され、プロセッサ１７６によって実行される。一部１１７−ｂがダウンロードされると、コンピューター１７２のプロセッサ１７６はゲーム部１１７−ｂの実行を開始し、ゲームプログラム１１７の一部１１７−ｂのためにメディアデータが、コンピューター１７２からＨＭＤ１０４へ送信されることになる。いくつかの実施形態では、ゲームプログラムのためのすべてのメディアデータは、レンダリングのために、コンピューター１７２からＨＭＤ１０４へ直接送信される。コンピューター１７２は、ゲームクラウド１０２上のゲームプログラムのゲーム状態をコンピューター１７２上のゲーム状態と同期するために、メディアデータをゲームクラウド１０２に定期的に送信してもよい。
数多くの実施形態では、頭の動き及び／または手の動きに基づく入力データの一部は、コンピューター１７２に接続された監視カメラ１７１によって、捕捉される。いくつかの実施形態では、監視カメラ１７１とコンピューター１７２との間の接続は、有線接続であってもよい。他の実施形態では、監視カメラ１７１とコンピューター１７２との間の接続は、ワイヤレス接続であってもよい。いくつかの実施形態では、監視カメラ１７１は、ステレオカメラ、赤外線カメラ、またはモノカメラのうちのいずれか１つまたはこれらの組合せであってもよい。いくつかの実施形態では、監視カメラ１７１は、ビデオカメラまたは静止画カメラのうちの１つである。監視カメラ１７１によって、捕捉される画像は、ＨＭＤ及びＨＨＣの場所及び動きを判定するために使用されてもよい。例えば、監視カメラ１７１の画像は、ＨＭＤに対する位置Ａの座標（Ｘａ、Ｙａ、Ｚａ）及びＨＨＣに対する位置Ｂの座標（Ｘｂ、Ｙｂ、Ｚｂ）を識別するために使用されてもよい。座標平面の座標に加えて、監視カメラの画像は、ＨＭＤ及びＨＨＣに対する６軸データを作り出すために、ピッチ、ヨー、及びロールを特定するために使用されてもよい。いくつかの実施形態では、ＨＭＤ及びＨＨＣにおいて作り出された頭及び／または手の動きが、監視カメラ１７１によって捕捉され、ＨＭＤ１０４のマイクロコントローラーに６軸データとして送信される。ＨＭＤ１０４及び／またはＨＨＣ１０６からの６軸データは、入力データを作り出すために解釈される。解釈された入力データは、ゲームプログラムの成果に影響を与えるために、ＨＭＤ１０４からコンピューター１７２へ送信される。いくつかの実施形態では、監視カメラ１７１で捕捉される頭及び／または手の動きは、プロセッサ１７６に直接的に送信され、このプロセッサで６軸データを作り出すために解釈される。監視カメラ１７１は、ユーザーの動き（頭及び／または手）を監視し、この情報は、ゲーム状態の変化に影響を与えるように、ゲームプログラムにフィードバックを提供するために使用される。この実施形態では、ゲームプログラム１１７に関する任意の他の入力データは、ＨＭＤ１０４によって、プロセッサに送信され、プロセッサ１７６は、６軸データを用いて、もう一方の入力データを解釈し、このゲームのゲーム状態を変更する必要があるかどうかを判断する。この解釈に基づいて、このゲームのゲーム状態は変えられる。いくつかの実施形態では、ＨＭＤ１０４からの入力データは、外部カメラ１０１によって捕捉された現実世界環境データを含み、かつこれは、ＨＭＤ１０４の通信回路からコンピューター１７２の通信回路１７８に送られる。現実世界環境データは、ＨＭＤ１０４のスクリーンのある特定の場所にレンダリングされたバーチャルゲームシーンに影響を与えるために使用される場合がある。
いくつかの実施形態では、ＨＭＤ１０４は、有線接続を使用してコンピューター１７２に通信可能に接続される。かかる実施形態では、ＨＭＤは、ＨＭＤ１０４のスクリーン上にレンダリングされたバーチャルゲームシーンを休止するために、有線接続の切れ目を検出するように構成される。ＨＭＤは、通信接続の切れ目を検出し、適宜に信号を作り出し、信号をコンピューター１７２に中継して、コンピューター１７２にゲームプログラムの実行を休止させ、ゲームに対するセッションのためにゲーム状態及びゲームシーンを保存する。通信接続、接続の状態の切れ目の間には、コンピューター１７２と通信するための電力を提供するために、ＨＭＤのバッテリーからの電力を使用してもよい。ゲームプログラムの実行は、有線接続が復旧して、コンピューター１７２がＨＭＤ１０４から信号を受けるとすぐに再開する場合がある。いくつかの実施形態では、ＨＭＤとコンピューター１７２との間の接続が回復すると、コンピューター１７２は、分断した時点からゲームシーンのストリーミングを開始する場合がある。別の実施形態では、コンピューター１７２は、接続の分断によって生じた休止の前の時点（例えば、休止の数百フレーム前）からゲームシーンのストリーミングを開始する場合があり、これによってユーザーは、ゲームに浸り込む時間を得られる場合がある。この実施形態では、コンピューター１７２は、ユーザーがゲームの部分を再実行することができるようにする場合があり、ユーザーをゲームに引き込むことができる。ＨＨＣとＨＭＤとの間の通信、及びＨＨＣとコンピューター１７２との間の通信は、ワイヤレス通信プロトコルに従う場合がある。
いくつかの実施形態では、ＨＭＤ１０４は、ユーザーの目の動きの変化を検出する１つ以上の内蔵カメラ１０３を含む場合がある。内蔵カメラ１０３は、ゲームへのアクセスを提供する前にユーザーを識別／認証するためにも使用される場合がある。
ゲーム環境に関して詳細な記述が提供されるが、コンピューターシステムとのインタラクティブな通信の間にインターフェース接続も行うことができることが想定される。コンピューターシステムは、グラフィックユーザーインターフェース付きの一般的なコンピューターとすることができ、これは、ユーザー１０８が、アイコン、エントリー、選択、テキスト、及びその他のコマンドを制御するジェスチャーを空間内で提示及び作成することを可能にする。
図２Ａ〜図２Ｄは、ヘッドマウントディスプレイ（ＨＭＤ）１０４の、様々な外見及び態様を描いたブロック図を図示する。ＨＭＤは、メディアデータに関連するプログラムをゲームクラウド１０２及び／またはコンピューターへ通信する／ゲームクラウド１０２及び／またはコンピューターから通信するために使用される。ＨＭＤ１０４は、ゲームプログラム１１７のためにコンピューター生成画像（すなわち、バーチャル画像）を表示するように構成され、このゲームプログラムは部分的にもしくは完全にコンピューター１７２上で実行、及び／またはＨＭＤで受信したメディアデータをデコードすることによって、部分的にもしくは完全にゲームクラウド上で実行している。ＨＭＤは、ＨＭＤで作り出した、または受信したメディアデータを、実行しているゲームプログラムを更新するために、コンピューター及び／またはゲームクラウドに送信する前にコーディングするようにも構成される。ＨＭＤは、ユーザーの目線から捕捉される現実世界環境画像も表示するようにも構成される。
図２Ａは、入力データを作り出すため、ならびにゲームシーン及び現実世界環境シーンをレンダリングするために使用される、例示的なＨＭＤ１０４を図示する。示されるように、ＨＭＤ１０４は、ユーザー１０８によって着用されている。ＨＭＤ１０４は、ＨＭＤのビジュアルトラッキングを補助する、１つ以上のマーカーエレメントを含む。同様に、ＨＨＣ１０６（図示せず）は、ＨＭＤ上に提供されるマーカーエレメントと同様の、１つ以上のマーカーエレメントを含む。それぞれのマーカーエレメントは、発光ダイオード２１４、赤外線ライト２１０、色、反射性材料、画像解析を介して容易に認識される特別な特徴または特性を有する対象物、等々であってもよい。例えば、トラッキングを容易にするために、球状の対象物２１２がＨＭＤに追加される場合がある。加えて、球状の対象物２１２は、ＬＥＤライト、赤外線ライト、または任意の他のタイプの照明を用いて照明もされてもよい。加えて、ＨＭＤ１０４は、特有の幾何学的形状の反射区域、特有の色を有する区域（例えば、ブルーの三角形、等々）、またはマーキング（例えば、ＨＭＤの表面上の３本の平行線）などの、特別なビジュアルマーカー（図示せず）も含んでもよい。
いくつかの実施形態では、ＨＭＤは、それぞれの光またはビジュアルマーカーを検出することによってＨＭＤの場所をさらにビジュアルでトラッキングするための、ＨＭＤの側面上及び／または背面（すなわち、頭の後ろ側に接触するＨＭＤの部分）上の追加的なマーカーエレメントも含む。
異なるタイプの外部カメラを用いた、ＨＭＤのビジュアルトラッキングが可能である場合がある。いくつかの実施形態では、こうしたカメラは、監視カメラ１７１（図１Ｄ）である。一実施形態では、ＨＭＤは、ステレオカメラ４０２を用いてトラッキングされる。ステレオカメラは、２つ以上のレンズを含み、それぞれのレンズに対して別個の画像センサーを有するカメラである。別個の画像センサーは、ステレオカメラによって、奥行きの錯視を提供する対象物の３次元画像を捕捉することを可能にする。ステレオカメラの光学系は、一実施形態では、立体視的画像を提供するために、光学的な無限（例えば、約９メートル）に設定されるように設計される。カメラの異なるレンズによって捕捉されたＨＭＤのマーカーエレメントの画像は、三角測量解析を使用して比較され、ＨＭＤの場所を３次元空間内で決定する（例えば、プレイのフィールド内の奥行の計算）。
別の実施形態では、ＨＭＤ上に提供された赤外線ライト２１０を解析するために、赤外線（ＩＲ）カメラ４０４が使用されてもよい。赤外線ライトは、人間の目には不可視だが、赤外線カメラによれば容易に検出することができる。ＨＭＤは、ＨＭＤの外見を損なうのを避けるために、赤外線ライトを含む場合がある。いくつかの環境（例えば、暗い光、または明るい光）では、ＨＭＤにおける場所、形状、及びまたは特徴を検出するために、赤外線ライトをトラッキングすることは、他のタイプの光をトラッキングすることより容易である。赤外線（ＩＲ）カメラは、ＨＭＤなどのトラッキング対象物の画像化及び熱画像化を向上させる。赤外線カメラは、ユーザーの視線方向を検出するための内蔵カメラとしても使用される場合がある。
さらに別の実施形態では、ビジュアルトラッキングのために構成されたＨＭＤ内の光または他のマーカーエレメントをトラッキングするために、普通のカメラ４０５（１枚のレンズのみを有するので本明細書ではモノカメラとも称されている）が使用される。普通のカメラを用いてＨＭＤの奥行をプレイのフィールド内で特定するために、ＨＭＤ上のいくつかの特徴部のサイズが解析される。特徴部のサイズが小さいほど、この特徴部がＨＭＤのカメラから遠く離れていることが想定される。加えて、ビジュアルトラッキングは、慣性運動トラッキング、デッドレコニング、ＨＭＤとコンピューティングデバイスとの間の超音波通信、等々などの他のタイプのトラッキングとも組み合わされてもよい。
デジタルカメラ４０２はＨＭＤ１０４の画像を捕捉する。ユーザー１０８の頭が傾く、または動くと、マーカーエレメントの位置及び場所は座標系内で変化する。デジタルカメラは、マーカーエレメントの画像を捕捉し、この画像をコンピューター１７２に送る。マーカーエレメントの画像は、入力データの実施例である。３次元空間（Ｘ、Ｙ、Ｚ）内でのＨＭＤ１０４の位置を、コンピューター１７２のプロセッサ１７６によって、画像内のマーカーエレメントの位置に基づいて特定することができる。さらに、ＨＭＤ１０４の慣性運動（例えば、ヨー、ピッチ、及びロール、等々）は、コンピューター１７２のプロセッサ１７６によって、マーカーエレメントの動きに基づいて特定される。コンピューター１７２が利用できない場合には、デジタルカメラからのマーカーエレメントの画像は、ＨＭＤ１０４のプロセッサに送られ、ＨＭＤのプロセッサがマーカーエレメントの座標を使用してＨＭＤの位置を特定することになる。
いくつかの実施形態では、デジタルカメラ４０２は、ＨＨＣ１０６の画像を捕捉する。ユーザー１０８の手が傾く、または動くと、ＨＨＣ上のマーカーエレメントの位置及び場所は座標系内で変化する。デジタルカメラは、ＨＨＣ上のマーカーエレメントの画像を捕捉して、この画像をコンピューター１７２またはＨＭＤ１０４のプロセッサに送る。ＨＨＣ上のマーカーエレメントの画像は、入力データの実施例である。３次元空間（Ｘ、Ｙ、Ｚ）内でのＨＨＣ１０６の位置は、コンピューター１７２のプロセッサ１７６によって、またはＨＭＤ１０４のプロセッサによって、画像内のＨＨＣ上のマーカーエレメントの位置を解析して特定することができる。さらに、ＨＭＤ１０４の慣性運動（例えば、ヨー、ピッチ、及びロール、等々）は、コンピューター１７２のプロセッサ１７６、またはＨＭＤ１０４のプロセッサによって、ＨＨＣのマーカーエレメントの動きに基づいて特定される。
いくつかの実施形態では、ＨＨＣ１０６の代わりに、ユーザー１０８の手がデジタルカメラによってトラッキングされてもよく、トラッキングされたデータは、３次元空間内での手の位置、及び手の慣性運動を特定するために使用されてもよい。いくつかの実施形態では、ＨＨＣ１０６の代わりにインタラクティブな手袋が使用されてもよい。手袋は、手袋を着用しているユーザーの手の様々な部分の動きをトラッキング及び解釈するためにマーカーエレメントを含んでもよい。
マーキングした対象物を追うための方法に関するさらなる情報については、２０１１年８月１５日出願、２０１２年３月２２日公開の米国特許出願公開第２０１２−００７２１１９号、及び２００８年１０月２７日出願、２０１０年４月２９日公開の米国特許出願公開第２０１０−０１０５４７５号（両者とも参照により本明細書に組み込まれる）を参照してもよい。
示されるように、一対以上のステレオカメラ４０２、１つ以上の赤外線カメラ４０４及び／もしくは１つ以上のモノカメラ４０５、またはこれらの組合せ、ならびに入力データを提供するために使用されるウェアラブル物品／デバイスを着用しているユーザーの手を含むコントローラーが、ＨＭＤの相対位置、及びユーザーの頭の動きによって提供されるＨＭＤの動きを特定するために使用されてもよい。
ＨＭＤは、ユーザーに関する画像を捕捉するために、内側に設置された１つ以上の内蔵カメラも装備し、ユーザーに特化した及び環境に特化したデータをＨＭＤに提供するために、この画像を通信モジュールに供給してもよい。内蔵カメラ（複数可）は、ＨＭＤを着用しているユーザーを識別する使用される場合があり、これは、ユーザーのユーザープロファイルを得るために使用することができる。それに応じて、内蔵カメラは、網膜走査技法及び／または虹彩走査技法を用いて、ユーザーの網膜または虹彩をスキャンし、スキャンからのデータを用いて、少なくとも１つのユーザーの生体的識別情報を作り出すように構成されてもよい。ユーザーの生体的識別情報は、ユーザーのプロファイルの一部分であってもよい。内蔵カメラは、ユーザーの視線の方向を検出し、検出に基づいてＨＭＤのスクリーン上にレンダリングされた画像データを調節するための、視線検出アルゴリズムも含む。いくつかの実施形態では、内蔵カメラは、赤外線カメラである。視線検出技術は、ユーザーを認証するためにも使用されてもよい。例えば、ユーザーは、スクリーン上にレンダリングされた対象物を追う、またはスクリーン上にレンダリングされた、ランダムに作り出された文字、対象物、またはパターン（例えば、丸、三角形、四角、等々）をトラッキングするように指示される場合がある。いくつかの実施形態では、ユーザーにスクリーン上の文字、対象物、またはパターンをトラッキングするように口頭またはテキストによるコマンドが提供される場合があり、視線検出技術を使用することによって、ユーザーが認証される。ユーザーの認証は、ユーザーアカウント、ゲーム、ゲームの特定の部分またはレベル、等々へのアクセスを許可するために使用される場合がある。
図２Ｂは、ユーザーの生体的識別情報及びユーザーの目の動きを検出するための内蔵カメラ１０９（図１Ｄの１０３）付きのＨＭＤ１０４を着用しているユーザーを図示する。
内蔵カメラ（図２Ｂの１０９及び図１Ｄの１０３）及び外部カメラ（図１Ｄの１０１）は、ユーザーの視線を特定するため、及び視線をユーザーの視線の視準線内の対象物に関係付けるために同調して働く。ＨＭＤのゲーム処理モジュールは、ユーザーの視線の方向を演算し、これを演算された方向の視野内の対象物に相互に関係させるソフトウェアを含む。
ＨＭＤは、１つまたはそれぞれの目の前に、１つまたは一対のディスプレイスクリーンを含む。このディスプレイスクリーン（複数可）は、小型スクリーンで、いくつか例を挙げると、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、反射型液晶素子（ＬＣｏｓ）、有機発光ダイオード（ＯＬＥＤ）が含まれる。
図２Ｃは、本発明の様々な実施形態で使用される、単純化されたＨＭＤのブロック図表現を図示する。ＨＭＤは、ＨＭＤがユーザーの頭の上にしっかりと適合することができるようにする、１つ以上の係止ストラップ４０１、及びフロントフェースプレート４０５を含む場合がある。フロントフェースプレート４０５は、内側に配置されたスクリーンを有するスクリーン部分、及びその中に配置された１つ以上の内蔵カメラユニット（１０９）を含む。内蔵カメラユニット（すなわち、内側に設置されたカメラ）に加えて、ユーザーの目線から見た現実世界環境を捕捉するために、１つ以上の外部カメラユニット（すなわち、外側に設置されたカメラ）（図示せず）もＨＭＤ上に配置される場合がある。外部カメラユニットは、ＨＭＤ及びＨＨＣの動きを検出するために使用される監視カメラ１７１に加えられる。ＨＭＤのフェースプレートは、１つ以上の発光ダイオード２１０、１つ以上の赤外線ライト２１４と１つ以上の球状の対象物２１２、色付き表面、反射性材料、画像解析を介して容易に認識される特殊な特徴または特性を有する対象物、等々を含む、複数のマーカーエレメントを含む。ゲームプレイの間に、ＨＭＤ上のマーカーエレメントの画像は、１つ以上の監視カメラ（複数可）によって捕捉され、捕捉された画像からの座標データは、ＨＭＤの場所、動き、及び位置を特定するために使用される。監視カメラ（複数可）は、ＨＭＤに直接的にまたはコンピューター１７２を通して接続されてもよく、捕捉された画像に関するデータをＨＭＤ及び／またはコンピューター１７２と交換するように構成されてもよい。ＨＭＤに送信されると、ＨＭＤ内のプロセッサは、ＨＭＤの６軸データを識別するようにデータを処理し、処理したデータを、ＨＭＤからの入力データとして、コンピューター１７２（存在する場合）及びルーターを通して、ルーター及びネットワークを通して、または直接的に、コンピューター１７２及び／またはゲームクラウド１０２へ送信する。入力データは、ゲームプログラムのゲーム状態に影響を与える、または影響する。
内蔵カメラ１０９は、ユーザーの目の動き及び視線を検出及びトラッキングする。内蔵カメラ１０９は、一定の期間の間のユーザーの視線方向を特定する（例えば、真っ直ぐ前を見ているユーザーがある期間の間だけ下を見るとき）、一定の期間にわたって視線パターンを検出する（例えば、ユーザーが対象物を追う、パターンをたどる、等々）、かつ／または視線方向の変化を検出する（例えば、目の前後の動き、目の回転、これはユーザーがめまいを経験している兆候、特に高輝度ゲーム、等々）ために使用されてもよい。ＨＭＤの内蔵カメラは、ＨＭＤの外部カメラ及び監視カメラと通信し、ＨＭＤのスクリーン上のレンダリングのための適切なゲーム関連データを判定する。この通信は、特定のトリガーされたイベントに応答して、ＨＭＤのスクリーン上に、ゲーム関連データと並んで、またはこれの代わりに、ユーザー／環境関連データをレンダリングすることができるようにする。
図２Ｄは、ＨＭＤ１０４の通信アーキテクチャのブロック図である。ＨＭＤ１０４は、ビデオオーディオセパレーター２５４、ビデオデコーダー２５５、メモリデバイス２５６、ＷＡＣ２５８、ストリームバッファ２５９、１つ以上のスピーカー２６０、バッテリー２６１、ユーザー入力回路２６２、ディスプレイスクリーン２６６、マイクロコントローラー２６８、オーディオバッファ２７２、監視デジタルカメラ２７４、外部デジタルカメラ２７５、オーディオコーデック２７６、内蔵デジタルカメラ２７８、ビデオバッファ２８０、ビデオオーディオシンクロナイザー２８２、マイクロフォン２８４、ＬＥＤ２８５、及び赤外線ライト２８７などの、いくつかの例示的なモジュールを含む。ＬＥＤ２８５及び赤外線ライト２８７は、ＨＭＤの位置をトラッキングするために使用されるマーカーエレメントを代表する。
数多くの実施形態では、スピーカー２６０は、オーディオ回路を形成する。様々な実施形態では、オーディオコーデック２７６、オーディオバッファ２７２、及び／またはスピーカー２６０は、オーディオ回路を形成する。様々な実施形態では、マイクロコントローラー２６８は、画像をディスプレイスクリーン上にレンダリングするために使用されるディスプレイ回路である。ディスプレイスクリーン２６６の実施例としては、ＬＥＤスクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、反射型液晶スクリーン、有機ＬＥＤ（ＯＬＥＤ）スクリーン、プラズマスクリーン、等々が挙げられる。外部デジタルカメラの実施例としては、株式会社ソニー・コンピュータエンタテインメントが製作しているプレイステーションＥｙｅ（登録商標）などのフィッシュアイカメラが挙げられる。
マイクロコントローラー２６８は、レンダリングプログラム２８６及びオペレーティングシステム２８８を保存する。レンダリングプログラム２８６及びオペレーティングシステム２８８は、マイクロコントローラー２８６のメモリデバイス内に保存され、マイクロコントローラー２６８のマイクロプロセッサによって実行される。マイクロコントローラー２６８の実施例は、低価格のマイクロコントローラーを含み、このコントローラーは、メディアデータをディスプレイスクリーン２６６上に表示するために提供するためのエレメント（例えば、ＬＣＤ、等々）を検出する信号を作り出すドライバー（例えば、ＬＣＤドライバー）を含む。マイクロコントローラーの別の実施例としては、ＧＰＵ及びメモリデバイスが挙げられる。
いくつかの実施形態では、マイクロコントローラーのメモリデバイスは、フラッシュメモリまたはランダムアクセスメモリ（ＲＡＭ）以外のものである。例えば、マイクロコントローラーのメモリデバイスは、バッファである。様々な実施形態では、マイクロコントローラーのメモリデバイスは、ＦｌａｓｈまたはＲＡＭである。ユーザー入力回路２６２の実施例としては、ジャイロスコープ、磁力計、及び加速度計が挙げられる。いくつかの実施形態では、ユーザー入力回路２６２は、グローバルポジショニングシステム（ＧＰＳ）、コンパス、または任意の位置追跡デバイスも挙げられる。ＷＡＣ２５８の実施例としては、ＮＩＣが挙げられる。いくつかの実施形態では、ＷＡＣ２５８は、本明細書では通信回路と称される。
エンコードしたメディアデータのストリームは、ネットワーク１１０またはルーター１５２からストリームバッファ２５９内に受信される（図１Ｂ〜図１Ｃ）。コンピューター１７２にルーター１５２が連結されている場合（図１Ｃ）、コンピューター１７２から受信されるデータは、ストリームバッファ２５９内に保存される代わりに、ＨＭＤ２５０のバッファ（図示せず）内、またはメモリデバイス２５６内に保存されることに留意するべきである。
ＷＡＣ２５８は、コンピューターまたはコーデック１１２から受信した、ストリームバッファ２５９からのエンコードしたメディアデータのストリームにアクセスし、このストリームをパケット解除する。ＷＡＣ２５８は、エンコードされたメディアデータをデコードするデコーダーも含む。
エンコードされたメディアデータのストリームが、ルーター１５２（図１Ｃ）を介してコンピューター１７２（図１Ｃ）によって受信される実施形態では、コンピューター１７２のＮＩＣ１７４（図１Ｃ）は、エンコードされたメディアデータのストリームをパケット解除及びデコードして、ＨＭＤ２５０のバッファ（図示せず）内に保存されるデコードされたデータを作り出す。
デコードされたデータは、ビデオオーディオセパレーター２５４によって、ＷＡＣ２５８からまたはバッファ（図示せず）からアクセスされる。ビデオオーディオセパレーター２５４は、ビデオデータから、デコードされたデータ内のオーディオデータを分離する。
ビデオオーディオセパレーター２５４は、オーディオデータを、オーディオバッファ２７２に送り、ビデオデータをビデオバッファ２８０に送る。ビデオデコーダー２５５は、アナログビデオ信号を作り出すために、例えば、ビデオデータをデコードし、かつ／またはビデオデータをデジタル形態からアナログ形態に変える。ビデオオーディオシンクロナイザー２８２は、ビデオバッファ２８０内に保存されたビデオデータを、オーディオバッファ２７２内に保存されたオーディオデータと同期する。例えば、ビデオオーディオシンクロナイザー２８２は、ビデオデータをオーディオデータと同期するために、ビデオデータ及びオーディオデータの再生時間を使用する。
オーディオコーデック２７６は、同期されているオーディオデータを、デジタル形式からアナログ形式へと変換し、オーディオ信号を作り出し、このオーディオ信号は、スピーカー２６０によって再生されて音を作り出す。マイクロコントローラー２６８は、レンダリングプログラム２８６を実行して、ビデオデコーダー２５５によって作り出されたアナログビデオ信号に基づいてゲームをディスプレイスクリーン２６６上に表示する。いくつかの実施形態では、ディスプレイスクリーン２６６上に表示されたゲームは、オーディオ信号の再生と同期して表示される。
さらに、ユーザー１０８（図１Ａ〜図１Ｃ）は、マイクロフォン２８４に向かって話しかけ、マイクロフォンは音信号を電気信号（例えば、オーディオ信号）に変換する。オーディオコーデック２７６は、オーディオ信号をアナログ形式からデジタル形式に変換し、オーディオデータを作り出し、このオーディオデータは、オーディオバッファ２７２内に保存される。オーディオバッファ２７２内に保存されたオーディオデータは、ユーザー１０８の音に基づいて作り出された入力データの実施例である。オーディオデータは、ＨＭＤにおいて作り出された、またはＨＭＤ内のスピーカーによって検出された他のオーディオ信号も含む場合がある。オーディオデータは、ＷＡＣ２５８によって、オーディオバッファ２７２からアクセスされ、ネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２（図１Ａ〜図１Ｃ）のコーデック１１２（図１Ａ〜図１Ｃ）へ送られる。例えば、ＷＡＣ２５８は、オーディオバッファ２７２からアクセスしたオーディオデータを、パケット化及びエンコードして、ネットワーク１１０を介してコーデック１１２へ送る。
いくつかの実施形態では、オーディオデータは、ルーター１５２（図１Ａ〜図１Ｃ）及びネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によって、オーディオバッファ２７２からアクセスされる。例えば、ＷＡＣ２５８は、オーディオバッファ２７２からアクセスしたオーディオデータを、パケット化及びエンコードして、ルーター１５２及びネットワーク１１０を介してコーデック１１２へ送る。
内蔵デジタルカメラ２７８（図１Ｄの１０３、図２Ｂの１０９）は、ユーザー１０８（図１Ａ〜図１Ｃ）の目の動きの１つ以上の画像を捕捉し、画像データを作り出す。これは、ＨＭＤにおいて、頭及び／または目の動きに基づいて作り出された入力データの実施例である。同様に、ＨＭＤ上に設置された監視デジタルカメラ２７４（図１Ｄのカメラ１７１）及び／または外部デジタルカメラ２７５（図１Ｄのカメラ１０１）は、画像データを作り出すために、ＨＭＤ２５０上に、及び／またはＨＨＣ／手袋／ユーザー１０８の手の上に位置付けられたマーカー、ならびにＨＭＤを着用しているユーザーの頭の動きの１つ以上の画像を捕捉し、これは、手／頭の動きに基づいて作り出された入力データの実施例である。デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ビデオバッファ２８０内に保存される。
いくつかの実施形態では、デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ＨＭＤ２５０のバッファ内に保存され、このバッファは、ビデオバッファ２８０以外のものである。様々な実施形態では、デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ビデオデコーダー２５５によってデコードされ、ディスプレイスクリーン２６６上への画像の表示のためにマイクロコントローラー２６８に送られる。
デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ＷＡＣ（ワイヤレスアクセスカード）２５８によって、ビデオバッファ２８０からアクセスされ、ネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２（図１Ａ〜図１Ｃ、図２）のコーデック１１２（図１Ａ〜図１Ｃ）へ送られる。例えば、ＷＡＣ２５８は、ビデオバッファ２８０からアクセスした画像データを、パケット化及びエンコードして、ネットワーク１１０を介してコーデック１１２へ送る。
いくつかの実施形態では、ビデオデータは、ルーター１５２（図１Ｂ〜図１Ｃ）及びネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によって、ビデオバッファ２８０からアクセスされる。例えば、ＷＡＣ２５８は、ビデオバッファ２８０からアクセスしたビデオデータを、パケット化及びエンコードして、ルーター１５２及び／またはネットワーク１１０を介してコーデック１１２へ送る。
コントローラー／コンソール通信回路２８９は、バッファ（図示せず）内での保存のために、コンピューター１７２からのメディアデータを受信する。さらに、コントローラー／コンソール通信回路２８９は、ＨＨＣ１０６（図１Ａ〜図１Ｃ）から入力信号を受信し、入力データを作り出すために、入力信号をアナログ形態からデジタル形態に変換し、この入力データは、ネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２（図１Ａ〜図１Ｃ）のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によってアクセスされる。例えば、ＷＡＣ２５８は、コントローラー／コンソール通信回路２８９からアクセスされた入力データを、パケット化及びエンコードして、ネットワーク１１０を介してコーデック１１２へ送る。
いくつかの実施形態では、入力データは、ルーター１５２（図１Ｂ〜図１Ｃ）及びネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によって、コントローラー／コンソール通信回路２８９からアクセスされる。例えば、ＷＡＣ２５８は、ビデオバッファ２８０からアクセスしたビデオデータを、パケット化及びエンコードして、ルーター１５２及びネットワーク１１０を介してコーデック１１２へ送る。
コントローラー／コンソール通信回路２８９の代わりに、２つの別個の通信回路が使用されてもよく、１つは、コンピューター１７２（図１Ｃ）を用いてデータを通信する（例えば、受信する、送信する、等々）ため、そしてもう１つはＨＨＣ１０６（図１Ａ〜図１Ｃ）を用いてデータを通信するためであることに留意するべきである。
数多くの実施形態では、デコーダーは、ＷＡＣ２５８の外部に位置付けられる。様々な実施形態では、ストリームバッファ２５９は、ＷＡＣ２５８の内部に位置付けられる。
いくつかの実施形態では、ＨＭＤ１０４は、監視デジタルカメラ２７４を除外する。いくつかの実施形態では、ＨＭＤ１０４は、任意の数のマイクロコントローラー、任意の数のバッファ、及び／または任意の数のメモリデバイスを含む。
様々な実施形態では、ＨＭＤ１０４は、例えば、ビデオオーディオセパレーター２５４、メモリデバイス２５６、ワイヤレスアクセスカード２５８、ストリームバッファ２５９、１つ以上のスピーカー２６０、ユーザー入力回路２６２、ディスプレイスクリーン２６６、マイクロコントローラー２６８、オーディオバッファ２７２、外部デジタルカメラ２７４、オーディオコーデック２７６、内蔵デジタルカメラ２７８、ビデオバッファ２８０、ビデオオーディオシンクロナイザー２８２、及びマイクロフォン２８４などの構成要素に電力を提供する１つ以上のバッテリー２６１を含む。１つ以上のバッテリー２６１は、交流電流のコンセントに差し込むことができる充電器（図示せず）を用いて充電される。
数多くの実施形態では、入力データ及び／またはメディアデータは、本明細書では、インタラクティブなメディアと称される。
いくつかの実施形態では、ＨＭＤ１０４は、ローカルユーザー間のペアリングを介したピアツーピア多重チャネル通信を容易にする通信回路を含む。例えば、ＨＭＤ１０４は、マイクロフォン２８４から受信した音信号を変調し、変調された信号をチャネルを介して別のＨＭＤ（図示せず）のトランシーバーに送る、トランシーバーを含む。もう一方のＨＭＤのトランシーバーは、ユーザー間の通信を容易にするために、信号を復調して、他のＨＭＤのスピーカーに提供する。
様々な実施形態では、異なる他のＨＭＤと通信するために、ＨＭＤ１０４のトランシーバーによって、異なるチャネルが使用される。例えば、第１の他のＨＭＤに変調された信号がその上に送られるチャネルは、第２の他のＨＭＤに変調された信号がその上に送られるチャネルとは異なる。
いくつかの実施形態では、ＷＡＣ２５８、ユーザー入力回路２６２、マイクロコントローラー２６８、及びビデオデコーダー２５５は、１つ以上の個々の回路チップ内に統合されている。例えば、ＷＡＣ２５８、ビデオデコーダー２５５、及びマイクロコントローラー２６８は、１つの回路チップ内に統合され、ユーザー入力回路２６２は、別の回路チップの中へと統合される。別の実施例として、ＷＡＣ２５８、ユーザー入力回路２６２、マイクロコントローラー２６８、及びビデオデコーダー２５５のそれぞれは、別個の回路チップ内に統合される。
ＨＭＤの様々なモジュールは、トリガーイベントの発生を判定するために使用され、このトリガーイベントは、移行行為の実施を必要とし、ＨＭＤスクリーンの移行を実施する。いくつかの実施形態では、ＨＭＤ内のモジュールは、集合的に「ゲーム処理モジュール」と称される。ＨＭＤのゲーム処理モジュールは、トリガーイベントの発生を検出し、ＨＭＤビューがトリガーイベントに基づいて、「非透過」モード、「半透過」モード、「模擬透過」モード、及び「完全透過」モード、の間で移行するのを可能にする。いくつかの実施形態では、ユーザーは、どの透過モード移行を所望するかをユーザーが決定するオプション付きで提供される場合があり、選んだオプションに従って移行が実施される。移行に基づいて、ユーザーは、現実世界環境及び／またはゲームプレイのインタラクティブなシーンを、部分的に視認するか、または完全に視認するか、のいずれかが可能である。ゲームからのインタラクティブなシーンが、ＨＭＤのスクリーン上にレンダリングされている場合、スクリーンは、「非透過」モードになっていると見なされることに留意するべきである。
いくつかの実施形態では、トリガーイベントの検出に基づいて、ゲーム処理モジュールは、ＨＭＤスクリーンを非透過モードから半透過モードに移行する。いくつかの実施形態では、非透過モードから半透過モードへの移行は、ＨＭＤスクリーンの一部でのみ実施され、一方でＨＭＤスクリーンの残りの部分は、非透過モードを継続する。代替的に、ＨＭＤスクリーン全体は、非透過モードから半透過モードに移行される。半透過モードでは、いくつかの現実世界環境の対象物は、現在ＨＭＤスクリーン上にレンダリングされているゲームプログラムのインタラクティブなシーンと共に提示される。ＨＭＤスクリーンに提示される現実世界環境は、ユーザーのすぐ近くからＨＭＤの前を向いたカメラによって捕捉される。一実施形態では、現実世界環境は、ゲームのインタラクティブなシーンは背景にレンダリングされ、現実世界環境からの対象物のいくつかは、前景にレンダリングされるように提示される。代替的に、別の実施形態では、インタラクティブなシーンは、前景にレンダリングされ、一方で現実世界環境からの対象物のいくつかは、背景にレンダリングされる。
一実施形態では、トリガーイベントの発生に応答して、ゲーム処理モジュールは、ＨＭＤスクリーンを、ゲームのインタラクティブなシーンのみがレンダリングされた非透過モードから、ユーザーがユーザーのすぐ近くからの現実世界環境の風景に曝される、模擬透過モードに移行する。この実施形態では、ゲーム処理モジュールは、ＨＭＤ内の前を向いたカメラを起動及び指示して、ユーザーの視線と一致している、ＨＭＤを着用しているユーザーの近くからの、現実世界環境の画像及び／またはビデオを捕捉及び送信する。ゲーム処理モジュールは、前を向いたカメラによって送信された画像／ビデオを受信し、画像／ビデオ（例えば、サイズ調整する、解像度を再調節する、等々）を処理し、処理した現実世界環境の画像／ビデオをＨＭＤスクリーン上にレンダリングする。このレンダリングは、現在レンダリングされているゲームプログラムのインタラクティブなシーンを、処理された画像／ビデオで置き換えさせる。この実施形態では、模擬移行は、ゲーム処理モジュールがＨＭＤスクリーンを「完全透過」モードに移行したように見せかけるが、実際には、前を向いたカメラによって捕捉された現実世界環境の画像をＨＭＤスクリーンに提示することによって模擬移行を提供している。
別の実施形態では、ゲーム処理モジュールは、トリガーイベントの検出に応答して、ＨＭＤスクリーンの光学的な設定を調節することによって、非透過（すなわち、不透明またはダーク）モードと完全透過（すなわち、クリア）モードとの間の移行を実現する。この実施形態では、ＨＭＤスクリーンは、液晶ディスプレイ（ＬＣＤ）スクリーンである。ゲーム処理モジュールは、ＬＣＤスクリーンの光学特性を、ダーク／ブラック設定（非透過モードを表す）とクリア設定（完全透過モードを表す）との間で切り換える。クリア設定は、クリアガラスのスクリーンを通して視認するのと同様の様式で、ユーザーがＨＭＤのディスプレイスクリーンを通して、ユーザーのすぐそばの周囲環境から現実世界の対象物を見ることができるようにする。不透明／ダーク設定では、ユーザーは、ディスプレイスクリーンを通して視認することが不可能、または困難である。非透過モード（すなわち、不透明／ダーク設定）では、ゲームのインタラクティブなシーンがＨＭＤのディスプレイスクリーンにレンダリングされる。非透過モードと完全透過モードとの間の移行のための、光学的な設定の調節は、ＬＣＤスクリーンの後方から行われる。当然のことながら、ＨＭＤのＬＣＤスクリーンの光学系は、外向きになると反転される。
一実施形態では、トリガーイベントは、モードの移行が正当であるかどうかを解析して判定し、この判定に基づいて光学系の反転を含むモードの移行が実現される。例えば、この解析は、ユーザーの視線変更が、モードの移行を保証するのに十分なだけ長い期間の間であるかどうかを判定する場合があり、視線変更が、少なくとも既定の閾値期間と等しい期間に及ぶ場合、モードの移行が実現する。ひいては、ゲーム処理モジュールは、ユーザーがゲームプレイ経験に浸り込むことができるようにする一方で、トリガーイベントに依存して、ユーザーが現実世界環境を、部分的に視認するか、または完全に視認するか、のいずれかが時々可能になるように、非透過モードと透過モードとの間で移行する代替的なやり方を提供する。透過モードは、半透過モード、模擬透過モード、及び完全透過モードのいずれか１つ、または任意の組合せであってもよい。
非透過モードから半透過モード、模擬透過モード、または完全透過モードへの移行を生じさせる、いくつかの例示的なトリガーイベントとしては、ＨＭＤを着用しているユーザーの視線の変更、音声コマンド、ＨＨＣ／ＨＭＤで検出された、ボタン押圧、タッチスクリーンインタラクション、ジェスチャー、１つ以上の入力機構／デバイスを通したインタラクション、等々を含む行為、ユーザーのすぐそばの周囲で検出された音または動き、電話の受信の検出、テキスト、ピーンという音、メッセージ、電子メール、ユーザーの近くでの他のユーザーの行為（声など）の検出、等々、のうちのいずれか１つまたは組合せを含む場合がある。
スクリーン上にレンダリングされるものの操作によるこの形態の移行は、ユーザーが完全に浸り込んでいる状態から、部分的に浸り込んでいる、または浸り込んでいない状態へ切り換えることができるようにする。非透過モードから半透過モード、模擬透過モード、または完全透過モードへの移行は、ユーザーが、ゲームプレイに浸り込み続けている間に時々、現実世界環境を部分的に、または完全に、のいずれかで視認できるようにする。いくつかの他の実施形態では、非透過モードから透過モード（半透過モード、模擬透過モード、または完全透過モード）への移行は、ユーザーに、完全に浸り込んでいる状態から完全に浸り込んでいない状態へ移行の能力を提供する。いくつかの実施形態では、非透過モードから透過モードへの移行は、オプションとして提供され、ユーザーは、移行を選んでも、または選ばなくてもよい。
移行は、ゲームの実行の間のイベントの発生を検出することによって有効になる。例えば、イベントの発生は、ＨＭＤを着用しているユーザーの目の視線状態を識別及び監視することによって決定される場合がある。視線状態の監視としては、ユーザーの視線方向を一定の期間の間検出して視線が経時的に変更しているかどうかを調べること、視線パターンを一定の期間にわたって検出してユーザーがあるパターンをトラッキングしているかどうか判断すること、第１の位置から、第２の位置へ、そして第１の位置へ戻るように視線を繰返し切り換えること、ユーザーがめまいを経験していないか判定するために視線方向の変化を検出すること、等々、を含む場合がある。視線状態の監視は、移行を実施する必要があるかどうかを判定するために、ＨＨＣ、ＨＭＤ、ゲームクラウド、及び／またはコンピューター（存在する場合）によって提供される既定の行為と相互に関係する。ＨＨＣまたはＨＭＤによって提供される行為は、移動行為に加えて、触覚的なフィードバック、オーディオフィードバック、等々などの、ゲームプログラムへのフィードバックも含む場合がある。ユーザーの視線状態は、１つ以上の内蔵カメラユニットを使用してトラッキングされる場合がある。
トラッキングの間に、ユーザーの視線が、ＨＭＤ、ＨＨＣ、及び／またはゲームプログラムによって提供される行為と直接的に相互に関係するゲームのためにインタラクティブなシーンをレンダリングしているスクリーン上の一部／領域上に継続的にあることが判定された場合、スクリーンは、非透過モードで、ゲームプログラムからのゲームプレイストリーミングのインタラクティブなシーンの提示を継続する。図３Ａは、内蔵カメラによるトラッキングがユーザーの視線が、スクリーン上にレンダリングされたインタラクティブなシーンに、垂直線から「θ」の角度で定義される線「ａ」によって図示される凝視角で固定されていることを検出する、１つのかかる実施形態を図示する。この検出に応答して、ＨＭＤのゲーム処理モジュールは、凝視角と相互に関係する、コンピューターまたはゲームクラウドからのゲームプログラムストリーミングに関するインタラクティブなシーンのレンダリングを、ＨＭＤのスクリーン上で継続する。しかしながら、内側に設置されたカメラ（複数可）が、視線状態の変化（例えば、スクリーンの異なる部分へのユーザーの視線の変更）を検出する場合、内蔵カメラ（複数可）は、視線状態の変化、すなわち、視線変更を検出し、凝視角の変更を判定する。視線変更の座標を精密に特定するために、複数の内側に設置したカメラが使用される場合がある。
図３Ｂは、内蔵カメラによって検出されるユーザーの視線状態の変化（すなわち、視線の変更）、及び変更の方向を図示する。内蔵カメラは、対応するシーンの複数の画像フレームを捕捉し、この情報をＨＭＤのゲーム処理モジュールに供給することによって、視線の方向の変更及び視線のレベルの変更を精密に識別する場合がある。いくつかの実施形態では、内蔵カメラ（複数可）によって提供される画像は、ゲーム処理モジュールが画像フレームを時間の関数として解析できるようにしてユーザーの視線の変更を判定するために、カメラによって捕捉されたそれぞれのフレームに対してタイムスタンプも含む場合がある。ゲーム処理モジュールは、捕捉されたフレームからの注視点を解析することによって、変更角を演算する。例えば、図３Ａに図示されるように、内蔵カメラによって検出されるユーザーの第１の視線は、線「ａ」によって定義される。上記で定義したように、ゲーム処理モジュールは第１の視線が、垂直線（例えば、ｘ軸）から角度「θ」にあることを判定する。ゲーム処理モジュールは、視線方向の変更をトラッキングし、図３Ｂで、線「ｂ」によって表される第２の視線の角度が、垂直線から角度「λ」にあること、そして視線が上向き方向から下向き方向に変更されたことを判定する。この結果、ユーザーの視線変更の合計角度は（θ＋λ）である。代替的に、視線の変更は、上向き方向に継続する場合がある。かかる事例では、ユーザーの視線の変更の合計角度は、角度「λ」が角度「θ」より大きい場合、（λ−θ）となる、または角度「θ」が角度「λ」より大きい場合、（θ−λ）となることが演算される場合がある。この情報は、ＨＭＤ内のゲーム処理モジュールによって、視線の変更を判定するためだけでなく、その角度における視準線内のゲームシーン及び／または現実世界環境の対象物を識別するためにも使用される。変更の角度の精密な演算は、複数のカメラからの画像フレームを解析することによって、三角測量の技法を使用して行われてもよい。
内側に設置されたカメラ（複数可）は、ユーザーの視線の変更を検出することに応答して視線パターンもトラッキングする場合がある。いくつかの実施形態では、視線パターンは、ユーザーがスクリーン上にレンダリングされた対象物または文字をトラッキングすることによって確認される場合がある。いくつかの実施形態では、視線パターンは、スクリーン上の第１の位置と第２の位置との間を往き来する目の動きである場合がある。視線パターンは、視準線情報及び視線変更を捕捉する画像フレームによって提供されるタイムスタンプ情報を解析することによって判定される場合がある。いくつかの実施形態では、ユーザーの目が元の角度から既定の閾値期間（例えば、０．５秒、１秒、２秒、３秒、４秒、等々）より長く変更されたままになる場合、視線の変更は有意である。一実施形態では、画像及びタイムスタンプの解析に基づいて、ゲーム処理モジュールは、ゲームパターンが、ユーザーの視線状態のいかなる有意な変化も識別していないと判定する場合がある。すなわち、視線の変更が有意でなく（時間的に、または角度的に）、一次的であり（一度だけ、所定の閾値期間より短い期間発生した）、かつユーザーはゲームに関連した活動を提示しているスクリーンの一部または一領域に集中し続けている。この実施形態では、ＨＭＤのゲーム処理モジュールは、スクリーンに対して非透過モードを維持し続け、ゲームプログラムからストリーミングされたゲームのためのインタラクティブなシーンのレンダリングを継続する。
いくつかの実施形態では、視線状態の解析に基づいて、ゲーム処理モジュールがスクリーンの異なる部分へのユーザーの視線変更を確認する場合、ゲーム処理モジュールは、ユーザーの変更した視線の方向がゲームの異なる区域と相互に関係するかどうかの判定を試みる。その場合は、ゲーム処理モジュールは、ＨＭＤにレンダリングするために、このインタラクティブなシーンを、スクリーンの新しい部分と相互に関係するインタラクティブなシーンに切り換える場合がある。
図３Ｂに図示される一実施形態では、視線パターンが、ユーザーの視線が第１の領域３０２と第２の領域３０４との間で切り替わっていることを確認する場合、ゲーム処理モジュールは、ユーザーの興味の方向を特定し、現実世界環境から視準線と一致する対象物を特定し、ユーザーの視線がそのスクリーンの部分に向けられる度に、対象物のビジュアルをスクリーンの対応する領域または部分内に提供する。例えば、ユーザーは、カーレースゲームに取り組む場合がある。ユーザーがゲームをプレイしているとき、ＨＨＣ及びＨＭＤからのユーザーの入力と相互に関係しているカーレースゲームからのシーンは、ＨＭＤのスクリーン上にレンダリングされる。ゲームプレイの間、ユーザーの視線は、カーレースゲームシーンがある正面を見ている視線から、スクリーンの底部に向かって下向きを見ている視線に変更される場合がある。この場合、ゲーム処理モジュールは、視線の変更を識別し、視線パターンを確認して視線の変更が有意かどうか（角度及び／または時間に関連して）を調べ、この情報を使用して、その視準線と一致する現実世界の対象物／シーンまたは仮想世界の対象物／シーンのいずれかを識別する。
図３Ｂに図示される一実施形態では、変更された視線の視準線内の対象物は、ユーザーの手の中にある、ＨＭＤに入力を提供する、ＨＨＣである場合があることが判定される場合がある。変更された視線の視準線内の対象物は、内蔵カメラからの入力データをＨＭＤ上に設置された監視カメラ及び外部カメラからのデータと相互に関連付け、変更された視線の角度と相互に関係する、対象となる対象物を判定することによって判定される場合がある。この情報は、ゲーム処理モジュールによって、ユーザーの手（複数可）の中にあるＨＨＣの画像を捕捉するために、ＨＭＤの外部カメラを向けるために使用される。ゲーム処理モジュールからのコマンドに応答して、ＨＭＤの外部カメラが、識別された対象物の画像を捕捉し、この画像をゲーム処理モジュールに送信し、次いでこのビジュアル画像をデジタルデータに変換し、かつデジタルデータをＨＭＤのスクリーンの対応する部分にレンダリングするために転送する。いくつかの実施形態では、この対象物のビジュアル画像は、ゲームのインタラクティブなシーンと相互に関係するようにするために調節される場合がある。例えば、視認線内の対象物がコントローラーであり、かつゲームがインタラクティブなカーレースゲームである場合、コントローラー（すなわち、ユーザーの変更された視線内の現実世界の対象物）のビジュアル画像は、自動車のハンドルを表すように調節される場合がある。
図３Ｂに示される一実施形態では、ユーザーの手の中で保持されるＨＨＣの画像（すなわち、ビジュアル、または調節されたビジュアル）は、領域３０４によって示される、ＨＭＤのスクリーンの底部部分にレンダリングされ、一方で、領域３０２によって示される、残りのスクリーンの部分は、コンピューターまたはゲームクラウドからのゲームストリーミングからのインタラクティブなシーンのレンダリングを継続する。結果として、ＨＭＤスクリーンの底部部分は、非透過モードから模擬透過モードへと移行され、一方でスクリーンの残りの部分は、非透過モードでレンダリングを継続すると考えられる。いくつかの実施形態では、現実世界からのレンダリングされたシーン／対象物の画像は、スクリーン上に３次元浸り込み効果を提供する、視覚的な奥行を含む。
図３Ｂに図示される実施形態では、例えば、対象物の画像は、底部部分３０４の一部分内のレンダリングされたシーンの上に重ねられ、一方で、底部部分の残りの部分内でインタラクティブなシーンを見ることができるようにする。対象物の画像は、部分的に前景にレンダリングされる。この実施例では、底部部分の一部分のみを模擬透過モードに移行させ、一方で、底部部分の残りの部分、及びスクリーンの残りは、インタラクティブなゲームシーンをレンダリングし続けると考えられる。別の実施形態では、インタラクティブなゲームシーンが底部部分の残りの部分内にグレイアウト形式で提示され、底部部分が模擬透過モードであることを示唆する場合がある。さらに別の実施形態では、底部部分全体は模擬透過モードに移行され、対象となる対象物の画像（すなわち、上記の実施例ではＨＨＣ）が、前を向いたカメラによって捕捉される周囲の現実世界の対象物とともに、レンダリングされる場合がある。代替的には、対象物は、背景にレンダリングされる場合があり、一方で、インタラクティブなシーンは前景にレンダリングされる。
ユーザーの視線は、任意の方向に変更してもよいことに留意するべきである。結果として、ＨＭＤのスクリーンの対応する部分は、何がスクリーンのその部分の上にレンダリングされるかに依存して、非透過モードから透過モードへと移行してもよい。
一実施形態では、視線のすべての変更が、非透過モードから透過モードへの移行をもたらすわけではない。例えば、ユーザーの視線は、スクリーンの右側からスクリーンの左側へと変更する場合がある。この実施形態では、ユーザーの視線は、ＨＭＤまたはＨＨＣを通して提供されるユーザーからの入力、別のユーザーからの入力（マルチプレーヤーゲームの場合）、またはゲームからの入力に基づくゲーム内の変化に応答して変更した場合がある。この実施形態では、スクリーンの左側は、ゲーム内の変化に基づくインタラクティブなゲームシーンを含む場合がある。一実施形態では、ユーザーの視線の変更が検出されたとき、ゲーム処理モジュールは、ユーザーの視線の変更が既定の閾値限界（例えば３秒間などの）を超えるかどうかを判定する場合がある。視線変更が、閾値限界を超える場合、ゲーム処理モジュールは、スクリーンの非透明モードを維持する一方で、ＨＭＤのスクリーンを更新して、ユーザーの視線の方向からのシーンに対応するゲームシーンをレンダリングする。
前述のように、スクリーンの一部を非透過モードから半透過モードまたは完全透過モードへと移行するためのトリガーイベントは、視線の変更の検出に制限されない。一実施形態では、移行イベントは、現実世界で、ユーザーの近くまたはユーザーのカメラ（複数可）及び／もしくは監視カメラの視準線内で検出された動きに応答してトリガーされる場合がある。例えば、ユーザーがコンピューター上またはゲームクラウド上で実行しているゲームのゲームプレイに参加している部屋に、人が入ったときに、移行がトリガーされる場合がある。
図３Ｃは、ユーザー１０８がオンラインゲームをプレイしている部屋に、ユーザー３３３が入る場合の、１つのかかるシナリオを図示する。ユーザー１０８がゲームプレイの間着用しているＨＭＤのスクリーンは、ゲームプログラムのゲームプレイからのインタラクティブなシーンをレンダリングしている。ゲーム処理モジュールが部屋に入ってくるユーザー３３３を検出すると、ゲーム処理モジュールは、ユーザーのＨＭＤのスクリーン上にレンダリングされたシーンを、ＨＭＤスクリーンの一部３４０ｂに示されるように、部屋に入るユーザー３３３の画像を含むように変える一方で、３４０ａに示される残りの部分にゲームプレイのインタラクティブなシーンをレンダリングし続ける。この実施形態では、スクリーンの変えられる一部３４０ｂは、動きを検出するカメラの視準線内のユーザー３３３の入室または出現の方向と相互に関係する。いくつかの実施形態では、シーンの変化は、ユーザー３３３が入ってきた部屋の一部の３次元の眺めを提供する。この実施形態では、一部３４０ｂはユーザー３３３とともに、インタラクティブなシーンをレンダリングし続けるので、ＨＭＤスクリーンは、半透過モードに移行されたものと考えられる。
代替的に、移行は、対象物が、ＨＭＤの外側に設置されたカメラまたは外部カメラ（複数可）の視準線内に来たときにトリガーされる場合がある。図３Ｄ〜図３Ｆは、１つのかかる実施形態を図示する。図３Ｄでは、ユーザーのＨＭＤのスクリーンは、ユーザーがプレイしているゲームの、時間Ｔ０におけるインタラクティブなシーンをレンダリングしている。時間Ｔ０では、対象物、（例えば、弾んでいるボール）は、弾んで上がり始めているが、ユーザーのＨＭＤに組み込まれたカメラの視界の外側である。この例では、対象物（すなわち、ボール）は、地面からｄ０の高さにある。時間Ｔ１において、ボールは高さｄ１まで弾み、結果として、少なくともＨＭＤに組み込まれた１つのカメラ（外部カメラまたは監視カメラのいずれか）の視界に入る。少なくともカメラのうちの１つによる対象物の検出に応答して、ゲーム処理モジュールは、少なくとも１つのカメラによって検出されると、ボールの３次元画像を、スクリーン内のボールの場所の角度／位置（距離ｄ１）と相互に関係する、スクリーンの一部内にレンダリングする場合がある。
この結果、図３Ｅに図示されるように、高さｄ１における弾んだボールは、スクリーンの部分または領域３０４ａにレンダリングされ、一方でスクリーンの残りの部分は、ゲームに関連するインタラクティブなシーンをレンダリングし続ける。同様に、時間Ｔ２において、少なくとも１つのＨＭＤのカメラは、ボールが距離ｄ２まで上向きに上り続けるとき、異なる角度／場所においてボールを検出し、ゲーム処理モジュールは、ボールの異なる角度／場所を、ボールの画像をレンダリングするスクリーン上の対応する場所に表す。図３Ｆは、ボールの画像がレンダリングされる場所３０４ｂ（場所３０４ｂは、高さｄ２と相互に関係する場合がある）を図示し、一方でスクリーンの残りの部分は、ゲームからのインタラクティブなシーンのレンダリングを継続する。ボールが落下するとき、下向き方向のボールの動きは、ボールが動いてカメラの捕捉範囲の外へ出るまで捕捉される。したがって、図３Ｄは、ＨＭＤのスクリーン上にレンダリングされた、時間Ｔ０における、ならびに時間Ｔ５におけるシーンを図示し、図３Ｅは、ボールがスクリーンの部分３０４ａを覆う、時間Ｔ１（上に上がるボールに対応する）ならびに時間Ｔ４（下に下がるボールに対応する）におけるシーンを図示し、図３Ｆは、ボールがシーンの部分３０４ｂを覆う、時間Ｔ２（上に上がるボールに対応する）ならびに時間Ｔ３（下に下がるボールに対応する）におけるシーンを図示する。この実施形態では、ＨＭＤスクリーンは、非透過モードから模擬透過モードへと移行したと考えられる。いくつかの実施形態では、ボールの画像は前景にレンダリングされる場合があり、一方でインタラクティブなシーンは、背景にレンダリングされる場合がある。代替的には、ボールの画像は背景にレンダリングされる場合があり、一方でインタラクティブなシーンは、前景にレンダリングされる場合がある。これらの実施形態では、ＨＭＤスクリーンは、非透過モードから半透過モードへと移行したと考えられる。したがって、ゲーム処理モジュールは、ユーザーに対して、ゲームに完全に浸り込む方法を提供する一方で、外部イベントのトリガーに基づいて、または視線の変更、もしくはユーザーによって明示的に、または暗示的に提供される他のかかるビジュアルキューなどのユーザーからの入力に基づいて、現実世界からのシーンの覗き見を提供する。
代替的な実施形態では、ＨＭＤスクリーンは、非透過モードから完全透過モードへと移行する場合がある。この実施形態では、トリガーイベントに応答して、ゲーム処理モジュールは、ＨＭＤスクリーンの光学特性を、ダーク／不透明設定（非透過モードを表す）からクリア設定（完全透過モードを表す）へと調節する場合がある。クリア設定では、ユーザーは、ユーザーのすぐ近くの周囲の現実世界環境の全景を、あたかもユーザーがクリアガラスを通して見ているかのように、提供される。図３Ｇはこの実施形態の実施例を図示し、ユーザーは、ユーザーがＨＭＤを使用している室内のランプ、テーブル、鏡／スクリーンなどの現実世界の対象物を視認することができる。
図４Ａ〜図４Ｄは、ゲーム処理モジュールが、インタラクティブなゲームシーンを現実世界からの３次元的なシーンと組み合わせて、現実世界への覗き見を受信する一方でゲーム内への３次元（３Ｄ）浸り込みを提供する、代替的な実施形態を図示する。図４Ａは、ユーザー１０８のＨＭＤスクリーン上にレンダリングされた、ゲームの３次元的なゲーム空間を図示する。ゲーム空間は、ユーザー１０８から一定の距離にある、及びそれぞれから一定の距離にあるユーザーＡ、Ｂ、及びＣを図示する。図４Ａに図示されたＨＭＤスクリーンは、非透過モードであることが示されている。図４Ｂは、ＨＭＤを着用しているユーザー１０８が前に歩き、かつ下を見るときの、ゲーム空間を図示する。ユーザー１０８の前方への動きは、ユーザーＡ、ユーザーＢ、及びユーザーＣの相対的な位置、角度、及び場所によって、ユーザー１０８と相対的に、ならびに相互と相対的に、３次元ゲーム空間内で反映される。追加的に、自分の頭を下向きに動かすユーザーに応答して、ゲーム空間は下向きに動き、追加的なプレーヤーＤが見えるようになり、さらにユーザーＡ、ユーザーＢ、及びユーザーＣのゲーム空間内での相対的な場所が更新される。このユーザー１０８の頭の下向きの動きは、現実世界でのユーザーの手の場所に関係する、３Ｄゲーム空間の対応する部分４０１内へのユーザーのＨＨＣの演出ももたらす。図４Ｂに図示されるＨＭＤスクリーンは、半透過モードに移行したと考えられ、かかる移行を発生させたトリガーイベントは、ユーザーの前方への動き及び視線の下向きへの変更である場合がある。
図４Ｃは、ユーザー１０８が前方に歩き続ける時のスクリーン上にレンダリングされた景色を図示する。インタラクティブなシーン内のゲーム対象物（すなわち、ユーザー）は、ユーザーの動きと相互に関係する対象物をレンダリングするために更新されている。この実施形態では、ＨＭＤスクリーンにレンダリングされたインタラクティブなシーンは、ユーザー１０８が動いた距離に相互に関係する、関係するゲーム空間内の一人のユーザー（例えば、ユーザーＣ）のみを示す。追加的に、ユーザーの継続的な下向きへの、既定の閾値期間より長い期間の視線変更は、ゲーム処理モジュールに、外部カメラによって捕捉されるテーブルランプ、テーブル、ゲームコンソール、等々などの現実世界の対象物の少なくともある部分に焦点を合わせさせる。ゲーム空間内の対象物の距離、場所、角度、等々と、現実世界からの対象物は、監視カメラ及び外部カメラによって捕捉される通りの、ユーザーの前方への動き及び下向きの視線変更を考慮に入れることによりＨＭＤのスクリーン上にレンダリングされる。したがって、対象物（現実の対象物及びバーチャルの対象物の両方）は、対象物をユーザー１０８のより近くに表させる様式でレンダリングされる。図４Ｃに図示される実施例では、ＨＭＤスクリーンは、非透過モードから半透過モードへと移行したと考えられる。いくつかの実施形態では、バーチャルゲーム対象物は背景へとフェードアウトされ、現実世界の対象物に焦点が当てられる（すなわち、前景になる）。代替的な実施形態では、現実世界の対象物は背景へとフェードアウトされ、バーチャルゲーム対象物に焦点が当てられる（すなわち、前景になる）。
一実施形態では、非透過モードから半透過モードへの移行は、ユーザーが、ゲームプレイからのゲームシーンを含む、ＨＭＤのディスプレイスクリーン上にレンダリングされたコンテンツを注視／コンテンツと相互作用するための安全地帯を提供するために、ＨＭＤにおいて開始される場合がある。例えば、ビデオゲームのゲームプレイに完全に浸り込んでいるユーザーが、まだビデオゲームプレイに参加している間に室内で動き回る場合がある。結果として、このユーザーは、壁、ランプ、テーブル、椅子、ソファー、ベッド、コード、ペット、人、等々などの室内の対象物により近くなる場合がある。ユーザーが対象物にぶつかる、ＨＭＤの電線／コードが絡まる、けがをする、または対象物を損傷するのを避けるために、ＨＭＤ内のゲーム処理モジュールは、ユーザーの対象物への近接を検出する。ユーザーの動き及び行為に応答して、システムは、例えば、ユーザーが対象物に近づいたときに、ＨＭＤのディスプレイスクリーンの、非透過モードから半透過モードへの移行を開始する場合がある。半透過モードでは、ゲーム処理モジュールは、ユーザーにユーザーの動きの方向にある対象物の存在及び近接を示すために、現実世界からの対象物を、ＨＭＤのディスプレイスクリーン上にレンダリングされるゲームシーンの中に混ぜ込む、または持ち込む。一実施例では、ディスプレイスクリーン内にレンダリングされる対象物のサイズ及び近接は、ユーザーに対する現実世界の対象物の相対的な近接と比例する場合がある。一実施形態では、現実世界の対象物は、図４Ｃに図示されるように、点線で示される輪郭線の形態でレンダリングされる場合がある。この輪郭線の形態は、グレイアウト形態、破線形態、輪郭線の形態、ゴースト形態、半透過形態、または完全に視認可能な提示とすることができる。一実施形態では、ゲーム処理モジュールは、ユーザーが室内の対象物に対して近すぎるところに移動したとき、この移行に加えて、ＨＭＤユーザーに対して警告サインを発する場合がある。警告サインは、オーディオ形式、触覚形式、ビジュアル形式、またはこれらの任意の組合せであってもよい。したがって、ゲーム処理モジュールは、安全のために使用されてもよく、システムは、ユーザー及びユーザーのすぐそばの周囲の中の環境対象物の安全を確保しながら、ユーザーの視認経験を豊かなものにすることができる。一実施形態では、現実世界の対象物を捕捉するために使用されるカメラは、深度感知カメラ、通常のＲＧＢカメラ（三原色成分、すなわちレッド、ブルー、グリーンを３本の異なる電線に提供する）、またはユーザーから対象物への近接、奥行、及び距離を識別することができる超音波センサー、またはこれらの任意の組合せであってもよい。
図４Ｄは、ユーザー１０８が、ゲームのゲーム空間内のゲーム対象物との、３Ｄインタラクティブな経験に浸り込むときの、ユーザー１０８のＨＭＤのスクリーン上にレンダリングされたゲーム空間を図示する。一実施形態では、ユーザーは、コントローラー手袋３３５を使用してゲーム対象物と相互作用する。一実施形態では、コントローラー手袋３３５は、ゲーム対象物とのゲーム相互作用の間に、ユーザーに触覚的なフィードバックを提供し、よりリアルなゲーム経験を提供するように構成される。いくつかの実施形態では、コントローラー手袋は、ＬＥＤライト、または他のトラッキング可能な対象物／マーキング、等々、などのマーカーエレメント３３５−ａを含み、インタラクティブなゲームプレイの間にカメラ（外部及び監視）が指／手の動きを検出することができるようにする。コントローラー手袋は、ＨＨＣとして作用し、これらはワイヤレス通信プロトコルを使用してコンピューター及びＨＭＤと通信する。通信は、手袋にフィードバックを提供する受信指導データも含む場合がある。コントローラー手袋は、ユーザーが使用することができるインタラクティブな対象物の一実施例である。３Ｄインタラクティブな経験に浸り込むためにユーザーが使用することができる他のインタラクティブな対象物としては、衣服、靴、または他のウェアラブル衣料品、ウェアラブルデバイス、または保持可能な対象物が挙げられる。図４Ｄは、コントローラー手袋３３５を使用して、ゲーム空間内でユーザーＢと相互作用しているユーザー１０８を図示する。ゲーム処理モジュールは、ゲーム空間内でコントローラー手袋の存在を検出し、ユーザーＢの手の場所と相互に関係する場所にコントローラー手袋（現実世界の対象物）をはめたユーザーの手の画像を提供するように、ＨＭＤスクリーンを非透過モードから半透過モードへと移行する。スクリーンの関連する部分のこの移行は、ユーザー１０８が実際に３Ｄ空間内でユーザーＢと相互作用しているように見せかける。
別の実施形態では、移行は、ユーザー１０８の近くまたはユーザー１０８のＨＭＤに統合または連結されたマイクロフォンの近くで検出される音に応答して、トリガーされる場合がある。追加的に、移行は、ユーザーを起源とする、ユーザーの近くの他のユーザーを起源とする、ユーザーの近くの他の対象物を起源とする、ＨＭＤ上で実行中のアプリケーション（ピーン音、テキスト、電子メール、電話、メッセージ、等々などの）を起源とする、音声または他の聴覚的なコマンドなどの明示的なコマンドによってトリガーされる場合がある。トリガーイベントに応答して、ＨＭＤのゲーム処理モジュールは、オーディオ検知技術を使用してトリガーイベントが発生した方向を決定し、その視準線と一致した対象物またはシーンを識別し、ＨＭＤのスクリーンの対応する部分内に対象物またはシーンのビジュアルを提供する。スクリーンは、インタラクティブなゲームシーンに対象物をレンダリングすることによって非透過モードから半透過へ、またはインタラクティブなゲームシーンをユーザーの近くからの現実世界環境からの画像に置き換えることによって非透過モードから模擬透過モードへと移行される。トリガーイベントは、ユーザーがゲーム内に浸り込み続けるのを可能にする一方で、現実世界の状況への覗き見の視認を提供する。移行をトリガーするイベントの方向は、三角測量技術を使用して、オーディオ検知技術を使用して、正確に判定される場合があり、オーディオ検知技術からの情報を使用して、外部カメラ及び監視カメラ（複数可）を使用して対象物を識別する。監視カメラは、トリガー（部屋に入る人、ＨＭＤのユーザー／マイクロフォンの近くで検出される音、等々などの）に対するユーザーの相対的な位置及び方向を特定するために、ＨＭＤの外側表面上に設置されたＬＥＤなどのマーカーエレメントを使用することができる場合がある。トリガーの場所／方向と相互に関係する、図４ＥのＴＲ１〜ＴＲ９によって表される領域などの、ＨＭＤのスクリーンの任意の部分または領域は、非透過モードから半透過モードに移行される場合がある。
いくつかの実施形態では、非透過モードから透過モード（すなわち、半透過モード、模擬透過モード、または完全透過モード）への移行は、線形的な様式または非線形的な様式のいずれかで、段階的な増分で行われる場合がある。スクリーンの一部の非透過モードから半透過モードへの移行は、任意の形態のフェーディングを使用して実施される場合があり、移行が発生するとき、オーディオ、触覚、または他の形態のフィードバックが、ユーザーに提供されてもよい。ＨＭＤによってレンダリングされたシーンに応じて、ユーザーによって保持されている対象物に応じて、ユーザーの視線方向に応じて、検出されたオーディオ／動き信号に応じて、またはユーザーがＨＭＤを使用している環境に応じて、非透過から半透過へと移行する区域または領域が動的に設定される場合がある。ＨＭＤ内のスクリーンのある特定の部分の移行は、ユーザーが、現実世界と仮想世界との間の接続を確立するのを可能にする。したがって、仮想対象物を含む仮想世界で生じる行為に関係する現実世界の物理的な対象物が関与する現実世界での行為がある場合、システムは、仮想世界の中から現実世界の透過的なバージョンをユーザーが見ることができるようにすることによって、現実世界での行為と仮想世界での行為とを一緒にすることを試みるやり方を提供する。さらに、システムは、ユーザーに現実世界の認識を提供するために、仮想世界に結び付けられていない物理的な対象物が関与する現実世界での行為をレンダリングするやり方を提供する場合がある。
一実施形態では、非透過モードから半透過モードへの移行は、インタラクティブなゲームのゲームプレイでのユーザーの相互作用に応答する場合がある。例えば、第１のユーザーは、第２のプレーヤーがいる、マルチプレーヤーゲームに参加している場合がある。この実施形態では、第１のプレーヤーが対象物または領域を指差すと、ゲーム処理モジュールは第１のユーザーが指差している方向を検出することができ、指差している方向の対象物またはシーンを判定することができ、対象物またはシーンの適切なビューを第２のプレーヤーに半透過モードで提供することができる。この実施形態では、この対象物またはシーンは、現実世界の対象物／シーンでの対象物／シーンとすることができる。この実施形態では、ゲーム処理モジュールは、第１のプレーヤー及び第２のプレーヤーのＨＭＤ上に設置された外部カメラならびに１つ以上の監視カメラからの入力を受信して、指差している方向の空間内の複数の点をトラッキングする。これにより、対象物に対する２人のプレーヤーのビューの間の角度を判定することができ、次いで三角測量技法を使用して第２のプレーヤーのＨＭＤにレンダリングするために、適切な３Ｄ画像を捕捉することができる。一実施形態では、第２のプレーヤーに提示された対象物またはシーンのビューは、第２のプレーヤーによって見られる／視認される通りの、現実世界での第２のプレーヤーの位置、及び対象物／シーンのビューに相互に関係する。
いくつかの実施形態では、システムは、ユーザーがスクリーンのある特定の部分を利用していること、及びゲームで生じる行為が現在レンダリングされているスクリーンの主要な部分をあまり利用していないことを検出する場合がある。ユーザーの注意が向けられているスクリーンの部分は、この時点で生じている著しいゲーム行為を一切有していない場合がある。これらの実施形態では、システムは、ユーザーの興味及び焦点がゲームから変更されていて、ＨＭＤスクリーン上へのビデオゲームの演出を休止してもよいことを判定する場合がある。追加的に、システムは、ゲームクラウドに休止信号を送ってゲームプログラムの実行を休止する場合がある。この実施形態では、ゲーム処理モジュールは、スクリーンの光学特性をクリア設定に調節することによって、ユーザーがプレーヤーの近くの環境内の現実世界の対象物を視認することができるように、スクリーン全体を非透過モードから完全透過モードへと移行する場合がある。代替的な実施形態では、ゲーム処理モジュールは、現実世界の画像を捕捉して、ゲームのインタラクティブなシーンを捕捉された現実世界の画像と置き換えることによって、スクリーン全体を非透過モードから模擬透過モードへと移行する場合がある。非透過モードから完全透過モードまたは模擬透過モードへの移行は、ユーザーがバーチャル環境から現実世界環境へと移行できるように、ユーザーのＨＭＤのスクリーン上にレンダリングされるゲームプレイの激しさに応じて段階的に行われる場合がある。
一実施形態では、システムは、ユーザーの興味／焦点の変更を検出して、ユーザーにゲームを休止するオプションを提供する場合がある。このゲームを休止するオプションは、ボタンの起動、音声コマンド、目の信号、オーディオコマンド、等々の形態で提供される場合がある。休止オプションを提供することに加えて、ユーザーが休止オプションを選択したときにユーザーがゲームを離れた時点から、ユーザーがゲームにアクセス及び浸り込むことを可能にする、再開オプションも提供される場合がある。再開オプションは、休止オプションと同様の形態、または異なる形態で提供される場合がある。
いくつかの実施形態では、非透過モードから透過モード（例えば、半透過モード、完全透過モード、または模擬透過モード）への移行後、ゲーム処理モジュールは、所定の時間期間の完了後、スクリーンの一部を非透過モードに戻す場合がある。いくつかの実施形態では、非透過モードから透過モードへ、そして非透過モードへ戻る移行は、ユーザー行為に応答して行われる場合がある。例えば、ユーザーが主ゲーム区域とスクリーンの特定の一部（下部、左側、右側、上部、等々など）との間を行ったり来たりして眺める場合、ゲーム処理モジュールは、この行ったり来たりするユーザーの視線の動きが視線パターンを確立することを検出する。視線パターンに基づいて、ゲーム処理モジュールは、ユーザーの確立された視線パターンに合わせて、スクリーンの適切な部分を、非透過モードと、半透過モード（現実世界のシーンがインタラクティブなシーンとともに提示される）または模擬透過モード（少なくとも現実世界のシーンからの対象物の一部分がインタラクティブなシーンの少なくとも一部を置き換える）との間で切り換える。したがって、スクリーンの下部部分は、ユーザーの視線が下向きに向いたとき、ユーザーの手の中にあるＨＨＣをレンダリングする場合があり、ユーザーの視線を上向きに変更すると、ゲームプログラムからのインタラクティブなゲームシーンがレンダリングされ、これによってユーザーに、よりリアルな移行効果を提供する。一実施形態では、検出されたユーザーの視線の変更が、既定の閾値の値（すなわち、ユーザーの視線が少なくとも３秒間または５秒間の間変更されている）を超えていることを確認した後、スクリーンのある特定の部分の、非透過モードから半透過モードまたは模擬透過モードへの切り替えが実施される場合がある。
代替的には、移行をトリガーしたイベントが平常状態、または安定状態のいずれかに戻り、もはや利用可能ではない場合、または一定の期間が終了した後、半透過から非透過モードへの移行が発生する場合がある。例えば、人が室内に歩いて入ってきたために移行が発生した事例では、その人が部屋から出て行ったとき、またはそのシーンに少なくとも既定の閾値の値で定義された所定の時間期間だけ留まっているとき、非透過モードへ戻る移行が発生する場合がある。
一実施形態では、激しさが強いゲームに完全に浸り込んでいるユーザーが、ゲームから意図的に離れることによって、平常状態になりたいとき、非透過モードから完全透過モードへの移行が発生する場合がある。この場合、非透過モードから完全透過モードへの移行は、ユーザーを激しさの変化に順応させるために線形的な段階的な増分でなされる場合がある。この移行の間に、ゲーム処理モジュールは、ＨＭＤスクリーンの光学特性を不透明／ダーク設定からクリア設定へと段階的に移動するように調節する場合がある。代替的に、ゲーム処理モジュールは、ユーザーのすぐそばの環境の現実世界のシーンを受信及びレンダリングすることによって、非透過モードから模擬透過モードへの移行を実施する場合がある。この実施形態では、ゲーム処理モジュールは、ＨＭＤのスクリーンが完全に完全に透明に変わったと見せかけるために、インタラクティブなシーンを現実世界のシーンの捕捉された画像で段階的に置き換えることを実施する場合がある。ユーザー行為を通して提供されたトリガーイベントから意図的に離れるのに応答して、現実世界のシーンがカメラによって捕捉される場合がある。
光学スクリーン上にレンダリングされている画像の、非透過モードから半透過モード、模擬透過モード、または完全透過モードへの移行の間の段階的な変化は、ユーザーが激しさの強いゲームに完全に浸り込んでいて、視線の変更が、激しさの強いシーンから現実世界の激しさの少ないシーン、または静止したシーンへと強制的に移行させるとき、特に有用である。
図５は、ヘッドマウントディスプレイのスクリーン上に提示するゲームを実行するための、本発明の一実施形態での方法動作を図示する。方法は、動作５１０で開始され、ゲームが実行される。ゲームはコンピューター上で実行されてもよく、またはゲームクラウド上で実行されてもよい。ゲームが実行されると、ゲームのインタラクティブなシーンが、ＨＭＤのスクリーン上にレンダリングされる。インタラクティブなシーンには、仮想対象物、仮想環境、及びゲームの進行にともなう仮想対象物／仮想環境の変化が含まれる。インタラクティブなシーンに対するメディアデータは、コンピューターまたはゲームクラウドからストリーミングされる。
動作５２０に図示されるように、ゲームの進行にともない、ＨＭＤを着用しているユーザーの視線方向の変更が検出される。ユーザーの視線方向を監視するためのＨＭＤの内側の利用可能な１つ以上の内蔵カメラが、ゲームプレイの間に使用される場合があり、ユーザーの視線方向の画像をＨＭＤのゲーム処理モジュールに提供する。ゲーム処理モジュールは、内蔵カメラからの画像を受信し、ユーザーの視線方向の変更を検出する。ゲーム処理モジュールは、視線方向の変更をさらに解析して、この変更が少なくとも既定の閾値期間にわたっているかどうかを判定する場合がある。視線の変更が少なくとも既定の閾値期間にわたっていることが判定された場合、ゲーム処理モジュールは、ＨＭＤの前を向いたカメラに視線方向と一致する現実世界の画像を捕捉するように指示する。
動作５３０に図示されるように、ゲーム処理モジュールは、ＨＭＤの前方を向いたカメラから捕捉される現実世界の画像を受信する。現実世界の画像は、トリガーイベント（視線の変更などの）に応答して捕捉される。視線の変更は、ＨＭＤを着用しているユーザーの近くの現実世界環境の画像の捕捉を生じさせるトリガーイベントの１つのタイプである。他のトリガーイベントも、ＨＭＤを着用しているユーザーのすぐ近くからの現実世界環境の画像の捕捉を生じさせる。いくつかの実施形態では、ユーザーの近くの現実世界環境の画像を捕捉する代わりに、ゲーム処理モジュールは、ゲームシーンを識別する場合があり、ゲームシーンは、ユーザーの視線の変更の方向にあり、これをＨＭＤのスクリーンに提供する場合がある。
動作５４０に図示されるように、移行によって現実世界の対象物の少なくとも一部分の画像がゲームのインタラクティブなシーンとともにスクリーンの一部に提示されるように、ＨＭＤのスクリーンの一部は半透過モードに移行される。この移行は、段階的な増分で行われてもよい。いくつかの実施形態では、現実世界環境からの対象物の画像は、現実世界環境の対象物が前景にレンダリングされ、インタラクティブなシーンが背景にレンダリングされるように、ＨＭＤスクリーンの一部にレンダリングされる。他の実施形態では、現実世界環境からの対象物の画像は、現実世界環境の対象物が背景にレンダリングされ、インタラクティブなシーンが前景にレンダリングされるように、ＨＭＤスクリーンの一部にレンダリングされる。動作５５０に図示されるように、透過モードは、一定の期間後中断される場合がある。透過モードの中断は、ＨＭＤスクリーンの非透過モードへの切り換えを生じさせ、ゲームのインタラクティブなシーンは、ＨＭＤスクリーン内にレンダリングされる。非透過モードへの切り換えは、ユーザーがゲーム内に完全に浸り込むことができるようにする一方で、透過モードへの移行は、ユーザーがゲーム内に浸り込み続けながら、現実世界への覗き見を提供する。
図６は、本発明のいくつかの実施形態を実施するために使用されるハードウェア及びユーザーインターフェースを図示する。図６は、Ｓｏｎｙ（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャを概略的に図示する。プレイステーションの他のバージョンは、より多くのまたはよりすくない特徴を含む場合がある。システムユニット１３００は、システムユニット１３００に接続可能な様々な周辺デバイスを含んで提供される。システムユニット１３００は、Ｃｅｌｌプロセッサ１３０２と、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１３０４と、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１３０８付きのＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１３０６と、Ｉ／Ｏブリッジ１３１０と、を含む。システムユニット１３００は、Ｉ／Ｏブリッジ１３１０を通してアクセス可能な、ディスク１３１２ａから読み取るためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダー１３１２と、着脱可能なスロットインハードディスクドライブ（ＨＤＤ）１３１４と、も備える。所望により、システムユニット１３００は、コンパクトフラッシュ（登録商標）メモリカード、メモリースティック（登録商標）メモリカード、及び同様のものを読み取るための、同様にＩ／Ｏブリッジ１３１０を通してアクセス可能な、メモリカードリーダー１３０１も備える。
Ｉ／Ｏブリッジ１３１０は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１３１６と、ギガビットイーサネットポート１３１８と、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク（Ｗｉ−Ｆｉ（登録商標））ポート１３２０と、最高７つのブルートゥース（登録商標）接続をサポートする能力があるブルートゥース（登録商標）ワイヤレスリンクポート１３２２と、にも接続する。
動作時には、Ｉ／Ｏブリッジ１３１０は、１つ以上のゲームコントローラー１１０及び１３２４からのデータを含む、すべてのワイヤレス、ＵＳＢ、及びイーサネットデータ、を処理する。例えば、ユーザーがゲームをプレイしているとき、Ｉ／Ｏブリッジ１３１０は、ブルートゥース（登録商標）リンクを介してゲームコントローラー１１０及び１３２４からのデータを受信し、現在のゲームの状態を適宜に更新するＣｅｌｌプロセッサ１３０２へと向ける。
ワイヤレス、ＵＳＢ、及びイーサネットポートは、ゲームコントローラー１１０及び１３２４に加えて、リモートコントロール１３２６、キーボード１３２８、マウス１３３０、ソニーＰＳＰ（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス１３３２、プレイステーション（登録商標）Ｅｙｅ Ｃａｍｅｒａ１３３４などのビデオカメラ、図形オブジェクト１３３６、ならびにマイクロフォン１３３８などの他の周辺デバイスに対する接続性も提供する。したがって、かかる周辺デバイスは、原則としてシステムユニット１３００にワイヤレスで接続されていてもよく、例えば、ポータブルエンターテイメントデバイス１３３２は、Ｗｉ−Ｆｉ（登録商標）アドホック接続を介して通信してもよいが、図形オブジェクト１３３６は、ブルートゥース（登録商標）リンクを介して通信してもよい。
これらのインターフェースを提供することは、プレイステーション３デバイスが、デジタルビデオレコーダー（ＤＶＲ）、セットップボックス、デジタルカメラ、ポータブルメディアプレーヤー、ＶｏＩＰ電話、携帯電話、プリンター、及びスキャナーなどの他の周辺デバイスとも潜在的に対応していることも意味する。加えて、旧式メモリカードリーダー１３４０は、ＵＳＢポート１３１６を介してシステムユニットに接続される場合があり、プレイステーション（登録商標）またはプレイステーション２（登録商標）デバイスによって使用される種類のメモリカードを読み取ることができる。
ゲームコントローラー１１０及び１３２４は、ブルートゥース（登録商標）リンクを介してシステムユニット１３００とワイヤレスで通信するか、またはＵＳＢポートに接続され、これによってゲームコントローラー１１０及び１３２４のバッテリーを充電する電源も提供されるように動作可能である。ゲームコントローラー１１０及び１３２４は、メモリ、プロセッサ、メモリカードリーダー、恒久メモリ（フラッシュメモリなどの）、発光素子（照光された球形部分、発光ダイオード（ＬＥＤ）、または赤外線ライトなどの）、マイクロフォンとスピーカー（超音波通信用の）、アコースティックチャンバ、デジタルカメラ、内部クロック、ゲームコンソールに対向する認識可能な形状、及びブルートゥース（登録商標）、ＷｉＦｉ（登録商標）、等々のプロトコルを使用したワイヤレス通信も含むことができる。認識可能な形状は、実質的に、球、立方体、平行四辺形、直角平行６面体、円錐、角錐、サッカーボール、アメリカンフットボール、もしくはラグビーボール、不完全な球体、球の一部、切頭角錐、切頭円錐、野球のバット、切頂立方体、多面体、星形、等々、またはこれらの形状の２つ以上の組合せの形状とすることができる。
ゲームコントローラー１３２４は、両手で使用するように設計されたコントローラーであり、ゲームコントローラー１１０は、ボールアタッチメント付きの片手用コントローラーである。１つ以上のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラーは、３次元場所判定に対する感受性がある。この結果、従来のボタンまたはジョイスティックコマンドに加えて、あるいはこれらの代わりに、ゲームコントローラーのユーザーによるジェスチャー及び動きが、ゲームへの入力として変換されてもよい。所望により、ソニーＰＳＰ（登録商標）ポータブルデバイスなどの他のワイヤレスで利用可能な周辺デバイスをコントローラーとして使用してもよい。ソニーＰＳＰ（登録商標）ポータブルデバイスの場合、追加的なゲーム情報または制御情報（例えば制御命令またはライフの数）がデバイスのスクリーン上に提供される場合がある。ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルとペダル（図示せず）、または即答クイズゲームのための単一もしくはいくつかの大型のボタン（これも図示せず）などの特注品のコントローラーなどの、他の代替的または補助的な制御デバイスも使用されてもよい。
リモートコントロール１３２６も、ブルートゥース（登録商標）リンクを介してシステムユニット１３００とワイヤレスで通信するように動作可能である。リモートコントロール１３２６は、ブルーレイ（商標）ディスクＢＤ?ＲＯＭリーダー１３１２の動作及びディスクの内容の閲覧のために適した制御を備える。
ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダー１３１２は、従来の記録済みＣＤ及び記録可能ＣＤ、ならびにいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２デバイスに対応しているＣＤ?ＲＯＭを読み出すように動作可能である。リーダー１３１２は、従来の記録済みＤＶＤ及び記録可能ＤＶＤに加えて、プレイステーション２及びプレイステーション３デバイスに対応しているＤＶＤ?ＲＯＭを読み出すようにも動作可能である。さらにリーダー１３１２は、従来の記録済みブルーレイディスク及び記録可能ブルーレイディスクだけでなく、プレイステーション３デバイスに対応しているＢＤ−ＲＯＭを読み出すように動作可能である。
システムユニット１３００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット（ＲＳＸ）１３０６を介して、プレイステーション３デバイスによって作り出されたまたはデコードされたオーディオ及びビデオを、オーディオコネクター及びビデオコネクターを通して、ディスプレイ１３４６及び１つ以上のラウドスピーカー１３４８またはスタンドアローンスピーカー１３５０を有する、ディスプレイ及び音声出力デバイス１３４２（モニターまたはテレビ受像機などの）に供給するように動作可能である。一実施形態では、音声及び視線入力は、ユーザーのＰＯＧに従って、特定のオーディオスピーカーに向かって音を再生するために利用される。オーディオコネクター１３５８は、従来のアナログ出力及びデジタル出力を含む一方で、ビデオコネクター１３６０は、コンポーネントビデオ、Ｓ?ビデオ、コンポジットビデオ、及び１つ以上の高品位マルチメディアインタフェース（ＨＤＭＩ（登録商標））出力などを種々含む場合がある。この結果、ビデオ出力は、ＰＡＬもしくはＮＴＳＣ、または７２０ｐ、１０８０ｉもしくは１０８０ｐの高解像度などのフォーマットであってもよい。
オーディオ処理（生成、デコードなど）はＣｅｌｌプロセッサ１３０２によって実施される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、及びブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードに対応している。
本実施形態では、ビデオカメラ１３３４は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、ならびにハードウェアベースのリアルタイムデータ圧縮及びエンコード装置を備え、これにより圧縮ビデオデータが、システムユニット１３００によるデコードのために、イントラ画像ベースのＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）標準などの適切なフォーマットで送信されてもよい。カメラのＬＥＤインジケータは、例えば不利な照明条件の知らせなどの、システムユニット１３００からの適切な制御データに応答して発光するように配設されている。ビデオカメラ１３３４の実施形態は、ＵＳＢ、ブルートゥース（登録商標）、またはＷｉ−Ｆｉ（登録商標）通信ポートを介してシステムユニット１３００に様々に接続する場合がある。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを含んでいる場合があり、かつオーディオデータを送信する能力を有している場合もある。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオ捕捉に好適な分解能を有する場合がある。使用時には、ビデオカメラによって捕捉された画像は、例えば、ゲーム内に取り込まれるか、またはゲーム制御入力として解釈される場合がある。別の実施形態では、カメラは、赤外線ライトの検出に好適な赤外線カメラである。
一般に、システムユニット１３００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術は公知であり、ここでは詳細に説明しないが、言うまでもなく、デバイスドライバまたは同様のソフトウェアインタフェースが、記載される本実施形態で必要である場合があることを当業者は認識するであろう。
図７は、本発明の様々な実施形態によるゲームシステム１１００のブロック図である。ゲームシステム１１００は、１つ以上のクライアント１１１０にネットワーク１１１５を介してビデオストリームを提供するように構成される。ゲームシステム１１００は、典型的には、ビデオサーバーシステム１１２０と、所望によるゲームサーバー１１２５と、を含む。ビデオサーバーシステム１１２０は、１つ以上のクライアント１１１０にビデオストリームを最低限のサービス品質で提供するように構成される。例えば、ビデオサーバーシステム１１２０は、ビデオゲーム内のビューの状態または場所を変更するゲームコマンドを受信し、クライアント１１１０にこの状態の変化を反映して更新したビデオストリームを、最低限の遅れ時間で提供する場合がある。ビデオサーバーシステム１１２０は、未だ定義されていないフォーマットを含む、多種多様な代替的なビデオフォーマットでビデオストリームを提供するように構成される場合がある。さらに、ビデオストリームは、ユーザーに対して多種多様なフレームレートで提示するために構成されたビデオフレームを含む場合がある。典型的なフレームレートは、３０フレーム毎秒、６０フレーム毎秒、及び１１２０フレーム毎秒である。しかし、本発明の代替的な実施形態では、より高いまたはより低いフレームレートも含まれる。
本明細書で個別に参照するクライアント１１１０である、１１１０Ａ、１１１０Ｂ、等々は、ヘッドマウントディスプレイ、ターミナル、パーソナルコンピューター、ゲームコンソール、タブレットコンピューター、電話、セットトップボックス、キオスク、ワイヤレスデバイス、デジタルパッド、スタンドアローンデバイス、ハンドヘルドゲームプレイングデバイス、及び／または同様なものを含む場合がある。典型的には、クライアント１１１０は、エンコードしたビデオストリームを受信し、ビデオストリームをデコードし、結果として得られたビデオをユーザー（例えばゲームのプレーヤー）に提示するように構成される。エンコードしたビデオストリームを受信するプロセス、及び／またはビデオストリームをデコードするプロセスは、典型的には、個別のビデオフレームをクライアントの受信バッファに保存することを含む。ビデオストリームは、ユーザーに対して、クライアント１１１０と一体化されたディスプレイ上に、またはモニターまたはテレビ受像機などの別個のデバイス上に提示される場合がある。クライアント１１１０は、所望により、２人以上のゲームプレーヤーをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、またはより多くのプレーヤーを同時にサポートするように構成される場合がある。これらのプレーヤーのそれぞれは、別個のビデオストリームを受信する場合があり、または単一のビデオストリームが、それぞれのプレーヤーのために特定的に作り出された、例えば、それぞれのプレーヤーの視点に基づいて作り出された、フレームの領域を含む場合がある。クライアント１１１０は、所望により、地理的に分散している。ゲームシステム１１００に含まれるクライアントの数は、１つ、２つから、数千、数万、またはそれ以上と幅広く異なる場合がある。本明細書で使用される場合、「ゲームプレーヤー」という用語は、ゲームをプレイする人を指すために使用され、「ゲームプレイングデバイス」という用語は、ゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施形態では、ゲームプレイングデバイスは、連動してユーザーにゲーム経験を届ける、複数のコンピューティングデバイスを指す場合がある。例えば、ゲームコンソールとＨＭＤとは、ＨＭＤを通して視認されるゲームを届けるためにビデオサーバーシステム１１２０と連携する場合がある。一実施形態では、ゲームコンソールは、ビデオサーバーシステム１１２０からビデオストリームを受信し、ゲームコンソールはこのビデオストリームまたはビデオストリームに対する更新を、レンダリングするためにＨＭＤへと転送する。
クライアント１１１０は、ネットワーク１１１５を介してビデオストリームを受信するように構成される。ネットワーク１１１５は、電話ネットワーク、インターネット、ワイヤレスネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク、及び／または同様なものを含む任意のタイプの通信ネットワークとすることができる。典型的な実施形態では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準的なプロトコルを介して通信される。代替的には、ビデオストリームは、占有基準を介して通信される。
クライアント１１１０の典型的な例は、プロセッサと、不揮発性メモリと、ディスプレイと、デコーディングロジックと、ネットワーク通信能力と、入力デバイスとを備える、パーソナルコンピューターである。デコーディングロジックは、ハードウェア、ファームウェア、及び／またはコンピューター可読媒体上に保存されたソフトウェアを含む場合がある。ビデオストリームをデコード（及びエンコード）するためのシステムは、当該技術分野では周知であり、使用される特定のエンコーディングスキームに依存して変化する。
クライアント１１１０は、受信したビデオを修正するように構成されたシステムをさらに含む場合があるが、これは要求されない。例えば、クライアントは、さらにレンダリングする、１つのビデオ画像を別のビデオ画像の上にオーバーレイする、ビデオ画像をクロップする、及び／または同様のことを実施するように構成される場合がある。例えば、クライアント１１１０は、様々なタイプのビデオフレーム（Ｉ−フレーム、Ｐ−フレーム、及びＢ−フレームなどのような）を受信し、かつこれらのフレームをユーザーに対して表示するために画像へと処理するように構成される場合がある。いくつかの実施形態では、クライアント１１１０のメンバーは、ビデオストリームにさらなるレンダリング、シェーディング、３-Ｄへの変換、または同様の動作を実施するように構成される。クライアント１１１０のメンバーは、所望により２つ以上のオーディオまたはビデオストリームを受信するように構成される。クライアント１１１０の入力デバイスは、例えば、片手ゲームコントローラー、両手ゲームコントローラー、ジェスチャー認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、動き及び／または位置検知デバイス、マウス、タッチスクリーン、ニューラルインターフェース、カメラ、未だ開発されていない入力デバイス、及び／または同様のものを含む場合がある。
クライアント１１１０によって受信されるビデオストリーム（及び、所望によりオーディオストリーム）は、ビデオサーバーシステム１１２０によって作り出され、かつ提供される。本明細書の何れかにさらに記載するように、このビデオストリームは、ビデオフレームを含む（及びオーディオストリームは、オーディオフレームを含む）。ビデオフレームは、ユーザーに表示される画像に有意に寄与するように構成される（例えば、ビデオフレームは、適切なデータ構造の中にピクセル情報を含む）。本明細書で使用される場合、「ビデオフレーム」という用語は、主としてユーザーに対して示される画像に寄与する（例えば、影響を与える）ように構成される情報を含むフレームを指すように使用される。本明細書の、「ビデオフレーム」に関するほとんどの教示は、「オーディオフレーム」にも適用することができる。
クライアント１１１０は、典型的には、ユーザーからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変化させるように、または別の方法でゲームプレイに影響を与えるように構成されるゲームコマンドを含む場合がある。ゲームコマンドを、入力デバイスを使用して受信することができ、かつ／またはゲームコマンドを、クライアント１１１０上で実行する命令を演算することによって自動的に作り出す場合がある。受信したゲームコマンドは、クライアント１１１０から、ネットワーク１１１５を介して、ビデオサーバーシステム１１２０及び／またはゲームサーバー１１２５へ通信される。例えば、いくつかの実施形態では、ゲームコマンドは、ビデオサーバーシステム１１２０を介してゲームサーバー１１２５へ通信される。いくつかの実施形態では、ゲームコマンドの別個のコピーが、クライアント１１１０から、ゲームサーバー１１２５及びビデオサーバーシステム１１２０へ通信される。ゲームコマンドの通信は、所望によりコマンドの識別情報に依存する。ゲームコマンドは、所望によりクライアント１１１０Ａから、オーディオまたはビデオストリームをクライアント１１１０Ａに提供するために使用される異なるルートまたは通信チャネルを通して通信される。
ゲームサーバー１１２５は、所望によりビデオサーバーシステム１１２０とは異なるエンティティによって動作される。例えば、ゲームサーバー１１２５は、マルチプレーヤーゲームの発行元によって動作される場合がある。この例では、ビデオサーバーシステム１１２０は、所望により、ゲームサーバー１１２５によってクライアントとして見られ、所望によりゲームサーバー１１２５の視点から先行技術のゲームエンジンを実行する先行技術のクライアントであることを表すように構成される。ビデオサーバーシステム１１２０とゲームサーバー１１２５との間の通信は、所望によりネットワーク１１１５を介して発生する。そのため、ゲームサーバー１１２５は、ゲーム状態情報を複数のクライアントに送る、先行技術のマルチプレーヤーゲームサーバーとすることができ、複数のクライアントのうちの１つが、ゲームサーバーシステム１１２０である。ビデオサーバーシステム１１２０は、ゲームサーバー１１２５の複数のインスタンスと同時に通信するように構成される場合がある。例えば、ビデオサーバーシステム１１２０は、複数の異なるビデオゲームを異なるユーザーに提供できるように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバー１１２５によってサポートされる場合があり、かつ／または異なるエンティティによってパブリッシュされる場合がある。いくつかの実施形態では、いくつかの地理的に分散したビデオサーバーシステム１１２０のインスタンスは、ゲームビデオを複数の異なるユーザーへと提供するように構成される。ビデオサーバーシステム１１２０のこれらのインスタンスのそれぞれは、ゲームサーバー１１２５の同一のインスタンスと通信する場合がある。ビデオサーバーシステム１１２０と１つ以上のゲームサーバー１１２５との間の通信が、所望により専用の通信チャネルを介して発生する。例えば、ビデオサーバーシステム１１２０は、ゲームサーバー１１２５にこれらの２つのシステムの間の通信専用の高帯域幅のチャネル介して接続される場合がある。
ビデオサーバーシステム１１２０は、少なくとも、ビデオソース１１３０と、Ｉ／Ｏデバイス１１４５と、プロセッサ１１５０と、非一時的ストレージ１１５５と、を備える。ビデオサーバーシステム１１２０は、１つのコンピューティングデバイスを含むか、または複数のコンピューティングデバイスの間に分散される場合がある。これらのコンピューティングデバイスは、所望により、ローカルエリアネットワークなどの通信システムを介して接続される場合がある。
ビデオソース１１３０は、ビデオストリーム、例えば、ストリーミングビデオ、または動画を形成する一連のビデオフレームを提供するように構成される。いくつかの実施形態では、ビデオソース１１３０は、ビデオゲームエンジン、及びレンダリングロジックを含む。ビデオゲームエンジンは、プレーヤーからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態には、ゲーム環境内の対象物の位置、ならびに典型的には視点を含む。ゲーム状態は、対象物のプロパティ、画像、色、及び／またはテクスチャーも含む場合がある。ゲーム状態は、典型的には、ゲームルール、ならびに移動、回転、アタック、焦点を合わせる、相互作用、使用、及び／または同様なものなどのゲームコマンドに基づいて維持される。ゲームエンジンの一部分は、所望によりゲームサーバー１１２５内に配置される。ゲームサーバー１１２５は、複数のプレーヤーから地理的に分散したクライアントを使用して受信したゲームコマンドに基づいて、ゲームの状態のコピーを維持する場合がある。これらの場合、ゲーム状態は、ゲームサーバー１１２５によってビデオソース１１３０へと提供され、ゲーム状態のコピーは、保存され、レンダリングが実施される。ゲームサーバー１１２５は、ゲームコマンドをクライアント１１１０からネットワーク１１１５を介して直接的に受信する場合があり、かつ／またはゲームコマンドをビデオサーバーシステム１１２０を介して受信する場合がある。
ビデオソース１１３０は、典型的には、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージ１１５５などのコンピューター可読媒体上に保存されたソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作製するために構成される。レンダリングロジックのすべてまたは一部分は、所望によりグラフィックスプロセッシングユニット（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて、典型的には対象物間の３次元空間的関係を判定するため、及び／または適切なテクスチャーを適用する、等々のために、構成される処理段階を含む。レンダリングロジックは、通常その後クライアント１１１０に通信する前にエンコードされる、未加工のビデオを生成する。例えば、未加工のビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）ｓｔａｎｄａｒｄ、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３、または同様のものによってエンコードされる場合がある。エンコードプロセスは、所望により遠隔デバイス上のデコーダーに送達するためのパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズとしては、８００×６００、１２８０×７２０（例えば、７２０ｐ）、１０２４×７６８が挙げられるが、任意の他のフレームサイズが使用されてもよい。フレームレートは、一秒当たりのビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含む場合がある。例えば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ−フレームは、ディスプレイデバイス上のすべてのマクロブロック／ピクセルをリフレッシュするための情報を含むが、一方でＰ−フレームは、そのサブセットをリフレッシュする情報を含む。Ｐ−フレームは、典型的にはデータサイズがＩ−フレームより小さい。本明細書で使用される場合、「フレームサイズ」という用語は、１つのフレーム内のピクセルの数を意味する。「フレームデータサイズ」という用語は、フレームを保存するために要求されるバイト数を指すために使用される。
代替的な実施形態では、ビデオソース１１３０は、カメラなどのビデオ録画デバイスを含む。このカメラは、コンピューターゲームのビデオストリームに含まれる遅延ビデオまたはライブビデオを作り出すために使用される場合がある。結果として得られるビデオストリームは、所望により、レンダリングされた画像とスチルカメラまたはビデオカメラを使用して録画された画像との両方を含む。ビデオソース１１３０は、以前録画したビデオをビデオストリームに含むために保存するように構成されたストレージデバイスも含む場合がある。ビデオソース１１３０は、対象物（例えば、人）の動きまたは位置を検出するように構成された、動きまたは位置検知デバイス、及びゲーム状態を判定する、または検出された動き及び／または位置に基づくビデオを生成するように構成されるロジックも含む場合がある。
ビデオソース１１３０は、所望により、他のビデオ上に定置されるように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイは、コマンドインターフェース、ログインのやり方、ゲームプレーヤーへのメッセージ、他のゲームプレーヤーの画像、他のゲームプレーヤーのビデオフィード（例えば、ウェブカムビデオ）を含んでもよい。タッチスクリーンインターフェースまたは視線検出インターフェースを含むクライアント１１１０Ａの実施形態では、オーバーレイは、バーチャルキーボード、ジョイスティック、タッチパッド、及び／または同様のものを含む場合がある。オーバーレイの一実施例では、プレーヤーの声がオーディオストリーム上に重ねられる。ビデオソース１１３０は、所望により、１つ以上のオーディオソースをさらに含む。
２人以上のプレーヤーからの入力に基づいてゲーム状態を維持するようにビデオサーバーシステム１１２０が構成される実施形態では、それぞれのプレーヤーは、視認の位置及び方向を含む異なる視点を有する場合がある。ビデオソース１１３０は、所望により、それぞれのプレーヤーに対して各自の視点に基づいた別個のビデオストリームを提供するように構成される。さらに、ビデオソース１１３０は、クライアント１１１０のそれぞれに対して異なるフレームサイズ、フレームデータサイズ、及び／またはエンコードを提供するように構成される場合がある。ビデオソース１１３０は、所望により３Ｄビデオを提供するように構成される。
Ｉ／Ｏデバイス１１４５は、ビデオサーバーシステム１１２０のために、ビデオ、コマンド、情報要求、ゲーム状態、視線情報、デバイスの動き、デバイスの場所、ユーザーの動き、クライアント識別情報、プレーヤー識別情報、ゲームコマンド、セキュリティ情報、オーディオ、及び／または同様なものなどの情報を送信及び／または受信するように構成される。Ｉ／Ｏデバイス１１４５は、典型的には、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１１４５は、ゲームサーバー１１２５、ネットワーク１１１５、及び／またはクライアント１１１０と通信するように構成される。
プロセッサ１１５０は、ロジック、例えば、本明細書で述べられるビデオサーバーシステム１１２０の様々な構成要素内に含まれる、ソフトウェアを実行するように構成される。例えば、プロセッサ１１５０は、ビデオソース１１３０、ゲームサーバー１１２５、及び／またはクライアントクオリファイアー１１６０の機能を実施するように、ソフトウェア命令を用いてプログラムされてもよい。ビデオサーバーシステム１１２０は、所望により、プロセッサ１１５０の２つ以上のインスタンスを含む。プロセッサ１１５０は、また、ビデオサーバーシステム１１２０によって受信されたコマンドを実行するため、または本明細書で述べられるゲームシステム１１００の様々な要素の動作を連係するために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１１５０は、１つ以上のハードウェアデバイスを含んでもよい。プロセッサ１１５０は、電子プロセッサである。
ストレージ１１５５は、非一時的アナログ及び／またはデジタルストレージデバイスを含む。例えば、ストレージ１１５５は、ビデオフレームを保存するように構成されるアナログストレージデバイスを含む場合がある。ストレージ１１５５は、コンピューター可読デジタルストレージ、例えばハードドライブ、光学式ドライブ、またはソリッドステートストレージを含む場合がある。ストレージ１１１５は、ビデオフレーム、人工フレーム、ビデオフレームと人工フレームとの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び／または同様のものを保存するように構成される（例えば、適切なデータ構造、またはファイルシステムによって）。ストレージ１１５５は、所望により、複数のデバイスの中に分散される。いくつかの実施形態では、ストレージ１１５５は、本明細書のいずれかで述べられるビデオソース１１３０のソフトウェア構成要素を保存するように構成される。これらの構成要素は、必要に応じて供給する用意ができた形式で保存される場合がある。
ビデオサーバーシステム１１２０は、所望により、クライアントクオリファイアー１１６０をさらに備える。クライアントクオリファイアー１１６０は、クライアント１１１０Ａまたは１１１０Ｂなどのクライアントの能力をリモートで判定するために構成される。これらの能力は、クライアント１１１０Ａ自身の能力と、クライアント１１１０Ａとビデオサーバーシステム１１２０との間の１つ以上の通信チャネルの能力との両方を含むことができる。例えば、クライアントクオリファイアー１１６０は、ネットワーク１１１５を通る通信チャネルをテストするように構成される場合がある。
クライアントクオリファイアー１１６０は、クライアント１１１０Ａの能力を、手動でまたは自動的に判定（例えば、発見）することができる。手動判定は、クライアント１１１０Ａのユーザーと通信し、ユーザーに能力を提供するように依頼することを含む。例えば、いくつかの実施形態では、クライアントクオリファイアー１１６０は、画像、テキスト、及び／または同様なものをクライアント１１１０Ａのブラウザ内に表示するように構成される。一実施形態では、クライアント１１１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント１１１０Ａは、ＨＭＤ上に表示されてもよいブラウザを有するゲームコンソールである。表示された対象物は、ユーザーによる、クライアント１１１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダータイプ、ネットワーク接続のタイプ、ディスプレイ解像度、等々などの情報の入力を要求する。ユーザーが入力した情報は、クライアントクオリファイアー１１６０に戻すように通信される。
自動判定は、例えば、クライアント１１１０Ａ上のエージェントの実行によって、及び／またはテストビデオをクライアント１１１０Ａに送ることによって発生する場合がある。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたｊａｖａ（登録商標） ｓｃｒｉｐｔなどのコンピューティング命令を含む場合がある。エージェントは、所望により、クライアントクオリファイアー１１６０によって提供される。様々な実施形態では、エージェントは、クライアント１１１０Ａの処理力、クライアント１１１０Ａのデコード及び表示の能力、クライアント１１１０Ａとビデオサーバーシステム１１２０との間の通信チャネルの遅れ時間の信頼性及び帯域幅、クライアント１１１０Ａのディスプレイタイプ、クライアント１１１０Ａ上に存在するファイアウォール、クライアント１１１０Ａのハードウェア、クライアント１１１０Ａ上で実行しているソフトウェア、クライアント１１１０Ａ内のレジストリエントリ、及び／または同様なものを見出すことができる。
クライアントクオリファイアー１１６０は、ハードウェア、ファームウェア、及び／またはコンピューター可読媒体上に保存されるソフトウェアを含む。クライアントクオリファイアー１１６０は、所望により、ビデオサーバーシステム１１２０の１つ以上の他のエレメントから分離したコンピューティングデバイス上に配置される。例えば、いくつかの実施形態では、クライアントクオリファイアー１１６０は、クライアント１１１０とビデオサーバーシステム１１２０の２つ以上のインスタンスとの間の通信チャネルの特性を判定するように構成される。これらの実施形態では、クライアントクオリファイアーによって発見された情報を、ビデオサーバーシステム１１２０のどのインスタンスが、クライアント１１１０のうちの１つへのストリーミングビデオの送達のために最も適しているかを判断するために使用することができる。
本発明の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースの家庭用電化製品またはプログラマブル家庭用電化製品、ミニコンピューター、メインフレームコンピューター、及び同様のものを含む、様々なコンピューターシステム構成を用いて実践されてもよい。本発明のいくつかの実施形態を、タスクが有線ネットワークまたはワイヤレスネットワークを通してリンクしている遠隔処理デバイスによって実施される、分散したコンピューティング環境で実践することもできる。
上記の実施形態を想定すると、本発明の数多くの実施形態が、コンピューターシステム内に保存されるデータに関与する様々なコンピューター実行される動作を採用することができることが理解されるはずである。これらの動作は、物理的な量の物理的な取扱を必要とするものである。本発明の様々な実施形態の一部分を形成する、本明細書に記載される動作のいずれかは、有用な機械動作である。本発明のいくつかの実施形態は、これらの動作を実施するためのデバイスまたは装置にも関係する。装置を要求される目的のために特に構築することができ、または装置をコンピューター内に保管されたコンピュータープログラムによって選択的に起動または構成された汎用コンピューターとすることができる。特に、本明細書の教示に従って書かれたコンピュータープログラムを用いて、様々な汎用マシーンを使用することができ、またはより特化した装置を構築して必要な動作を実施するのがより都合がよい場合がある。
本発明の様々な実施形態は、コンピューター可読媒体上のコンピューター可読コードとして具象化することもできる。このコンピューター可読媒体は、その後コンピューターシステムによって読み取ることができるデータを保存することができる任意のデータストレージデバイスである。コンピューター可読媒体の実施例としては、ハードドライブ、ネットワークアタッチトストレージ（ＮＡＳ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、書き込み可能ＣＤ（ＣＤ−Ｒ）、書き変え可能ＣＤ（ＲＷ）、磁気テープ、並びに他の光学的及び非光学的データストレージデバイスが挙げられる。コンピューター可読媒体としては、コンピューター可読コードを分散した様式で保管及び実行するように、ネットワーク連結されたコンピューターシステムを通して分散するコンピューター可読有形媒体を挙げることができる。
方法動作を特定の順序で記載したが、動作の間に他のハウスキーピング動作が実施されてもよく、または動作が若干異なる時間に発生するように動作が調節されてもよく、または動作がシステム内に分散されてもよく、これは、オーバーレイ動作の処理が所望されるやり方で実施される限り、処理と関連する様々な間隔での処理動作の発生を可能にすることを理解するべきである。
前述の発明は、理解の明確化の目的である程度詳細に記載されてきたが、添付の特許請求の範囲の範囲内で、ある程度の変更及び修正を実践することができることは明らかであろう。したがって、本実施形態は、例示的であり、制限的でないと考えられるべきであり、本発明の様々な実施形態は、本明細書で所与の詳細に制限されないが、添付の特許請求の範囲及び均等物の範囲内で修正される場合がある。
Claims (20)
- ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上にレンダリングされるコンテンツを実行する方法であって、
前記スクリーン上にインタラクティブなシーンをレンダリングするために前記コンテンツを実行するステップと、
ユーザの頭に着用され、前記インタラクティブなシーンが前記スクリーン上にレンダリングされているときの前記ＨＭＤの向きを追跡するステップと、
前記ユーザの前記頭の動きが前記インタラクティブなシーンへのビュー方向の変化をもたらすように、前記ＨＭＤの向きの変化にもとづいて前記インタラクティブなシーンへのビュー方向を変化させるステップと、
前記ＨＭＤの前記ユーザに対する現実世界空間の現実世界対象物の相対的な位置を取得するように構成された前記ＨＭＤのカメラを用いて前記現実世界空間の画像を受け取るステップと、
少なくとも一つの現実世界対象物が前記ＨＭＤの前記ユーザに近接していることを検出するステップと、
前記ＨＭＤに提示すべき警告であって、前記ユーザが前記少なくとも一つの現実世界対象物にぶつかりそうであることを示す警告を生成するステップと、
前記少なくとも一つの現実世界対象物を視認する方向における前記スクリーンの一部を、前記ＨＭＤの前記カメラを用いて前記現実世界空間への少なくとも部分的なビューを提供する透過モードに移行するステップとを含む、方法。 - 前記現実世界空間への前記部分的なビューは、前記少なくとも一つの現実世界対象物の輪郭線の形態、点線の形態、グレイアウト形態、破線形態、ゴースト形態、半透過形態、または完全に視認可能な形態のうちの一つを提供する、請求項１に記載の方法。
- 前記警告は、前記ＨＭＤの前記スクリーン上のビジュアル形式、オーディオ形式、触覚形式、またはこれらの２以上の組合せの形態で前記ＨＭＤに提示される、請求項１に記載の方法。
- 前記少なくとも一つの現実世界対象物が前記ＨＭＤの前記ユーザに近接していることを検出するステップは、深さデータ、超音波データ、画像データ、音データ、またはこれらの２以上の組合せを調べることによって促進される、請求項１に記載の方法。
- 前記ＨＭＤの向きを追跡するステップは、前記ＨＭＤの慣性センサデータを調べること、前記ＨＭＤが取得した画像データを調べること、またはこれらの組合せによって促進される、請求項１に記載の方法。
- 前記カメラは前記ＨＭＤの正面に配置される、請求項１に記載の方法。
- 前記ユーザから受信される入力によって、または、前記警告はもはや有効ではないという決定にもとづいて、前記透過モードから出るように移行するステップをさらに含む、請求項１に記載の方法。
- 前記コンテンツの実行は前記ＨＭＤの一部であるコンピュータによって処理される、または、前記コンテンツの実行は前記ＨＭＤに有線または無線接続によって通信可能に接続されたコンピュータよって処理される、請求項１に記載の方法。
- 前記コンテンツは、１以上のサーバを含むクラウドシステム上で実行される、請求項１に記載の方法。
- 音、前記現実世界空間で検出された動き、前記ＨＭＤの前記ユーザによって提供されたオーディオコマンドまたはビジュアルコマンド、前記ＨＭＤで検出されたオーディオまたは入力、前記ＨＭＤまたはコントローラから提供されたコマンド、またはこれらの２以上の組合せに応答して、前記警告がさらにもたらされる、請求項１に記載の方法。
- ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されるコンテンツを実行する方法であって、
前記コンテンツを実行するステップと、
前記コンテンツのインタラクティブなシーンを前記ＨＭＤの前記スクリーン上にレンダリングするステップと、
前記コンテンツの実行の間に前記ＨＭＤの近くの範囲内で発生するトリガーイベントを検出するステップであって、前記トリガーイベントが前記トリガーイベントが発生した方向における前記スクリーンの一部を非透過モードから透過モードへと移行させ、前記透過モードは、前記ＨＭＤのカメラによって取得された、前記ＨＭＤのユーザが位置する現実世界空間の画像を提供するように構成される、ステップと、
一定の期間後、前記透過モードを中断して前記非透過モードに戻るステップとを含む、方法。 - 前記トリガーイベントの原因を特定するステップと、
前記ＨＭＤに提供すべき情報を選択するステップとをさらに含み、
前記情報は、警告、受信した電話の呼び出しに関するメッセージ、テキストメッセージに関するメッセージ、電子メールに関するメッセージ、前記ユーザの現実世界対象物への近接に関するメッセージ、前記現実世界空間の人の声に関するメッセージ、またはこれらの２以上の組合せを提供することを含む、請求項１１に記載の方法。 - 前記トリガーイベントは、前記ＨＭＤを着用している前記ユーザの視線状態に応答して発生する、請求項１１に記載の方法。
- 前記視線状態は、
（ａ）ある視線方向をある期間検出すること、
（ｂ）ある視線パターンを一定の期間にわたって検出すること、または
（ｃ）視線方向の変化を検出すること、のうちの一つである、請求項１３に記載の方法。 - ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上にレンダリングされるコンテンツを実行するためのプログラム命令を有するコンピュータ読み取り可能媒体であって、
前記スクリーン上にインタラクティブなシーンをレンダリングするために前記コンテンツを実行するためのプログラム命令と、
ユーザの頭に着用され、前記インタラクティブなシーンが前記スクリーン上にレンダリングされているときの前記ＨＭＤの向きを追跡するためのプログラム命令と、
前記ユーザの前記頭の動きが前記インタラクティブなシーンへのビュー方向の変化をもたらすように、前記ＨＭＤの向きの変化にもとづいて前記インタラクティブなシーンへのビュー方向を変化させるためのプログラム命令と、
前記ＨＭＤの前記ユーザに対する現実世界空間の現実世界対象物の相対的な位置を取得するように構成された前記ＨＭＤのカメラを用いて前記現実世界空間の画像を受け取るためのプログラム命令と、
少なくとも一つの現実世界対象物が前記ＨＭＤの前記ユーザに近接していることを検出するためのプログラム命令と、
前記ＨＭＤに提示すべきメッセージであって、前記少なくとも一つの現実世界対象物への近接を示すメッセージを生成するためのプログラム命令と、
前記少なくとも一つの現実世界対象物を視認する方向における前記スクリーンの一部を、前記ＨＭＤの前記カメラを用いて前記現実世界空間への少なくとも部分的なビューを提供する透過モードに移行するためのプログラム命令とを含む、コンピュータ読み取り可能媒体。 - 前記現実世界空間への前記部分的なビューは、輪郭線の形態、点線の形態、グレイアウト形態、破線形態、ゴースト形態、半透過形態、または完全に視認可能な形態のうちの一つを提供する、請求項１５に記載のコンピュータ読み取り可能媒体。
- 前記メッセージは、前記ＨＭＤの前記スクリーン上のビジュアル形式、オーディオ形式、触覚形式、またはこれらの２以上の組合せの形態で前記ＨＭＤに提示される、請求項１５に記載のコンピュータ読み取り可能媒体。
- 前記少なくとも一つの現実世界対象物が前記ＨＭＤの前記ユーザに近接していることを検出するステップは、深さデータ、超音波データ、画像データ、音データ、またはこれらの２以上の組合せを調べることによって促進される、請求項１５に記載のコンピュータ読み取り可能媒体。
- 前記ＨＭＤの向きを追跡するステップは、前記ＨＭＤの慣性センサデータを調べること、前記ＨＭＤが取得した画像データを調べること、またはこれらの組合せによって促進される、請求項１５に記載のコンピュータ読み取り可能媒体。
- 前記プログラム命令の実行は前記ＨＭＤの一部であるコンピュータによって処理される、または、前記プログラム命令の実行は前記ＨＭＤに有線または無線によって通信可能に接続されたコンピュータよって処理される、請求項１５に記載のコンピュータ読み取り可能媒体。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361832778P | 2013-06-08 | 2013-06-08 | |
| US61/832,778 | 2013-06-08 | ||
| US14/254,881 US9908048B2 (en) | 2013-06-08 | 2014-04-16 | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
| US14/254,881 | 2014-04-16 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016518363A Division JP6195664B2 (ja) | 2013-06-08 | 2014-05-30 | ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018010657A JP2018010657A (ja) | 2018-01-18 |
| JP6438087B2 true JP6438087B2 (ja) | 2018-12-12 |
Family
ID=52005904
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016518363A Active JP6195664B2 (ja) | 2013-06-08 | 2014-05-30 | ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 |
| JP2017156748A Active JP6438087B2 (ja) | 2013-06-08 | 2017-08-15 | ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016518363A Active JP6195664B2 (ja) | 2013-06-08 | 2014-05-30 | ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (6) | US9908048B2 (ja) |
| EP (1) | EP3005029B1 (ja) |
| JP (2) | JP6195664B2 (ja) |
| CN (1) | CN105378596B (ja) |
| WO (1) | WO2014197337A1 (ja) |
Families Citing this family (257)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8020095B2 (en) | 1997-11-14 | 2011-09-13 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment |
| US10585472B2 (en) | 2011-08-12 | 2020-03-10 | Sony Interactive Entertainment Inc. | Wireless head mounted display with differential rendering and sound localization |
| US10209771B2 (en) | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
| US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US9355585B2 (en) * | 2012-04-03 | 2016-05-31 | Apple Inc. | Electronic devices with adaptive frame rate displays |
| GB2501768A (en) * | 2012-05-04 | 2013-11-06 | Sony Comp Entertainment Europe | Head mounted display |
| US8947216B2 (en) | 2012-11-02 | 2015-02-03 | Immersion Corporation | Encoding dynamic haptic effects |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US9898084B2 (en) | 2012-12-10 | 2018-02-20 | Immersion Corporation | Enhanced dynamic haptic effects |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9202352B2 (en) | 2013-03-11 | 2015-12-01 | Immersion Corporation | Automatic haptic effect adjustment system |
| US9092954B2 (en) | 2013-03-15 | 2015-07-28 | Immersion Corporation | Wearable haptic device |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| US9878235B2 (en) * | 2013-06-07 | 2018-01-30 | Sony Interactive Entertainment Inc. | Transitioning gameplay on a head-mounted display |
| EA032658B1 (ru) * | 2013-07-15 | 2019-06-28 | Вр Электроникс Лимитид | Способ интерактивной физиологической синхронизации пользователя с виртуальной средой |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| KR20150026336A (ko) * | 2013-09-02 | 2015-03-11 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 컨텐트 출력 방법 |
| US10162416B2 (en) | 2013-09-06 | 2018-12-25 | Immersion Corporation | Dynamic haptic conversion system |
| US9207764B2 (en) | 2013-09-18 | 2015-12-08 | Immersion Corporation | Orientation adjustable multi-channel haptic device |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9213408B2 (en) | 2013-10-08 | 2015-12-15 | Immersion Corporation | Generating haptic effects while minimizing cascading |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9619029B2 (en) | 2013-11-14 | 2017-04-11 | Immersion Corporation | Haptic trigger control system |
| US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
| US20150169047A1 (en) * | 2013-12-16 | 2015-06-18 | Nokia Corporation | Method and apparatus for causation of capture of visual information indicative of a part of an environment |
| US20150169048A1 (en) * | 2013-12-18 | 2015-06-18 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to present information on device based on eye tracking |
| US10180716B2 (en) | 2013-12-20 | 2019-01-15 | Lenovo (Singapore) Pte Ltd | Providing last known browsing location cue using movement-oriented biometric data |
| US9633252B2 (en) | 2013-12-20 | 2017-04-25 | Lenovo (Singapore) Pte. Ltd. | Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data |
| KR102355118B1 (ko) * | 2014-01-06 | 2022-01-26 | 삼성전자주식회사 | 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법 |
| US20150194128A1 (en) * | 2014-01-07 | 2015-07-09 | Nvidia Corporation | Generating a low-latency transparency effect |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US10254836B2 (en) | 2014-02-21 | 2019-04-09 | Immersion Corporation | Haptic power consumption management |
| US9754167B1 (en) * | 2014-04-17 | 2017-09-05 | Leap Motion, Inc. | Safety for wearable virtual reality devices via object detection and tracking |
| US20150304697A1 (en) * | 2014-04-18 | 2015-10-22 | Microsoft Corporation | Changing broadcast without interruption to active gameplay |
| US10409366B2 (en) | 2014-04-28 | 2019-09-10 | Adobe Inc. | Method and apparatus for controlling display of digital content using eye movement |
| KR20160014418A (ko) * | 2014-07-29 | 2016-02-11 | 삼성전자주식회사 | 유저 인터페이스 장치 및 유저 인터페이스 방법 |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
| CN105373326B (zh) * | 2014-09-01 | 2020-11-24 | 深圳富泰宏精密工业有限公司 | 数据处理系统及方法 |
| US10248285B2 (en) * | 2014-09-10 | 2019-04-02 | Utherverse Digital Inc. | Immersive displays |
| EP2996017B1 (en) * | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
| US9984505B2 (en) * | 2014-09-30 | 2018-05-29 | Sony Interactive Entertainment Inc. | Display of text information on a head-mounted display |
| US10320437B2 (en) * | 2014-10-24 | 2019-06-11 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
| WO2016064435A1 (en) | 2014-10-24 | 2016-04-28 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
| US10185396B2 (en) | 2014-11-12 | 2019-01-22 | Immersion Corporation | Haptic trigger modification system |
| CN111754750B (zh) * | 2014-11-17 | 2022-03-01 | 洋马动力科技有限公司 | 远程控制作业机用显示设备、显示系统以及作业机 |
| US9535497B2 (en) | 2014-11-20 | 2017-01-03 | Lenovo (Singapore) Pte. Ltd. | Presentation of data on an at least partially transparent display based on user focus |
| DE102014018056A1 (de) * | 2014-12-05 | 2016-06-09 | Audi Ag | Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille |
| DE102014018054A1 (de) * | 2014-12-05 | 2016-06-09 | Audi Ag | Verfahren zum Betreiben einer Virtual-Reality-Brille und Anzeigevorrichtung |
| US20160170206A1 (en) * | 2014-12-12 | 2016-06-16 | Lenovo (Singapore) Pte. Ltd. | Glass opacity shift based on determined characteristics |
| US10809794B2 (en) * | 2014-12-19 | 2020-10-20 | Hewlett-Packard Development Company, L.P. | 3D navigation mode |
| US10254838B2 (en) | 2014-12-23 | 2019-04-09 | Immersion Corporation | Architecture and communication protocol for haptic output devices |
| US9746921B2 (en) * | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
| US20160210780A1 (en) * | 2015-01-20 | 2016-07-21 | Jonathan Paulovich | Applying real world scale to virtual content |
| GB2534846B (en) * | 2015-01-28 | 2020-12-23 | Sony Interactive Entertainment Inc | Head-mountable apparatus and systems |
| US10242379B2 (en) * | 2015-01-30 | 2019-03-26 | Adobe Inc. | Tracking visual gaze information for controlling content display |
| US10269392B2 (en) | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
| WO2016133269A1 (ko) * | 2015-02-16 | 2016-08-25 | 넥시스 주식회사 | 영상 신호 생성을 위한 웨어러블 장치 및 그 제어를 위한 시스템 |
| US10216277B2 (en) | 2015-02-25 | 2019-02-26 | Immersion Corporation | Modifying haptic effects for slow motion |
| US10444018B2 (en) | 2015-02-27 | 2019-10-15 | Microsoft Technology Licensing, Llc | Computer-implemented method to test the sensitivity of a sensor for detecting movement of a tracking device within an established frame of reference of a moving platform |
| KR20160105321A (ko) | 2015-02-27 | 2016-09-06 | 임머숀 코퍼레이션 | 사용자의 무드에 기초하는 액션 생성 |
| US10111620B2 (en) | 2015-02-27 | 2018-10-30 | Microsoft Technology Licensing, Llc | Enhanced motion tracking using transportable inertial sensors to determine that a frame of reference is established |
| WO2016141208A1 (en) * | 2015-03-04 | 2016-09-09 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
| WO2016158080A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2016172209A1 (en) | 2015-04-21 | 2016-10-27 | Immersion Corporation | Dynamic rendering of etching input |
| US10261582B2 (en) | 2015-04-28 | 2019-04-16 | Immersion Corporation | Haptic playback adjustment system |
| JP6439935B2 (ja) * | 2015-05-07 | 2018-12-19 | パナソニックＩｐマネジメント株式会社 | 表示制御方法、ヘッドマウントディスプレイ、およびプログラム |
| US11252399B2 (en) * | 2015-05-28 | 2022-02-15 | Microsoft Technology Licensing, Llc | Determining inter-pupillary distance |
| US9898091B2 (en) | 2015-06-03 | 2018-02-20 | Oculus Vr, Llc | Virtual reality system with head-mounted display, camera and hand-held controllers |
| KR101735484B1 (ko) * | 2015-06-04 | 2017-05-15 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 |
| USD772986S1 (en) | 2015-06-11 | 2016-11-29 | Oculus Vr, Llc | Wireless game controller |
| US9833700B2 (en) * | 2015-06-11 | 2017-12-05 | Oculus Vr, Llc | Connectable hand-held controllers for virtual-reality systems |
| US9939644B2 (en) * | 2015-06-25 | 2018-04-10 | Intel Corporation | Technologies for controlling vision correction of a wearable computing device |
| US10078917B1 (en) * | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
| US10484824B1 (en) | 2015-06-26 | 2019-11-19 | Lucasfilm Entertainment Company Ltd. | Content presentation and layering across multiple devices |
| JP6436872B2 (ja) * | 2015-07-09 | 2018-12-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| US10135892B2 (en) * | 2015-07-28 | 2018-11-20 | Google Llc | Independent control of interactive streaming media |
| TWI570638B (zh) * | 2015-07-29 | 2017-02-11 | 財團法人資訊工業策進會 | 凝視分析方法與裝置 |
| US10685211B2 (en) | 2015-08-04 | 2020-06-16 | Sony Interactive Entertainment Inc. | Head-mounted display, display control method, and program |
| EP3133468A1 (en) * | 2015-08-17 | 2017-02-22 | Samsung Electronics Co., Ltd. | Virtual reality headset for notifying an object and method thereof |
| US10002429B2 (en) | 2015-08-17 | 2018-06-19 | Samsung Electronics Co., Ltd. | Apparatus and method for notifying a virtual reality user of real world objects |
| US10109161B2 (en) | 2015-08-21 | 2018-10-23 | Immersion Corporation | Haptic driver with attenuation |
| US9901816B2 (en) * | 2015-08-24 | 2018-02-27 | Htc Corporation | Interactive game system with an HMD and a ground pad |
| US9839840B2 (en) * | 2015-11-05 | 2017-12-12 | Oculus Vr, Llc | Interconnectable handheld controllers |
| US10007339B2 (en) | 2015-11-05 | 2018-06-26 | Oculus Vr, Llc | Controllers with asymmetric tracking patterns |
| US20170132845A1 (en) * | 2015-11-10 | 2017-05-11 | Dirty Sky Games, LLC | System and Method for Reducing Virtual Reality Simulation Sickness |
| US9990045B2 (en) | 2015-11-12 | 2018-06-05 | Oculus Vr, Llc | Method and apparatus for detecting hand gestures with a handheld controller |
| US10130875B2 (en) | 2015-11-12 | 2018-11-20 | Oculus Vr, Llc | Handheld controller with finger grip detection |
| US20170168592A1 (en) * | 2015-12-14 | 2017-06-15 | Volodymyr Mishyn | System and method for optical tracking |
| US9804693B2 (en) * | 2015-12-18 | 2017-10-31 | Oculus Vr, Llc | Handheld controller with activation sensors |
| AU2015275252A1 (en) | 2015-12-22 | 2017-07-06 | Canon Kabushiki Kaisha | Systems and method to modify display of augmented reality content |
| JP6832061B2 (ja) * | 2015-12-29 | 2021-02-24 | 株式会社バンダイナムコエンターテインメント | ゲーム装置及びプログラム |
| US9977494B2 (en) | 2015-12-30 | 2018-05-22 | Oculus Vr, Llc | Tracking constellation assembly for use in a virtual reality system |
| US10386922B2 (en) | 2015-12-30 | 2019-08-20 | Facebook Technologies, Llc | Handheld controller with trigger button and sensor retainer assembly |
| US10343059B2 (en) | 2015-12-30 | 2019-07-09 | Facebook Technologies, Llc | Handheld controller with thumbstick guard |
| US10441880B2 (en) | 2015-12-30 | 2019-10-15 | Facebook Technologies, Llc | Handheld controller with spring-biased third finger button assembly |
| US11857869B2 (en) | 2015-12-31 | 2024-01-02 | Meta Platforms Technologies, Llc | Handheld controller with hand detection sensors |
| US9818031B2 (en) * | 2016-01-06 | 2017-11-14 | Orcam Technologies Ltd. | Crowd-sourced vision-based information collection |
| DE102016000627B4 (de) * | 2016-01-22 | 2024-03-28 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
| JP6709633B2 (ja) * | 2016-02-17 | 2020-06-17 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びゲームシステム |
| JP6232649B2 (ja) * | 2016-02-18 | 2017-11-22 | 国立大学法人名古屋大学 | 仮想空間表示システム |
| US10477157B1 (en) * | 2016-03-02 | 2019-11-12 | Meta View, Inc. | Apparatuses, methods and systems for a sensor array adapted for vision computing |
| EP3329316B1 (en) * | 2016-03-11 | 2023-09-20 | Facebook Technologies, LLC | Corneal sphere tracking for generating an eye model |
| GB2548154A (en) | 2016-03-11 | 2017-09-13 | Sony Computer Entertainment Europe Ltd | Virtual reality |
| US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| KR20170106862A (ko) * | 2016-03-14 | 2017-09-22 | 삼성전자주식회사 | 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템 |
| JP6200023B1 (ja) * | 2016-03-28 | 2017-09-20 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
| US20170287215A1 (en) * | 2016-03-29 | 2017-10-05 | Google Inc. | Pass-through camera user interface elements for virtual reality |
| US10481682B2 (en) * | 2016-03-29 | 2019-11-19 | Google Llc | System and method for generating virtual marks based on gaze tracking |
| US10099122B2 (en) * | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
| EP3446168A4 (en) * | 2016-04-21 | 2019-10-23 | Magic Leap, Inc. | VISUAL AURA AROUND A FIELD OF VISION |
| US10025376B2 (en) * | 2016-04-27 | 2018-07-17 | Rovi Guides, Inc. | Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment |
| WO2017189699A1 (en) * | 2016-04-27 | 2017-11-02 | Rovi Guides, Inc. | Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment |
| JP6262283B2 (ja) * | 2016-05-17 | 2018-01-17 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム、および記録媒体 |
| EP3400580B1 (en) * | 2016-05-17 | 2022-08-31 | Samsung Electronics Co., Ltd. | Method and apparatus for facilitating interaction with virtual reality equipment |
| EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| WO2017205637A1 (en) * | 2016-05-25 | 2017-11-30 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3d audio positioning |
| JP6389208B2 (ja) * | 2016-06-07 | 2018-09-12 | 株式会社カプコン | ゲームプログラム及びゲーム装置 |
| US10249090B2 (en) * | 2016-06-09 | 2019-04-02 | Microsoft Technology Licensing, Llc | Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking |
| US10556175B2 (en) | 2016-06-10 | 2020-02-11 | Immersion Corporation | Rendering a haptic effect with intra-device mixing |
| US10245507B2 (en) * | 2016-06-13 | 2019-04-02 | Sony Interactive Entertainment Inc. | Spectator management at view locations in virtual reality environments |
| US10401962B2 (en) | 2016-06-21 | 2019-09-03 | Immersion Corporation | Haptically enabled overlay for a pressure sensitive surface |
| US10210724B2 (en) | 2016-06-29 | 2019-02-19 | Immersion Corporation | Real-time patterned haptic effect generation using vibrations |
| US10191541B2 (en) * | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
| US10482662B2 (en) * | 2016-06-30 | 2019-11-19 | Intel Corporation | Systems and methods for mixed reality transitions |
| US10471353B2 (en) * | 2016-06-30 | 2019-11-12 | Sony Interactive Entertainment America Llc | Using HMD camera touch button to render images of a user captured during game play |
| KR20180014492A (ko) * | 2016-08-01 | 2018-02-09 | 삼성전자주식회사 | 영상 표시 방법 및 이를 지원하는 전자 장치 |
| CN109644262A (zh) | 2016-08-25 | 2019-04-16 | Lg电子株式会社 | 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置 |
| JP2018530016A (ja) * | 2016-08-30 | 2018-10-11 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | Ｖｒ制御方法、装置及び電子機器、プログラム、及び記録媒体 |
| KR20180028796A (ko) * | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 이미지 표시 방법, 저장 매체 및 전자 장치 |
| JP6298130B2 (ja) * | 2016-09-14 | 2018-03-20 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| JP6373920B2 (ja) | 2016-09-14 | 2018-08-15 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| US20180082482A1 (en) * | 2016-09-22 | 2018-03-22 | Apple Inc. | Display system having world and user sensors |
| CN107872556A (zh) * | 2016-09-23 | 2018-04-03 | 成都理想境界科技有限公司 | 基于头戴式显示设备的事件提醒方法及装置 |
| JP6808419B2 (ja) * | 2016-09-26 | 2021-01-06 | キヤノン株式会社 | 画像処理システム及びその制御方法 |
| USD835104S1 (en) | 2016-09-27 | 2018-12-04 | Oculus Vr, Llc | Wireless game controller |
| US20180095542A1 (en) * | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Object Holder for Virtual Reality Interaction |
| JP6813670B2 (ja) * | 2016-09-30 | 2021-01-13 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
| US10032314B2 (en) * | 2016-10-11 | 2018-07-24 | Microsoft Technology Licensing, Llc | Virtual reality headset |
| EP3531187B1 (en) | 2016-10-18 | 2022-11-23 | LG Electronics Inc. | Head-mounted display |
| CN106484119A (zh) * | 2016-10-24 | 2017-03-08 | 网易（杭州）网络有限公司 | 虚拟现实系统及虚拟现实系统输入方法 |
| US10736576B2 (en) * | 2016-10-31 | 2020-08-11 | Tegway Co., Ltd. | Feedback device and method for providing thermal feedback using the same |
| WO2018080028A1 (ko) * | 2016-10-31 | 2018-05-03 | 주식회사 테그웨이 | 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법 |
| KR20180048227A (ko) | 2016-10-31 | 2018-05-10 | 주식회사 테그웨이 | 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법 |
| KR102369905B1 (ko) | 2016-10-31 | 2022-03-03 | 주식회사 테그웨이 | 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법 |
| US10747323B2 (en) | 2016-10-31 | 2020-08-18 | Tegway Co., Ltd. | Feedback device and method for providing thermal feedback by means of same |
| WO2018092947A1 (ko) * | 2016-11-18 | 2018-05-24 | 주식회사 트라이캐치미디어 | 스마트 로봇 게임 시스템 |
| GB2556910A (en) | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
| EP3327544B1 (en) * | 2016-11-25 | 2021-06-23 | Nokia Technologies Oy | Apparatus, associated method and associated computer readable medium |
| KR102654621B1 (ko) * | 2016-12-08 | 2024-04-04 | 삼성전자주식회사 | 객체를 디스플레이하기 위한 방법 및 그 전자 장치 |
| CN106791779A (zh) * | 2016-12-13 | 2017-05-31 | 深圳市潘多拉虚拟与现实科技有限公司 | 一种视频播放器及视频显示方法、系统 |
| KR20180074369A (ko) | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치 |
| GB2558280A (en) * | 2016-12-23 | 2018-07-11 | Sony Interactive Entertainment Inc | Head mountable display system |
| US10147460B2 (en) | 2016-12-28 | 2018-12-04 | Immersion Corporation | Haptic effect generation for space-dependent content |
| US10088911B2 (en) * | 2016-12-30 | 2018-10-02 | Manuel Saez | Programmable electronic helmet |
| US10204455B2 (en) * | 2016-12-31 | 2019-02-12 | Intel Corporation | Collision prevention for virtual reality systems |
| AU2018205044B2 (en) * | 2017-01-02 | 2019-10-24 | Merge Labs, Inc. | Three-dimensional augmented reality object user interface functions |
| WO2018131813A1 (en) | 2017-01-10 | 2018-07-19 | Samsung Electronics Co., Ltd. | Method and apparatus for generating metadata for 3d images |
| KR102329061B1 (ko) * | 2017-01-10 | 2021-11-19 | 삼성전자주식회사 | 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치 |
| US10212428B2 (en) * | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
| CN108334377A (zh) * | 2017-01-20 | 2018-07-27 | 深圳纬目信息技术有限公司 | 一种头戴显示设备的用户使用进度控制方法 |
| US11740690B2 (en) | 2017-01-27 | 2023-08-29 | Qualcomm Incorporated | Systems and methods for tracking a controller |
| CN108696735A (zh) * | 2017-03-01 | 2018-10-23 | 中兴通讯股份有限公司 | 虚拟现实眼镜、智能终端及导视实现和控制方法 |
| US20180255285A1 (en) * | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
| CN106919294B (zh) * | 2017-03-10 | 2020-07-21 | 京东方科技集团股份有限公司 | 一种3d触控交互装置、其触控交互方法及显示装置 |
| US10650405B2 (en) * | 2017-03-21 | 2020-05-12 | Kellogg Company | Media content tracking |
| WO2018173159A1 (ja) * | 2017-03-22 | 2018-09-27 | マクセル株式会社 | 映像表示装置 |
| US10564725B2 (en) | 2017-03-23 | 2020-02-18 | Immerson Corporation | Haptic effects using a high bandwidth thin actuation system |
| JP6658642B2 (ja) * | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
| IL269533B2 (en) * | 2017-03-28 | 2023-11-01 | Magic Leap Inc | An augmented reality system with spatial audio linked to a user-operated virtual object |
| US10726792B2 (en) | 2017-04-17 | 2020-07-28 | Intel Corporation | Glare and occluded view compensation for automotive and other applications |
| DE102017108551A1 (de) * | 2017-04-21 | 2018-10-25 | Carl Zeiss Meditec Ag | Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem |
| US11270113B2 (en) | 2017-04-21 | 2022-03-08 | Hewlett-Packard Development Company, L.P. | Object detections for virtual reality |
| JP6503407B2 (ja) * | 2017-04-28 | 2019-04-17 | 株式会社スクウェア・エニックス | コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム |
| EP3617850A4 (en) * | 2017-04-28 | 2021-01-06 | Sony Interactive Entertainment Inc. | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| US10417827B2 (en) * | 2017-05-04 | 2019-09-17 | Microsoft Technology Licensing, Llc | Syndication of direct and indirect interactions in a computer-mediated reality environment |
| US10776930B2 (en) * | 2017-05-05 | 2020-09-15 | John W. Perry | Mobile device, system, and computerized method for tracking flying objects and displaying tracked flying objects on the mobile device |
| US10366584B2 (en) | 2017-06-05 | 2019-07-30 | Immersion Corporation | Rendering haptics with an illusion of flexible joint movement |
| US10194078B2 (en) | 2017-06-09 | 2019-01-29 | Immersion Corporation | Haptic enabled device with multi-image capturing abilities |
| CN107272907B (zh) * | 2017-07-10 | 2020-08-07 | 三星电子（中国）研发中心 | 一种基于虚拟现实技术的场景中断衔接方法和装置 |
| US20190033989A1 (en) * | 2017-07-31 | 2019-01-31 | Google Inc. | Virtual reality environment boundaries using depth sensors |
| US10803663B2 (en) * | 2017-08-02 | 2020-10-13 | Google Llc | Depth sensor aided estimation of virtual reality environment boundaries |
| US20190041987A1 (en) | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
| EP3542252B1 (en) * | 2017-08-10 | 2023-08-02 | Google LLC | Context-sensitive hand interaction |
| CN107479804A (zh) * | 2017-08-16 | 2017-12-15 | 歌尔科技有限公司 | 虚拟现实设备及其内容调整方法 |
| GB2565836B (en) * | 2017-08-25 | 2021-04-14 | Sony Interactive Entertainment Inc | Data processing for position detection using markers in captured images |
| JP2019040555A (ja) * | 2017-08-29 | 2019-03-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10477298B2 (en) | 2017-09-08 | 2019-11-12 | Immersion Corporation | Rendering haptics on headphones with non-audio data |
| JP7029526B2 (ja) * | 2017-09-29 | 2022-03-03 | アップル インコーポレイテッド | 物理的境界監視器 |
| DE102017123894B3 (de) | 2017-10-13 | 2019-02-07 | Carl Zeiss Meditec Ag | Scheibe für ein HMD und HMD mit wenigstens einer Scheibe |
| US10593101B1 (en) * | 2017-11-01 | 2020-03-17 | Facebook Technologies, Llc | Marker based tracking |
| JP2019086737A (ja) * | 2017-11-10 | 2019-06-06 | シャープ株式会社 | 表示装置、制御方法、及びコンピュータープログラム |
| CN107831831B (zh) * | 2017-11-13 | 2020-11-27 | 重庆市科源能源技术发展有限公司 | 一种电力企业员工业务内容培训系统 |
| WO2019112557A1 (en) * | 2017-12-05 | 2019-06-13 | Hewlett-Packard Development Company, L.P. | Enhanced reality headsets |
| US10583359B2 (en) | 2017-12-28 | 2020-03-10 | Immersion Corporation | Systems and methods for providing haptic effects related to touching and grasping a virtual object |
| KR20200096901A (ko) * | 2018-01-05 | 2020-08-14 | 삼성전자주식회사 | 가상 현실 (vr) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치 |
| JP6902564B2 (ja) * | 2018-01-09 | 2021-07-14 | 瑞軒科技股▲分▼有限公司 | 表示装置アセンブリ |
| JP6353994B1 (ja) * | 2018-01-17 | 2018-07-04 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理方法、および情報処理装置 |
| US10976982B2 (en) * | 2018-02-02 | 2021-04-13 | Samsung Electronics Co., Ltd. | Guided view mode for virtual reality |
| US10534454B2 (en) * | 2018-02-02 | 2020-01-14 | Sony Interactive Entertainment Inc. | Head-mounted display to controller clock synchronization over EM field |
| JP6775870B2 (ja) * | 2018-02-06 | 2020-10-28 | グリー株式会社 | ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム |
| US10726765B2 (en) | 2018-02-15 | 2020-07-28 | Valve Corporation | Using tracking of display device to control image display |
| US10289152B1 (en) * | 2018-02-23 | 2019-05-14 | The Chamberlain Group, Inc. | Interactive multimedia assistant device with a swappable personality customizable skin |
| KR102579034B1 (ko) * | 2018-02-23 | 2023-09-15 | 삼성전자주식회사 | 영상 출력 모듈의 아래에 영상이 출력되는 방향에 대해 지정된 각도로 배치된 반 투명 부재를 포함하는 전자 장치 |
| EP3721326A4 (en) * | 2018-02-27 | 2020-12-16 | Samsung Electronics Co., Ltd. | GRAPHIC OBJECT DISPLAY PROCESS DIFFERENTLY ACCORDING TO A PART OF A BODY IN CONTACT WITH A CONTROL DEVICE AND ELECTRONIC DEVICE |
| CN113426098A (zh) | 2018-03-07 | 2021-09-24 | 奇跃公司 | 外围设备的视觉跟踪 |
| US11417296B2 (en) * | 2018-03-13 | 2022-08-16 | Sony Corporation | Information processing device, information processing method, and recording medium |
| US10695667B2 (en) * | 2018-03-14 | 2020-06-30 | Sony Interactive Entertainment LLC | Pro gaming AR visor and method for parsing context specific HUD content from a video stream |
| US20190042843A1 (en) * | 2018-04-05 | 2019-02-07 | Intel Corporation | Cable detection for ar/vr computing method and apparatus |
| US10853014B2 (en) * | 2018-04-17 | 2020-12-01 | Rockwell Collins, Inc. | Head wearable device, system, and method |
| US10747309B2 (en) | 2018-05-10 | 2020-08-18 | Microsoft Technology Licensing, Llc | Reconfigurable optics for switching between near-to-eye display modes |
| JP6933189B2 (ja) * | 2018-05-29 | 2021-09-08 | 株式会社デンソー | 表示制御装置、及び表示制御プログラム |
| US10665067B2 (en) | 2018-06-15 | 2020-05-26 | Immersion Corporation | Systems and methods for integrating haptics overlay in augmented reality |
| US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
| US10540824B1 (en) | 2018-07-09 | 2020-01-21 | Microsoft Technology Licensing, Llc | 3-D transitions |
| US11227447B2 (en) | 2018-07-16 | 2022-01-18 | Hewlett-Packard Development Company, L.P. | Physical controls for mixing views |
| WO2020049665A1 (ja) * | 2018-09-05 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| WO2020051509A2 (en) * | 2018-09-07 | 2020-03-12 | Ocelot Laboratories Llc | Transitioning between imagery and sounds of a virtual environment and a real environment |
| FR3086411B1 (fr) * | 2018-09-21 | 2021-01-15 | Cayceo | Procede et dispositif de pilotage et de synchronisation de visiocasques |
| CN109151446A (zh) * | 2018-09-25 | 2019-01-04 | 联想(北京)有限公司 | 控制方法和电子设备 |
| US10569164B1 (en) * | 2018-09-26 | 2020-02-25 | Valve Corporation | Augmented reality (AR) system for providing AR in video games |
| US11347303B2 (en) * | 2018-11-30 | 2022-05-31 | Sony Interactive Entertainment Inc. | Systems and methods for determining movement of a controller with respect to an HMD |
| CN111309142A (zh) * | 2018-12-11 | 2020-06-19 | 托比股份公司 | 用于切换显示设备的输入模态的方法和设备 |
| US11644940B1 (en) * | 2019-01-31 | 2023-05-09 | Splunk Inc. | Data visualization in an extended reality environment |
| US11853533B1 (en) | 2019-01-31 | 2023-12-26 | Splunk Inc. | Data visualization workspace in an extended reality environment |
| JP7353773B2 (ja) | 2019-03-18 | 2023-10-02 | 株式会社ソニー・インタラクティブエンタテインメント | 複数のマーカを備えたデバイス |
| US11659153B2 (en) * | 2019-03-29 | 2023-05-23 | Sony Interactive Entertainment Inc. | Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system |
| US11580324B2 (en) * | 2019-06-14 | 2023-02-14 | Google Llc | Systems and methods for detecting environmental occlusion in a wearable computing device display |
| US11385789B1 (en) * | 2019-07-23 | 2022-07-12 | Facebook Technologies, Llc | Systems and methods for interacting with displayed items |
| US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
| CN110515468A (zh) * | 2019-08-30 | 2019-11-29 | Oppo广东移动通信有限公司 | 控制方法、控制装置、电子装置和存储介质 |
| US11842449B2 (en) | 2019-09-26 | 2023-12-12 | Apple Inc. | Presenting an environment based on user movement |
| US11049306B2 (en) | 2019-11-06 | 2021-06-29 | Vago Technologies Oy | Display apparatus and method for generating and rendering composite images |
| EP3839699A1 (en) * | 2019-12-19 | 2021-06-23 | Koninklijke KPN N.V. | Augmented virtuality self view |
| EP4121813A4 (en) * | 2020-03-20 | 2024-01-17 | Magic Leap Inc | SYSTEMS AND METHODS FOR RETINA IMAGING AND TRACKING |
| US11550446B2 (en) | 2020-04-06 | 2023-01-10 | Samsung Electronics Co., Ltd. | Systems and methods for viewing webpages in extended reality environments |
| US11493764B2 (en) | 2020-06-04 | 2022-11-08 | Htc Corporation | Method for dynamically displaying real-world scene, electronic device, and computer readable medium |
| CN111773683A (zh) * | 2020-07-03 | 2020-10-16 | 珠海金山网络游戏科技有限公司 | 一种基于移动终端的文字显示方法及装置 |
| US11617945B2 (en) * | 2020-11-13 | 2023-04-04 | Qtech Innovations Llc | Game controller with scroll wheel |
| CN112579029A (zh) * | 2020-12-11 | 2021-03-30 | 上海影创信息科技有限公司 | Vr眼镜的显示控制方法和系统 |
| CN112704876B (zh) * | 2020-12-30 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 虚拟对象互动模式的选择方法、装置、设备及存储介质 |
| US11836870B1 (en) * | 2021-01-19 | 2023-12-05 | United Services Automobile Association (Usaa) | Systems and methods for virtual physical distancing |
| US11461986B2 (en) | 2021-01-27 | 2022-10-04 | Qualcomm Incorporated | Context-aware extended reality systems |
| GB2608997B (en) * | 2021-07-15 | 2024-02-07 | Sony Interactive Entertainment Inc | Alert system and method for virtual reality headset |
| GB2610386B (en) * | 2021-09-01 | 2024-01-10 | Sony Interactive Entertainment Inc | Head-mountable display system and methods |
| US20230277947A1 (en) * | 2022-03-01 | 2023-09-07 | William G. DiSessa | Trend-based guessing game |
| US20230381645A1 (en) * | 2022-05-27 | 2023-11-30 | Sony Interactive Entertainment LLC | Methods and systems to activate selective navigation or magnification of screen content |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2301216A (en) * | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
| JP2000097637A (ja) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | 姿勢位置検出装置 |
| JP2002073246A (ja) | 2000-08-25 | 2002-03-12 | Minolta Co Ltd | 映像表示システム |
| US8000766B2 (en) | 2001-05-25 | 2011-08-16 | Imatx, Inc. | Methods to diagnose treat and prevent bone loss |
| JP3880561B2 (ja) * | 2002-09-05 | 2007-02-14 | 株式会社ソニー・コンピュータエンタテインメント | 表示システム |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| JP2005165778A (ja) * | 2003-12-03 | 2005-06-23 | Canon Inc | 頭部装着型表示装置、及びその制御方法 |
| JP2005172851A (ja) * | 2003-12-05 | 2005-06-30 | Sony Corp | 画像表示装置 |
| US7680694B2 (en) * | 2004-03-11 | 2010-03-16 | American Express Travel Related Services Company, Inc. | Method and apparatus for a user to shop online in a three dimensional virtual reality setting |
| JP4642538B2 (ja) * | 2005-04-20 | 2011-03-02 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP2011200533A (ja) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | 超音波診断装置 |
| US9111498B2 (en) * | 2010-08-25 | 2015-08-18 | Eastman Kodak Company | Head-mounted display with environmental state detection |
| US8780014B2 (en) * | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
| US8941559B2 (en) * | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
| JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| JP5874176B2 (ja) * | 2011-03-06 | 2016-03-02 | ソニー株式会社 | 表示装置、並びに中継装置 |
| US8743244B2 (en) * | 2011-03-21 | 2014-06-03 | HJ Laboratories, LLC | Providing augmented reality based on third party information |
| JP2012203128A (ja) | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP5834439B2 (ja) * | 2011-03-24 | 2015-12-24 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| US10120438B2 (en) * | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
| US8964008B2 (en) * | 2011-06-17 | 2015-02-24 | Microsoft Technology Licensing, Llc | Volumetric video presentation |
| US20130083018A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Personal audio/visual system with holographic objects |
| US20130083003A1 (en) * | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| US9454849B2 (en) * | 2011-11-03 | 2016-09-27 | Microsoft Technology Licensing, Llc | Augmented reality playspaces with adaptive game rules |
| US20130205311A1 (en) * | 2012-02-07 | 2013-08-08 | Arun Ramaswamy | Methods and apparatus to control a state of data collection devices |
| US9093012B2 (en) * | 2012-02-29 | 2015-07-28 | Lenovo (Beijing) Co., Ltd. | Operation mode switching method and electronic device |
| US9041622B2 (en) * | 2012-06-12 | 2015-05-26 | Microsoft Technology Licensing, Llc | Controlling a virtual object with a real controller device |
| US9329678B2 (en) * | 2012-08-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Augmented reality overlay for control devices |
| US9390563B2 (en) * | 2013-08-12 | 2016-07-12 | Air Virtise Llc | Augmented reality device |
-
2014
- 2014-04-16 US US14/254,881 patent/US9908048B2/en active Active
- 2014-05-30 CN CN201480039467.5A patent/CN105378596B/zh active Active
- 2014-05-30 EP EP14733033.6A patent/EP3005029B1/en active Active
- 2014-05-30 JP JP2016518363A patent/JP6195664B2/ja active Active
- 2014-05-30 WO PCT/US2014/040410 patent/WO2014197337A1/en active Application Filing
-
2016
- 2016-03-31 US US15/087,801 patent/US10010792B2/en active Active
-
2017
- 2017-08-15 JP JP2017156748A patent/JP6438087B2/ja active Active
-
2018
- 2018-07-03 US US16/027,199 patent/US10722797B2/en active Active
-
2020
- 2020-07-02 US US16/919,731 patent/US11235243B2/en active Active
-
2022
- 2022-01-31 US US17/589,892 patent/US11654358B2/en active Active
-
2023
- 2023-05-23 US US18/322,533 patent/US20230293994A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220152498A1 (en) | 2022-05-19 |
| CN105378596B (zh) | 2019-01-22 |
| US20230293994A1 (en) | 2023-09-21 |
| US11654358B2 (en) | 2023-05-23 |
| CN105378596A (zh) | 2016-03-02 |
| US20180311583A1 (en) | 2018-11-01 |
| US20200330869A1 (en) | 2020-10-22 |
| JP6195664B2 (ja) | 2017-09-13 |
| WO2014197337A1 (en) | 2014-12-11 |
| EP3005029B1 (en) | 2018-07-18 |
| US9908048B2 (en) | 2018-03-06 |
| US20140364212A1 (en) | 2014-12-11 |
| US20160214015A1 (en) | 2016-07-28 |
| JP2016532178A (ja) | 2016-10-13 |
| US10722797B2 (en) | 2020-07-28 |
| US11235243B2 (en) | 2022-02-01 |
| EP3005029A1 (en) | 2016-04-13 |
| JP2018010657A (ja) | 2018-01-18 |
| US10010792B2 (en) | 2018-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6438087B2 (ja) | ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 | |
| JP6545744B2 (ja) | 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング | |
| US11697061B2 (en) | Systems and methods for reducing hops associated with a head mounted system | |
| US20210220730A1 (en) | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system | |
| EP3469461B1 (en) | Hmd transitions for focusing on specific content in virtual-reality environments | |
| EP3003122B1 (en) | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user | |
| CN105705210B (zh) | 用于头戴式显示器用户的基于摄像机的安全机制 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6438087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |