JP7286828B2 - 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム - Google Patents

仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム Download PDF

Info

Publication number
JP7286828B2
JP7286828B2 JP2022022798A JP2022022798A JP7286828B2 JP 7286828 B2 JP7286828 B2 JP 7286828B2 JP 2022022798 A JP2022022798 A JP 2022022798A JP 2022022798 A JP2022022798 A JP 2022022798A JP 7286828 B2 JP7286828 B2 JP 7286828B2
Authority
JP
Japan
Prior art keywords
user
display
content
degrees
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022022798A
Other languages
English (en)
Other versions
JP2022078113A (ja
Inventor
シャンウェア アジット
Original Assignee
ロヴィ ガイズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/140,272 external-priority patent/US10025376B2/en
Priority claimed from US15/140,249 external-priority patent/US9851792B2/en
Application filed by ロヴィ ガイズ, インコーポレイテッド filed Critical ロヴィ ガイズ, インコーポレイテッド
Publication of JP2022078113A publication Critical patent/JP2022078113A/ja
Priority to JP2023068433A priority Critical patent/JP2023116433A/ja
Application granted granted Critical
Publication of JP7286828B2 publication Critical patent/JP7286828B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本願は、2016年4月27日に出願された米国特許出願第U.S.S.N.15/140,249号(本開示は、参照することによってその全体として本明細書に組み込まれる)の優先権および利益を請求するものである。
従来のシステムでは、主要コンテンツ(例えば、映画、テレビ番組、ビデオゲーム、仮想現実世界、メディアガイド画面)に加え、付加的コンテンツ(例えば、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、イベントのスケジュール)をディスプレイ上に表示することが望ましくあり得る。残念ながら、付加的コンテンツの表示は、付加的コンテンツが曖昧になる、または別様に、主要コンテンツの表示を干渉する、リスクに曝す。本問題は、特に、システムが没入体験に強調を置く、仮想現実環境において関連し得る。
故に、仮想現実環境内のユーザの必要性に基づいて、付加的情報(例えば、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、イベントのスケジュール)を主要コンテンツ(例えば、映画、テレビ番組、ビデオゲーム、仮想現実世界、メディアガイド画面)の周囲に再位置付けする、方法およびシステムが、本明細書に説明される。例えば、本明細書に説明されるような制御回路は、付加的情報をユーザの視野の周辺領域に限定してもよく、ユーザが仮想現実環境内へのその没入から抜け出ることを所望することの判定に応答して、付加的情報のみ再位置付けしてもよい。具体的には、制御回路は、視線の中心の移動に基づくユーザの視野を判定する。制御回路が、付加的コンテンツが表示のために生成される、仮想現実環境の部分が、ユーザの視野の前景領域に対応することを判定する場合、制御回路は、表示のために、付加的コンテンツをユーザの視野の周辺領域に対応する仮想現実環境の部分に生成する。制御回路が、表示のために、付加的コンテンツをユーザの視野の周辺領域に対応する仮想現実環境の部分に生成することを確実にすることによって、付加的コンテンツがユーザの視野の前景領域に対応する主要コンテンツのユーザの視認に干渉しないことを確実にすることが可能である。
具体的には、全身移動の検出に応答して、制御回路は、表示のために、付加的コンテンツをユーザの視野の前景領域に対応する仮想現実環境の部分に生成する。付加的コンテンツは、ユーザが全身移動を行うことを補助する。表示のために、付加的コンテンツをユーザの視野の前景領域に対応する仮想現実環境の部分に生成することによって、ユーザに付加的コンテンツが容易に見えることを確実にすることが可能である。付加的コンテンツは、ヘッドアップディスプレイ上の主要コンテンツのユーザの視認に干渉せずに、ユーザが全身移動を行うことを補助するように構成される。例えば、ユーザが歩行している場合、付加的コンテンツは、ユーザが、ヘッドアップディスプレイ上のコンテンツを視認することを停止する必要なく、例えば、物理的周囲内の障害物を回避することを補助することができる、ユーザの物理的周囲のビデオであってもよい。したがって、表示のために、付加的コンテンツを前景領域内に生成することは、ヘッドアップディスプレイ上のコンテンツのユーザの視認に干渉せずに、ユーザが全身移動を行うことを可能にする。
いくつかの側面では、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するための方法およびシステムが、本明細書に提供される。
主要コンテンツは、ユーザの主焦点のオブジェクトであることが意図される、任意のコンテンツであってもよい。例えば、主要コンテンツは、映画、テレビ番組、ビデオゲーム、または仮想現実世界等のメディアアセットであってもよい。別の実施例として、主要コンテンツは、メディアガイド画面であってもよい。
付加的コンテンツは、主要コンテンツではない、任意のコンテンツであってもよい。付加的コンテンツは、主要コンテンツに関連しない、または主要コンテンツに関連してもよい。例えば、付加的コンテンツは、ユーザの物理的周囲のビデオ、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、またはイベントのスケジュールであってもよい。
仮想現実環境は、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、ユーザに表示される任意の非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザが位置する世界であるようにユーザに現れる、仮想世界(例えば、ゲーム内の仮想世界)であってもよい。別の実施例として、仮想現実環境は、物理的世界上に重畳されるようにユーザに現れる、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザに自身の車のフロントガラス(または任意の他の透明表面)を通して見えるものの上に重畳される、スピードメータディスプレイ(または任意の他のディスプレイ)であってもよい。別の実施例として、仮想現実環境は、メディアアセットのディスプレイがユーザの視野を完全に包含するようにユーザに提示される、メディアアセット(例えば、テレビ番組または映画)であってもよい。
ヘッドアップディスプレイは、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、非物理的コンテンツをユーザに表示することが可能な任意のディスプレイであってもよい。例えば、ヘッドアップディスプレイは、ユーザの眼を完全に被覆する、頭部搭載型ディスプレイであってもよい。頭部搭載型ディスプレイは、眼鏡、双眼鏡、ヘルメット等として構成されてもよい。別の実施例として、ヘッドアップディスプレイは、ユーザにヘッドアップディスプレイを通して見える物理的世界のビュー上に非物理的コンテンツを重畳する、ディスプレイ(例えば、フロントガラスまたは眼鏡と統合されるディスプレイ)であってもよい。別の実施例として、ヘッドアップディスプレイは、ユーザが位置する部屋であってもよく、部屋の壁は、ディスプレイ画面内に被覆される。
方法およびシステムは、ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、第1の主要コンテンツを生成するように構成される、制御回路を含み、第1の部分は、ユーザの第1の視野の前景領域に対応する。
制御回路は、1つまたはそれを上回るマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路等の任意の好適な処理回路に基づいてもよく、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含んでもよい。処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一タイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)のわたって分散されてもよい。
第1の主要コンテンツは、主要コンテンツの任意の部分であってもよい。第1の主要コンテンツは、主要コンテンツのサブセットであってもよい。例えば、第1の主要コンテンツは、メディアアセット内の1つまたはそれを上回るオブジェクトまたは文字であってもよい。別の実施例として、第1の主要コンテンツは、仮想世界内の特定の領域であってもよい。別の実施例として、第1の主要コンテンツは、メディアガイド画面の特定の部分であってもよい。
仮想現実環境の第1の部分は、仮想現実環境の任意の部分であってもよい。第1の部分は、仮想現実環境のサブセットであってもよい。第1の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第1の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
ユーザの視野は、ユーザが特定の位置に居るときにユーザに見える任意のものであってもよい。例えば、視野は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、ユーザの視野は、ユーザの視線の中心の左右に対して第1の度数内、視線の中心の上方に第2の度数内、および視線の中心の下方に第3の度数内の領域を包含してもよい。例えば、第1の度数は、95度に等しいかまたはそれを上回ってもよく、例えば、95度、100度、105度、110度、115度、120度、>120度、または任意の好適な度数であってもよい。代替として、第1の度数は、95度未満であってもよく、例えば、90度、85度、80度、75度、70度、<70度、または任意の好適な度数であってもよい。例えば、第2の度数は、60度に等しいかまたはそれを上回ってもよく、例えば、65度、70度、75度、80度、85度、>85度、または任意の好適な度数であってもよい。代替として、第2の度数は、60度未満であってもよく、例えば、55度、50度、45度、40度、<40度、または任意の好適な度数であってもよい。例えば、第3の度数は、70度に等しいかまたはそれを上回ってもよく、例えば、75度、80度、85度、90度、>90度、または任意の好適な度数であってもよい。代替として、第3の度数は、70度未満であってもよく、例えば、65度、60度、55度、<55度、または任意の好適な度数であってもよい。視野は、ユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。視野は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ユーザの視野の前景領域は、正視でユーザに見えるユーザの視野の任意の部分であってもよい。前景領域は、視野のサブセットを包含してもよい。前景領域は、実質的にユーザの視野の中心にある視野の領域を包含してもよい。前景領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、前景領域は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、前景領域は、ユーザの視線の中心の左右に対して第4の度数内、ユーザの視線の中心の上方に第5の度数内、およびユーザの視線の中心の下方に第6の度数内にあってもよい。例えば、第4、第5、および第6の度数は、18度に等しいかまたはそれを上回ってもよく、例えば、20度、25度、30度、35度、>35度、または任意の好適な度数であってもよい。代替として、第4、第5、および第6の度数は、18度未満であってもよく、例えば、15度、10度、5度、<5度、または任意の好適な度数であってもよい。第4、第5、および第6の度数は、異なってもよい。前景領域は、主視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。前景領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
制御回路はさらに、ヘッドアップディスプレイ内の仮想現実環境の第2の部分における表示のために、第2の主要コンテンツおよび付加的コンテンツを生成するように構成され、第2の部分は、ユーザの第1の視野の周辺領域に対応する。
仮想現実環境の第2の部分は、仮想現実環境の任意の部分であってもよい。第2の部分は、仮想現実環境のサブセットであってもよい。第2の部分は、第1の部分と異なってもよい。第2の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第2の部分は、仮想現実環境の境界または角の近傍にあってもよいかまたはそこにあってもよい。第2の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
第2の主要コンテンツは、主要コンテンツの任意の部分であってもよい。第2の主要コンテンツは、主要コンテンツのサブセットであってもよい。例えば、第2の主要コンテンツは、メディアアセット内の1つまたはそれを上回るオブジェクトまたは文字であってもよい。別の実施例として、第2の主要コンテンツは、仮想世界内の特定の領域であってもよい。別の実施例として、第2の主要コンテンツは、メディアガイド画面の特定の部分であってもよい。
ユーザの視野の周辺領域は、周辺視でユーザに見えるユーザの視野の任意の部分であってもよい。周辺領域は、実質的にユーザの視野の縁にある領域であってもよい。周辺領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、周辺視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、周辺領域は、前景領域ではない視野の任意の部分であってもよい。例えば、周辺領域は、視野の外側境界のある度数内の視野の領域を包含してもよい。周辺領域は、周辺視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。周辺領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
制御回路はさらに、ユーザの視線の中心の移動に基づいて、ユーザの第2の視野を判定するように構成される。例えば、制御回路は、新しい視線の中心を判定することによって、第2の視野を判定してもよい。例えば、制御回路は、ユーザの頭部の移動を検出することによって、第2の視野を判定してもよい。
制御回路はさらに、第2の部分が第2の視野の前景領域に対応することを判定するように構成される。例えば、第2の部分は、第1の視野の角に対応するが、第2の視野の中心に対応してもよい。
制御回路はさらに、第2の部分が第2の視野の前景領域に対応することの判定に応答して、表示のために、付加的コンテンツを仮想現実環境の第3の部分に生成するように構成され、第3の部分は、第2の視野の周辺領域に対応する。
仮想現実環境の第3の部分は、仮想現実環境の任意の部分であってもよい。第3の部分は、仮想現実環境のサブセットであってもよい。第3の部分は、第1および第2の部分と異なってもよい。第3の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第3の部分は、仮想現実環境の境界または角の近傍にあってもよいかまたはそこにあってもよい。第3の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
本方法およびシステムはさらに、ユーザの視線の中心の移動を検出するように構成される、検出モジュールを含む。例えば、検出モジュールは、光を使用して、ユーザの各眼の視線点を検出することによって、視線の中心の移動を検出してもよい。例えば、検出モジュールは、ユーザの頭部の移動を検出することによって、視線の中心の移動を検出してもよい。例えば、検出モジュールは、ユーザに物理的に結合されるカメラを用いた捕捉に伴うユーザの物理的周囲のビデオの変化を検出することによって、視線の中心の移動を検出してもよい。視線の中心は、ユーザの視線が実質的に集束される、ユーザの視野の任意の領域であってもよい。視線の中心は、ユーザに見えるものの中心部分であってもよい。視線の中心は、ユーザの各眼の視線点間の中央点であってもよい。片眼に視力障害を伴うユーザでは、視線の中心は、障害のない眼の視線点であってもよい。
いくつかの実施形態では、検出モジュールはさらに、ユーザの視線の中心を検出することによって、視線の中心の移動を検出するように構成される。ある実施形態では、検出モジュールはさらに、ユーザの視線の中心を検出するとき、光をユーザの各眼に伝送し、ユーザの各眼の画像を収集し、各画像内において、ユーザの眼の中の反射の場所を検出し、ユーザの各瞳孔の場所を判定し、各瞳孔の場所と各反射の場所を比較し、各瞳孔の場所と各反射の場所の比較に基づいて、ユーザの各眼の視線点を判定し、ユーザの各眼の視線点間の中央点を判定することによって、視線の中心を判定するように構成される。
ある実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、加速度計を含み、検出モジュールはさらに、ユーザの視線の中心の移動を検出するとき、加速度計によって、ユーザの頭部の加速を検出するように構成される。
いくつかの実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、ユーザの物理的周囲のビデオをディスプレイにフィードするカメラを含み、制御回路はさらに、表示のために、付加的コンテンツを生成するとき、表示のために、ユーザの物理的周囲のビデオを生成するように構成される。
ある実施形態では、制御回路はさらに、表示のために、付加的コンテンツを生成するとき、表示のために、付加的コンテンツをピクチャインピクチャとして生成するように構成される。
いくつかの実施形態では、制御回路はさらに、視線の中心の移動に基づくユーザの第2の視野を判定するとき、視線の中心の移動に基づいて、新しい視線の中心を判定し、新しい視線の中心の左右に対して第1の度数内、新しい視線の中心の上方に第2の度数内、および新しい視線の中心の下方に第3の度数内にある領域を判定するように構成される。
ある実施形態では、制御回路はさらに、第2の部分が第2の視野の前景領域に対応することを判定するとき、第2の視野の前景領域を判定するように構成され、制御回路はさらに、第2の視野の前景領域を判定するとき、新しい視線の中心の左右に対して第4の度数内、新しい視線の上方に第5の度数内、および新しい視線の下方に第6の度数内の領域を判定するように構成され、第4の数は、第1の数より小さく、第5の数は、第2の数より小さく、第6の数は、第3の数より小さい。
いくつかの実施形態では、本システムおよび方法はさらに、入力をユーザから受信するように構成される、ユーザインターフェースを含み、制御回路はさらに、入力に応答して、表示のために、付加的コンテンツを第2の視野の前景領域に対応する仮想現実環境の部分に生成するように構成される。
ある実施形態では、制御回路はさらに、表示のために、付加的コンテンツを生成するとき、その間にユーザの視線の中心が実質的に移動されなかった、ユーザの視線の中心の移動後の期間を測定し、期間が閾値期間を上回ることを判定し、期間が閾値期間を上回ることの判定に応答して、表示のために、付加的コンテンツを生成するように構成される。
いくつかの側面では、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするための方法およびシステムが、本明細書に提供される。
仮想現実環境は、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、ユーザに表示される任意の非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザが位置する世界であるようにユーザに現れる、仮想世界(例えば、ゲーム内の仮想世界)であってもよい。別の実施例として、仮想現実環境は、物理的世界上に重畳されるようにユーザに現れる、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザに自身の車のフロントガラス(または任意の他の透明表面)を通して見えるものの上に重畳される、スピードメータディスプレイ(または任意の他のディスプレイ)であってもよい。別の実施例として、仮想現実環境は、メディアアセットのディスプレイがユーザの視野を完全に包含するようにユーザに提示される、メディアアセット(例えば、テレビ番組または映画)であってもよい。
ヘッドアップディスプレイは、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、非物理的コンテンツをユーザに表示することが可能な任意のディスプレイであってもよい。例えば、ヘッドアップディスプレイは、ユーザの眼を完全に被覆する、頭部搭載型ディスプレイであってもよい。頭部搭載型ディスプレイは、眼鏡、双眼鏡、ヘルメット等として構成されてもよい。別の実施例として、ヘッドアップディスプレイは、ユーザにヘッドアップディスプレイを通して見える物理的世界のビュー上に非物理的コンテンツを重畳する、ディスプレイ(例えば、フロントガラスまたは眼鏡と統合されるディスプレイ)であってもよい。別の実施例として、ヘッドアップディスプレイは、ユーザが位置する部屋であってもよく、部屋の壁は、ディスプレイ画面内に被覆される。
全身移動は、ユーザの身体全体の実質的部分の移動を要求する、ユーザによる任意の物理的移動であってもよい。例えば、全身移動は、歩行、ジャンプ、起立、着座、その身体の回転等であってもよい。
本システムおよび方法は、ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、主要コンテンツを生成するように構成される、制御回路を含み、第1の部分は、ユーザの視野の前景領域に対応する。
制御回路は、1つまたはそれを上回るマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路等の任意の好適な処理回路に基づいてもよく、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含んでもよい。処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一タイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)にわたって分散されてもよい。
仮想現実環境の第1の部分は、仮想現実環境の任意の部分であってもよい。第1の部分は、仮想現実環境のサブセットであってもよい。第1の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第1の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
主要コンテンツは、ユーザの主焦点のオブジェクトであることが意図される、コンテンツであってもよい。例えば、主要コンテンツは、映画、テレビ番組、ビデオゲーム、または仮想現実世界等のメディアアセットであってもよい。別の実施例として、主要コンテンツは、メディアガイド画面であってもよい。
ユーザの視野は、ユーザが特定の位置に居るときにユーザに見える任意のものであってもよい。例えば、視野は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、ユーザの視野は、ユーザの視線の中心の左右に対して第1の度数内、視線の中心の上方に第2の度数、および視線の中心の下方に第3の度数内の領域を包含してもよい。例えば、第1の度数は、95度に等しいかまたはそれを上回ってもよく、例えば、95度、100度、105度、110度、115度、120度、>120度、または任意の好適な度数であってもよい。代替として、第1の度数は、95度未満であってもよく、例えば、90度、85度、80度、75度、70度、<70度、または任意の好適な度数であってもよい。例えば、第2の度数は、60度に等しいかまたはそれを上回ってもよく、例えば、65度、70度、75度、80度、85度、>85度、または任意の好適な度数であってもよい。代替として、第2の度数は、60度未満であってもよく、例えば、55度、50度、45度、40度、<40度、または任意の好適な度数であってもよい。例えば、第3の度数は、70度に等しいかまたはそれを上回ってもよく、例えば、75度、80度、85度、90度、>90度、または任意の好適な度数であってもよい。代替として、第3の度数は、70度未満であってもよく、例えば、65度、60度、55度、<55度、または任意の好適な度数であってもよい。視野は、ユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。視野は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ユーザの視野の前景領域は、正視でユーザに見えるユーザの視野の任意の部分であってもよい。前景領域は、視野のサブセットを包含してもよい。前景領域は、実質的にユーザの視野の中心にある視野の領域を包含してもよい。前景領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、前景領域は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、前景領域は、ユーザの視線の中心の左右に対して第4の度数内、ユーザの視線の中心の上方に第5の度数内、およびユーザの視線の中心の下方に第6の度数内にあってもよい。例えば、第4、第5、および第6の度数は、18度に等しいかまたはそれを上回ってもよく、例えば、20度、25度、30度、35度、>35度、または任意の好適な度数であってもよい。代替として、第4、第5、および第6の度数は、18度未満であってもよく、例えば、15度、10度、5度、<5度、または任意の好適な度数であってもよい。前景領域は、主視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。前景領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
制御回路はさらに、ヘッドアップディスプレイ内の仮想現実環境の第2の部分における表示のために、付加的コンテンツを生成するように構成され、第2の部分は、ユーザの視野の周辺領域に対応する。
仮想現実環境の第2の部分は、仮想現実環境の任意の部分であってもよい。第2の部分は、仮想現実環境のサブセットであってもよい。第2の部分は、第1の部分と異なってもよい。第2の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第2の部分は、仮想現実環境の境界または角の近傍にあってもよいかまたはそこにあってもよい。第2の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
付加的コンテンツは、ユーザが全身移動を行うことを補助する。例えば、付加的コンテンツは、ユーザの物理的周囲のビデオであってもよい。別の実施例として、付加的コンテンツは、ユーザの物理的周囲のマップであってもよい。
ユーザの視野の周辺領域は、周辺視でユーザに見えるユーザの視野の任意の部分であってもよい。周辺領域は、実質的にユーザの視野の縁にある領域であってもよい。周辺領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、周辺視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、周辺領域は、前景領域ではない視野の任意の部分であってもよい。例えば、周辺領域は、視野の外側境界のある度数内の視野の領域を包含してもよい。周辺領域は、周辺視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。周辺領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
制御回路はさらに、ユーザの全身移動の検出に応答して、表示のために、付加的コンテンツを仮想現実環境の第1の部分に生成するように構成される。本システムおよび方法はさらに、ユーザの全身移動を検出するように構成される、検出モジュールを含む。例えば、検出モジュールは、ユーザの身体の一部の加速を検出することによって、全身移動を検出してもよい。例えば、検出モジュールは、歩みを検出してもよい。別の実施例として、検出モジュールは、ユーザに物理的に結合されるカメラを用いて捕捉されたユーザの物理的周囲のビデオの変化を検出することによって、全身移動を検出してもよい。
いくつかの実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、ユーザの物理的周囲のビデオをディスプレイにフィードするカメラを含み、制御回路はさらに、表示のために、付加的コンテンツを生成するとき、表示のために、ユーザの物理的周囲のビデオを生成するように構成される。
ある実施形態では、制御回路はさらに、表示のために、付加的コンテンツを生成するとき、表示のために、付加的コンテンツをピクチャインピクチャとして生成するように構成される。
いくつかの実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、検出モジュールは、頭部搭載型ディスプレイ内に含まれる加速度計を含み、検出モジュールはさらに、ユーザの全身移動を検出するとき、加速度計を使用して、ユーザによって行われる第1の歩みを検出するように構成される。
ある実施形態では、検出モジュールはさらに、加速度計を使用して、ユーザによって行われる第2の歩みを検出するように構成され、制御回路はさらに、第2の歩みの検出に応答して、付加的コンテンツを拡大するように構成される。
いくつかの実施形態では、検出モジュールはさらに、加速度計を使用して、ユーザによって行われる第2の歩みを検出するように構成され、制御回路はさらに、第2の歩みの検出に応答して、主要コンテンツの不透明度を減少させるステップおよび付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うように構成される。
ある実施形態では、ユーザインターフェースが、入力をユーザから受信するように構成され、制御回路はさらに、入力に応答して、付加的コンテンツをヘッドアップディスプレイから除去するように構成される。
いくつかの実施形態では、検出モジュールはさらに、ユーザの全身移動を検出するとき、ユーザの物理的周囲のビデオの変化を検出するように構成される。
ある実施形態では、検出モジュールはさらに、ユーザが実質的に定常であることを検出するように構成され、制御回路はさらに、ユーザが実質的に定常であることの検出に応答して、表示のために、付加的コンテンツをディスプレイの第3の部分に生成するように構成される。
いくつかの実施形態では、ユーザインターフェースは、ユーザに、主要コンテンツの再生を停止するオプションを提示するように構成される。
上記に説明されるシステムおよび/または方法は、他のシステム、方法、および/または装置に適用される、もしくはそれに従って使用されてもよいことに留意されたい。
本発明は、例えば、以下を提供する。
(項目1)
主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するための方法であって、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、第1の主要コンテンツを生成するステップであって、前記第1の部分は、ユーザの第1の視野の前景領域に対応する、ステップと、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、第2の主要コンテンツおよび付加的コンテンツを生成するステップであって、前記第2の部分は、前記ユーザの第1の視野の周辺領域に対応する、ステップと、
前記ユーザの視線の中心の移動を検出するステップと、
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するステップと、
前記第2の部分が前記第2の視野の前景領域に対応することを判定するステップと、
前記第2の部分が前記第2の視野の前景領域に対応することの判定に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第3の部分に生成するステップであって、前記第3の部分は、前記第2の視野の周辺領域に対応する、ステップと、
を含む、方法。
(項目2)
前記視線の中心の移動を検出するステップは、前記ユーザの視線の中心を検出するステップを含む、項目1に記載の方法。
(項目3)
前記ユーザの視線の中心を検出するステップは、
光を前記ユーザの各眼に伝送するステップと、
前記ユーザの各眼の画像を収集するステップと、
各画像内において、前記ユーザの眼の中の反射の場所を検出するステップと、
前記ユーザの各瞳孔の場所を判定するステップと、
各瞳孔の場所と各反射の場所を比較するステップと、
各瞳孔の場所と各反射の場所の比較に基づいて、前記ユーザの各眼の視線点を判定するステップと、
前記ユーザの各眼の視線点間の中央点を判定することによって、前記視線の中心を判定するステップと、
を含む、項目2に記載の方法。
(項目4)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの視線の中心の移動を検出するステップは、前記加速度計によって、前記ユーザの頭部の加速を検出するステップを含む、項目1に記載の方法。
(項目5)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記ユーザの物理的周囲のビデオを生成するステップを含む、項目1に記載の方法。
(項目6)
表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するステップを含む、項目1に記載の方法。
(項目7)
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するステップは、
前記視線の中心の移動に基づいて、新しい視線の中心を判定するステップと、
前記新しい視線の中心の左右に対して第1の度数内、前記新しい視線の中心の上方に第2の度数内、および前記新しい視線の中心の下方に第3の度数内にある領域を判定するステップと、
を含む、項目1に記載の方法。
(項目8)
前記第2の部分が前記第2の視野の前景領域に対応することを判定するステップは、前記第2の視野の前景領域を判定するステップを含み、前記第2の視野の前景領域を判定するステップは、
前記新しい視線の中心の左右に対して第4の度数内、前記新しい視線の上方に第5の度数内、および前記新しい視線の下方に第6の度数内の領域を判定するステップを含み、前記第4の数は、前記第1の数より小さく、前記第5の数は、前記第2の数より小さく、前記第6の数は、前記第3の数より小さい、項目7に記載の方法。
(項目9)
入力を前記ユーザから受信するステップと、
前記入力に応答して、表示のために、前記付加的コンテンツを前記第2の視野の前景領域に対応する前記仮想現実環境の部分に生成するステップと、
をさらに含む、項目1に記載の方法。
(項目10)
表示のために、前記付加的コンテンツを生成するステップは、
その間に前記ユーザの視線の中心が実質的に移動されなかった前記ユーザの視線の中心の移動後の期間を測定するステップと、
前記期間が閾値期間を上回ることを判定するステップと、
前記期間が前記閾値期間を上回ることの判定に応答して、表示のために、前記付加的コンテンツを生成するステップと、
を含む、項目1に記載の方法。
(項目11)
主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するためのシステムであって、
制御回路であって、前記制御回路は、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、第1の主要コンテンツを生成することであって、前記第1の部分は、ユーザの第1の視野の前景領域に対応する、ことと、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、第2の主要コンテンツおよび付加的コンテンツを生成することであって、前記第2の部分は、前記ユーザの第1の視野の周辺領域に対応する、ことと、
前記ユーザの視線の中心の移動に基づいて、前記ユーザの第2の視野を判定することと、
前記第2の部分が前記第2の視野の前景領域に対応することを判定することと、
前記第2の部分が前記第2の視野の前景領域に対応することの判定に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第3の部分に生成することであって、前記第3の部分は、前記第2の視野の周辺領域に対応する、ことと、
を行うように構成される、制御回路と、
前記ユーザの視線の中心の移動を検出するように構成される検出モジュールと、
を備える、システム。
(項目12)
前記検出モジュールはさらに、前記ユーザの視線の中心を検出することによって、前記視線の中心の移動を検出するように構成される、項目11に記載のシステム。
(項目13)
前記検出モジュールはさらに、前記ユーザの視線の中心を検出するとき、
光を前記ユーザの各眼に伝送することと、
前記ユーザの各眼の画像を収集することと、
各画像内において、前記ユーザの眼の中の反射の場所を検出することと、
前記ユーザの各瞳孔の場所を判定することと、
各瞳孔の場所と各反射の場所を比較することと、
各瞳孔の場所と各反射の場所の比較に基づいて、前記ユーザの各眼の視線点を判定することと、
前記ユーザの各眼の視線点間の中央点を判定することによって、前記視線の中心を判定することと、
を行うように構成される、項目12に記載のシステム。
(項目14)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記検出モジュールはさらに、前記ユーザの視線の中心の移動を検出するとき、前記加速度計によって、前記ユーザの頭部の加速を検出するように構成される、項目11に記載のシステム。
(項目15)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、前記制御回路はさらに、表示のために、前記付加的コンテンツを生成するとき、表示のために、前記ユーザの物理的周囲のビデオを生成するように構成される、項目11に記載のシステム。
(項目16)
前記制御回路はさらに、表示のために、前記付加的コンテンツを生成するとき、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するように構成される、項目11に記載のシステム。
(項目17)
前記制御回路はさらに、前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するとき、
前記視線の中心の移動に基づいて、新しい視線の中心を判定することと、
前記新しい視線の中心の左右に対して第1の度数内、前記新しい視線の中心の上方に第2の度数内、および前記新しい視線の中心の下方に第3の度数内にある領域を判定することと、
を行うように構成される、項目11に記載のシステム。
(項目18)
前記制御回路はさらに、前記第2の部分が前記第2の視野の前景領域に対応することを判定するとき、前記第2の視野の前景領域を判定するように構成され、前記制御回路はさらに、前記第2の視野の前景領域を判定するとき、
前記新しい視線の中心の左右に対して第4の度数内、前記新しい視線の上方に第5の度数内、および前記新しい視線の下方に第6の度数内の領域を判定するように構成され、前記第4の数は、前記第1の数より小さく、前記第5の数は、前記第2の数より小さく、前記第6の数は、前記第3の数より小さい、項目17に記載のシステム。
(項目19)
ユーザインターフェースが、入力を前記ユーザから受信するように構成され、前記制御回路はさらに、前記入力に応答して、表示のために、前記付加的コンテンツを前記第2の視野の前景領域に対応する前記仮想現実環境の部分に生成するように構成される、項目11に記載のシステム。
(項目20)
前記制御回路はさらに、表示のために、前記付加的コンテンツを生成するとき、
その間に前記ユーザの視線の中心が実質的に移動されなかった前記ユーザの視線の中心の移動後の期間を測定することと、
前記期間が閾値期間を上回ることを判定することと、
前記期間が前記閾値期間を上回ることの判定に応答して、表示のために、前記付加的コンテンツを生成することと、
を行うように構成される、項目11に記載のシステム。
(項目21)
主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するためのシステムであって、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、第1の主要コンテンツを生成するための手段であって、前記第1の部分は、ユーザの第1の視野の前景領域に対応する、手段と、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、第2の主要コンテンツおよび付加的コンテンツを生成するための手段であって、前記第2の部分は、前記ユーザの第1の視野の周辺領域に対応する、手段と、
前記ユーザの視線の中心の移動を検出するための手段と、
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するための手段と、
前記第2の部分が前記第2の視野の前景領域に対応することを判定するための手段と、
前記第2の部分が前記第2の視野の前景領域に対応することの判定に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第3の部分に生成するための手段であって、前記第3の部分は、前記第2の視野の周辺領域に対応する、手段と、
を備える、システム。
(項目22)
前記視線の中心の移動を検出するための手段は、前記ユーザの視線の中心を検出するための手段を備える、項目21に記載のシステム。
(項目23)
前記ユーザの視線の中心を検出するための手段は、
光を前記ユーザの各眼に伝送するための手段と、
前記ユーザの各眼の画像を収集するための手段と、
各画像内において、前記ユーザの眼の中の反射の場所を検出するための手段と、
前記ユーザの各瞳孔の場所を判定するための手段と、
各瞳孔の場所と各反射の場所を比較するための手段と、
各瞳孔の場所と各反射の場所の比較に基づいて、前記ユーザの各眼の視線点を判定するための手段と、
前記ユーザの各眼の視線点間の中央点を判定することによって、前記視線の中心を判定するための手段と、
を備える、項目22に記載のシステム。
(項目24)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの視線の中心の移動を検出するための手段は、前記加速度計によって、前記ユーザの頭部の加速を検出するための手段を備える、項目21に記載のシステム。
(項目25)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するための手段は、表示のために、前記ユーザの物理的周囲のビデオを生成するための手段を備える、項目21に記載のシステム。
(項目26)
表示のために、前記付加的コンテンツを生成するための手段は、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するための手段を備える、項目21に記載のシステム。
(項目27)
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するための手段は、
前記視線の中心の移動に基づいて、新しい視線の中心を判定するための手段と、
前記新しい視線の中心の左右に対して第1の度数内、前記新しい視線の中心の上方に第2の度数内、および前記新しい視線の中心の下方に第3の度数内にある領域を判定するための手段と、
を備える、項目21に記載のシステム。
(項目28)
前記第2の部分が前記第2の視野の前景領域に対応することを判定するための手段は、前記第2の視野の前景領域を判定するための手段を備え、前記第2の視野の前景領域を判定するための手段は、
前記新しい視線の中心の左右に対して第4の度数内、前記新しい視線の上方に第5の度数内、および前記新しい視線の下方に第6の度数内の領域を判定するための手段を備え、前記第4の数は、前記第1の数より小さく、前記第5の数は、前記第2の数より小さく、前記第6の数は、前記第3の数より小さい、項目27に記載のシステム。
(項目29)
入力を前記ユーザから受信するための手段と、
前記入力に応答して、表示のために、前記付加的コンテンツを前記第2の視野の前景領域に対応する前記仮想現実環境の部分に生成するための手段と、
をさらに備える、項目21に記載のシステム。
(項目30)
表示のために、前記付加的コンテンツを生成するための手段は、
その間に前記ユーザの視線の中心が実質的に移動されなかった、前記ユーザの視線の中心の移動後の期間を測定するための手段と、
前記期間が閾値期間を上回ることを判定するための手段と、
前記期間が前記閾値期間を上回ることの判定に応答して、表示のために、前記付加的コンテンツを生成するための手段と、
を備える、項目21に記載のシステム。
(項目31)
主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するための方法であって、
表示のために、制御回路を使用して、ヘッドアップディスプレイ内の仮想現実環境の第1の部分に、第1の主要コンテンツを生成するステップであって、前記第1の部分は、ユーザの第1の視野の前景領域に対応する、ステップと、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、第2の主要コンテンツおよび付加的コンテンツを生成するステップであって、前記第2の部分は、前記ユーザの第1の視野の周辺領域に対応する、ステップと、
前記ユーザの視線の中心の移動を検出するステップと、
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するステップと、
前記第2の部分が前記第2の視野の前景領域に対応することを判定するステップと、
前記第2の部分が前記第2の視野の前景領域に対応することの判定に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第3の部分に生成するステップであって、前記第3の部分は、前記第2の視野の周辺領域に対応する、ステップと、
を含む、方法。
(項目32)
前記視線の中心の移動を検出するステップは、前記ユーザの視線の中心を検出するステップを含む、項目31に記載の方法。
(項目33)
前記ユーザの視線の中心を検出するステップは、
光を前記ユーザの各眼に伝送するステップと、
前記ユーザの各眼の画像を収集するステップと、
各画像内において、前記ユーザの眼の中の反射の場所を検出するステップと、
前記ユーザの各瞳孔の場所を判定するステップと、
各瞳孔の場所と各反射の場所を比較するステップと、
各瞳孔の場所と各反射の場所の比較に基づいて、前記ユーザの各眼の視線点を判定するステップと、
前記ユーザの各眼の視線点間の中央点を判定することによって、前記視線の中心を判定するステップと、
を含む、項目32に記載の方法。
(項目34)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの視線の中心の移動を検出するステップは、前記加速度計によって、前記ユーザの頭部の加速を検出するステップを含む、項目31-33のいずれかに記載の方法。
(項目35)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記ユーザの物理的周囲のビデオを生成するステップを含む、項目31-34のいずれかに記載の方法。
(項目36)
表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するステップを含む、項目31-35のいずれかに記載の方法。
(項目37)
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するステップは、
前記視線の中心の移動に基づいて、新しい視線の中心を判定するステップと、
前記新しい視線の中心の左右に対して第1の度数内、前記新しい視線の中心の上方に第2の度数内、および前記新しい視線の中心の下方に第3の度数内にある領域を判定するステップと、
を含む、項目31-36のいずれかに記載の方法。
(項目38)
前記第2の部分が前記第2の視野の前景領域に対応することを判定するステップは、前記第2の視野の前景領域を判定するステップを含み、前記第2の視野の前景領域を判定するステップは、
前記新しい視線の中心の左右に対して第4の度数内、前記新しい視線の上方に第5の度数内、および前記新しい視線の下方に第6の度数内の領域を判定するステップを含み、前記第4の数は、前記第1の数より小さく、前記第5の数は、前記第2の数より小さく、前記第6の数は、前記第3の数より小さい、項目37に記載の方法。
(項目39)
入力を前記ユーザから受信するステップと、
前記入力に応答して、表示のために、前記付加的コンテンツを前記第2の視野の前景領域に対応する前記仮想現実環境の部分に生成するステップと、
をさらに含む、項目31-38のいずれかに記載の方法。
(項目40)
表示のために、前記付加的コンテンツを生成するステップは、
その間に前記ユーザの視線の中心が実質的に移動されなかった、前記ユーザの視線の中心の移動後の期間を測定するステップと、
前記期間が閾値期間を上回ることを判定するステップと、
前記期間が前記閾値期間を上回ることの判定に応答して、表示のために、前記付加的コンテンツを生成するステップと、
を含む、項目31-39のいずれかに記載の方法。
(項目41)
主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するためのその上にエンコードされた機械可読命令を備える非一過性機械可読媒体であって、前記命令は、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、第1の主要コンテンツを生成するための命令であって、前記第1の部分は、ユーザの第1の視野の前景領域に対応する、命令と、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、第2の主要コンテンツおよび付加的コンテンツを生成するための命令であって、前記第2の部分は、前記ユーザの第1の視野の周辺領域に対応する、命令と、
前記ユーザの視線の中心の移動を検出するための命令と、
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するための命令と、
前記第2の部分が前記第2の視野の前景領域に対応することを判定するための命令と、
前記第2の部分が前記第2の視野の前景領域に対応することの判定に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第3の部分に生成するための命令であって、前記第3の部分は、前記第2の視野の周辺領域に対応する、命令と、
を備える、非一過性機械可読媒体。
(項目42)
前記視線の中心の移動を検出するための命令は、前記ユーザの視線の中心を検出するための命令を備える、項目41に記載の非一過性機械可読媒体。
(項目43)
前記ユーザの視線の中心を検出するための命令は、
光を前記ユーザの各眼に伝送するための命令と、
前記ユーザの各眼の画像を収集するための命令と、
各画像内において、前記ユーザの眼の中の反射の場所を検出するための命令と、
前記ユーザの各瞳孔の場所を判定するための命令と、
各瞳孔の場所と各反射の場所を比較するための命令と、
各瞳孔の場所と各反射の場所の比較に基づいて、前記ユーザの各眼の視線点を判定するための命令と、
前記ユーザの各眼の視線点間の中央点を判定することによって、前記視線の中心を判定するための命令と、
を備える、項目42に記載の非一過性機械可読媒体。
(項目44)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの視線の中心の移動を検出するための命令は、前記加速度計によって、前記ユーザの頭部の加速を検出するための命令を備える、項目41に記載の非一過性機械可読媒体。
(項目45)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するための命令は、表示のために、前記ユーザの物理的周囲のビデオを生成するための命令を備える、項目41に記載の非一過性機械可読媒体。
(項目46)
表示のために、前記付加的コンテンツを生成するための命令は、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するための命令を備える、項目41に記載の非一過性機械可読媒体。
(項目47)
前記視線の中心の移動に基づく前記ユーザの第2の視野を判定するための命令は、
前記視線の中心の移動に基づいて、新しい視線の中心を判定するための命令と、
前記新しい視線の中心の左右に対して第1の度数内、前記新しい視線の中心の上方に第2の度数内、および前記新しい視線の中心の下方に第3の度数内にある領域を判定するための命令と、
を備える、項目41に記載の非一過性機械可読媒体。
(項目48)
前記第2の部分が前記第2の視野の前景領域に対応することを判定するための命令は、前記第2の視野の前景領域を判定するための命令を備え、前記第2の視野の前景領域を判定するための命令は、
前記新しい視線の中心の左右に対して第4の度数内、前記新しい視線の上方に第5の度数内、および前記新しい視線の下方に第6の度数内の領域を判定するための命令を備え、前記第4の数は、前記第1の数より小さく、前記第5の数は、前記第2の数より小さく、前記第6の数は、前記第3の数より小さい、項目47に記載の非一過性機械可読媒体。
(項目49)
入力を前記ユーザから受信するための命令と、
前記入力に応答して、表示のために、前記付加的コンテンツを前記第2の視野の前景領域に対応する前記仮想現実環境の部分に生成するための命令と、
をさらに備える、項目41に記載の非一過性機械可読媒体。
(項目50)
表示のために、前記付加的コンテンツを生成するための命令は、
その間に前記ユーザの視線の中心が実質的に移動されなかった、前記ユーザの視線の中心の移動後の期間を測定するための命令と、
前記期間が閾値期間を上回ることを判定するための命令と、
前記期間が前記閾値期間を上回ることの判定に応答して、表示のために、前記付加的コンテンツを生成するための命令と、
を備える、項目41に記載の非一過性機械可読媒体。
(項目51)
ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするための方法であって、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、主要コンテンツを生成するステップであって、前記第1の部分は、ユーザの視野の前景領域に対応する、ステップと、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、付加的コンテンツを生成するステップであって、前記第2の部分は、前記ユーザの視野の周辺領域に対応する、ステップと、
前記ユーザの全身移動を検出するステップと、
前記全身移動の検出に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第1の部分に生成するステップと、
を含み、前記付加的コンテンツは、前記ユーザが前記全身移動を行うことを補助する、方法。
(項目52)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記ユーザの物理的周囲のビデオを生成するステップを含む、項目51に記載の方法。
(項目53)
表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するステップを含む、項目51に記載の方法。
(項目54)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの全身移動を検出するステップは、前記加速度計によって、前記ユーザによって行われる第1の歩みを検出するステップを含む、項目51に記載の方法。
(項目55)
前記ユーザによって行われる第2の歩みを検出するステップと、
前記第2の歩みの検出に応答して、前記付加的コンテンツを拡大するステップと、
をさらに含む、項目54に記載の方法。
(項目56)
前記ユーザによって行われる第2の歩みを検出するステップと、
前記第2の歩みの検出に応答して、前記主要コンテンツの不透明度を減少させるステップおよび前記付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うステップと、
をさらに含む、項目54に記載の方法。
(項目57)
入力を前記ユーザから受信するステップと、
前記入力に応答して、前記付加的コンテンツを前記ヘッドアップディスプレイから除去するステップと、
をさらに含む、項目51に記載の方法。
(項目58)
前記ユーザの全身移動を検出するステップは、前記ユーザの物理的周囲のビデオの変化を検出するステップを含む、項目52に記載の方法。
(項目59)
前記ユーザが実質的に定常であることを検出するステップと、
前記ユーザが実質的に定常であることの検出に応答して、表示のために、前記付加的コンテンツを前記ディスプレイの第3の部分に生成するステップと、
をさらに含む、項目51に記載の方法。
(項目60)
前記ユーザに、前記主要コンテンツの再生を停止するオプションを提示するステップをさらに含む、項目51に記載の方法。
(項目61)
ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするためのシステムであって、
制御回路であって、前記制御回路は、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、主要コンテンツを生成することであって、前記第1の部分は、ユーザの視野の前景領域に対応する、ことと、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、付加的コンテンツを生成することであって、前記第2の部分は、前記ユーザの視野の周辺領域に対応する、ことと、
全身移動の検出に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第1の部分に生成することと、
を行うように構成される、制御回路と、
前記ユーザの全身移動を検出するように構成される検出モジュールと、
を備え、前記付加的コンテンツは、前記ユーザが前記全身移動を行うことを補助する、システム。
(項目62)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、前記制御回路はさらに、表示のために、前記付加的コンテンツを生成するとき、表示のために、前記ユーザの物理的周囲のビデオを生成するように構成される、項目61に記載のシステム。
(項目63)
前記制御回路はさらに、表示のために、前記付加的コンテンツを生成するとき、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するように構成される、項目61に記載のシステム。
(項目64)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記検出モジュールは、前記頭部搭載型ディスプレイ内に含まれる加速度計を含み、前記検出モジュールはさらに、前記ユーザの全身移動を検出するとき、前記加速度計を使用して、前記ユーザによって行われる第1の歩みを検出するように構成される、項目61に記載のシステム。
(項目65)
前記検出モジュールはさらに、前記加速度計を使用して、前記ユーザによって行われる第2の歩みを検出するように構成され、前記制御回路はさらに、前記第2の歩みの検出に応答して、前記付加的コンテンツを拡大するように構成される、項目64に記載のシステム。
(項目66)
前記検出モジュールはさらに、前記加速度計を使用して、前記ユーザによって行われる第2の歩みを検出するように構成され、前記制御回路はさらに、前記第2の歩みの検出に応答して、前記主要コンテンツの不透明度を減少させるステップおよび前記付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うように構成される、項目64に記載のシステム。
(項目67)
ユーザインターフェースが、入力を前記ユーザから受信するように構成され、前記制御回路はさらに、前記入力に応答して、前記付加的コンテンツを前記ヘッドアップディスプレイから除去するように構成される、項目61に記載のシステム。
(項目68)
前記検出モジュールはさらに、前記ユーザの全身移動を検出するとき、前記ユーザの物理的周囲のビデオの変化を検出するように構成される、項目62に記載のシステム。
(項目69)
前記検出モジュールはさらに、前記ユーザが実質的に定常であることを検出するように構成され、前記制御回路はさらに、前記ユーザが実質的に定常であることの検出に応答して、表示のために、前記付加的コンテンツを前記ディスプレイの第3の部分に生成するように構成される、項目61に記載のシステム。
(項目70)
ユーザインターフェースが、前記ユーザに、前記主要コンテンツの再生を停止するオプションを提示するように構成される、項目61に記載のシステム。
(項目71)
ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするためのシステムであって、前記システムは、制御回路を備え、前記制御回路は、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分に、主要コンテンツを表示させるための手段であって、前記第1の部分は、ユーザの視野の前景領域に対応する、手段と、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、付加的コンテンツを生成するための手段であって、前記第2の部分は、前記ユーザの視野の周辺領域に対応する手段と、
前記ユーザの全身移動を検出するための手段と、
前記全身移動の検出に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第1の部分に生成するための手段と、
を備え、前記付加的コンテンツは、前記ユーザが前記全身移動を行うことを補助する、システム。
(項目72)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するための手段は、表示のために、前記ユーザの物理的周囲のビデオを生成するための手段を備える、項目71に記載のシステム。
(項目73)
表示のために、前記付加的コンテンツを生成するための手段は、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するための手段を備える、項目71に記載のシステム。
(項目74)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの全身移動を検出するための手段は、前記加速度計によって、前記ユーザによって行われる第1の歩みを検出するための手段を備える、項目71に記載のシステム。
(項目75)
前記ユーザによって行われる第2の歩みを検出するための手段と、
前記第2の歩みの検出に応答して、前記付加的コンテンツを拡大するための手段と、
をさらに備える、項目74に記載のシステム。
(項目76)
前記ユーザによって行われる第2の歩みを検出するための手段と、
前記第2の歩みの検出に応答して、前記主要コンテンツの不透明度を減少させるステップおよび前記付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うための手段と、
をさらに備える、項目74に記載のシステム。
(項目77)
入力を前記ユーザから受信するための手段と、
前記入力に応答して、前記付加的コンテンツを前記ヘッドアップディスプレイから除去するための手段と、
をさらに備える、項目71に記載のシステム。
(項目78)
前記ユーザの全身移動を検出するための手段は、前記ユーザの物理的周囲のビデオの変化を検出するための手段を備える、項目72に記載のシステム。
(項目79)
前記ユーザが実質的に定常であることを検出するための手段と、
前記ユーザが実質的に定常であることの検出に応答して、表示のために、前記付加的コンテンツを前記ディスプレイの第3の部分に生成するための手段と、
をさらに備える、項目71に記載のシステム。
(項目80)
前記ユーザに、前記主要コンテンツの再生を停止するオプションを提示するための手段をさらに備える、項目71に記載のシステム。
(項目81)
ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするための方法であって、
表示のために、制御回路を使用して、ヘッドアップディスプレイ内の仮想現実環境の第1の部分に、主要コンテンツを生成するステップであって、前記第1の部分は、ユーザの視野の前景領域に対応する、ステップと、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、付加的コンテンツを生成するステップであって、前記第2の部分は、前記ユーザの視野の周辺領域に対応するステップと、
前記ユーザの全身移動を検出するステップと、
前記全身移動の検出に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第1の部分に生成するステップと、
を含み、前記付加的コンテンツは、前記ユーザが前記全身移動を行うことを補助する、方法。
(項目82)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記ユーザの物理的周囲のビデオを生成するステップを含む、項目81に記載の方法。
(項目83)
表示のために、前記付加的コンテンツを生成するステップは、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するステップを含む、項目81または82に記載の方法。
(項目84)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの全身移動を検出するステップは、前記加速度計によって、前記ユーザによって行われる第1の歩みを検出するステップを含む、項目81-83のいずれかに記載の方法。
(項目85)
前記ユーザによって行われる第2の歩みを検出するステップと、
前記第2の歩みの検出に応答して、前記付加的コンテンツを拡大するステップと、
をさらに含む、項目84に記載の方法。
(項目86)
前記ユーザによって行われる第2の歩みを検出するステップと、
前記第2の歩みの検出に応答して、前記主要コンテンツの不透明度を減少させるステップおよび前記付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うステップと、
をさらに含む、項目84に記載の方法。
(項目87)
入力を前記ユーザから受信するステップと、
前記入力に応答して、前記付加的コンテンツを前記ヘッドアップディスプレイから除去するステップと、
をさらに含む、項目81-86のいずれかに記載の方法。
(項目88)
前記ユーザの全身移動を検出するステップは、前記ユーザの物理的周囲のビデオの変化を検出するステップを含む、項目82に記載の方法。
(項目89)
前記ユーザが実質的に定常であることを検出するステップと、
前記ユーザが実質的に定常であることの検出に応答して、表示のために、前記付加的コンテンツを前記ディスプレイの第3の部分に生成するステップと、
をさらに含む、項目81-88のいずれかに記載の方法。
(項目90)
前記ユーザに、前記主要コンテンツの再生を停止するオプションを提示するステップをさらに含む、項目81-89のいずれかに記載の方法。
(項目91)
ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするためのその上にエンコードされた機械可読命令を備える非一過性機械可読媒体であって、
ヘッドアップディスプレイ内の仮想現実環境の第1の部分における表示のために、主要コンテンツを生成するための命令であって、前記第1の部分は、ユーザの視野の前景領域に対応する、命令と、
前記ヘッドアップディスプレイ内の前記仮想現実環境の第2の部分における表示のために、付加的コンテンツを生成するための命令であって、前記第2の部分は、前記ユーザの視野の周辺領域に対応する命令と、
前記ユーザの全身移動を検出するための命令と、
前記全身移動の検出に応答して、表示のために、前記付加的コンテンツを前記仮想現実環境の第1の部分に生成するための命令と、
を備え、前記付加的コンテンツは、前記ユーザが前記全身移動を行うことを補助する、非一過性機械可読媒体。
(項目92)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、表示のために、前記付加的コンテンツを生成するための命令は、表示のために、前記ユーザの物理的周囲のビデオを生成するための命令を備える、項目91に記載の非一過性機械可読媒体。
(項目93)
表示のために、前記付加的コンテンツを生成するための命令は、表示のために、前記付加的コンテンツをピクチャインピクチャとして生成するための命令を備える、項目91に記載の非一過性機械可読媒体。
(項目94)
前記ヘッドアップディスプレイは、前記ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであり、前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの全身移動を検出するための命令は、前記加速度計によって、前記ユーザによって行われる第1の歩みを検出するための命令を備える、項目91に記載の非一過性機械可読媒体。
(項目95)
前記ユーザによって行われる第2の歩みを検出するための命令と、
前記第2の歩みの検出に応答して、前記付加的コンテンツを拡大するための命令と、
をさらに備える、項目94に記載の非一過性機械可読媒体。
(項目96)
前記ユーザによって行われる第2の歩みを検出するための命令と、
前記第2の歩みの検出に応答して、前記主要コンテンツの不透明度を減少させるステップおよび前記付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うための命令と、
をさらに備える、項目94に記載の非一過性機械可読媒体。
(項目97)
入力を前記ユーザから受信するための命令と、
前記入力に応答して、前記付加的コンテンツを前記ヘッドアップディスプレイから除去するための命令と、
をさらに備える、項目91に記載の非一過性機械可読媒体。
(項目98)
前記ユーザの全身移動を検出するための命令は、前記ユーザの物理的周囲のビデオの変化を検出するための命令を備える、項目92に記載の非一過性機械可読媒体。
(項目99)
前記ユーザが実質的に定常であることを検出するための命令と、
前記ユーザが実質的に定常であることの検出に応答して、表示のために、前記付加的コンテンツを前記ディスプレイの第3の部分に生成するための命令と、
をさらに備える、項目91に記載の非一過性機械可読媒体。
(項目100)
前記ユーザに、前記主要コンテンツの再生を停止するオプションを提示するための命令をさらに備える、項目91に記載の非一過性機械可読媒体。
本開示の上記および他の目的ならびに利点は、類似参照文字が全体を通して類似部品を指す、添付図面と併せて解釈される、以下の詳細な説明を考慮することによって明白となるであろう。
図1-2は、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示する例証的実施例を示す。 図1-2は、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示する例証的実施例を示す。 図3-4は、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ヘッドアップディスプレイ上の仮想現実環境を視認しながら、ユーザが全身移動を行うことを可能にする例証的実施例を示す。 図3-4は、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ヘッドアップディスプレイ上の仮想現実環境を視認しながら、ユーザが全身移動を行うことを可能にする例証的実施例を示す。 図5は、本開示のいくつかの実施形態による、ヘッドアップディスプレイとしての使用のための例証的頭部搭載型ディスプレイを示す。 図6は、本開示のいくつかの実施形態による、例証的メディア一覧ディスプレイを示す。 図7は、本開示のいくつかの実施形態による、別の例証的メディア一覧ディスプレイを示す。 図8は、本開示のいくつかの実施形態による、例証的ユーザ機器デバイスのブロック図である。 図9は、本開示のいくつかの実施形態による、例証的メディアシステムのブロック図である。 図10は、本開示のいくつかの実施形態による、アクセスされ得る、検出モジュールの1つのコンポーネントの例証的実施例である。 図11は、本開示のいくつかの実施形態による、アクセスされ得る、検出モジュールの1つのコンポーネントの別の例証的実施例である。 図12は、本開示のいくつかの実施形態による、アクセスされ得る、検出モジュールの1つのコンポーネントの別の例証的実施例である。 図13は、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するための例証的ステップのフローチャートである。 図14は、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするための例証的ステップのフローチャートである。 図15は、本開示のいくつかの実施形態による、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するために制御回路上に実装されるプロセスを説明する。 図16は、本開示のいくつかの実施形態による、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するためのプロセスを説明する。
主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するための方法およびシステムが、本明細書に説明される。具体的には、ユーザの視線の中心の移動が、検出される。視線の中心の移動に基づくユーザの視野が、判定される。付加的コンテンツが表示のために生成される、仮想現実環境の部分が、ユーザの視野の前景領域に対応することが判定される場合、付加的コンテンツは、表示のために、ユーザの視野の周辺領域に対応する仮想現実環境の部分に生成される。付加的コンテンツが、表示のために、ユーザの視野の周辺領域に対応する仮想現実環境の部分に生成されることを確実にすることによって、付加的コンテンツがユーザの視野の前景領域に対応する主要コンテンツのユーザの視認に干渉しないことを確実にすることが可能である。
加えて、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ヘッドアップディスプレイ上の仮想現実環境を視認しながら、ユーザが全身移動を行うことを可能にするための方法およびシステムが、本明細書に説明される。具体的には、ユーザの全身移動が、検出される。全身移動の検出に応答して、付加的コンテンツが、ユーザの視野の前景領域に対応する仮想現実環境の部分に表示のために生成される。付加的コンテンツは、ユーザが全身移動を行うことを補助する。表示のために、付加的コンテンツをユーザの視野の前景領域に対応する仮想現実環境の部分に生成することによって、ユーザに付加的コンテンツが容易に見えることを確実にすることが可能である。付加的コンテンツは、ヘッドアップディスプレイ上の主要コンテンツのユーザの視認に干渉せずに、ユーザが全身移動を行うことを補助するように構成される。例えば、ユーザが歩行している場合、付加的コンテンツは、ユーザが、ヘッドアップディスプレイ上のコンテンツを視認することを停止する必要なく、例えば、物理的周囲内の障害物を回避することを補助することができる、ユーザの物理的周囲のビデオであってもよい。したがって、表示のために、付加的コンテンツを前景領域内に生成することは、ヘッドアップディスプレイ上のコンテンツのユーザの視認に干渉せずに、ユーザが全身移動を行うことを可能にする。
本明細書で参照されるように、用語「仮想現実環境」は、非物理的コンテンツが物質的外観を有するようにユーザに現れるようにユーザに表示される、任意の非物理的コンテンツを意味するものと理解されたい。例えば、仮想現実環境は、ユーザが位置する世界であるようにユーザに現れる、仮想世界(例えば、ゲーム内の仮想世界)であってもよい。別の実施例として、仮想現実環境は、物理的世界上に重畳されるようにユーザに現れる、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザに自身の車のフロントガラス(または任意の他の透明表面)を通して見えるものの上に重畳される、スピードメータディスプレイ(または任意の他のディスプレイ)であってもよい。別の実施例として、仮想現実環境は、メディアアセットのディスプレイがユーザの視野を完全に包含するようにユーザに提示される、メディアアセット(例えば、テレビ番組または映画)であってもよい。
本明細書で参照されるように、用語「ヘッドアップディスプレイ」は、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、非物理的コンテンツをユーザに表示することが可能な任意のディスプレイを意味するものと理解されたい。例えば、ヘッドアップディスプレイは、ユーザの眼を完全に被覆する、頭部搭載型ディスプレイであってもよい。頭部搭載型ディスプレイは、眼鏡、双眼鏡、ヘルメット等として構成されてもよい。別の実施例として、ヘッドアップディスプレイは、ユーザにヘッドアップディスプレイを通して見える物理的世界のビュー上に非物理的コンテンツを重畳する、ディスプレイ(例えば、フロントガラスまたは眼鏡と統合されるディスプレイ)であってもよい。別の実施例として、ヘッドアップディスプレイは、ユーザが位置する部屋であってもよく、部屋の壁は、ディスプレイ画面内に被覆される。
本明細書で参照されるように、用語「視線の中心」は、ユーザに見えるものの中心部分を意味するものと理解されたい。視線の中心は、ユーザの視線が実質的に集束される、ユーザの視野の任意の領域であってもよい。視線の中心は、ユーザの各眼の視線点間の中央点であってもよい。片眼に視力障害を伴うユーザでは、視線の中心は、障害のない眼の視線点であってもよい。
本明細書で参照されるように、用語「視野」は、ユーザが特定の位置に居るときにユーザに見える任意のものを意味するものと理解されたい。例えば、視野は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、ユーザの視野は、ユーザの視線の中心の左右に対して第1の度数内、視線の中心の上方に第2の度数内、および視線の中心の下方に第3の度数内の領域を包含してもよい。例えば、第1の度数は、95度に等しいかまたはそれを上回ってもよく、例えば、95度、100度、105度、110度、115度、120度、>120度、または任意の好適な度数であってもよい。代替として、第1の度数は、95度未満であってもよく、例えば、90度、85度、80度、75度、70度、<70度、または任意の好適な度数であってもよい。例えば、第2の度数は、60度に等しいかまたはそれを上回ってもよく、例えば、65度、70度、75度、80度、85度、>85度、または任意の好適な度数であってもよい。代替として、第2の度数は、60度未満であってもよく、例えば、55度、50度、45度、40度、<40度、または任意の好適な度数であってもよい。例えば、第3の度数は、70度に等しいかまたはそれを上回ってもよく、例えば、75度、80度、85度、90度、>90度、または任意の好適な度数であってもよい。代替として、第3の度数は、70度未満であってもよく、例えば、65度、60度、55度、<55度、または任意の好適な度数であってもよい。視野は、ユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。ユーザの視野は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
本明細書で参照されるように、用語「前景領域」は、正視でユーザに見えるユーザの視野の任意の部分を意味するものと理解されたい。前景領域は、視野のサブセットを包含してもよい。前景領域は、実質的にユーザの視野の中心にある視野の領域を包含してもよい。前景領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、前景領域は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、前景領域は、ユーザの視線の中心の左右に対して第4の度数内、ユーザの視線の中心の上方に第5の度数内、およびユーザの視線の中心の下方に第6の度数内にあってもよい。例えば、第4、第5、および第6の度数は、18度に等しいかまたはそれを上回ってもよく、例えば、20度、25度、30度、35度、>35度、または任意の好適な度数であってもよい。代替として、第4、第5、および第6の度数は、18度未満であってもよく、例えば、15度、10度、5度、<5度、または任意の好適な度数であってもよい。前景領域は、主視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。前景領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
本明細書で参照されるように、用語「周辺領域」は、周辺視でユーザに見えるユーザの視野の任意の部分を意味するものと理解されたい。周辺領域は、実質的にユーザの視野の縁にある領域であってもよい。周辺領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、周辺視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、周辺領域は、前景領域ではない視野の任意の部分であってもよい。例えば、周辺領域は、視野の外側境界のある度数内の視野の領域を包含してもよい。周辺領域は、周辺視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。周辺領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
本明細書で参照されるように、用語「主要コンテンツ」は、ユーザの主焦点のオブジェクトであることが意図される、任意のコンテンツを意味するものと理解されたい。例えば、主要コンテンツは、映画、テレビ番組、ビデオゲーム、または仮想現実世界等のメディアアセットであってもよい。別の実施例として、主要コンテンツは、メディアガイド画面であってもよい。
本明細書で参照されるように、用語「付加的コンテンツ」は、主要コンテンツではない任意のコンテンツを意味するものと理解されたい。付加的コンテンツは、主要コンテンツに関連しない、または主要コンテンツに関連してもよい。例えば、付加的コンテンツは、ユーザの物理的周囲のビデオ、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、またはイベントのスケジュールであってもよい。
本明細書で参照されるように、用語「全身移動」は、ユーザの身体全体の実質的部分の移動を要求する、ユーザによる任意の物理的移動を意味するものと理解されたい。例えば、全身移動は、歩行、ジャンプ、起立、着座、その身体の回転等であってもよい。
任意の所与のコンテンツ配信システムでユーザに利用可能なコンテンツの量が、膨大であり得る。その結果、多くのユーザは、ユーザがコンテンツの選択を効率的にナビゲートし、所望し得るコンテンツを容易に識別することを可能にする、インターフェースを通したメディアガイドの形態を所望している。そのようなガイドを提供するアプリケーションは、本明細書では、双方向メディアガイドアプリケーションと称されるが、時として、メディアガイドアプリケーションまたはガイドアプリケーションと称されることもある。
双方向メディアガイドアプリケーションは、ガイドを提供するコンテンツに応じて、種々の形態をとってもよい。典型的なタイプのメディアガイドアプリケーションの1つは、双方向テレビ番組ガイドである。双方向テレビ番組ガイド(時として、電子番組ガイドと称される場合もある)は、とりわけ、ユーザが、多くのタイプのコンテンツまたはメディアアセット間をナビゲートし、それを特定することが可能である、周知のガイドアプリケーションである。双方向メディアガイドアプリケーションは、ユーザが、コンテンツ間をナビゲートし、それを特定および選択することを可能にする、グラフィカルユーザインターフェース画面を生成してもよい。本明細書で参照されるように、用語「メディアアセット」および「コンテンツ」とは、電子的に消費可能なユーザアセット、例えば、テレビ番組、ならびに有料番組、オンデマンド番組(ビデオオンデマンド(VOD)システムにおけるような)、インターネットコンテンツ(例えば、ストリーミングコンテンツ、ダウンロード可能コンテンツ、ウェブキャスト等)、ビデオクリップ、オーディオ、コンテンツ情報、写真、回転画像、ドキュメント、再生一覧、ウェブサイト、記事、書籍、電子書籍、ブログ、広告、チャットセッション、ソーシャルメディア、アプリケーション、ゲーム、および/または任意の他のメディアもしくはマルチメディア、および/またはそれらの組み合わせを意味すると理解されたい。ガイドアプリケーションはまた、ユーザが、コンテンツ間をナビゲートし、それを特定することを可能にする。本明細書で参照されるように、用語「マルチメディア」とは、前述の少なくとも2つの異なるコンテンツ形態、例えば、テキスト、オーディオ、画像、ビデオ、または双方向コンテンツ形態を利用する、コンテンツを意味すると理解されたい。コンテンツは、ユーザ機器デバイスによって、録画、再生、表示、またはアクセスされてもよいが、また、ライブパーフォーマンスの一部であることも可能である。
本明細書で議論される実施形態のいずれかを行うためのメディアガイドアプリケーションおよび/または任意の命令は、コンピュータ可読媒体上にエンコードされてもよい。コンピュータ可読媒体は、データを記憶することが可能な任意のメディアを含む。コンピュータ可読媒体は、限定ではないが、電気信号または電磁信号の伝搬を含む、一過性であってもよく、または限定ではないが、ハードディスク、フロッピー(登録商標)ディスク、USBドライブ、DVD、CD、メディアカード、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ(「RAM」)等の揮発性および不揮発性コンピュータメモリまたは記憶デバイスを含む、非一過性であってもよい。
インターネット、モバイルコンピューティング、および高速無線ネットワークの出現に伴って、ユーザは、従来は使用しなかったユーザ機器デバイス上でメディアにアクセスするようになっている。本明細書で参照されるように、語句「ユーザ機器デバイス」、「ユーザ機器」、「ユーザデバイス」、「電子デバイス」、「電子機器」、「メディア機器デバイス」、または「メディアデバイス」は、テレビ、スマートTV、セットトップボックス、衛星テレビに対応するための統合型受信機デコーダ(IRD)、デジタル記憶デバイス、デジタルメディア受信機(DMR)、デジタルメディアアダプタ(DMA)、ストリーミングメディアデバイス、DVDプレーヤ、DVDレコーダ、接続型DVD、ローカルメディアサーバ、BLU-RAY(登録商標)プレーヤ、BLU-RAY(登録商標)レコーダ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ウェブTVボックス、パーソナルコンピュータテレビ(PC/TV)、PCメディアサーバ、PCメディアセンター、ハンドヘルドコンピュータ、固定電話、携帯情報端末(PDA)、携帯電話、ポータブルビデオプレーヤ、ポータブル音楽プレーヤ、ポータブルゲーム機、スマートフォン、または任意の他のテレビ機器、コンピューティング機器、もしくは無線デバイス、および/またはそれらの組み合わせ等の前述のコンテンツにアクセスするための任意のデバイスを意味すると理解されたい。いくつかの実施形態では、ユーザ機器デバイスは、正面画面および裏面画面、複数の正面画面、または複数の角度付き画面を有してもよい。いくつかの実施形態では、ユーザ機器デバイスは、正面カメラおよび/または背面カメラを有してもよい。これらのユーザ機器デバイス上で、ユーザは、テレビを通して利用可能な同一のコンテンツ間をナビゲートし、それを特定することが可能であってもよい。その結果として、メディアガイドは、これらのデバイス上でも利用可能であってもよい。提供されるガイドは、テレビのみを通して利用可能なコンテンツ、他のタイプのユーザ機器デバイスのうちの1つまたはそれを上回るもののみを通して利用可能なコンテンツ、またはテレビおよび他のタイプのユーザ機器デバイスのうちの1つまたはそれを上回るもの両方を通して利用可能なコンテンツのためのものであってもよい。メディアガイドアプリケーションは、ユーザ機器デバイス上で、オンラインアプリケーション(すなわち、ウェブサイト上で提供される)、もしくは独立型アプリケーションまたはクライアントとして提供されてもよい。メディアガイドアプリケーションを実装し得る、種々のデバイスおよびプラットフォームは、以下でより詳細に説明される。
メディアガイドアプリケーションの機能の1つは、メディアガイドデータをユーザに提供することである。本明細書で参照されるように、語句「メディアガイドデータ」または「ガイドデータ」は、コンテンツに関連する任意のデータ、またはガイドアプリケーションを動作させる際に使用されるデータを意味すると理解されたい。例えば、ガイドデータは、番組情報、ガイドアプリケーション設定、ユーザ選好、ユーザプロファイル情報、メディア一覧、メディア関連情報(例えば、放送時間、放送チャンネル、タイトル、内容、評価情報(例えば、ペアレンタルコントロール評価、批評家の評価等)、ジャンルまたはカテゴリ情報、俳優情報、放送会社またはプロバイダのロゴのロゴデータ等)、メディア形式(例えば、標準解像度、高解像度、3D等)、広告情報(例えば、テキスト、画像、メディアクリップ等)、オンデマンド情報、ブログ、ウェブサイト、およびユーザが所望のコンテンツ選択間をナビゲートし、それを特定するために役立つ、任意の他のタイプのガイドデータを含んでもよい。
いくつかの実施形態では、以下の図8に関連してさらに議論される、制御回路604は、メモリ(すなわち、以下の図8に関連してさらに議論される、記憶装置608)内に記憶される命令を実行する。具体的には、制御回路604は、前述および後述の機能を行うように命令されてもよい。例えば、命令は、制御回路604に、前述および後述のようなディスプレイを生成させてもよい。いくつかの実装では、制御回路604によって行われる任意のアクションは、命令に基づいてもよい。
図1-2は、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示する例証的実施例を示す。
仮想現実環境104は、非物理的コンテンツが物質的外観を有するようにユーザ124に現れるように、ユーザ124に表示される任意の非物理的コンテンツである。例えば、仮想現実環境104は、ユーザ124が位置する世界であるようにユーザ124に現れる、仮想世界(例えば、ゲーム内の仮想世界)であってもよい。別の実施例として、仮想現実環境104は、物理的世界上に重畳されるようにユーザ124に現れる、非物理的コンテンツであってもよい。例えば、仮想現実環境104は、その車のフロントガラスを通してユーザ124に見えるものの上に重畳される、スピードメータディスプレイであってもよい。別の実施例として、仮想現実環境104は、メディアアセットのディスプレイがユーザ124の視野を完全に包含するようにユーザ124に提示される、メディアアセット(例えば、テレビ番組または映画)であってもよい。
ヘッドアップディスプレイ102は、表示のために、仮想現実環境104をユーザ124に生成する。ヘッドアップディスプレイ102は、非物理的コンテンツが物質的外観を有するようにユーザ124に現れるように、非物理的コンテンツをユーザ124に表示することが可能な任意のディスプレイであってもよい。例えば、ヘッドアップディスプレイ102は、ユーザ124の眼を完全に被覆する、頭部搭載型ディスプレイ(例えば、図5の頭部搭載型ディスプレイ301)であってもよい。別の実施例として、ヘッドアップディスプレイ102は、ヘッドアップディスプレイ102を通してユーザ124に見える物理的世界のビュー上に非物理的コンテンツを重畳する、ディスプレイ(例えば、フロントガラスまたは眼鏡と統合されるディスプレイ)であってもよい。ヘッドアップディスプレイ102は、ユーザ124が移動すると、ユーザ124に示される仮想現実環境104のコンテンツを変化させるように構成されてもよい。例えば、ユーザ124が前方に歩行する場合、ユーザ124に示される仮想現実環境104のコンテンツは、ユーザ124のより近くに移動するようにユーザに現れ得る。
ユーザ124は、第1の視野114を有する。第1の視野114は、ユーザ124が図1に示される位置に居るとき、ユーザ124に見えるものを包含する。便宜上、図1-4および本説明では、視野は、水平方向に変動するものとして図示および議論されるが、視野はまた、垂直方向にも変動することを理解されたい。ユーザの視線の中心は、ユーザに見えるものの中心部分である。図1では、ユーザ124の視線の中心は、視線位置の中心128にある。ユーザの視野は、ある度数(例えば、95度)だけ視線位置の中心の左右に延在する。視野は、少なくとも1つの前景領域と、少なくとも1つの周辺領域とを含む。少なくとも1つの前景領域は、正視でユーザに見える視野の領域を含む。少なくとも1つの前景領域は、視野の中心のある度数(例えば、60度)を包含する。少なくとも1つの周辺領域は、周辺視でユーザに見える視野の領域を含む。少なくとも1つの周辺領域は、前景領域116の左右に対してある度数(例えば、35度)を包含する。第1の視野114は、前景領域116と、周辺領域118と、周辺領域120とを含む。
図1では、ヘッドアップディスプレイ102は、仮想現実環境104の仮想現実環境部分142を示す。仮想現実環境104の仮想現実環境部分142は、第1の部分108と、第2の部分110とを含む。第1の部分108は、第1の視野114の前景領域116に対応する仮想現実環境104の部分を含む。第2の部分110は、第1の視野114の周辺領域118に対応する仮想現実環境104の部分を含む。第1の主要コンテンツ106(図1では、木)は、表示のために、仮想現実環境104の第1の部分108内に生成される。第2の主要コンテンツ144(図1-2では、雲)および付加的コンテンツ122(図1-2では、ユーザの物理的周囲のビデオ)は、表示のために、第2の部分110内に生成される。
図2では、ユーザ124は、ユーザ124の視線の中心が視線位置の中心138にあるように、回転している。ユーザ124は、ユーザ124が図2に示される位置に居るとき、第2の視野126を有する。第2の視野126は、前景領域130と、周辺領域132と、周辺領域134とを含む。
図2では、ヘッドアップディスプレイ102は、仮想現実環境104の仮想現実環境部分140をユーザ124に示す。仮想現実環境104の仮想現実環境部分140は、第2の部分110と、第3の部分136とを含む。第2の部分110は、第2の視野126の前景領域130に対応する仮想現実環境104の部分を含む。第3の部分136は、第2の視野126の周辺領域132に対応する仮想現実環境104の部分を含む。
ユーザ124は、図1から図2に左に回転されているため、仮想現実環境104の仮想現実環境部分140は、仮想環境104の仮想現実環境部分142の左に対する部分だけではなく、また、仮想現実環境部分140および仮想現実環境部分142の両方に存在する部分も含む。例えば、第2の部分110は、仮想現実環境部分140および仮想現実環境部分142の両方に存在するが、第3の部分136は、仮想現実環境部分140に存在するが、仮想現実環境部分142には存在しない。
ユーザ124の視線の中心の移動が、検出されてもよい(例えば、図8の検出モジュール616によって)。いくつかの実施形態では、視線の中心の移動を検出するステップは、視線の中心を検出するステップを含む。例えば、図1-2では、視線位置の中心128から視線位置の中心138へのユーザ124の視線の中心の移動が、検出される。ユーザ124の視野が、ユーザ124の視線の中心の移動に基づいて、判定される。例えば、図2では、第2の視野126が、視線位置の中心128から視線位置の中心138へのユーザ124の視線の中心の移動に基づいて、判定される。
ユーザ124の視線の中心の移動の前、付加的コンテンツ122が、表示のために、ユーザ124の視野(すなわち、第1の視野114)の周辺領域(すなわち、周辺領域118)に対応する仮想現実環境104の部分(すなわち、第2の部分110)に生成された。ユーザ124の視線の中心の移動前に付加的コンテンツ122が表示のために生成された仮想現実環境104の部分(すなわち、第2の部分110)が、ユーザ124の視線の中心の移動後のユーザ124の視野(すなわち、第2の視野126)の前景領域(すなわち、前景領域130)に対応するかどうかの判定が、行われる。例えば、図2では、第2の部分110は、第2の視野126の前景領域130に対応する。本判定に応答して、付加的コンテンツ122は、表示のために、ユーザ124の視野(すなわち、第2の視野126)の周辺領域に対応するユーザ124の視野の一部内に生成される。例えば、図2では、付加的コンテンツ122は、表示のために、第2の視野126の周辺領域132に対応する第3の部分136内に生成される。
付加的コンテンツ122が、表示のために、ユーザ124の視野の周辺領域に対応する仮想現実環境104の一部内に生成されることを確実にすることによって、付加的コンテンツ122がユーザ124の視野の前景領域に対応する主要コンテンツのユーザの視認に干渉しないことを確実にすることが可能である。例えば、図1-2では、付加的コンテンツ122が、表示のために、ユーザ124の視線の中心の移動後、仮想現実環境104の第2の部分110内に生成されたままであった場合、付加的コンテンツ122は、前景領域130内の第2の主要コンテンツ144のユーザの視認に干渉するであろう。付加的コンテンツ122は、表示のために、ユーザ124の視線の中心の移動後、第3の部分136内に生成されるため、付加的コンテンツ122は、前景領域130内の第2の主要コンテンツ144のユーザの視認に干渉しない。
第1の主要コンテンツ106および第2の主要コンテンツ144は、任意のタイプのコンテンツであってもよい。いくつかの実施形態では、主要コンテンツ106は、メディアガイドデータを提供する(図6-7に関連して議論されるように)。
付加的コンテンツ122は、任意のタイプの付加的コンテンツであってもよい。例えば、付加的コンテンツ122は、ユーザ124の物理的周囲のビデオ、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、イベントのスケジュール、または任意の他のタイプの付加的コンテンツであってもよい。付加的コンテンツ122は、主要コンテンツ106に関連しなくてもよい。
図1-2では、付加的コンテンツ122は、表示のために、ピクチャインピクチャとして生成される。いくつかの実施形態では、付加的コンテンツ122は、表示のために、オーバーレイとして生成される。
いくつかの実施形態では、付加的コンテンツ122は、表示のために、仮想現実環境104によって示される主要コンテンツ(例えば、第1の主要コンテンツ106、第2の主要コンテンツ144)より低い画像品質および/またはビデオ品質(例えば、より低い分解能、フレームレート等)で生成される。表示のために、付加的コンテンツ122をより低い画像品質および/またはビデオ品質で生成することは、ヘッドアップディスプレイ102が、電力、メモリ、帯域幅等を節約することに役立ち得る。加えて、表示のために、付加的コンテンツ122をより低い画像品質および/またはビデオ品質で生成することは、ユーザ124が、ユーザの視野(例えば、視野114)の周辺領域(例えば、周辺領域118)内で視認される高品質および低品質画像および/またはビデオ間を区別不可能であり得るため、ユーザの視認体験に有害となり得ない。
いくつかの実施形態では、仮想現実環境104は、主要コンテンツを示す部分と、主要コンテンツを示さない部分とを含む。例えば、仮想現実環境104の中心のある部分は、主要コンテンツ(例えば、第1の主要コンテンツ106、第2の主要コンテンツ144)を示してもよい一方、仮想現実環境104の残りは、主要コンテンツを示さない。例えば、仮想現実環境104は、仮想現実環境104の水平範囲の中心のある部分(例えば、95%、90%、80%、70%、60%、50%等)には、主要コンテンツを示してもよいが、仮想現実環境104の水平範囲の残りには、主要コンテンツを示さない。別の実施例として、仮想現実環境104は、仮想現実環境104の垂直範囲の中心のある部分(例えば、95%、90%、80%、70%、60%、50%等)には、主要コンテンツを示してもよいが、仮想現実環境104の垂直範囲の残りには、主要コンテンツを示さない。別の実施例として、仮想現実環境104は、仮想現実環境104の水平範囲および垂直範囲のある部分の両方に主要コンテンツを示さなくてもよい。主要コンテンツが示されない、仮想現実環境104の残りは、ブランク空間であってもよく、ユーザの視野(例えば、視野114および126)の周辺領域(例えば、周辺領域118、120、132、および134)に対応してもよい。付加的コンテンツ122は、表示のために、主要コンテンツを示さない仮想現実環境104の部分に生成されてもよい。したがって、付加的コンテンツ122は、付加的コンテンツ122が、表示のために、ユーザの視野の周辺領域に対応する仮想現実環境104の部分に生成されるときでも、主要コンテンツに干渉しない。
図3-4は、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ヘッドアップディスプレイ上の仮想現実環境を視認しながら、ユーザが全身移動を行うことを可能にする例証的実施例を示す。
図3-4では、ヘッドアップディスプレイ202は、仮想現実環境204の仮想現実環境部分242を示す。仮想現実環境204の仮想現実環境部分242は、第1の部分208と、第2の部分210とを含む。第1の部分208は、視野214の前景領域216に対応する仮想現実環境204の部分を含む。第2の部分210は、視野214の周辺領域218に対応する仮想現実環境204の部分を含む。主要コンテンツ206は、表示のために、仮想現実環境204の第1の部分208内に生成される。付加的コンテンツ222は、表示のために、仮想現実環境204の第2の部分210内に生成される。図3では、ユーザ224は、着座している。図4では、ユーザ224は、歩行している。
ユーザ224の全身移動が、検出されてもよい(例えば、図8上の検出モジュール616によって)。例えば、図3-4では、着座位置から歩行位置へのユーザ224の変化が、検出される。ユーザの全身移動の検出に応答して、付加的コンテンツ222が、表示のために、仮想現実環境204の第1の部分208内に生成される。付加的コンテンツ222は、ユーザ224が全身移動を行うことを補助する、任意のコンテンツであってもよい。例えば、図3-4では、付加的コンテンツ222は、ユーザ224の物理的周囲のビデオである。代替として、付加的コンテンツ222は、ユーザ224の場所のマップ等であってもよい。
表示のために、付加的コンテンツ222を前景領域216に対応する仮想現実環境204の一部内に生成することによって、ユーザ224に付加的コンテンツ222が容易に見えることを確実にすることが可能である。付加的コンテンツ222は、ヘッドアップディスプレイ202上の主要コンテンツのユーザの視認に干渉せずに、ユーザ224が全身移動を行うことを補助するように構成される。例えば、ユーザ224が歩行している場合、付加的コンテンツ222は、ユーザ224が、ヘッドアップディスプレイ202上のコンテンツを視認することを停止する必要なく、例えば、物理的周囲内の障害物を回避することを補助することができる、ユーザ224の物理的周囲のビデオであってもよい。したがって、表示のために、付加的コンテンツ222を前景領域216内に生成することは、ヘッドアップディスプレイ202上のコンテンツのユーザの視認に干渉せずに、ユーザ224が全身移動を行うことを可能にする。
主要コンテンツ206は、任意のタイプのコンテンツであってもよい。いくつかの実施形態では、主要コンテンツ206は、メディアガイドデータを提供する(図6-7に関連して議論されるように)。
図3-4では、付加的コンテンツ222は、表示のために、ピクチャインピクチャとして生成される。いくつかの実施形態では、付加的コンテンツ222は、表示のために、オーバーレイとして生成される。
いくつかの実施形態では、付加的コンテンツ222が、表示のために、ユーザ224の視野(例えば、視野214)の周辺領域(例えば、周辺領域218)に対応する仮想現実環境204の部分(例えば、第2の部分210)内に生成されると、付加的コンテンツ222は、表示のために、仮想現実環境204によって示される主要コンテンツ(例えば、主要コンテンツ206)より低い画像品質および/またはビデオ品質(例えば、より低い分解能、フレームレート等)で生成される。表示のために、付加的コンテンツ222をより低い画像品質および/またはビデオ品質で生成することは、ヘッドアップディスプレイ202が、電力、メモリ、帯域幅等を節約することに役立ち得る。加えて、表示のために、付加的コンテンツ222をより低い画像品質および/またはビデオ品質で生成することは、ユーザ224が、ユーザの視野(例えば、視野214)の周辺領域(例えば、周辺領域218)内で視認される高品質および低品質画像および/またはビデオ間を区別不可能であり得るため、ユーザの視認体験に有害となり得ない。付加的コンテンツ222が、表示のために、ユーザの視野(例えば、視野214)の前景領域(例えば、前景領域216)に対応する仮想現実環境204の部分(例えば、第1の部分208)内に生成されると、付加的コンテンツ222の画像品質および/またはビデオ品質は、増加されてもよい。ユーザ224は、ユーザの視野の前景領域内で視認される高品質および低品質画像および/またはビデオ間を区別可能となり得る。表示のために、付加的コンテンツ222をより高い画像品質および/またはビデオ品質で生成することによって、付加的コンテンツ222のユーザの視認が(例えば、ユーザ224が付加的コンテンツ222の低品質バージョンを視認する必要があることによって)損なわれないことが確実にされる。
いくつかの実施形態では、仮想現実環境204は、主要コンテンツを示す部分と、主要コンテンツを示さない部分とを含む。例えば、仮想現実環境204の中心のある部分は、主要コンテンツを示してもよい(例えば、主要コンテンツ206)一方、仮想現実環境204の残りは、主要コンテンツを示さない。例えば、仮想現実環境204は、仮想現実環境204の水平範囲の中心のある部分(例えば、95%、90%、80%、70%、60%、50%等)には、主要コンテンツを示してもよいが、仮想現実環境204の水平範囲の残りには、主要コンテンツを示さない。別の実施例として、仮想現実環境204は、仮想現実環境204の垂直範囲の中心のある部分(例えば、95%、90%、80%、70%、60%、50%等)には、主要コンテンツを示してもよいが、仮想現実環境204の垂直範囲の残りには、主要コンテンツを示さない。別の実施例として、仮想現実環境204は、仮想現実環境204の水平範囲および垂直範囲のある部分の両方に主要コンテンツを示さなくてもよい。主要コンテンツが示されない、仮想現実環境204の残りは、ブランク空間であってもよく、ユーザの視野(例えば、視野214)の周辺領域(例えば、周辺領域218および220)に対応してもよい。ユーザの全身移動が検出される前、付加的コンテンツ222は、表示のために、主要コンテンツを示さない、仮想現実環境204の部分に生成されてもよい。したがって、付加的コンテンツ222は、付加的コンテンツ222が、表示のために、ユーザの視野の周辺領域に対応する仮想現実環境204の部分に生成されるときでも、主要コンテンツに干渉しない。ユーザの全身移動が検出された後、付加的コンテンツ222は、表示のために、主要コンテンツを示す、仮想現実環境204の部分に生成されてもよい。
図5は、本開示のいくつかの実施形態による、ヘッドアップディスプレイとしての使用のための例証的頭部搭載型ディスプレイを示す。頭部搭載型ディスプレイ301は、ヘッドセット303と、携帯電話305とを含む。ヘッドセット303は、ディスプレイ307と、ストラップ309および311と、クリップ313および315とを含む。携帯電話305は、カメラ317を含む。頭部搭載型ディスプレイ301は、ユーザ319の頭部に物理的に結合される。
ディスプレイ307は、ユーザ319の眼にわたって位置する。ディスプレイ307は、ユーザ319の眼を完全に被覆するため、ディスプレイ307は、それが表示のために生成するコンテンツ、すなわち、ユーザ319のための現実の外観を与える。したがって、ディスプレイ307は、ヘッドアップディスプレイとして動作する。ディスプレイ307は、ストラップ309および311に物理的に結合される。ストラップ309は、ユーザ319の頭部の周囲に巻着し、ストラップ311は、ユーザ319の頭部にわたって巻着する。ストラップ309および311は、ディスプレイ307をユーザ317の眼にわたって固着させる。ヘッドセット303のための他の構成も、可能性として考えられる。例えば、ストラップ309および311の一方または両方は、存在しなくてもよい。いくつかの実施形態では、ヘッドセット303は、ユーザ319の頭部上に着座するヘルメットとして構成される。いくつかの実施形態では、ヘッドセット303は、ユーザ319の耳に静置する眼鏡として構成される。いくつかの実施形態では、ディスプレイ307は、ユーザ319の一方の眼のみにわたって位置する。
携帯電話305は、携帯電話305がユーザ317の眼と反対のディスプレイ307の側に位置するように、ヘッドセット303に物理的に結合される。携帯電話305は、クリップ313および315によって、ヘッドセット303に物理的に結合される。携帯電話305のための他の構成も、可能性として考えられる。例えば、クリップ313および315の一方または両方は、存在しなくてもよい。携帯電話305は、ヘッドセット303内の陥凹の中にぴったりと嵌合することによって、ヘッドセット303に物理的に結合されてもよい。携帯電話305は、ストラップ、ねじ、接着剤、または任意の他の結合手段によって、ヘッドセット303に物理的に結合されてもよい。ヘッドセット303に物理的に結合される、パネルまたはリップは、携帯電話305を定位置に保持してもよい。携帯電話305は、ヘッドセット303内のスロットの中に挿入されてもよい。
カメラ317は、カメラ317がユーザ317の物理的周囲の画像品質およびビデオを捕捉可能であるように、ディスプレイ307から外に向いている。カメラ317は、ユーザ317の物理的周囲のビデオを頭部搭載型ディスプレイ301にフィードしてもよい。ユーザ317の物理的周囲のビデオは、付加的コンテンツ122または222として使用されてもよい。いくつかの実施形態では、ユーザ317の物理的周囲のビデオは、頭部搭載型ディスプレイ301と携帯電話305との間の電気接続によって、頭部搭載型ディスプレイ301にフィードされる。例えば、電気接続としての役割を果たすUSBインターフェースを伴う、電気ケーブルがあってもよい。いくつかの実施形態では、ユーザ317の物理的周囲のビデオは、無線ネットワークを経由して、またはBluetooth(登録商標)接続を通して等、無線で頭部搭載型ディスプレイ301にフィードされてもよい。いくつかの実施形態では、携帯電話305上の画面は、ユーザ317の物理的周囲のビデオを表示し、携帯電話305上の画面は、頭部搭載型ディスプレイ301のディスプレイ307を通して可視である。
いくつかの実施形態では、携帯電話305は、存在せず、カメラ317は、ヘッドセット303の中に統合される。いくつかの実施形態では、携帯電話305は、タブレットデバイス等の別の電子デバイスによって置換される。
頭部搭載型ディスプレイ301は、ユーザ319に、他のデバイスが提供するより没入型視認体験を提供し得る。例えば、ディスプレイ307は、ユーザの眼を完全に被覆するため、ディスプレイ307によって表示されるコンテンツは、ユーザ319のための現実の外観を有し得る。加えて、ユーザ319は、物理的周囲から気を逸らされることなく、コンテンツをディスプレイ307上で視認し得る。
しかしながら、ディスプレイ307がユーザ319の眼を完全に被覆するため、課題が生じる。例えば、ユーザ319は、子供、調理されている食物、ユーザ319が位置する部屋に進入する人々等、物理的周囲内の何らかのものを監視することを所望し得る。ユーザ319によって物理的周囲を監視することは、ディスプレイ307がユーザ319の眼を完全に被覆する場合、困難である。したがって、ディスプレイ307上に、カメラ317によって捕捉されたユーザの物理的周囲のビデオフィードから成る付加的コンテンツ(例えば、付加的コンテンツ122)を表示することは、望ましくあり得る。
しかしながら、ユーザの物理的周囲のビデオを付加的コンテンツとしてディスプレイ307上に表示することに関して、課題が生じる。ユーザの物理的周囲のビデオは、ディスプレイ307上の主要コンテンツのユーザの視認(例えば、第2の主要コンテンツ144)に干渉し得る。特に、ユーザの物理的周囲のビデオが、ユーザ319の視野の前景領域に対応するディスプレイ307の部分上に表示される場合、ユーザの物理的周囲のビデオは、ディスプレイ307上の主要コンテンツのユーザの視認に干渉し得る。したがって、図1-2に関連して上記に説明される実施形態によると、付加的コンテンツ122は、表示のために、ユーザの視野の周辺領域に対応する仮想現実環境の部分に生成される。ユーザの視野の変化(例えば、ユーザの視線の中心の移動に起因して)が、検出され、付加的コンテンツが表示のために生成される、仮想現実環境の部分が、ユーザの視野の前景領域に対応することが判定される場合、付加的コンテンツは、ユーザの視野の周辺領域に対応する仮想現実環境の部分に移動される。
さらに、頭部搭載型ディスプレイ301を装着しながら、ユーザ319が全身移動を行う場合、課題が生じる。例えば、ユーザ319は、歩行しながら、頭部搭載型ディスプレイ301上のコンテンツを視認することを所望し得るが、物理的周囲内の障害物が見えない場合がある。したがって、図3-4に関連して上記に説明される実施形態によると、付加的コンテンツ222は、表示のために、ユーザの視野の前景領域に対応する仮想現実環境204の部分に生成される。付加的コンテンツ222は、ユーザが全身移動を行うことを補助するように構成される。例えば、付加的コンテンツ222は、ユーザの物理的周囲のビデオであってもよい。表示のために、付加的コンテンツ222をユーザに視野の前景領域に対応する仮想現実環境204の部分に生成することによって、ユーザには、付加的コンテンツ222が容易に見える。ユーザは、付加的コンテンツ222を使用して、全身移動を行い、頭部搭載型ディスプレイ301を除去する必要性および頭部搭載型ディスプレイ301上のコンテンツの視認に干渉する必要性を回避することができる。
図6-7は、メディアガイドデータを提供するために使用され得る、例証的表示画面を示す。図6-7に示される表示画面は、任意の好適なユーザ機器デバイスまたはプラットフォーム上に実装されてもよい(例えば、ヘッドアップディスプレイ102または頭部搭載型ディスプレイ301)。図6-7の表示は、フル画面表示として図示されているが、それらはまた、表示されているコンテンツ上に完全または部分的にオーバーレイされてもよい。ユーザは、表示画面に提供された選択可能なオプション(例えば、メニューオプション、一覧オプション、アイコン、ハイパーリンク等)を選択することによって、もしくはリモートコントロールまたは他のユーザ入力インターフェースもしくはデバイス上の専用ボタン(例えば、「ガイド」ボタン)を押下することによって、コンテンツ情報へのアクセスの要望を指示してもよい。ユーザの指示に応答して、メディアガイドアプリケーションは、グリッド内の時間およびチャンネル別、時間別、チャンネル別、ソース別、コンテンツタイプ別、カテゴリ別(例えば、映画、スポーツ、ニュース、子供向け、または他の番組カテゴリ)、または他の所定、ユーザ定義、もしくは他の編成基準等のいくつかの方法のうちの1つにおいて編成されたメディアガイドデータを伴う表示画面を提供してもよい。
図6は、単一表示内の異なるタイプのコンテンツへのアクセスも可能にする、時間およびチャンネル別に配列された番組一覧表示400の例証的グリッドを示す。表示400は、以下を伴うグリッド402を含んでもよい。(1)各チャンネル/コンテンツタイプ識別子(列内のセル)が利用可能な異なるチャンネルまたはコンテンツのタイプを識別する、チャンネル/コンテンツタイプ識別子404の列、および(2)各時間識別子(行内のセル)が番組の時間帯を識別する、時間識別子406の行。グリッド402はまた、番組一覧408等の番組一覧のセルも含み、各一覧は、一覧の関連チャンネルおよび時間の上に提供される、番組のタイトルを提供する。ユーザ入力デバイスを用いて、ユーザは、ハイライト領域410を移動させることによって番組一覧を選択することができる。ハイライト領域410によって選択される番組一覧に関する情報が、番組情報領域412内に提供されてもよい。領域412は、例えば、番組タイトル、番組内容、番組が提供される時間(該当する場合)、番組が放送されるチャンネル(該当する場合)、番組の評価、および他の所望の情報を含んでもよい。
線形番組(例えば、所定の時間に複数のユーザ機器デバイスに伝送されるようにスケジューリングされ、スケジューリングに従って提供される、コンテンツ)へのアクセスの提供に加え、メディアガイドアプリケーションはまた、非線形番組(例えば、任意の時間においてユーザ機器デバイスにアクセス可能であって、スケジューリングに従って提供されない、コンテンツ)へのアクセスも提供する。非線形番組は、オンデマンドコンテンツ(例えば、VOD)、インターネットコンテンツ(例えば、ストリーミングメディア、ダウンロード可能メディア等)、ローカルに記憶したコンテンツ(例えば、前述の任意のユーザ機器デバイスまたは他の記憶デバイス上に記憶されたコンテンツ)、または時間的制約のない他のコンテンツを含む、異なるコンテンツソースからのコンテンツを含んでもよい。オンデマンドコンテンツは、映画または特定のコンテンツプロバイダ(例えば、「The Sopranos」や「Curb Your Enthusiasm」を提供するHBO On Demand)によって提供される任意の他のコンテンツを含んでもよい。HBO ON DEMANDは、Time Warner Company L.P.らによって所有されるサービスマークであり、THE SOPRANOSおよびCURB YOUR ENTHUSIASMは、Home Box Office, Inc.によって所有される商標である。インターネットコンテンツは、チャットセッションまたはウェブキャスト等のウェブイベント、もしくはインターネットウェブサイトまたは他のインターネットアクセス(例えば、FTP)を通して、ストリーミングコンテンツまたはダウンロード可能なコンテンツとしてオンデマンドで利用可能なコンテンツを含んでもよい。
グリッド402は、オンデマンド一覧414、録画コンテンツ一覧416、およびインターネットコンテンツ一覧418を含む、非線形番組のメディアガイドデータを提供してもよい。異なるタイプのコンテンツソースからのコンテンツのためのメディアガイドデータを組み合わせる表示は、時として、「混合メディア」表示と称されることもある。表示400とは異なる、表示され得るメディアガイドデータのタイプの種々の順列は、ユーザ選択またはガイドアプリケーション定義に基づいてもよい(例えば、録画および放送一覧のみの表示、オンデマンドおよび放送一覧のみの表示等)。例証されるように、一覧414、416、および418は、これらの一覧の選択が、それぞれ、オンデマンド一覧、録画一覧、またはインターネット一覧専用の表示へのアクセスを提供し得ることを示すように、グリッド402内に表示される時間帯全体に及ぶものとして示されている。いくつかの実施形態では、これらのコンテンツタイプの一覧は、グリッド402に直接含まれてもよい。ユーザがナビゲーションアイコン420のうちの1つを選択することに応答して、付加的メディアガイドデータが表示されてもよい(ユーザ入力デバイス上の矢印キーを押下することによって、ナビゲーションアイコン420を選択することと同様に表示に影響を及ぼしてもよい)。
表示400はまた、ビデオ領域422、広告424、およびオプション領域426を含んでもよい。ビデオ領域422は、ユーザが、現在利用可能である、今後利用可能となる、またはユーザに利用可能であった番組を視聴および/またはプレビューすることを可能にしてもよい。ビデオ領域422のコンテンツは、グリッド402に表示される一覧のうちの1つに対応するか、またはそれから独立してもよい。ビデオ領域を含むグリッド表示は、時として、ピクチャインガイド(PIG)表示と称されることもある。PIG表示およびそれらの機能は、2003年5月13日発行のSatterfieldらの米国特許第6,564,378号、および2001年5月29日発行のYuenらの米国特許第6,239,794号でさらに詳細に説明されており、それらは全体として参照することによって本明細書に組み込まれる。PIG表示は、本明細書に説明される実施形態の他のメディアガイドアプリケーション表示画面に含まれてもよい。
広告424は、(例えば、サブスクリプション番組に対する)視聴者のアクセス権に応じて、現在視聴が利用可能である、将来視聴が利用可能となる、または決して視聴利用可能とはなり得ない、コンテンツの広告を提供してもよく、グリッド402内のコンテンツ一覧のうちの1つまたはそれを上回るものに対応するか、または無関係であってもよい。広告424はまた、グリッド402内で表示されるコンテンツに関係するか、または無関係である製品もしくはサービスに対するものであってもよい。広告424は、選択可能であってもよく、コンテンツに関するさらなる情報を提供する、製品またはサービスに関する情報を提供する、コンテンツ、製品、またはサービスを購入することを可能にする、広告に関するコンテンツを提供する等を行ってもよい。広告424は、ユーザのプロファイル/選好、監視されたユーザ活動、提供される表示のタイプ、または他の好適な標的化された広告基盤に基づいて標的化されてもよい。
広告424は、長方形またはバナー形状として示されているが、広告は、ガイドアプリケーション表示内の任意の好適なサイズ、形状、および場所で提供されてもよい。例えば、広告424は、グリッド402に水平方向に隣接する長方形として提供されてもよい。これは、時として、パネル広告と称されることもある。加えて、広告は、コンテンツまたはガイドアプリケーション表示上にオーバーレイされるか、または表示内に埋め込まれてもよい。広告はまた、テキスト、画像、回転画像、ビデオクリップ、または前述の他のタイプのコンテンツを含んでもよい。広告は、ガイドアプリケーションを有するユーザ機器デバイス内、ユーザ機器に接続されたデータベース内、遠隔場所(ストリーミングメディアサーバを含む)内、もしくは他の記憶手段またはこれらの場所の組み合わせ上に記憶されてもよい。メディアガイドアプリケーションに広告を提供するステップは、例えば、それらの全体で参照することにより本明細書に組み込まれる、2003年1月17日出願のKnudsonらの米国特許出願第2003/0110499号、2004年6月29日発行のWard,IIIらの米国特許第6,756,997号、および2002年5月14日発行のScheinらの米国特許第6,388,714号で、さらに詳細に議論されている。広告は、本明細書に説明される実施形態の他のメディアガイドアプリケーション表示画面に含まれてもよいことが理解されるであろう。
オプション領域426は、ユーザが、異なるタイプのコンテンツ、メディアガイドアプリケーション表示、および/またはメディアガイドアプリケーション特徴にアクセスすることを可能にしてもよい。オプション領域426は、ディプレイ400(および本明細書に説明される他の表示画面)の一部であってもよく、もしくは画面上のオプションを選択すること、またはユーザ入力デバイス上の専用または割当可能ボタンを押下することによって、ユーザによって呼び出されてもよい。オプション領域426内の選択可能オプションは、グリッド402内の番組一覧に関連する特徴に関してもよく、またはメインメニュー表示から利用可能なオプションを含んでもよい。番組一覧に関連する特徴は、他の放送時間または番組の受信方法の検索、番組の録画、番組の連続録画の有効化、番組および/またはチャンネルをお気に入りとして設定、番組の購入、もしくは他の特徴を含んでもよい。メインメニュー表示から利用可能なオプションは、検索オプション、VODオプション、ペアレンタルコントロールオプション、インターネットオプション、クラウドベースのオプション、デバイス同期オプション、第2の画面デバイスオプション、種々のタイプのメディアガイドデータ表示にアクセスするためのオプション、プレミアムサービスをサブスクライブするためのオプション、ユーザのプロファイルを編集するためのオプション、ブラウザオーバーレイにアクセスするためのオプション、もしくは他のオプションを含んでもよい。
メディアガイドアプリケーションは、ユーザの選好に基づいて個人化されてもよい。個人化されたメディアガイドアプリケーションは、ユーザが、メディアガイドアプリケーションによって個人化された「体験」を生成するように、表示および特徴をカスタマイズすることを可能にする。この個人化された体験は、ユーザがこれらのカスタマイズを入力できるようにすることによって、および/または種々のユーザ選好を判定するようにメディアガイドアプリケーションがユーザ活動を監視することによって、生成されてもよい。ユーザは、ログインすることによって、または別様にガイドアプリケーションに対して自らを識別することによって、それらの個人化されたガイドアプリケーションにアクセスしてもよい。メディアガイドアプリケーションのカスタマイズは、ユーザプロファイルに従って作成されてもよい。カスタマイズは、提示方式(例えば、表示の色方式、テキストのフォントサイズ等)、表示されるコンテンツ一覧の態様(例えば、HDTV番組のみまたは3D番組のみ、お気に入りチャンネル選択に基づいたユーザ指定の放送チャンネル、チャンネルの表示の並び替え、推奨コンテンツ等)、所望の録画特徴(例えば、特定のユーザに対する録画または連続録画、録画品質等)、ペアレンタルコントロール設定、インターネットコンテンツのカスタマイズされた提示(例えば、ソーシャルメディアコンテンツ、電子メール、電子的に配信された記事等の提示)、および他の所望のカスタマイズを変更させるステップを含んでもよい。
メディアガイドアプリケーションは、ユーザが、ユーザプロファイル情報を提供することを可能にしてもよく、またはユーザプロファイル情報を自動的にコンパイルしてもよい。メディアガイドアプリケーションは、例えば、ユーザがアクセスするコンテンツ、および/またはユーザがガイドアプリケーションと行ってもよい他の相互作用を監視してもよい。加えて、メディアガイドアプリケーションは、特定のユーザに関連する他のユーザプロファイルの全体または一部を取得し(例えば、www.allrovi.com等のユーザがアクセスするインターネット上の他のウェブサイトから、ユーザがアクセスする他のメディアガイドアプリケーションから、ユーザがアクセスする他の双方向アプリケーションから、ユーザの別のユーザ機器デバイスから等)、および/またはメディアガイドアプリケーションがアクセスし得る他のソースから、ユーザに関する情報を取得してもよい。結果として、ユーザの異なるユーザ機器デバイスにわたって、統一されたガイドアプリケーション体験をユーザに提供することができる。このタイプのユーザ体験は、図9に関連して、以下でより詳細に説明される。付加的な個人化されたメディアガイドアプリケーション特徴は、2005年7月11日出願のEllisらの米国特許出願公開第2005/0251827号、2007年1月16日発行のBoyerらの米国特許第7,165,098号、および2002年2月21日出願のEllisらの米国特許出願公開第2002/0174430号でさらに詳細に説明されており、それらは全体として参照することにより本明細書に組み込まれる。
メディアガイドを提供するための別の表示配列が、図7に示されている。ビデオモザイク表示500は、コンテンツのタイプ、ジャンル、および/または他の編成基準に基づいて編成されたコンテンツ情報のための選択可能オプション502を含む。表示500では、テレビ一覧オプション504が、選択され、したがって、一覧506、508、510、および512を放送番組一覧として提供する。表示500では、一覧は、カバーアート、コンテンツからの静止画像、ビデオクリップのプレビュー、コンテンツからのライブビデオ、または一覧中のメディアガイドデータによって記述されているコンテンツをユーザに示す他のタイプのコンテンツを含む、グラフィック画像を提供してもよい。グラフィック一覧のそれぞれはまた、一覧と関連付けられたコンテンツに関するさらなる情報を提供するように、テキストを伴ってもよい。例えば、一覧508は、メディア部分514およびテキスト部分516を含む、1つより多くの部分を含んでもよい。メディア部分514および/またはテキスト部分516は、コンテンツをフル画面で視聴するように、またはメディア部分514に表示されるコンテンツに関連する情報を閲覧するように(例えば、ビデオが表示されるチャンネルの一覧を閲覧するように)、選択可能であってもよい。
表示500中の一覧は、異なるサイズである(すなわち、一覧506は、一覧508、510、および512より大きい)が、所望の場合、全一覧が同一のサイズであってもよい。一覧は、コンテンツプロバイダの所望に応じて、またはユーザ選好に基づいて、ユーザに関心の程度を示すように、または、あるコンテンツを強調するように、異なるサイズであるか、またはグラフィックが強調されてもよい。コンテンツ一覧をグラフィック的に強調するための種々のシステムおよび方法は、例えば、全体として参照することにより本明細書に組み込まれる、2009年11月12日に出願されたYatesの米国特許出願公開第2010/0153885号で議論されている。
ユーザは、そのユーザ機器デバイスのうちの1つまたはそれを上回るものから、コンテンツ、メディアガイドアプリケーション(ならびに前述および後述で説明されるその表示画面)にアクセスしてもよい(例えば、ヘッドアップディスプレイ102または頭部搭載型ディスプレイ301)。図8は、例証的ユーザ機器デバイス600の汎用実施形態を示す。ユーザ機器デバイスのより具体的な実装は、図9に関連して以下で議論される。ユーザ機器デバイス600は、入出力(以下「I/O」)パス602を介して、コンテンツおよびデータを受信してもよい。I/Oパス602は、処理回路606および記憶装置608を含む制御回路604に、コンテンツ(例えば、放送番組、オンデマンド番組、インターネットコンテンツ、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を経由して利用可能なコンテンツ、および/または他のコンテンツ)およびデータを提供してもよい。制御回路604は、I/Oパス602を使用して、コマンド、要求、および他の好適なデータを送受信するために使用されてもよい。I/Oパス602は、制御回路604(具体的には、処理回路606)を1つまたはそれを上回る通信パス(以下で説明される)に接続してもよい。I/O機能は、これらの通信パスのうちの1つまたはそれを上回るものによって提供されてもよいが、図面が複雑になり過ぎることを回避するため、図8では単一パスとして示されている。
制御回路604は、処理回路606等の任意の好適な処理回路に基づいてもよい。本明細書で参照されるように、処理回路とは、1つまたはそれを上回るマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味すると理解され、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含んでもよい。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core
i5プロセッサおよびIntel Core i7プロセッサ)にわたって分散されてもよい。いくつかの実施形態では、制御回路604は、メモリ(すなわち、記憶装置608)内に記憶されるアプリケーションのための命令を実行する。具体的には、制御回路604は、アプリケーションによって、前述および後述の機能を行うように命令されてもよい。例えば、アプリケーションは、制御回路604に、表示を生成するための命令を提供してもよい。いくつかの実装では、制御回路604によって行われるいかなるアクションも、メディアガイドアプリケーションから受信した命令に基づいてもよい。
クライアントサーバに基づく実施形態では、制御回路604は、ガイドアプリケーションサーバもしくは他のネットワークまたはサーバと通信するための好適な通信回路を含んでもよい。前述の機能性を実施するための命令は、ガイドアプリケーションサーバ上に記憶されてもよい。通信回路は、ケーブルモデム、総合デジタル通信網(ISDN)モデム、デジタルサブスクライバ回線(DSL)モデム、電話モデム、イーサネット(登録商標)カード、または他の機器との通信用無線モデム、または任意の他の好適な通信回路を含んでもよい。そのような通信は、インターネットもしくは任意の他の好適な通信ネットワークまたはパスを伴ってもよい(図9に関連してさらに詳細に説明される)。加えて、通信回路は、ユーザ機器デバイスのピアツーピア通信、または相互から遠隔の場所にあるユーザ機器デバイスの通信を可能にする回路を含んでもよい(以下でさらに詳細に説明される)。
メモリは、制御回路604の一部である、記憶装置608として提供される、電子記憶デバイスであってもよい。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」とは、ランダム-アクセスメモリ、読取専用メモリ、ハードドライブ、光学ドライブ、デジタルビデオディスク(DVD)レコーダ、コンパクトディスク(CD)レコーダ、BLU-RAY(登録商標)ディスク(BD)レコーダ、BLU-RAY(登録商標) 3Dディスクレコーダ、デジタルビデオレコーダ(DVR、時として、パーソナルビデオレコーダと呼ばれる場合もある、またはPVR)、固体デバイス、量子記憶デバイス、ゲームコンソール、ゲームメディア、もしくは任意の他の好適な固定またはリムーバブル記憶デバイス、および/または任意のそれらの組み合わせ等の電子データ、コンピュータソフトウェア、またはファームウェアを記憶するための任意のデバイスを意味すると理解されたい。記憶装置608は、本明細書に説明される種々のタイプのコンテンツ、ならびに前述のメディアガイドデータを記憶するために使用されてもよい。不揮発性メモリもまた、使用されてもよい(例えば、ブートアップルーチンや他の命令を起動するために)。図9に関連して説明される、クラウドベースの記憶装置が、記憶装置608を補完するために使用される、または記憶装置608の代わりに使用されてもよい。
制御回路604は、1つまたはそれを上回るアナログチューナ、1つまたはそれを上回るMPEG-2デコーダ、または他のデジタルデコード回路、高解像度チューナ、または任意の他の好適な同調もしくはビデオ回路、もしくはそのような回路の組み合わせ等のビデオ生成回路および同調回路を含んでもよい。エンコード回路(例えば、記憶のために、無線、アナログ、またはデジタル信号をMPEG信号に変換するためのもの)もまた、提供されてもよい。制御回路604はまた、コンテンツをユーザ機器600の好ましい出力形式に上方変換および下方変換するためのスケーリング回路を含んでもよい。回路604はまた、デジタルおよびアナログ信号間で変換するためのデジタルからアナログへの変換回路ならびにアナログからデジタルへの変換回路を含んでもよい。同調およびエンコード回路は、コンテンツを受信して表示する、再生する、または録画するために、ユーザ機器デバイスによって使用されてもよい。同調およびエンコード回路はまた、ガイドデータを受信するために使用されてもよい。例えば、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、およびアナログ/デジタル回路を含む、本明細書に説明される回路は、1つまたはそれを上回る汎用または特殊プロセッサ上で起動するソフトウェアを使用して実装されてもよい。複数のチューナが、同時同調機能に対処するように提供されてもよい(例えば、視聴および録画機能、ピクチャインピクチャ(PIP)機能、多重チューナ録画機能等)。記憶装置608が、ユーザ機器600とは別のデバイスとして提供される場合、同調およびエンコード回路(複数のチューナを含む)は、記憶装置608と関連付けられてもよい。
ユーザは、ユーザ入力インターフェース610を使用して、命令を制御回路604に送信してもよい。ユーザ入力インターフェース610は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチ画面、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等、任意の好適なユーザインターフェースであってもよい。ディスプレイ612は、独立型デバイスとして提供されるか、またはユーザ機器デバイス600の他の要素と統合してもよい。例えば、ディスプレイ612は、タッチスクリーンまたはタッチセンサ式表示であってもよい。そのような状況では、ユーザ入力インターフェース610は、ディスプレイ612と統合される、または組み合わせられてもよい。ディスプレイ312は、モニタ、テレビ、モバイルデバイスのための液晶ディスプレイ(LCD)、非晶質シリコンディスプレイ、低温ポリシリコンディスプレイ、電子インクディスプレイ、電気泳動ディスプレイ、アクティブマトリクスディスプレイ、エレクトロウェッティングディスプレイ、電気流体ディスプレイ、ブラウン管ディスプレイ、発光ダイオードディスプレイ、エレクトロルミネセントディスプレイ、プラズマ表示パネル、高性能アドレッシングディスプレイ、薄膜トランジスタディスプレイ、有機発光ダイオードディスプレイ、表面伝導型電子放出素子ディスプレイ(SED)、レーザテレビ、カーボンナノチューブ、量子ドットディスプレイ、干渉変調器ディスプレイ、または視覚的画像を表示するための任意の他の好適な機器のうちの1つまたはそれを上回るものであってもよい。いくつかの実施形態では、ディスプレイ612は、HDTV対応型であってもよい。いくつかの実施形態では、ディスプレイ612は、3D表示であってもよく、双方向メディアガイドアプリケーションおよび任意の好適なコンテンツは、3Dで表示されてもよい。ビデオカードまたはグラフィックカードは、出力をディスプレイ612に生成してもよい。ビデオカードは、3Dシーンおよび2Dグラフィックのレンダリング加速、MPEG-2/MPEG-4デコード、TV出力、または複数のモニタを接続する能力等の種々の機能をもたらしてもよい。ビデオカードは、制御回路604に関連する前述の任意の処理回路であってもよい。ビデオカードは、制御回路604と統合されてもよい。スピーカ614は、ユーザ機器デバイス600の他の要素との統合として提供されてもよく、または独立型ユニットであってもよい。ディスプレイ612上に表示されるビデオおよび他のコンテンツのオーディオコンポーネントは、スピーカ614を通して再生されてもよい。いくつかの実施形態では、音声は、スピーカ614を介して音声を処理および出力する、受信機(図示せず)に配信されてもよい。
ガイドアプリケーションは、任意の好適なアーキテクチャを使用して実装されてもよい。例えば、それは、ユーザ機器デバイス600上で完全に実装される、独立型アプリケーションであってもよい。そのようなアプローチでは、アプリケーションの命令は、ローカルに記憶され(例えば、記憶装置608内)、アプリケーションによって使用するためのデータは、周期的にダウンロードされる(例えば、帯域外フィードから、インターネットリソースから、または別の好適なアプローチを使用して)。制御回路604は、記憶装置608からアプリケーションの命令を読み出し、本明細書で議論される表示のいずれかを生成するための命令を処理してもよい。処理された命令に基づいて、制御回路604は、入力が入力インターフェース610から受信されるときに行うアクションを判定してもよい。例えば、表示上のカーソルの上/下への移動は、入力インターフェース610が上/下ボタンが選択されたことを示すとき、処理された命令によって示されてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、クライアントサーバベースのアプリケーションである。ユーザ機器デバイス600上に実装される、シックまたはシンクライアントによって使用するためのデータは、ユーザ機器デバイス600の遠隔にあるサーバに要求を発行することによって、オンデマンドで読み出される。クライアントサーバベースのガイドアプリケーションの一実施例では、制御回路604は、遠隔サーバによって提供されるウェブページを解釈する、ウェブブラウザを実行する。例えば、遠隔サーバは、記憶デバイス内にアプリケーションのための命令を記憶してもよい。遠隔サーバは、回路(例えば、制御回路604)を使用して、記憶された命令を処理し、前述および後述の表示を生成してもよい。クライアントデバイスは、遠隔サーバによって生成される表示を受信してもよく、表示のコンテンツを機器デバイス600上でローカルに表示してもよい。このように、命令の処理は、サーバによって遠隔で行われる一方、結果として生じる表示は、機器デバイス600上にローカルに提供される。機器デバイス600は、入力インターフェース610を介して、ユーザからの入力を受信し、対応する表示を処理および生成するために、それらの入力を遠隔サーバに伝送してもよい。例えば、機器デバイス600は、上/下ボタンが入力インターフェース610を介して選択されたことを示す、通信を遠隔サーバに伝送してもよい。遠隔サーバは、その入力に従って命令を処理し、入力に対応するアプリケーションの表示を生成してもよい(例えば、カーソルを上/下に移動させる表示)。生成された表示は、次いで、ユーザへの提示のために、機器デバイス600に伝送される。
いくつかの実施形態では、メディアガイドアプリケーションは、インタープリタまたは仮想マシン(制御回路604によって起動される)によって、ダウンロードされ、解釈または別様に起動される。いくつかの実施形態では、ガイドアプリケーションは、ETVバイナリ交換形式(ETV Binary Interchange Format/EBIF)でエンコードされ、好適なフィードの一部として制御回路604によって受信され、制御回路604上で起動するユーザエージェントによって解釈されてもよい。例えば、ガイドアプリケーションは、EBIFアプリケーションであってもよい。いくつかの実施形態では、ガイドアプリケーションは、制御回路604によって実行されるローカル仮想マシンまたは他の好適なミドルウェアによって受信および起動される、一連のJAVA(登録商標)ベースのファイルによって定義されてもよい。そのような実施形態のうちのいくつか(例えば、MPEG-2または他のデジタルメディアエンコードスキームを採用するもの)では、ガイドアプリケーションは、例えば、番組のMPEGオーディオおよびビデオパケットを用いたMPEG-2オブジェクトカルーセルにおいてエンコードおよび伝送されてもよい。
制御回路604は、検出モジュール616を含む。検出モジュール616は、図10-12に関連してさらに詳細に議論されるであろう。
図8のユーザ機器デバイス600は、図9のシステム700では、ユーザテレビ機器702、ユーザコンピュータ機器704、無線ユーザ通信デバイス706、ヘッドアップディスプレイ(例えば、頭部搭載型301)または非携帯型ゲーム機等のコンテンツにアクセスするために好適な任意の他のタイプのユーザ機器として実装することができる。簡単にするために、これらのデバイスは、本明細書では総称して、ユーザ機器またはユーザ機器デバイスと称されてもよく、前述のユーザ機器デバイスに実質的に類似してもよい。メディアガイドアプリケーションが実装され得る、ユーザ機器デバイスは、独立型デバイスとして機能してもよく、またはデバイスのネットワークの一部であってもよい。デバイスの種々のネットワーク構成が実装されてもよく、以下でさらに詳細に議論される。
図8に関連して前述のシステム特徴のうちの少なくともいくつかを利用する、ユーザ機器デバイスは、単に、ユーザテレビ機器702、ユーザコンピュータ機器704、または無線ユーザ通信デバイス706として分類されなくてもよい。例えば、ユーザテレビ機器702は、いくつかのユーザコンピュータ機器704のように、インターネットコンテンツへアクセスすることを可能にするインターネット対応型であってもよい一方で、ユーザコンピュータ機器704は、いくつかのテレビ機器702のように、テレビ番組へアクセスすることを可能にするチューナを含んでもよい。メディアガイドアプリケーションはまた、種々の異なるタイプのユーザ機器上で同一レイアウトを有してもよく、またはユーザ機器の表示能力に合わせられてもよい。例えば、ユーザコンピュータ機器704上では、ガイドアプリケーションは、ウェブブラウザによってアクセスされるウェブサイトとして提供されてもよい。別の実施例では、ガイドアプリケーションは、無線ユーザ通信デバイス706用に縮小されてもよい。
システム700では、典型的には、各タイプのユーザ機器デバイスが1つを上回って存在するが、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが図9に示されている。加えて、各ユーザは、1つを上回るタイプのユーザ機器デバイスと、また、各タイプのユーザ機器デバイスのうちの1つを上回るものとを利用してもよい。
いくつかの実施形態では、ユーザ機器デバイス(例えば、ユーザテレビ機器702、ユーザコンピュータ機器704、無線ユーザ通信デバイス706)は、「第2の画面デバイス」と称されてもよい。例えば、第2の画面デバイスは、第1のユーザ機器デバイス上に提示されるコンテンツを補完してもよい。第2の画面デバイス上に提示されるコンテンツは、第1のデバイス上に提示されるコンテンツを補完する、任意の好適なコンテンツであってもよい。いくつかの実施形態では、第2の画面デバイスは、第1のデバイスの設定および表示選好を調節するためのインターフェースを提供する。いくつかの実施形態では、第2の画面デバイスは、他の第2の画面デバイスと相互作用する、またはソーシャルネットワークと相互作用するために構成される。第2の画面デバイスは、第1のデバイスと同一の部屋内に、第1のデバイスと異なる部屋であるが同一の家または建物内に、もしくは第1のデバイスと異なる建物内に位置することができる。
ユーザはまた、家庭内デバイスおよび遠隔デバイスにわたって一貫したメディアガイドアプリケーション設定を維持するように、種々の設定を設定してもよい。設定は、本明細書に説明される設定、ならびにお気に入りのチャンネルおよび番組、番組を推奨するためにガイドアプリケーションが利用する番組選好、表示選好、および他の望ましいガイド設定を含む。例えば、ユーザが、オフィスのパソコンで、例えば、ウェブサイトwww.allrovi.comの上で、チャンネルをお気に入りとして設定した場合、所望に応じて、同一のチャンネルが、ユーザの家庭内デバイス(例えば、ユーザテレビ機器およびユーザコンピュータ機器)、ならびにユーザのモバイルデバイス上でお気に入りとして表示されるであろう。したがって、同一タイプのユーザ機器デバイスであるかまたは異なるタイプのユーザ機器デバイスであるかにかかわらず、1つのユーザ機器デバイス上で行われる変更は、別のユーザ機器デバイス上のガイド体験を変更することができる。加えて、行われる変更は、ユーザによる設定入力、ならびにガイドアプリケーションによって監視されるユーザ活動に基づいてもよい。
ユーザ機器デバイスは、通信ネットワーク714に結合されてもよい。すなわち、ユーザテレビ機器702、ユーザコンピュータ機器704、および無線ユーザ通信デバイス706は、それぞれ、通信パス708、710、および712を介して、通信ネットワーク714に結合される。通信ネットワーク714は、インターネット、携帯電話ネットワーク、モバイルボイスまたはデータネットワーク(例えば、4GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、もしくは通信ネットワークの組み合わせを含む、1つまたはそれを上回るネットワークであってもよい。パス708、710、712、および712は、別個または一緒に、衛星パス、光ファイバパス、ケーブルパス、インターネット通信をサポートするパス(例えば、IPTV)、フリースペース接続(例えば、放送または他の無線信号用)、もしくは任意の他の好適な有線または無線通信パス、もしくはそのようなパスの組み合わせ等、1つまたはそれを上回る通信パスを含んでもよい。パス712は、図9に示された例示的実施形態において、無線パスであることを示すように破線で描かれ、パス708および710は、有線パスであることを示すように実線で描かれている(しかし、これらのパスは、所望に応じて、無線パスであってもよい)。ユーザ機器デバイスとの通信は、これらの通信パスのうちの1つまたはそれを上回るものによって提供されてもよいが、図9では、図面が複雑になり過ぎることを回避するように、単一パスとして示されている。
通信パスは、ユーザ機器デバイスの間には描かれていないが、これらのデバイスは、パス708、710、および712に関連して上記で説明されるもの、ならびにUSBケーブル、IEEE1394ケーブル、無線パス(例えば、Bluetooth(登録商標)、赤外線、IEEE802-11x等)等の他の短距離ポイントツーポイント通信パス、もしくは有線または無線パスを介した他の短距離通信等の通信パスを介して、相互に直接通信してもよい。BLUETOOTH(登録商標)は、Bluetooth(登録商標)
SIG, INC.によって所有される認証マークである。ユーザ機器デバイスはまた、通信ネットワーク714を介した間接的パスを通して、直接相互に通信してもよい。
システム700は、それぞれ、通信パス720および722を介して、通信ネットワーク714に結合される、コンテンツソース716およびメディアガイドデータソース718を含む。パス720および722は、パス708、710、および712に関して上記で説明される通信パスのうちのいずれかを含んでもよい。コンテンツソース716およびメディアガイドデータソース718との通信は、1つまたはそれを上回る通信パスを介して交信されてもよいが、図9では、図面が複雑になり過ぎることを回避するように、単一パスとして示されている。加えて、コンテンツソース716およびメディアガイドデータソース718のそれぞれが1つを上回ってあってもよいが、図9では、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが示されている。(これらのソースのそれぞれの異なるタイプを以下で議論する)。所望に応じて、コンテンツソース716およびメディアガイドデータソース718は、1つのソースデバイスとして統合されてもよい。ソース716および718と、ユーザ機器デバイス702、704、および706との間の通信は、通信ネットワーク714を通したものとして示されているが、いくつかの実施形態では、ソース716および718は、パス708、710、および712に関連して上記で説明されるもの等の通信パス(図示せず)を介して、ユーザ機器デバイス702、704、および706と直接通信してもよい。
コンテンツソース716は、テレビ配信施設、ケーブルシステムヘッドエンド、衛星配信施設、番組ソース(例えば、NBC、ABC、HBO等のテレビ放送会社)、中間配信施設および/またはサーバ、インターネットプロバイダ、オンデマンドメディアサーバ、および他のコンテンツプロバイダを含む、1つまたはそれを上回るタイプのコンテンツ配信機器を含んでもよい。NBCは、National Broadcasting Company, Inc.によって所有される商標であり、ABCは、American Broadcasting Company, INC.によって所有される商標であり、HBOは、Home Box Office, Inc.によって所有される商標である。コンテンツソース716は、コンテンツの発信元であってもよく(例えば、テレビ放送会社、ウェブキャストプロバイダ等)、またはコンテンツの発信元でなくてもよい(例えば、オンデマンドコンテンツプロバイダ、ダウンロード用放送番組のコンテンツのインターネットプロバイダ等)。コンテンツソース716は、ケーブルソース、衛星プロバイダ、オンデマンドプロバイダ、インターネットプロバイダ、オーバーザトップコンテンツプロバイダ、または他のコンテンツのプロバイダを含んでもよい。コンテンツソース716はまた、ユーザ機器デバイスのうちのいずれかから遠隔の場所にある、異なるタイプのコンテンツ(ユーザによって選択されるビデオコンテンツを含む)を記憶するために使用される、遠隔メディアサーバを含んでもよい。コンテンツの遠隔記憶のため、および遠隔に記憶されたコンテンツをユーザ機器に提供するためのシステムおよび方法は、全体として参照することにより本明細書に組み込まれる、2010年7月20日出願のEllisらの米国特許出願第7,761,892号に関連して、さらに詳細に議論されている。
メディアガイドデータソース718は、前述のメディアガイドデータ等のメディアガイドデータを提供してもよい。メディアガイドデータは、任意の好適なアプローチを使用して、ユーザ機器デバイスに提供されてもよい。いくつかの実施形態では、ガイドアプリケーションは、データフィード(例えば、継続フィードまたはトリクルフィード)を介して、番組ガイドデータを受信する、独立型双方向テレビ番組ガイドであってもよい。番組スケジューリングデータおよび他のガイドデータは、テレビチャンネルのサイドバンド上で、帯域内デジタル信号を使用して、帯域外デジタル信号を使用して、または任意の他の好適なデータ伝送技術によって、ユーザ機器に提供されてもよい。番組スケジューリングデータおよび他のメディアガイドデータは、複数のアナログまたはデジタルテレビチャンネル上でユーザ機器に提供されてもよい。
いくつかの実施形態では、メディアガイドデータソース718からのガイドデータは、クライアントサーバアプローチを使用して、ユーザの機器に提供されてもよい。例えば、ユーザ機器デバイスは、メディアガイドデータをサーバからプルしてもよく、またはサーバは、メディアガイドデータをユーザ機器デバイスにプッシュしてもよい。いくつかの実施形態では、ユーザの機器上に常駐するガイドアプリケーションクライアントは、必要に応じて、例えば、ガイドデータが、古くなっているとき、またはユーザ機器デバイスが、データを受信する要求をユーザから受信するとき、ソース718とセッションを開始し、ガイドデータを取得してもよい。メディアガイドは、任意の好適な頻度で(例えば、継続的に、毎日、ユーザ指定期間で、システム指定期間で、ユーザ機器からの要求に応答して等)ユーザ機器に提供されてもよい。メディアガイドデータソース718は、ユーザ機器デバイス702、704、および706に、メディアガイドアプリケーション自体、またはメディアガイドアプリケーションのソフトウェア更新を提供してもよい。
いくつかの実施形態では、メディアガイドデータは、視聴者データを含んでもよい。例えば、視聴者データは、現在および/または履歴ユーザアクティビティ情報(例えば、ユーザが典型的に見るコンテンツ、ユーザがコンテンツを見る時刻、ユーザがソーシャルネットワークと相互作用するかどうか、ユーザがソーシャルネットワークと相互作用し、情報をポストする時間、ユーザが典型的に見るコンテンツのタイプ(例えば、有料TVまたは無料TV)、気分、脳の活動情報等)を含んでもよい。メディアガイドデータはまた、サブスクリプションデータを含んでもよい。例えば、サブスクリプションデータは、所与のユーザがサブスクライブするソースまたはサービスおよび/または所与のユーザが以前にサブスクライブしていたが、後にアクセスを打ち切ったソースまたはサービスを識別してもよい(例えば、ユーザがプレミアムチャンネルにサブスクライブしているかどうか、ユーザがプレミアムレベルのサービスを追加したかどうか、ユーザがインターネット速度を加速させたかどうか)。いくつかの実施形態では、視聴者データおよび/またはサブスクリプションデータは、1年を上回る期間の間の所与のユーザのパターンを識別してもよい。メディアガイドデータは、所与のユーザがサービス/ソースへのアクセスを打ち切るであろう可能性を示すスコアを生成するために使用される、モデル(例えば、残存者モデル)を含んでもよい。例えば、メディアガイドアプリケーションは、サブスクリプションデータと、所与のユーザが特定のサービスまたはソースへのアクセスを打ち切るであろうかどうかの可能性を示す、値またはスコアを生成するためのモデルを併用して、視聴者データを処理してもよい。特に、より高いスコアは、ユーザが特定のサービスまたはソースへのアクセスを打ち切るであろう、より高いレベルの信頼性を示し得る。スコアに基づいて、メディアガイドアプリケーションは、ユーザがアクセスを打ち切る可能性が高いであろうものとしてスコアによって示される特定のサービスまたはソースをユーザが維持するように勧誘する宣伝および広告を生成してもよい。
メディアガイドアプリケーションは、例えば、ユーザ機器デバイス上に実装される独立型アプリケーションであってもよい。例えば、メディアガイドアプリケーションは、記憶装置608内に記憶され、ユーザ機器デバイス600の制御回路604によって実行され得る、ソフトウェアまたは実行可能命令のセットとして実装されてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、クライアント-サーバアプリケーションであってもよく、その場合、クライアントアプリケーションのみ、ユーザ機器デバイス上に常駐し、サーバアプリケーションは、遠隔サーバ上に常駐する。例えば、メディアガイドアプリケーションは、部分的に、ユーザ機器デバイス600の制御回路604上のクライアントアプリケーションとして、および部分的に遠隔サーバ上で、遠隔サーバの制御回路上で起動するサーバアプリケーションとして(例えば、メディアガイドデータソース718)、実装されてもよい。遠隔サーバの制御回路(メディアガイドデータソース718等)によって実行されると、メディアガイドアプリケーションは、制御回路に、ガイドアプリケーション表示を生成し、生成された表示をユーザ機器デバイスに伝送するように命令してもよい。サーバアプリケーションは、メディアガイドデータソース718の制御回路に、ユーザ機器上での記憶のためのデータを伝送するように命令してもよい。クライアントアプリケーションは、受信用ユーザ機器の制御回路に、ガイドアプリケーション表示を生成するように命令してもよい。
ユーザ機器デバイス702、704、および706に配信されるコンテンツならびに/またはメディアガイドデータは、オーバーザトップ(OTT)コンテンツであってもよい。OTTコンテンツ配信は、前述の任意のユーザ機器デバイスを含む、インターネット対応型ユーザデバイスが、ケーブルまたは衛星接続を経由して受信されるコンテンツに加え、前述の任意のコンテンツを含む、インターネットを経由して転送されるコンテンツを受信することを可能にする。OTTコンテンツは、インターネットサービスプロバイダ(ISP)によって提供されるインターネット接続を介して配信されるが、第三者も、コンテンツを配信する。ISPは、視聴能力、著作権、またはコンテンツの再配信に関与していなくてもよく、OTTコンテンツプロバイダによって提供されるIPパケットのみ転送してもよい。OTTコンテンツプロバイダの実施例として、IPパケットを介して、オーディオおよびビデオを提供する、YOUTUBE(登録商標)、NETFLIX、およびHULUが挙げられる。Youtubeは、Google Inc.によって所有される商標であり、Netflixは、Netflix, Inc.によって所有される商標であり、Huluは、Hulu, LLC.によって所有される商標である。OTTコンテンツプロバイダは、加えて、または代替として、前述のメディアガイドデータを提供してもよい。コンテンツおよび/またはメディアガイドデータに加え、OTTコンテンツのプロバイダは、メディアガイドアプリケーション(例えば、ウェブベースのアプリケーションまたはクラウドベースのアプリケーション)を配信することができ、またはコンテンツは、ユーザ機器デバイス上に記憶されるメディアガイドアプリケーションによって表示されることができる。
メディアガイドシステム700は、いくつかのアプローチまたはネットワーク構成を例証することを意図しており、これによって、ユーザ機器デバイスならびにコンテンツおよびガイドデータのソースは、コンテンツにアクセスし、メディアガイドを提供する目的で、相互に通信してもよい。本明細書に説明される実施形態は、これらのアプローチの任意の1つまたは一部において、もしくはコンテンツを配信し、メディアガイドを提供するための他のアプローチを採用するシステムにおいて、適用されてもよい。以下の4つのアプローチは、図9の汎用実施例の具体的例証を提供する。
あるアプローチでは、ユーザ機器デバイスは、ホームネットワーク内で相互に通信してもよい。ユーザ機器デバイスは、上記で説明される短距離ポイントツーポイント通信方式を介して、ホームネットワーク上に提供されるハブまたは他の類似デバイスを通した間接パスを介して、もしくは通信ネットワーク714を介して、直接相互に通信することができる。1つの家庭内の複数の個人のそれぞれが、ホームネットワーク上の異なるユーザ機器デバイスを操作してもよい。結果として、種々のメディアガイド情報または設定が、異なるユーザ機器デバイス間で伝達されることが望ましくてもよい。例えば、2005年7月11日出願のEllisらの米国特許公開第2005/0251827号でさらに詳細に説明されているように、ホームネットワーク内の異なるユーザ機器デバイス上で、ユーザが一貫したメディアガイドアプリケーション設定を維持することが望ましくてもよい。ホームネットワーク内の異なるタイプのユーザ機器デバイスがまた、相互に通信し、コンテンツを伝送してもよい。例えば、ユーザは、ユーザコンピュータ機器から携帯用ビデオプレーヤまたは携帯用音楽プレーヤにコンテンツを伝送してもよい。
第2のアプローチでは、ユーザは、複数のタイプのユーザ機器を有してもよく、これによって、コンテンツにアクセスし、メディアガイドを取得する。例えば、一部のユーザは、家庭内およびモバイルデバイスによってアクセスされる、ホームネットワークを有してもよい。ユーザは、遠隔デバイス上に実装されるメディアガイドアプリケーションを介して、家庭内デバイスを制御してもよい。例えば、ユーザは、オフィスのパーソナルコンピュータ、もしくはPDAまたはウェブ対応携帯電話等のモバイルデバイスを介して、ウェブサイト上のオンラインメディアガイドアプリケーションにアクセスしてもよい。ユーザは、オンラインガイドアプリケーション上で種々の設定(例えば、録画、リマインダ、または他の設定)を設定して、ユーザの家庭内機器を制御してもよい。オンラインガイドは、直接、またはユーザの家庭内機器上のメディアガイドアプリケーションと通信することによって、ユーザの機器を制御してもよい。ユーザ機器デバイスが相互から遠隔の場所にある、ユーザ機器デバイスの通信のための種々のシステムおよび方法は、例えば、その全体を参照することにより本明細書に組み込まれる、Ellisらの2011年10月25日発行の米国特許第8,046,801号で議論されている。
第3のアプローチでは、家庭内外のユーザ機器デバイスのユーザは、コンテンツソース716と直接通信し、コンテンツにアクセスするために、そのメディアガイドアプリケーションを使用することができる。具体的には、家庭内では、ユーザテレビ機器702およびユーザコンピュータ機器704のユーザは、メディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定してもよい。ユーザはまた、無線ユーザ通信デバイス706を使用して、家庭外のメディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定してもよい。
第4のアプローチでは、ユーザ機器デバイスは、クラウドコンピューティング環境内で操作し、クラウドサービスにアクセスしてもよい。クラウドコンピューティング環境では、コンテンツ共有、記憶、または配信のための種々のタイプのコンピューティングサービス(例えば、ビデオ共有サイトまたはソーシャルネットワーキングサイト)が、「クラウド」と称される、ネットワーク-アクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、クラウドは、ネットワークを介して接続される、種々のタイプのユーザおよびデバイスにクラウドベースのサービス、例えば、通信ネットワーク714を介したインターネットを提供する、中央または分散場所に位置し得る、サーバコンピューティングデバイスの集合を含むことができる。これらのクラウドリソースは、1つまたはそれを上回るコンテンツソース716および1つまたはそれを上回るメディアガイドデータソース718を含んでもよい。加えて、または代替として、遠隔コンピューティングサイトは、ユーザテレビ機器702、ユーザコンピュータ機器704、および無線ユーザ通信デバイス706等の他のユーザ機器デバイスを含んでもよい。例えば、他のユーザ機器デバイスは、ビデオの記憶されたコピーまたはストリーミングされたビデオへのアクセスを提供してもよい。そのような実施形態では、ユーザ機器デバイスは、中心サーバと通信せずに、ピアツーピア様式で操作してもよい。
クラウドは、ユーザ機器デバイスのために、他の実施例の中でもとりわけ、コンテンツ記憶、コンテンツ共有、またはソーシャルネットワーキングサービス等のサービスへのアクセス、ならびに前述の任意のコンテンツへのアクセスを提供する。サービスは、クラウドコンピューティングサービスプロバイダを通して、またはオンラインサービスの他のプロバイダを通して、クラウド内で提供されることができる。例えば、クラウドベースのサービスは、コンテンツ記憶サービス、コンテンツ共有サイト、ソーシャルネットワーキングサイト、または他のサービスを含むことができ、それを介して、ユーザ供給コンテンツは、接続されたデバイス上の他者によって視聴するために配信される。これらのクラウドベースのサービスは、ユーザ機器デバイスが、コンテンツをローカルに記憶し、ローカルに記憶されたコンテンツにアクセスするのではなく、コンテンツをクラウドに記憶し、コンテンツをクラウドから受信することを可能にしてもよい。
ユーザは、カムコーダ、ビデオモード付きデジタルカメラ、オーディオレコーダ、携帯電話、およびハンドヘルドコンピューティングデバイス等の種々のコンテンツ捕捉デバイスを使用して、コンテンツを録画してもよい。ユーザは、直接、例えば、ユーザコンピュータ機器704から、またはコンテンツ捕捉特徴を有する、無線ユーザ通信デバイス706からのいずれかにおいて、クラウド上のコンテンツ記憶サービスにコンテンツをアップロードすることができる。代替として、ユーザは、最初に、コンテンツをユーザコンピュータ機器704等のユーザ機器デバイスに転送することができる。コンテンツを記憶するユーザ機器デバイスは、通信ネットワーク714上のデータ伝送サービスを使用して、コンテンツをクラウドにアップロードする。いくつかの実施形態では、ユーザ機器デバイス自体が、クラウドリソースであって、他のユーザ機器デバイスが、直接、ユーザがコンテンツを記憶したユーザ機器デバイスから、コンテンツにアクセスすることができる。
クラウドリソースは、例えば、ウェブブラウザ、メディアガイドアプリケーション、デスクトップアプリケーション、モバイルアプリケーション、および/またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ユーザ機器デバイスによってアクセスされてもよい。ユーザ機器デバイスは、アプリケーション配信のために、クラウドコンピューティングに依拠する、クラウドクライアントであってもよく、またはユーザ機器デバイスは、クラウドリソースにアクセスせずに、いくつかの機能性を有してもよい。例えば、ユーザ機器デバイス上で起動するいくつかのアプリケーションは、クラウドアプリケーション、すなわち、インターネットを経由して、サービスとして配信されるアプリケーションであってもよい一方、他のアプリケーションは、ユーザ機器デバイス上に記憶され、起動されてもよい。いくつかの実施形態では、ユーザデバイスは、コンテンツを複数のクラウドリソースから同時に受信してもよい。例えば、ユーザデバイスは、オーディオを1つのクラウドリソースからストリーミングする一方、コンテンツを第2のクラウドリソースからダウンロードすることができる。または、ユーザデバイスは、より効率的ダウンロードのために、コンテンツを複数のクラウドリソースからダウンロードすることができる。いくつかの実施形態では、ユーザ機器デバイスは、図8に関連して説明される処理回路によって行われる処理操作等の処理操作のために、クラウドリソースを使用することができる。
本明細書で参照されるように、用語「~に応答して」は、「~の結果として開始される」ことを指す。例えば、第2のアクションに応答して行われている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含んでもよい。本明細書で参照されるように、用語「~に直接応答して」は、「~によって引き起こされる」ことを指す。例えば、第2のアクションに直接応答して行われている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含まなくてもよい。
図10は、本開示のいくつかの実施形態による、アクセスされ得る、検出モジュール616の1つのコンポーネントの例証的実施例である。図10は、ユーザ808の視線位置の中心を識別するために使用され得る、視線点検出コンポーネント800を示す。
視線点検出コンポーネント800は、プロセッサ802と、光源804と、光学センサ806とを含む。光源804は、ユーザ808の少なくとも片眼に到達する、光を伝送し、光学センサ806は、ユーザ808に指向され、反射された光を感知する。光学センサ806は、収集されたデータをプロセッサ802に伝送し、光学センサ806から受信されたデータに基づいて、プロセッサ802は、ユーザ808の視線点を判定する。
プロセッサ802は、1つまたはそれを上回る光源804および1つまたはそれを上回る光学センサ806と単一デバイス内で統合されてもよい。加えて、または代替として、1つの光源804は、光をユーザ808の両眼に伝送してもよい。加えて、または代替として、1つの光源804は、光をユーザ808の片眼に伝送してもよく、別の光源804は、光をユーザ808の他眼に伝送してもよい。加えて、または代替として、1つまたはそれを上回る光源804および1つまたはそれを上回る光学センサ806は、プロセッサ802と別個に格納され、プロセッサ802と無線または有線通信してもよい。プロセッサ802、光源804、および光学センサ806のうちの1つまたはそれを上回るものは、ユーザ機器デバイス600の中に統合されてもよい。
プロセッサ802は、上記に説明される処理回路606に類似してもよい。いくつかの実施形態では、プロセッサ802は、処理回路606であってもよく、処理回路606は、光源804および光学センサ806と通信する。他の実施形態では、プロセッサ802は、処理回路606と別個であるが、随意に、それと通信してもよい。
光源804は、光を1人またはそれを上回るユーザの一方または両方の眼に伝送する。光源804は、例えば、赤外線(IR)光、近赤外線光、または可視光を放出してもよい。光源804によって放出される光は、コリメートまたは非コリメートされてもよい。光は、ユーザの眼内で反射され、例えば、角膜の外側表面からの反射(すなわち、第1のプルキンエ像)、角膜の内側表面からの反射(すなわち、第2のプルキンエ像)、水晶体の外側(前方)表面からの反射(すなわち、第3のプルキンエ像)、および/または水晶体の内側(後方)表面からの反射(すなわち、第4のプルキンエ像)を形成する。
光学センサ806は、1人またはそれを上回るユーザの眼の一方または両方の画像または一連の画像等の視覚的情報を収集する。光学センサ806は、収集された画像をプロセッサ802に伝送し、これは、受信された画像を処理し、1人またはそれを上回るユーザの一方または両方の眼の閃光の場所(すなわち、角膜反射)および/または他の反射を検出する。プロセッサ802はまた、1人またはそれを上回るユーザの一方または両方の眼の瞳孔の場所を判定してもよい。眼毎に、プロセッサ802は、瞳孔の場所と閃光および/または他の反射の場所を比較し、各眼の視線点を判定してもよい。プロセッサ802はまた、ディスプレイ612に対する1つまたはそれを上回る光源804の場所および/または1つまたはそれを上回る光学センサ806の場所を記述する情報を記憶する、または得てもよい。本情報を使用して、プロセッサ802は、ディスプレイ612に対するユーザ808の各眼の視線点を判定してもよい。プロセッサ802は、ユーザ808の各眼の視線点間の中央点を計算し、ユーザ808の視線位置の中心を判定してもよい。プロセッサ802は、ユーザ808の現在の視線位置の中心と以前に記憶された(例えば、記憶装置608内に)ユーザ808の視線位置の中心を比較し、ユーザ808の視線の中心が移動したことを判定してもよい。
いくつかの実施形態では、視線点検出コンポーネント800は、ユーザの頭部の位置が固定または比較的に安定している場合、最良に機能する。他の実施形態では、視線点検出コンポーネント800は、ユーザの頭部移動を考慮するように構成され、これは、ユーザの頭部が特定の位置に固定される場合よりユーザの自然な視認体験を可能にする。
ユーザの頭部移動を考慮する、いくつかの実施形態では、視線点検出コンポーネント800は、2つまたはそれを上回る光学センサ806を含む。例えば、2つのカメラは、ユーザの片眼または両眼の3D位置を得るための立体視システムを形成するように配列されてもよい。これは、プロセッサ802が、ユーザの視線点を判定するとき、頭部移動を補償することを可能にする。2つまたはそれを上回る光学センサ806は、単一ユニットの一部であってもよい、または別個のユニットであってもよい。例えば、ユーザ機器デバイス600は、光学センサ806として使用される2つのカメラを含んでもよい、またはユーザ機器デバイス600と通信する視線点検出コンポーネント800は、2つの光学センサ806を含んでもよい。他の実施形態では、ユーザ機器デバイス600および視線点検出コンポーネント800はそれぞれ、光学センサを含んでもよく、プロセッサ802は、画像データをユーザ機器デバイス600の光学センサおよび視線点検出コンポーネント800の光学センサから受信する。プロセッサ802は、ディスプレイ612および/または相互に対する光学センサ806の場所を識別するデータを受信し、視線点を判定するとき、本情報を使用してもよい。
ユーザの頭部移動を考慮する、他の実施形態では、視線点検出コンポーネント800は、複数の閃光を生成するための2つまたはそれを上回る光源を含む。例えば、2つの光源804は、閃光を眼の異なる場所に作成してもよい。2つの閃光に関する情報を有することは、プロセッサが、ユーザの眼または複数の眼の3D位置を判定することを可能にし、プロセッサ802が、頭部移動を補償することを可能にする。プロセッサ802はまた、ディスプレイ612および/または相互に対する光源804の場所を識別するデータを受信し、視線点を判定するとき、本情報を使用してもよい。
いくつかの実施形態では、視線点検出コンポーネント800は、ユーザの視力障害を考慮するように構成される。例えば、ユーザ808の片眼が失明している場合、視線点検出コンポーネント800は、光をその眼に伝送せず、その眼上の視線の中心のその判定に基づかなくてもよい。例えば、ユーザ808の左眼が失明している場合、視線の中心は、右眼の視線点であると判定されてもよい。別の実施例として、ユーザ808が、弱視を有する場合、視線点検出コンポーネント800は、光をその眼に伝送せず、その眼上の視線の中心のその判定に基づかなくてもよい。別の実施例として、ユーザ808は、弱視の左眼を有し、ユーザの左眼808の移動が検出される場合、視線点検出コンポーネント800は、その移動を無視するように構成されてもよい。
いくつかの実施形態では、光源を利用しない、他のタイプの視線点検出コンポーネントが、使用されてもよい。例えば、光学センサ806およびプロセッサ802は、網膜血管またはユーザの眼の内側もしくは表面上の他の特徴等、ユーザの眼の他の特徴を追跡し、眼が回転するにつれて、これらの特徴に追従してもよい。前述されていない、1人またはそれを上回るユーザの視線点を判定するための任意の他の機器または方法が、視線点検出コンポーネント800の前述の実施形態に加え、またはその代わりに、使用されてもよい。
視線点検出コンポーネント800は、検出モジュール616の中に組み込まれる、またはそれによってアクセス可能であり得る、1つのタイプのコンポーネントにすぎないことに留意されたい。他のタイプのデータ(例えば、ビデオ、オーディオ、テキスト等)を生成し得る、他のタイプのコンポーネントも、完全に本開示の境界内にある。
図11は、本開示のいくつかの実施形態による、アクセスされ得る、検出モジュール616の1つのコンポーネントの別の例証的実施例である。図11は、ユーザ908の頭部の移動を検出するために使用され得る、頭部移動検出コンポーネント900を示す。頭部移動検出コンポーネント900は、プロセッサ902と、加速度計904とを含む。加速度計904は、ユーザの頭部に物理的に結合される。例えば、ユーザ機器デバイス600が、ユーザ908の頭部に物理的に結合される頭部搭載型ディスプレイ(例えば、図5の頭部搭載型ディスプレイ301)である場合、加速度計904は、頭部搭載型ディスプレイ内に含まれてもよい。加速度計904は、1次元、2次元、または3次元におけるその独自の加速を検出可能であってもよい。加速度計904は、容量加速度計、圧電加速度計、微小電気機械(MEMS)加速度計、または任意の他のタイプの加速度計であってもよい。
プロセッサ902は、1つまたはそれを上回る加速度計904と単一デバイス内で統合されてもよい。加えて、または代替として、1つまたはそれを上回る加速度計904は、プロセッサ902と別個に格納され、プロセッサ902と無線または有線通信してもよい。プロセッサ902および加速度計904のうちの1つまたはそれを上回るものは、ユーザ機器デバイス600の中に統合されてもよい。
プロセッサ902は、上記に説明される処理回路606に類似してもよい。いくつかの実施形態では、プロセッサ902は、処理回路606であってもよく、処理回路606は、加速度計904と通信する。他の実施形態では、プロセッサ902は、処理回路906と別個であるが、随意に、それと通信してもよい。
ユーザの頭部が、ある方向に移動または回転する場合、加速度計904は、加速を検出し、ユーザの頭部がその方向にある時間量にわたって加速していることの出力をプロセッサ902に伝送するであろう。加えて、加速度計904は、ユーザの頭部がある加速大きさを伴って加速していることの出力をプロセッサ902に伝送してもよい。
プロセッサ902は、ディスプレイ612に対する1つまたはそれを上回る加速度計904の場所を記述する情報を記憶する、または得てもよい。本情報ならびに加速度計904から受信されたユーザの頭部の加速の方向、持続時間、および大きさについての情報を使用して、プロセッサ902は、ディスプレイ612に対するユーザ908の頭部の新しい位置を判定してもよい。プロセッサ902は、ユーザ908の眼に対する1つまたはそれを上回る加速度計904の場所を記述する情報を記憶する、または得てもよい。ユーザ908が真っすぐに見ていると仮定すると、プロセッサ902は、本情報ならびにユーザ908の頭部の新しい位置についての情報を使用して、ユーザ908の視線の中心が、移動したことを検出し、ユーザ908の新しい視線位置の中心を判定してもよい。
加速度計904は、上向き、前方、および下向きに連続したユーザの頭部の移動を検出することによって、ユーザの歩みを検出するように構成されてもよい。いくつかの実施形態では、加速度計904は、較正データを使用して、ユーザの歩みを検出するように構成される。そのような実施形態では、ユーザは、歩みを行ってもよく、加速度計904は、歩みの間の加速方向、大きさ、およびタイミング等度のパラメータを保存してもよい。これらのパラメータに実質的に合致する将来的移動は、加速度計904によって歩みとして識別され得る。
加速度計904は、プロセッサ902に、歩みの検出に応答して、ユーザが歩みを行ったことを出力してもよい。プロセッサ902は、加速度計904の出力に基づいて、ユーザが全身移動を行ったことを判定してもよい。いくつかの実施形態では、第1の歩みの検出に応答して、制御回路604は、図3-4に関連して説明されるように、表示のために、付加的コンテンツ(例えば、付加的コンテンツ222)をユーザの視野の前景領域に対応する仮想現実環境(例えば、仮想現実環境104)の部分に生成する。いくつかの実施形態では、第2の歩みの検出に応答して、制御回路604は、付加的コンテンツのサイズを拡大する。いくつかの実施形態では、第2の歩みの検出に応答して、制御回路604は、主要コンテンツの不透明度を減少させるステップおよび付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行う。これらの特徴は、例えば、ユーザが、全身移動を行う間、付加的コンテンツにより多く合焦し、主要コンテンツにあまり合焦しないことを所望する場合、有益であり得る。
加速度計904が、ユーザ908の頭部の実質的加速を検出しない場合、加速度計904は、プロセッサ902に、ユーザが実質的に定常であることを出力してもよい。いくつかの実装では、ユーザが実質的に定常であることの検出に応答して、制御回路604は、表示のために、付加的コンテンツをユーザの視野の前景領域ではないディスプレイの部分に生成する。
頭部移動検出コンポーネント900は、検出モジュール616の中に組み込まれる、またはそれによってアクセス可能であり得る、1つのタイプのコンポーネントにすぎないことに留意されたい。他のタイプのデータ(例えば、ビデオ、オーディオ、テキスト等)を生成し得る、他のタイプのコンポーネントも、完全に本開示の境界内である。
図12は、本開示のいくつかの実施形態による、アクセスされ得る、検出モジュール616の1つのコンポーネントの別の例証的実施例である。図12は、ユーザの物理的周囲のビデオの変化を検出することによって、ユーザ1008の移動を検出するために使用され得る、移動検出コンポーネント1000を示す。移動検出コンポーネント1000は、プロセッサ1002と、カメラ1004とを含む。カメラ1004は、ユーザ1008に物理的に結合される。例えば、カメラ1004は、ユーザ1008の頭部に結合されてもよい。カメラ1004は、頭部搭載型ディスプレイ(例えば、カメラ317)内に含まれる携帯電話のカメラであってもよい。
カメラ1004は、ユーザの物理的周囲の画像品質および/またはビデオを捕捉し、捕捉された画像/ビデオを比較し、ユーザの移動を検出するように構成される。例えば、図12に図示されるように、カメラ1004は、ユーザの物理的周囲のビデオ内のフレーム1006を捕捉し、次いで、ユーザの物理的周囲のビデオ内のフレーム1008を捕捉する。プロセッサ1002は、フレーム1006とフレーム1008を比較し、ユーザの物理的周囲のビデオの変化を検出するように構成される。図12では、プロセッサ1002は、ユーザ1008が右に移動したことを判定するであろう。本判定に応答して、プロセッサ1002は、ユーザの視線の中心が変化したことを判定してもよい。加えて、または代替として、本判定に応答して、プロセッサ1002は、ユーザが全身移動を行っていることを判定してもよい。
いくつかの実施形態では、ユーザの物理的周囲の出来事(例えば、別の人物がユーザが位置する部屋の中に入って来る、別の人物がユーザが位置する家のドアをノックしている、何らかの危険がユーザの近傍で生じている等)が、検出されてもよい。例えば、移動検出コンポーネント1000は、ユーザの物理的周囲のビデオの複数のフレームを捕捉し、複数のフレームを比較し、変化を検出することによって、ユーザの物理的周囲内の出来事を検出するように構成されてもよい。ユーザの物理的周囲内の出来事の検出に応答して、ユーザ入力インターフェース610は、ユーザに、出来事に関する情報を提示してもよい。例えば、ユーザ入力インターフェース610は、スピーカ614を通して、出来事を示す音を出力してもよい、またはユーザ入力インターフェース610は、ディスプレイ612上に、出来事を示すテキストを出力してもよい。出来事のインジケーションは、ユーザに出来事を知らせる陳述、例えば、「誰かが部屋の中に入って来ました」と述べる、テキストまたは音であってもよい。いくつかの実施形態では、ユーザ入力インターフェース610は、ユーザに、出来事に反応するオプションを提示するように構成される(例えば、スピーカ614またはディスプレイ612を通して)。例えば、出来事が、ドアのノックである場合、ユーザ入力インターフェース610は、ユーザに、ドアを自動的に開放するオプションを提示してもよい。ユーザは、音声、キーボード上のタイプ、または任意の他の入力手段を通して、オプションに応答してもよい。いくつかの実施形態では、制御回路604は、ユーザに、付加的情報(例えば、付加的情報122または222)を提示し、ユーザが出来事に反応することを補助するように構成される。例えば、制御回路604は、表示のために、出来事のビデオを含む、付加的情報を生成してもよい。例えば、出来事が、ドアのノックである場合、付加的情報は、ドアの前に居る人物のビデオであってもよい。いくつかの実施形態では、付加的情報は、表示のために、ユーザの視野の前景領域に対応する仮想現実環境(例えば、仮想現実環境104または204)の部分に生成され、したがって、ユーザに付加的情報が容易に見える。いくつかの実施形態では、付加的情報は、出来事の前に表示のために生成された付加的情報に取って代わる。
いくつかの実施形態では、ユーザの物理的周囲内の出来事は、1つまたはそれを上回るセンサ(例えば、音センサ、温度センサ等)によって検出される。例えば、温度センサは、部屋内の増加した熱を検出することによって、ユーザが位置する部屋の中に入って来る人物を検出してもよい。1つまたはそれを上回るセンサが、ユーザ機器デバイス600の中に統合されてもよい、またはユーザ機器デバイス600の外部にあってもよく、その場合、1つまたはそれを上回るセンサ600は、例えば、無線ネットワークを経由して、感知された情報をユーザ機器デバイス600に伝送するように構成される。
いくつかの実施形態では、制御回路604は、ユーザの視線の中心の移動に応答して、視野(例えば、第2の視野126)を判定するように構成される。いくつかの実施形態では、制御回路604は、ユーザの新しい視線の中心を判定する(例えば、視線点検出コンポーネント800または頭部移動検出コンポーネント900を使用して)。ユーザの視野は、新しい視線の中心の左右に対して第1の度数内、視線の中心の上方に第2の度数内、および視線の中心の下方に第3の度数内の領域を包含する。
いくつかの実施形態では、第1の度数は、95度に等しいかまたはそれを上回り、例えば、95度、100度、105度、110度、115度、120度、>120度、または任意の好適な度数である。いくつかの実施形態では、第1の度数は、95度未満であり、例えば、90度、85度、80度、75度、70度、<70度、または任意の好適な度数である。いくつかの実施形態では、第2の度数は、60度に等しいかまたはそれを上回り、例えば、65度、70度、75度、80度、85度、>85度、または任意の好適な度数である。いくつかの実施形態では、第2の度数は、60度未満であり、例えば、55度、50度、45度、40度、<40度、または任意の好適な度数である。いくつかの実施形態では、第3の度数は、70度に等しいかまたはそれを上回り、例えば、75度、80度、85度、90度、>90度、または任意の好適な度数である。いくつかの実施形態では、第3の度数は、70度未満であり、例えば、65度、60度、55度、<55度、または任意の好適な度数である。
いくつかの実施形態では、制御回路604は、視野の少なくとも1つの前景領域と、視野の少なくとも1つの周辺領域とを判定するように構成される。制御回路604は、ユーザの視線の中心の左右に対して第4の度数内、ユーザの視線の中心の上方に第5の度数内、およびユーザの視線の中心の上方に第6の度数内の前景領域を判定してもよい。第4、第5、および第6の数は、それぞれ、第1、第2、および第3の数より小さくてもよい。いくつかの実施形態では、第4、第5、および第6の度数は、18度に等しいかまたはそれを上回り、例えば、20度、25度、30度、35度、>35度、または任意の好適な度数である。いくつかの実施形態では、第4、第5、および第6の度数は、18度未満であり、例えば、15度、10度、5度、<5度、または任意の好適な度数である。
いくつかの実装では、制御回路604は、ユーザの視野、前景領域、および/または周辺領域を判定する際、ユーザの視力障害を考慮するように構成される。例えば、ユーザの片眼が、失明している、片眼に視力障害を有する場合、制御回路604は、障害のない眼のある度数内にのみ延在するように、視野、前景領域、および周辺領域を判定してもよい。別の実施例として、ユーザの周辺視に障害がある場合、制御回路604は、障害のある周辺視を伴わないユーザより小さいユーザの周辺領域を判定してもよい。制御回路604は、各ユーザに特有のパラメータを使用して、各ユーザの視野、前景領域、および周辺領域を判定してもよい。例えば、制御回路604は、視野、前景領域、および周辺領域を判定する際、ユーザの眼内の盲点を考慮してもよい。
いくつかの実装では、ユーザ入力インターフェース610は、入力をユーザから受信するように構成され、入力に応答して、制御回路604は、表示のために、付加的コンテンツをユーザの視野の前景領域に対応する仮想現実環境の部分に生成するように構成される。例えば、図2では、ユーザからの入力の受信に応じて、制御回路604は、表示のために、付加的コンテンツ122を第2の視野126の前景領域130に対応する仮想現実環境104の部分(例えば、第2の部分110)に生成してもよい。ユーザ入力は、遠隔制御、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または任意の他のユーザ入力インターフェースを介した入力等、任意のタイプの入力であってもよい。例えば、ユーザ入力は、「さらにコンテンツを見せて」と述べるユーザの発言または類似陳述から成ってもよい。本特徴は、例えば、ユーザが、ユーザの視野の前景領域における付加的コンテンツが容易に見えることを所望し、付加的コンテンツが主要コンテンツのユーザの視認に干渉することを懸念しない場合、有益であり得る。
いくつかの実装では、ユーザ機器デバイス600はさらに、タイマから成る。タイマは、その間にユーザの視線の中心が実質的に移動されなかった、ユーザの視線の中心の移動後の期間を測定するように構成されてもよい。例えば、ユーザの視線の中心の移動後、タイマは、その間にユーザの視線の中心が1mm、5mm、1cm、10cm、100cm、>100cm、または任意の他の好適な距離を上回って移動されなかった時間を測定するように構成されてもよい。制御回路604はさらに、期間と閾値期間を比較するように構成されてもよい。例えば、閾値期間は、1ミリ秒、10ミリ秒、100ミリ秒、1秒、5秒、10秒、>10秒、または任意の好適な期間であってもよい。タイマによって測定された期間が閾値期間を上回ることの判定に応答して、制御回路604は、表示のために、付加的コンテンツ(例えば、付加的コンテンツ122)をユーザの視野の周辺領域(例えば、第2の視野126の周辺領域132)に対応する仮想現実環境(例えば、仮想現実環境104)の部分(例えば、第2の部分110)に生成するように構成されてもよい。タイマによって測定された期間が閾値期間未満であることの判定に応答して、制御回路604は、付加的コンテンツの位置を変化させないように構成されてもよい。ユーザの視線の中心の移動後、その間にユーザの視線の中心が実質的に移動されなかった期間を測定することは、制御回路604が、ユーザの視線の中心が急速に移動している場合、付加的コンテンツを移動させないことを可能にする。例えば、ユーザの視線の中心が急速に移動している場合、付加的コンテンツもまた、視線の中心の高速移動に応答して、急速に移動する場合、ユーザを混乱させ、および/または気を逸らし得る。別の実施例として、ユーザは、付加的コンテンツを短期間(例えば、1ミリ秒、10ミリ秒、100ミリ秒、1秒、5秒、10秒、>10秒等)にわたって主視で見て、次いで、仮想現実環境上の主要コンテンツに戻ることを所望し得る。例えば、付加的コンテンツが、ユーザの物理的周囲のビデオを示す場合、ユーザは、近傍の子供等の物理的周囲内の何らかのものを迅速にチェックし、次いで、主要コンテンツ上に再び合焦することを所望し得る。そのような状況では、ユーザの視線の中心が付加的コンテンツを見るために移動し、次いで、主要コンテンツに迅速に戻るとき、付加的コンテンツが、移動するのではなく、定位置に留まることが有用であり得る。
いくつかの実施形態では、付加的コンテンツが、表示のために、ユーザの視野の周辺領域に対応する仮想現実環境の部分に生成されると、付加的コンテンツは、表示のために、仮想現実環境によって示される主要コンテンツより低い画像品質および/またはビデオ品質(例えば、より低い分解能、フレームレート等)で生成される。これは、仮想現実環境を示す、ヘッドアップディスプレイ(例えば、ヘッドアップディスプレイ102)の電力、メモリ、帯域幅等を節約することに役立ち得る。加えて、表示のために、より低い画像品質および/またはビデオ品質で付加的コンテンツを生成することは、ユーザが、ユーザの視野の周辺領域内で視認される高品質および低品質の画像および/またはビデオ間を区別不可能であり得るため、ユーザの視認体験に有害となり得ない。ユーザの視線の中心が、付加的コンテンツがユーザの視野の前景領域に対応する場所にあるよううに、短期間にわたって、付加的コンテンツを見るために移動すると、付加的コンテンツの画像品質および/またはビデオ品質は、増加され得る。ユーザは、ユーザの視野の前景領域内で視認される高品質および低品質画像および/またはビデオ間を区別可能となり得る。表示のために、付加的コンテンツをより高い画像品質および/またはビデオ品質で生成することによって、付加的コンテンツのユーザの視認が(例えば、ユーザが付加的コンテンツの低品質バージョンを視認する必要があることによって)損なわれないことを確実にされる。ユーザの視線の中心が、付加的コンテンツから主要コンテンツに戻ると、付加的コンテンツの画像品質および/またはビデオ品質は、再び、減少されてもよい。
いくつかの実装では、ユーザ入力インターフェース610は、入力をユーザから受信するように構成され、入力に応答して、制御回路604は、付加的コンテンツをヘッドアップディスプレイから除去するように構成される。例えば、図4では、入力に応答して、制御回路604は、付加的コンテンツ222をヘッドアップディスプレイ222から除去してもよい。ユーザ入力は、遠隔制御、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または任意の他のユーザ入力インターフェースを介した入力等、任意のタイプの入力であってもよい。例えば、ユーザ入力は、「さらにコンテンツを除去して」と述べるユーザの発言または類似陳述から成ってもよい。本特徴は、例えば、ユーザが、全身移動を行う際、付加的コンテンツからの補助を要求せず、付加的コンテンツからの干渉なく、ヘッドアップディスプレイ上のコンテンツを視認することを好む場合、有益であり得る。いくつかの実装では、入力に応答して、制御回路604は、付加的コンテンツをユーザの視野の周辺領域に対応する仮想現実環境の部分に移動させてもよい。
いくつかの実装では、ユーザ入力インターフェース610は、ユーザに、ヘッドアップディスプレイ上に表示されている主要コンテンツの再生を停止するオプションを提示するように構成される。オプションは、ディスプレイまたはスピーカを介した出力等、任意のタイプの出力であってもよい。例えば、オプションは、「ビデオの再生を停止しますか?」と述べるディスプレイ上のテキストまたは類似陳述から成ってもよい。本特徴は、例えば、ユーザが、全身移動を行うことに集中することを所望し、ヘッドアップディスプレイ上に表示されているコンテンツを見逃したくない場合、有益であり得る。したがって、特徴は、例えば、ユーザに、メディアアセットまたは任意の他のタイプのコンテンツの再生を一時停止し、次いで、いったんユーザが全身移動を完了すると、再生を再開するオプションを提供する。主要コンテンツの再生は、いったんユーザが全身移動を完了したことが検出されると、自動的に再開してもよい、またはユーザ入力インターフェース610は、ユーザに、主要コンテンツの再生を再開する別のオプションを提示してもよい。
図13は、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するための例証的ステップのフローチャートである。
主要コンテンツは、ユーザの主焦点のオブジェクトであることが意図される、任意のコンテンツであってもよい。例えば、主要コンテンツは、映画、テレビ番組、ビデオゲーム、または仮想現実世界等のメディアアセットであってもよい。別の実施例として、主要コンテンツは、メディアガイド画面であってもよい。
付加的コンテンツは、主要コンテンツではない、任意のコンテンツであってもよい。付加的コンテンツは、主要コンテンツに関連しない、または主要コンテンツに関連してもよい。例えば、付加的コンテンツは、ユーザの物理的周囲のビデオ、株価情報、スポーツスコア情報、ニュース情報、気象情報、時計、またはイベントのスケジュールであってもよい。
仮想現実環境は、非物理的コンテンツが物質的外観を有するようにユーザに現れるようにユーザに表示される、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザが位置する世界であるようにユーザに現れる、仮想世界(例えば、ゲーム内の仮想世界)であってもよい。別の実施例として、仮想現実環境は、物理的世界上に重畳されるようにユーザに現れる、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザに自身の車のフロントガラス(または任意の他の透明表面)を通して見えるものの上に重畳される、スピードメータディスプレイ(または任意の他のディスプレイ)であってもよい。別の実施例として、仮想現実環境は、メディアアセットのディスプレイがユーザの視野を完全に包含するようにユーザに提示される、メディアアセット(例えば、テレビ番組または映画)であってもよい。
ヘッドアップディスプレイは、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、非物理的コンテンツをユーザに表示することが可能な任意のディスプレイであってもよい。例えば、ヘッドアップディスプレイは、ユーザの眼を完全に被覆する、頭部搭載型ディスプレイであってもよい。頭部搭載型ディスプレイは、眼鏡、双眼鏡、ヘルメット等として構成されてもよい。別の実施例として、ヘッドアップディスプレイは、ユーザにヘッドアップディスプレイを通して見える物理的世界のビュー上に非物理的コンテンツを重畳する、ディスプレイ(例えば、フロントガラスまたは眼鏡と統合されるディスプレイ)であってもよい。別の実施例として、ヘッドアップディスプレイは、ユーザが位置する部屋であってもよく、部屋は、ディスプレイ画面内に被覆される。
プロセス1100またはその任意のステップは、図8-12に示されるデバイスのいずれか上で生じる、またはそれによって提供され得ることに留意されたい。例えば、プロセス1100は、制御回路604(図8)によって実行されてもよい。
ステップ1102では、第1の主要コンテンツが、表示のために、ヘッドアップディスプレイ内の仮想現実環境の第1の部分に生成される。第1の部分は、ユーザの第1の視野の前景領域に対応する。
第1の主要コンテンツは、主要コンテンツの任意の部分であってもよい。第1の主要コンテンツは、主要コンテンツのサブセットであってもよい。例えば、第1の主要コンテンツは、メディアアセット内の1つまたはそれを上回るオブジェクトまたは文字であってもよい。別の実施例として、第1の主要コンテンツは、仮想世界内の特定の領域であってもよい。別の実施例として、第1の主要コンテンツは、メディアガイド画面の特定の部分であってもよい。
仮想現実環境の第1の部分は、仮想現実環境の任意の部分であってもよい。第1の部分は、仮想現実環境のサブセットであってもよい。第1の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第1の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
ユーザの視野は、ユーザが特定の位置に居るときにユーザに見える任意のものであってもよい。例えば、視野は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、ユーザの視野は、ユーザの視線の中心の左右に対して第1の度数内、視線の中心の上方に第2の度数内、および視線の中心の下方に第3の度数内の領域を包含してもよい。例えば、第1の度数は、95度に等しいかまたはそれを上回ってもよく、例えば、95度、100度、105度、110度、115度、120度、>120度、または任意の好適な度数であってもよい。代替として、第1の度数は、95度未満であってもよく、例えば、90度、85度、80度、75度、70度、<70度、または任意の好適な度数であってもよい。例えば、第2の度数は、60度に等しいかまたはそれを上回ってもよく、例えば、65度、70度、75度、80度、85度、>85度、または任意の好適な度数であってもよい。代替として、第2の度数は、60度未満であってもよく、例えば、55度、50度、45度、40度、<40度、または任意の好適な度数であってもよい。例えば、第3の度数は、70度に等しいかまたはそれを上回ってもよく、例えば、75度、80度、85度、90度、>90度、または任意の好適な度数であってもよい。代替として、第3の度数は、70度未満であってもよく、例えば、65度、60度、55度、<55度、または任意の好適な度数であってもよい。視野は、ユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。ユーザの視野は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ユーザの視野の前景領域は、正視でユーザに見えるユーザの視野の任意の部分であってもよい。前景領域は、視野のサブセットを包含してもよい。前景領域は、実質的にユーザの視野の中心にある視野の領域を包含してもよい。前景領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、前景領域は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、前景領域は、ユーザの視線の中心の左右に対して第4の度数内、ユーザの視線の中心の上方に第5の度数内、およびユーザの視線の中心の下方に第6の度数内にあってもよい。例えば、第4、第5、および第6の度数は、18度に等しいかまたはそれを上回ってもよく、例えば、20度、25度、30度、35度、>35度、または任意の好適な度数であってもよい。代替として、第4、第5、および第6の度数は、18度未満であってもよく、例えば、15度、10度、5度、<5度、または任意の好適な度数であってもよい。前景領域は、主視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。前景領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ステップ1104では、第2の主要コンテンツおよび付加的コンテンツが、表示のために、ヘッドアップディスプレイ内の仮想現実環境の第2の部分に生成される。第2の部分は、ユーザの第1の視野の周辺領域に対応する。
仮想現実環境の第2の部分は、仮想現実環境の任意の部分であってもよい。第2の部分は、仮想現実環境のサブセットであってもよい。第2の部分は、第1の部分と異なってもよい。第2の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第2の部分は、仮想現実環境の境界または角の近傍にあってもよいかまたはそこにあってもよい。第2の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
第2の主要コンテンツは、主要コンテンツの任意の部分であってもよい。第2の主要コンテンツは、主要コンテンツのサブセットであってもよい。例えば、第2の主要コンテンツは、メディアアセット内の1つまたはそれを上回るオブジェクトまたは文字であってもよい。別の実施例として、第2の主要コンテンツは、仮想世界内の特定の領域であってもよい。別の実施例として、第2の主要コンテンツは、メディアガイド画面の特定の部分であってもよい。
ユーザの視野の周辺領域は、周辺視でユーザに見えるユーザの視野の任意の部分であってもよい。周辺領域は、実質的にユーザの視野の縁にある領域であってもよい。周辺領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、周辺視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、周辺領域は、前景領域ではない視野の任意の部分であってもよい。例えば、周辺領域は、視野の外側境界のある度数内の視野の領域を包含してもよい。周辺領域は、周辺視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。周辺領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ステップ1106では、ユーザの視線の中心の移動が、検出される。視線の中心は、ユーザの視線が実質的に集束される、ユーザの視野の任意の領域であってもよい。視線の中心は、ユーザに見えるものの中心部分であってもよい。視線の中心は、ユーザの各眼の視線点間の中央点であってもよい。片眼に視力障害を伴うユーザでは、視線の中心は、障害のない眼の視線点であってもよい。視線の中心の移動は、光を使用して、ユーザの各眼の視線点を検出することによって、検出されてもよい。視線の中心の移動は、ユーザの頭部の移動を検出することによって、検出されてもよい。視線の中心の移動は、ユーザに物理的に結合されるカメラを用いた捕捉に伴うユーザの物理的周囲のビデオの変化を検出することによって、検出されてもよい。
ステップ1108では、ユーザの第2の視野が、ユーザの視線の中心の移動に基づいて、判定される。例えば、制御回路は、新しい視線の中心を判定することによって、第2の視野を判定してもよい。例えば、制御回路は、ユーザの頭部の移動を検出することによって、第2の視野を判定してもよい。
ステップ1110では、第2の部分が、第2の視野の前景領域に対応することが判定される。例えば、第2の部分は、第1の視野の角に対応するが、第2の視野の中心に対応してもよい。
ステップ1112では、第2の部分が第2の視野の前景領域に対応することの判定に応答して、付加的コンテンツが、表示のために、仮想現実環境の第3の部分に生成され、第3の部分は、第2の視野の周辺領域に対応する。仮想現実環境の第3の部分は、仮想現実環境の任意の部分であってもよい。第3の部分は、仮想現実環境のサブセットであってもよい。第3の部分は、第1および第2の部分と異なってもよい。第3の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第3の部分は、仮想現実環境の境界または角の近傍にあってもよいかまたはそこにあってもよい。第3の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
いくつかの実施形態では、視線の中心の移動を検出するステップは、ユーザの視線の中心を検出するステップを含む。ある実施形態では、ユーザの視線の中心を検出するステップは、光をユーザの各眼に伝送するステップと、ユーザの各眼の画像を収集するステップと、各画像内において、ユーザの眼の中の反射の場所を検出するステップと、ユーザの各瞳孔の場所を判定するステップと、各瞳孔の場所と各反射の場所を比較するステップと、各瞳孔の場所と各反射の場所の比較に基づいて、ユーザの各眼の視線点を判定するステップと、ユーザの各眼の視線点間の中央点を判定することによって、視線の中心を判定するステップとを含む。
ある実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、加速度計を含み、ユーザの視線の中心の移動を検出するステップは、加速度計によって、ユーザの頭部の加速を検出するステップを含む。
いくつかの実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、ユーザの物理的周囲のビデオをディスプレイにフィードするカメラを含み、表示のために、付加的コンテンツを生成するステップは、表示のために、ユーザの物理的周囲のビデオを生成するステップを含む。
ある実施形態では、表示のために、付加的コンテンツを生成するステップは、表示のために、付加的コンテンツをピクチャインピクチャとして生成するステップを含む。
いくつかの実施形態では、視線の中心の移動に基づくユーザの第2の視野を判定するステップは、視線の中心の移動に基づいて、新しい視線の中心を判定するステップと、新しい視線の中心の左右に対して第1の度数内、新しい視線の中心の上方に第2の度数内、および新しい視線の中心の下方に第3の度数内にある領域を判定するステップとを含む。
ある実施形態では、第2の部分が第2の視野の前景領域に対応することを判定するステップは、第2の視野の前景領域を判定するステップを含み、第2の視野の前景領域を判定するステップは、新しい視線の中心の左右に対して第4の度数内、新しい視線の上方に第5の度数内、および新しい視線の下方に第6の度数内の領域を判定するステップを含み、第4の数は、第1の数より小さく、第5の数は、第2の数より小さく、第6の数は、第3の数より小さい。
いくつかの実施形態では、プロセスはさらに、入力をユーザから受信するステップと、入力に応答して、表示のために、付加的コンテンツを第2の視野の前景領域に対応する仮想現実環境の部分に生成するステップとを含む。
ある実施形態では、表示のために、付加的コンテンツを生成するステップは、その間にユーザの視線の中心が実質的に移動されなかった、ユーザの視線の中心の移動後の期間を測定するステップと、期間が閾値期間を上回ることを判定するステップと、期間が閾値期間を上回ることの判定に応答して、表示のために、付加的コンテンツを生成するステップとを含む。
図14は、ヘッドアップディスプレイ上のコンテンツの視認に干渉せず、ユーザがヘッドアップディスプレイ上の仮想現実環境を視認しながら、全身移動を行うことを可能にするための例証的ステップのフローチャートである。仮想現実環境は、非物理的コンテンツが物質的外観を有するようにユーザに現れるようにユーザに表示される、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザが位置する世界であるようにユーザに現れる、仮想世界(例えば、ゲーム内の仮想世界)であってもよい。別の実施例として、仮想現実環境は、物理的世界上に重畳されるようにユーザに現れる、非物理的コンテンツであってもよい。例えば、仮想現実環境は、ユーザに自身の車のフロントガラス(または任意の他の透明表面)を通して見えるものの上に重畳される、スピードメータディスプレイ(または任意の他のディスプレイ)であってもよい。別の実施例として、仮想現実環境は、メディアアセットのディスプレイがユーザの視野を完全に包含するようにユーザに提示される、メディアアセット(例えば、テレビ番組または映画)であってもよい。
ヘッドアップディスプレイは、非物理的コンテンツが物質的外観を有するようにユーザに現れるように、非物理的コンテンツをユーザに表示することが可能な任意のディスプレイであってもよい。例えば、ヘッドアップディスプレイは、ユーザの眼を完全に被覆する、頭部搭載型ディスプレイであってもよい。頭部搭載型ディスプレイは、眼鏡、双眼鏡、ヘルメット等として構成されてもよい。別の実施例として、ヘッドアップディスプレイは、ユーザにヘッドアップディスプレイを通して見える物理的世界のビュー上に非物理的コンテンツを重畳する、ディスプレイ(例えば、フロントガラスまたは眼鏡と統合されるディスプレイ)であってもよい。別の実施例として、ヘッドアップディスプレイは、ユーザが位置する部屋であってもよく、部屋は、ディスプレイ画面内に被覆される。
全身移動は、ユーザの身体全体の実質的部分の移動を要求する、ユーザによる任意の物理的移動であってもよい。例えば、全身移動は、歩行、ジャンプ、起立、着座、その身体の回転等であってもよい。
プロセス1200またはその任意のステップは、図8-12に示されるデバイスのいずれか上で生じる、またはそれによって提供され得ることに留意されたい。例えば、プロセス1200は、制御回路604(図8)によって実行されてもよい。
ステップ1202では、主要コンテンツが、表示のために、ヘッドアップディスプレイ内の仮想現実環境の第1の部分に生成される。第1の部分は、ユーザの視野の前景領域に対応する。
仮想現実環境の第1の部分は、仮想現実環境の任意の部分であってもよい。第1の部分は、仮想現実環境のサブセットであってもよい。第1の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第1の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
主要コンテンツは、ユーザの主焦点のオブジェクトであることが意図される、コンテンツであってもよい。例えば、主要コンテンツは、映画、テレビ番組、ビデオゲーム、または仮想現実世界等のメディアアセットであってもよい。別の実施例として、主要コンテンツは、メディアガイド画面であってもよい。
ユーザの視野は、ユーザが特定の位置に居るときにユーザに見える任意のものであってもよい。例えば、視野は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、ユーザの視野は、ユーザの視線の中心の左右に対して第1の度数内、視線の中心の上方に第2の度数内、および視線の中心の下方に第3の度数内の領域を包含してもよい。例えば、第1の度数は、95度に等しいかまたはそれを上回ってもよく、例えば、95度、100度、105度、110度、115度、120度、>120度、または任意の好適な度数であってもよい。代替として、第1の度数は、95度未満であってもよく、例えば、90度、85度、80度、75度、70度、<70度、または任意の好適な度数であってもよい。例えば、第2の度数は、60度に等しいかまたはそれを上回ってもよく、例えば、65度、70度、75度、80度、85度、>85度、または任意の好適な度数であってもよい。代替として、第2の度数は、60度未満であってもよく、例えば、55度、50度、45度、40度、<40度、または任意の好適な度数であってもよい。例えば、第3の度数は、70度に等しいかまたはそれを上回ってもよく、例えば、75度、80度、85度、90度、>90度、または任意の好適な度数であってもよい。代替として、第3の度数は、70度未満であってもよく、例えば、65度、60度、55度、<55度、または任意の好適な度数であってもよい。視野は、ユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。視野は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ユーザの視野の前景領域は、正視でユーザに見えるユーザの視野の任意の部分であってもよい。前景領域は、視野のサブセットを包含してもよい。前景領域は、実質的にユーザの視野の中心にある視野の領域を包含してもよい。前景領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、前景領域は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、前景領域は、ユーザの視線の中心の左右に対して第4の度数内、ユーザの視線の中心の上方に第5の度数内、およびユーザの視線の中心の下方に第6の度数内にあってもよい。例えば、第4、第5、および第6の度数は、18度に等しいかまたはそれを上回ってもよく、例えば、20度、25度、30度、35度、>35度、または任意の好適な度数であってもよい。代替として、第4、第5、および第6の度数は、18度未満であってもよく、例えば、15度、10度、5度、<5度、または任意の好適な度数であってもよい。前景領域は、主視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。前景領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ステップ1204では、付加的コンテンツが、表示のために、ヘッドアップディスプレイ内の仮想現実環境の第2の部分に生成される。第2の部分は、ユーザの視野の周辺領域に対応する。
仮想現実環境の第2の部分は、仮想現実環境の任意の部分であってもよい。第2の部分は、仮想現実環境のサブセットであってもよい。第2の部分は、第1の部分と異なってもよい。第2の部分は、仮想現実環境の上、下、右、または左部分であってもよい。第2の部分は、仮想現実環境の境界または角の近傍にあってもよいかまたはそこにあってもよい。第2の部分は、仮想現実環境の近似的大部分または近似的小部分であってもよい。
付加的コンテンツは、ユーザが全身移動を行うことを補助する。例えば、付加的コンテンツは、ユーザの物理的周囲のビデオであってもよい。別の実施例として、付加的コンテンツは、ユーザの物理的周囲のマップであってもよい。
ユーザの視野の周辺領域は、周辺視でユーザに見えるユーザの視野の任意の部分であってもよい。周辺領域は、実質的にユーザの視野の縁にある領域であってもよい。周辺領域は、ユーザの頭部の移動に基づいて、判定されてもよい。別の実施例として、周辺視野は、ユーザの視線の中心の移動に基づいて、判定されてもよい。例えば、周辺領域は、前景領域ではない視野の任意の部分であってもよい。例えば、周辺領域は、視野の外側境界のある度数内の視野の領域を包含してもよい。周辺領域は、周辺視でユーザに見える頭部搭載型ディスプレイの画面の部分であってもよい。周辺領域は、ユーザ毎に変動し得、各ユーザに特有の視力障害に依存し得る。
ステップ1206では、ユーザの全身移動が、検出される。例えば、全身移動は、ユーザの身体の一部の加速を検出することによって、検出されてもよい。例えば、検出モジュールは、歩みを検出することによって、検出されてもよい。別の実施例として、全身移動は、ユーザに物理的に結合されるカメラを用いて捕捉されたユーザの物理的周囲のビデオの変化を検出することによって、検出されてもよい。
ステップ1208では、ユーザの全身移動の検出に応答して、付加的コンテンツが、表示のために、仮想現実環境の第1の部分に生成される。付加的コンテンツは、ユーザが全身移動を行うことを補助する。例えば、付加的コンテンツは、ユーザの物理的周囲のビデオであってもよい。別の実施例として、付加的コンテンツは、ユーザの物理的周囲のマップであってもよい。
いくつかの実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、ユーザの物理的周囲のビデオをディスプレイにフィードするカメラを含み、表示のために、付加的コンテンツを生成するステップは、表示のために、ユーザの物理的周囲のビデオを生成するステップを含む。
ある実施形態では、表示のために、付加的コンテンツを生成するステップは、表示のために、付加的コンテンツをピクチャインピクチャとして生成するステップを含む。
いくつかの実施形態では、ヘッドアップディスプレイは、ユーザの頭部に物理的に結合される頭部搭載型ディスプレイであって、頭部搭載型ディスプレイは、加速度計を含み、ユーザの全身移動を検出するステップは、加速度計によって、ユーザによって行われる第1の歩みを検出するステップを含む。
ある実施形態では、プロセス1300はさらに、ユーザによって行われる第2の歩みを検出するステップと、第2の歩みの検出に応答して、付加的コンテンツを拡大するステップとを含む。
いくつかの実施形態では、プロセス1300はさらに、ユーザによって行われる第2の歩みを検出するステップと、第2の歩みの検出に応答して、主要コンテンツの不透明度を減少させるステップおよび付加的コンテンツの不透明度を増加させるステップのうちの少なくとも1つを行うステップとを含む。
ある実施形態では、プロセス1300はさらに、入力をユーザから受信するステップと、入力に応答して、付加的コンテンツをヘッドアップディスプレイから除去するステップとを含む。
いくつかの実施形態では、ユーザの全身移動を検出するステップは、ユーザの物理的周囲のビデオの変化を検出するステップを含む。
ある実施形態では、プロセス1300はさらに、ユーザが実質的に定常であることを検出するステップと、ユーザが実質的に定常であることの検出に応答して、表示のために、付加的コンテンツをディスプレイの第3の部分に生成するステップとを含む。
いくつかの実施形態では、プロセス1300はさらに、ユーザに、主要コンテンツの再生を停止するオプションを提示するステップを含む。
図15および16は、本開示のいくつかの実施形態による、制御回路(例えば、制御回路604)が、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するためのプロセスを提示する。いくつかの実施形態では、本アルゴリズムは、処理回路(例えば、処理回路606)によってデコードおよび実行されるための命令のセットとして非一過性記憶媒体(例えば、記憶デバイス608)上にエンコードされてもよい。処理回路は、順に、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、アナログ/デジタル変換回路、および同等物等の命令を、制御回路604内に含有される他のサブ回路に提供してもよい。
図15におけるフローチャートは、本開示のいくつかの実施形態による、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するために制御回路(例えば、制御回路604)上に実装されるプロセス1300を説明する。
ステップ1302では、制御回路604は、ユーザの視線の中心の移動を検出することを開始するであろう。いくつかの実施形態では、これは、直接的または間接的にのいずれかにおいて、(例えば、制御回路604、ユーザ入力インターフェース610、または検出モジュール616によって受信された信号からの)ユーザアクションまたは入力に応答して行われてもよい。例えば、プロセスは、直接、制御回路604が検出モジュール616から信号を受信することに応答して開始してもよい。
ステップ1304では、制御回路604は、視線の中心の移動に基づいて、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値を判定することに進む。
ステップ1306では、制御回路604は、ヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値の現在のインスタンスを読み出すことに進む。いくつかの実施形態では、制御回路604は、ヘッドアップディスプレイ上の付加的コンテンツの場所を表す、単一プリミティブデータ構造を受信してもよい。いくつかの実施形態では、ヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値は、より大きいデータ構造の一部として記憶されてもよく、制御回路604は、適切なアクセッサメソッドを実行し、値をより大きいデータ構造から読み出すことによって、値を読み出してもよい。
ステップ1308では、制御回路604は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値とヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値を比較することに進む。いくつかの実施形態では、制御回路604は、それぞれ、値にアクセスし、値比較を行うことによって、直接、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値とヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値を比較してもよい。いくつかのインスタンスでは、制御回路604は、比較関数(例えば、オブジェクト間比較のため)を呼び出し、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値とヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値を比較してもよい。
ステップ1310では、制御回路604は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値とヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値を比較し、ヘッドアップディスプレイ上の付加的コンテンツの場所が、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所内にあるかどうかを判定する。条件が満たされない場合、アルゴリズムは、ステップ1302に戻ってもよい。条件が満たされる場合、アルゴリズムは、代わりに、ステップ1312に進んでもよい。
ステップ1312では、制御回路604は、サブルーチンを実行し、表示のために、付加的コンテンツをユーザの視野の周辺領域に対応するヘッドアップディスプレイ上の場所に生成する。サブルーチンが実行された後、アルゴリズムは、ステップ1302に戻ってもよい。
図15の説明は、本開示の任意の他の実施形態とともに使用され得ることが考慮される。加えて、図15のアルゴリズムに関して説明される説明は、本開示の目的を促進するように、代替的な順序で、または並行して行われてもよい。例えば、1310におけるものような条件文ならびに論理評価は、システムまたは方法の遅延を低減させる、もしくは速度を増加させるように、任意の順序で、または並行して、もしくは同時に行われてもよい。さらに、図15のプロセスは、適切に構成されたソフトウェアおよびハードウェアの組み合わせ上に実装されてもよく、プロセスのうちの1つまたはそれを上回る部分を実装するために、図8-12に関して議論されるデバイスまたは機器のいずれかが使用され得ることに留意されたい。
図16における擬似コードは、本開示のいくつかの実施形態による、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するプロセス1400を説明する。図16における擬似コードによって説明されるプロセスは、任意の数のプログラミング言語および種々の異なるハードウェアで実装され得、スタイルおよび形式は、限定的として解釈されるべきではなく、むしろ、本開示のいくつかの実施形態を実装するために使用されるコードと一致するであろうステップおよびプロシージャの一般的テンプレートであることが当業者に明白となるであろう。
ライン1401では、制御回路604は、サブルーチンを起動し、変数を初期化し、主要コンテンツのユーザの視認に干渉せず、主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示する準備を行う。例えば、いくつかの実施形態では、制御回路604は、初期化段階の間、命令を非一過性の記憶媒体(例えば、記憶デバイス608)からRAMまたは処理回路606のためのキャッシュの中へコピーしてもよい。加えて、いくつかの実施形態では、比較のために使用されるユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値、または、2つの値が本質的に等価であるかどうかを判定するための公差レベルが、1401において読み出され、設定され、記憶されてもよい。
ライン1405では、制御回路604は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所のインスタンスを受信する。制御回路604は、例えば、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値のアレイへのポインタを受信することによって、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所のインスタンスを受信してもよい。別の実施例では、制御回路604は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値の要素を含有するイテレータオブジェクト等のクラスのオブジェクトを受信してもよい。
ライン1407では、制御回路604は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値を一時的変数「A」の中に記憶する。いくつかの実施形態では、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値は、より大きいデータ構造またはクラスの一部として記憶され、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値は、適切なアクセッサメソッドを通して得られてもよい。いくつかの実施形態では、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値は、適切なハッシュアルゴリズムを用いて、ストリングまたは他の非数値データタイプから数値データタイプに変換されてもよい。いくつかの実施形態では、制御回路604は、関数を呼び出し、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値とヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値の比較を行ってもよい。いくつかの実施形態では、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値は、プリミティブデータ構造としてエンコードされてもよく、一時的変数を使用するのではなく、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値は、直接、ライン1409における比較において使用されてもよい。
ライン1408では、制御回路604は、ヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値を一時的変数「B」の中に記憶する。ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値と同様に、いくつかの実施形態では、ヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値は、より大きいデータ構造またはクラスの一部として記憶され、ヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値は、アクセッサメソッドを通して得られてもよい。いくつかの実施形態では、ヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値は、適切なハッシュアルゴリズムを用いて、ストリングまたは他の非数値データタイプから数値データタイプに変換されてもよい、またはヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値は、プリミティブデータ構造であってもよく、直接、ライン1409における比較において使用されてもよい。
ライン1409では、制御回路604は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値とヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値を比較し、ヘッドアップディスプレイ上の付加的コンテンツの場所が、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所内にあるかどうかを判定する。ヘッドアップディスプレイ上の場所を記述する値が、ヘッドアップディスプレイ上の場所の上、下、左右境界を記述する場合、境界が左から右および下から上に進むにつれて、値が増加する場合、ヘッドアップディスプレイ上の付加的コンテンツの場所が、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所内にあるかどうかを判定するステップは、以下のように達成される。ヘッドアップディスプレイ上の付加的コンテンツの場所の右境界を記述する値は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所の右境界を記述する値から減算される。ヘッドアップディスプレイ上の付加的コンテンツの場所の上境界を記述する値は、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所の上境界を記述する値から減算される。ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所の左境界を記述する値は、ヘッドアップディスプレイ上の付加的コンテンツの場所の左境界を記述する値から減算される。ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所の下境界を記述する値は、ヘッドアップディスプレイ上の付加的コンテンツの場所の下境界を記述する値から減算される。各差異の値が、計算され、各差異の値は、所定の公差レベルと比較される。いくつかの実施形態では、公差レベルは、ユーザの視野の前景領域に対応するヘッドアップディスプレイ上の場所を記述する値またはヘッドアップディスプレイ上の付加的コンテンツの場所を記述する値のいずれかの設定パーセンテージであってもよい。いくつかの実施形態では、公差レベルは、固定数であってもよい。例えば、公差レベルを計算機イプシロンの設定倍数に設定することは、アルゴリズムが、浮動小数点演算の使用から生じ得るわずかな丸め誤差を考慮することを可能にし得る。いくつかの実施形態では、公差レベルは、ゼロに設定されてもよい。
ライン1410では、制御回路604は、サブルーチンを実行し、各差異の値のいずれかが所定の公差レベルを上回る場合、ヘッドアップディスプレイ上の付加的コンテンツの場所を変化させる。いくつかの実施形態では、これは、処理回路606が適切な信号をディスプレイ612に送信することによって達成されてもよい。
ライン1412では、制御回路604は、アルゴリズムがその関数を行った後、終了サブルーチンを起動する。例えば、いくつかの実施形態では、制御回路604は、変数を破棄する、ガーベッジコレクションを行う、処理回路606のメモリを解放する、またはキャッシュをクリアしてもよい。
図16における擬似コードによって説明されるプロセス1400は、任意の数のプログラミング言語および種々の異なるハードウェアで実装され得、プリミティブ関数、論理均等物、および機能均等物の特定の選択肢および場所は、限定的として解釈されるべきではないことが当業者に明白となるであろう。また、コードは、リファクタリングされ、または書き換えられ、種々の論理評価の順序を操作する、いくつかの反復を単一反復ループではなく、並行して行う、または別様に、入力もしくは最終出力を基本的に変更することなく、ランタイムおよび性能メトリックを操作および最適化してもよいことが明白となるであろう。例えば、いくつかの実施形態ではブレーク条件が、演算を加速するために、あるライン後に設置されてもよい、または条件文が、case-switch文と置換されてもよい。
本開示の前述の実施形態は、限定ではなく、例証目的のために提示され、本開示は、続く請求項によってのみ限定される。さらに、いずれか1つの実施形態で説明される特徴および制限は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられ、異なる順序で行われ、または並行して行われ得ることに留意されたい。加えて、本明細書で説明されるシステムおよび方法は、リアルタイムで行われてもよい。また、上記で説明されるシステムおよび/または方法は、他のシステムならびに/もしくは方法に適用され、またはそれらに従って使用され得ることにも留意されたい。

Claims (8)

  1. 頭部搭載型ディスプレイ内の仮想現実環境においてユーザの視野の前景領域内に主要コンテンツを表示のために生成することと、
    前記頭部搭載型ディスプレイ内の前記仮想現実環境において前記ユーザの前記視野の周辺領域内に付加的コンテンツを表示のために生成することと、
    前記ユーザの視線の中心の移動を検出することと、
    前記ユーザの前記視線の前記中心の前記移動を検出することに応答して、前記付加的コンテンツを以前に含んでいた前記仮想現実環境の一部を含む前記ユーザの新しい視野の前景領域を決定することと、前記決定することに応答して、前記ユーザの前記新しい視野の周辺領域内に前記付加的コンテンツを表示のために生成することと
    を含む、方法。
  2. 前記ユーザの前記視線の前記中心を検出することは、
    光を前記ユーザの各眼に伝送することと、
    前記ユーザの各眼の画像を収集することと、
    各画像において、前記ユーザの眼の中の反射の場所を検出することと、
    前記ユーザの各瞳孔の場所を決定することと、
    各瞳孔の場所と各反射の場所とを比較することと、
    各瞳孔の場所と各反射の場所との比較に基づいて、前記ユーザの各眼の視線点を決定することと、
    前記ユーザの各眼の視線点間の中央点を決定することによって、前記視線の前記中心を決定することと
    を含む、請求項1に記載の方法。
  3. 前記頭部搭載型ディスプレイは、加速度計を含み、前記ユーザの前記視線の前記中心の移動を検出することは、前記加速度計が、前記ユーザの頭部の加速を検出することを含む、請求項1に記載の方法。
  4. 前記頭部搭載型ディスプレイは、前記ユーザの物理的周囲のビデオを前記頭部搭載型ディスプレイにフィードするカメラを含み、前記付加的コンテンツを表示のために生成する
    ことは、前記ユーザの物理的周囲の前記ビデオを表示のために生成することを含む、請求項1に記載の方法。
  5. 前記付加的コンテンツを表示のために生成することは、前記付加的コンテンツをピクチャインピクチャとして表示のために生成することを含む、請求項1に記載の方法。
  6. ユーザ入力インターフェースから入力信号を受信することと、
    前記入力信号に応答して、前記付加的コンテンツを前記ユーザの前記新しい視野の前記周辺領域から前記ユーザの前記視野の前記前景に移動することと
    をさらに含む、請求項1に記載の方法。
  7. 前記付加的コンテンツを表示のために生成することは、
    前記ユーザの視線の前記中心の移動後の期間を測定することであって、前記期間の間、前記ユーザの視線の前記中心が実質的に移動されない、ことと、
    前記期間が閾値期間よりも大きいことを決定することと、
    前記期間が前記閾値期間よりも大きいという決定に応答して、前記付加的コンテンツを表示のために生成することと
    を含む、請求項1に記載の方法。
  8. 主要コンテンツをユーザが視認することに干渉することなく、前記主要コンテンツを示すヘッドアップディスプレイ上の仮想現実環境内に付加的コンテンツを提示するためのシステムであって、前記システムは、請求項1~7のいずれか一項に記載の方法を実行するように構成されている制御回路を備える、システム。
JP2022022798A 2016-04-27 2022-02-17 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム Active JP7286828B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023068433A JP2023116433A (ja) 2016-04-27 2023-04-19 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/140,272 US10025376B2 (en) 2016-04-27 2016-04-27 Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US15/140,249 US9851792B2 (en) 2016-04-27 2016-04-27 Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US15/140,272 2016-04-27
US15/140,249 2016-04-27
JP2020077500A JP7028909B2 (ja) 2016-04-27 2020-04-24 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020077500A Division JP7028909B2 (ja) 2016-04-27 2020-04-24 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023068433A Division JP2023116433A (ja) 2016-04-27 2023-04-19 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Publications (2)

Publication Number Publication Date
JP2022078113A JP2022078113A (ja) 2022-05-24
JP7286828B2 true JP7286828B2 (ja) 2023-06-05

Family

ID=58692608

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2018534061A Active JP6968800B2 (ja) 2016-04-27 2017-04-26 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2020077501A Active JP7027478B2 (ja) 2016-04-27 2020-04-24 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2020077500A Active JP7028909B2 (ja) 2016-04-27 2020-04-24 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2022022798A Active JP7286828B2 (ja) 2016-04-27 2022-02-17 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2023068433A Pending JP2023116433A (ja) 2016-04-27 2023-04-19 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2018534061A Active JP6968800B2 (ja) 2016-04-27 2017-04-26 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2020077501A Active JP7027478B2 (ja) 2016-04-27 2020-04-24 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
JP2020077500A Active JP7028909B2 (ja) 2016-04-27 2020-04-24 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023068433A Pending JP2023116433A (ja) 2016-04-27 2023-04-19 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム

Country Status (6)

Country Link
EP (3) EP3457251A1 (ja)
JP (5) JP6968800B2 (ja)
KR (2) KR20230044556A (ja)
AU (1) AU2017255567A1 (ja)
CA (1) CA2999057C (ja)
WO (1) WO2017189699A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539579B1 (ko) * 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
TWI719483B (zh) 2019-05-17 2021-02-21 雅得近顯股份有限公司 便利備忘操作系統
US11391945B2 (en) * 2020-08-31 2022-07-19 Sony Interactive Entertainment LLC Automatic positioning of head-up display based on gaze tracking
KR102524097B1 (ko) * 2020-09-09 2023-04-21 한양대학교 산학협력단 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303843A (ja) 2004-04-14 2005-10-27 Olympus Corp 表示装置、撮像装置
JP2012205191A (ja) 2011-03-28 2012-10-22 Nippon Telegr & Teleph Corp <Ntt> 映像付加情報表示制御装置およびその動作方法
JP2014137396A (ja) 2013-01-15 2014-07-28 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2015049883A (ja) 2013-09-05 2015-03-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP2015069362A (ja) 2013-09-27 2015-04-13 株式会社トヨタマップマスター ヘッドマウントディスプレイ及びその制御方法、並びにヘッドマウントディスプレイを制御するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
WO2015111283A1 (ja) 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
WO2015163874A1 (en) 2014-04-23 2015-10-29 Nokia Corporation Display of information on a head mounted display
JP2015232783A (ja) 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
JP2016039599A (ja) 2014-08-11 2016-03-22 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016509705A (ja) 2012-12-19 2016-03-31 クアルコム,インコーポレイテッド 視線追跡を使用して拡張現実を可能にする

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US6388714B1 (en) 1995-10-02 2002-05-14 Starsight Telecast Inc Interactive computer system for providing television schedule information
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
CN1192603C (zh) 1998-03-04 2005-03-09 联合视频制品公司 有目标广告的节目指南系统
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
DK1942668T3 (en) 1998-07-17 2017-09-04 Rovi Guides Inc Interactive television program guide system with multiple devices in a household
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
CA3011879C (en) 2001-02-21 2021-10-19 Rovi Guides, Inc. Systems and methods for interactive program guides with personal video recordng features
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
US9204050B2 (en) * 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP5654284B2 (ja) * 2010-08-09 2015-01-14 東芝アルパイン・オートモティブテクノロジー株式会社 車両用ディスプレイ装置
CN107656615B (zh) * 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
JP5665140B2 (ja) * 2012-08-17 2015-02-04 Necソリューションイノベータ株式会社 入力装置、入力方法、及びプログラム
JP6364735B2 (ja) * 2013-10-04 2018-08-01 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
JP6089705B2 (ja) * 2013-01-07 2017-03-08 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP2014164537A (ja) * 2013-02-26 2014-09-08 Yasuaki Iwai 仮想現実サービス提供システム、仮想現実サービス提供方法
KR20160016907A (ko) * 2013-05-29 2016-02-15 미쓰비시덴키 가부시키가이샤 정보 표시 장치
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
GB201404732D0 (en) * 2014-03-17 2014-04-30 Sony Comp Entertainment Europe Virtual Reality
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303843A (ja) 2004-04-14 2005-10-27 Olympus Corp 表示装置、撮像装置
JP2012205191A (ja) 2011-03-28 2012-10-22 Nippon Telegr & Teleph Corp <Ntt> 映像付加情報表示制御装置およびその動作方法
JP2016509705A (ja) 2012-12-19 2016-03-31 クアルコム,インコーポレイテッド 視線追跡を使用して拡張現実を可能にする
JP2014137396A (ja) 2013-01-15 2014-07-28 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2015049883A (ja) 2013-09-05 2015-03-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP2015069362A (ja) 2013-09-27 2015-04-13 株式会社トヨタマップマスター ヘッドマウントディスプレイ及びその制御方法、並びにヘッドマウントディスプレイを制御するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
WO2015111283A1 (ja) 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
WO2015163874A1 (en) 2014-04-23 2015-10-29 Nokia Corporation Display of information on a head mounted display
JP2015232783A (ja) 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
JP2016039599A (ja) 2014-08-11 2016-03-22 セイコーエプソン株式会社 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Also Published As

Publication number Publication date
AU2017255567A1 (en) 2018-07-12
CA2999057C (en) 2023-12-05
JP2020120410A (ja) 2020-08-06
KR20190002416A (ko) 2019-01-08
JP7027478B2 (ja) 2022-03-01
KR20230044556A (ko) 2023-04-04
JP6968800B2 (ja) 2021-11-17
EP3457251A1 (en) 2019-03-20
JP7028909B2 (ja) 2022-03-02
EP3650994A1 (en) 2020-05-13
WO2017189699A1 (en) 2017-11-02
CA2999057A1 (en) 2017-11-02
JP2019515361A (ja) 2019-06-06
JP2022078113A (ja) 2022-05-24
EP3377962A1 (en) 2018-09-26
JP2020120411A (ja) 2020-08-06
JP2023116433A (ja) 2023-08-22

Similar Documents

Publication Publication Date Title
US11353949B2 (en) Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US9851792B2 (en) Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US11792476B2 (en) System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user
US9229616B2 (en) Methods and systems for arranging media objects on a display screen to compensate for user disabilities
JP7286828B2 (ja) 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
US9538251B2 (en) Systems and methods for automatically enabling subtitles based on user activity
US11706493B2 (en) Augmented reality content recommendation
JP2020120410A5 (ja)
JP2020120411A5 (ja)
US20150382064A1 (en) Systems and methods for automatically setting up user preferences for enabling subtitles
US9729927B2 (en) Systems and methods for generating shadows for a media guidance application based on content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R150 Certificate of patent or registration of utility model

Ref document number: 7286828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150