JP6693718B2 - 表示制御プログラム、表示制御装置、及び表示制御方法 - Google Patents

表示制御プログラム、表示制御装置、及び表示制御方法 Download PDF

Info

Publication number
JP6693718B2
JP6693718B2 JP2015182762A JP2015182762A JP6693718B2 JP 6693718 B2 JP6693718 B2 JP 6693718B2 JP 2015182762 A JP2015182762 A JP 2015182762A JP 2015182762 A JP2015182762 A JP 2015182762A JP 6693718 B2 JP6693718 B2 JP 6693718B2
Authority
JP
Japan
Prior art keywords
image
game
mounted display
display
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015182762A
Other languages
English (en)
Other versions
JP2016214822A (ja
Inventor
ニコラ ドゥセ
ニコラ ドゥセ
裕 横川
裕 横川
玄人 森田
玄人 森田
啓一郎 石原
啓一郎 石原
雄生 宮前
雄生 宮前
一知 佐々木
一知 佐々木
トゥイェン ティボ ンゴ
トゥイェン ティボ ンゴ
雅文 野田
雅文 野田
匠 吉田
匠 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to US15/547,736 priority Critical patent/US10596464B2/en
Priority to EP16755538.2A priority patent/EP3263194B1/en
Priority to EP23168806.0A priority patent/EP4236299A3/en
Priority to PCT/JP2016/055391 priority patent/WO2016136794A1/ja
Publication of JP2016214822A publication Critical patent/JP2016214822A/ja
Priority to JP2019196433A priority patent/JP6929918B2/ja
Priority to US16/784,338 priority patent/US11154778B2/en
Application granted granted Critical
Publication of JP6693718B2 publication Critical patent/JP6693718B2/ja
Priority to US17/486,200 priority patent/US11660536B2/en
Priority to US18/303,760 priority patent/US20230249071A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御プログラム、表示制御装置、及び表示制御方法に関する。
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。
上記課題を解決するために、本発明のある態様の表示制御プログラムは、コンピュータを、ヘッドマウントディスプレイを頭部に装着した第１のユーザが使用する第１の入力装置から、入力された指示を示す情報を取得し、表示装置を見ることが可能な第２のユーザが使用する第２の入力装置から、入力された指示を示す情報を取得する指示入力取得部、仮想三次元空間において、指示入力取得部が取得した指示に基づいて事象を制御する制御部、ヘッドマウントディスプレイに表示すべき仮想三次元空間の第１画像を生成する第１画像生成部、表示装置に表示すべき仮想三次元空間の第２画像を生成する第２画像生成部、として機能させる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。
実施の形態に係るゲームシステムの使用環境を示す図である。 実施の形態に係るヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 入力装置の外観図である。 ゲーム装置の構成を示す図である。 ゲーム装置の機能構成図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 表示装置に表示される第２ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 表示装置に表示される第２ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 表示装置に表示される第２ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 表示装置に表示される第２ゲーム画像の例を示す図である。 表示装置に表示される第２ゲーム画像の例を示す図である。 ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す図である。 実施の形態に係る表示制御方法の手順を示すフローチャートである。 実施の形態に係る表示制御方法の手順を示すフローチャートである。 実施の形態に係る表示制御方法の手順を示すフローチャートである。
ヘッドマウントディスプレイ（ＨＭＤ）を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。
図１は、実施の形態に係るゲームシステム１の使用環境を示す。ゲームシステム１は、ゲームプログラムを実行するゲーム装置１０と、ユーザの指示をゲーム装置１０に入力するための入力装置６と、ユーザの周囲の実空間を撮像する撮像装置１４と、ゲーム装置１０により生成される第１ゲーム画像を表示するヘッドマウントディスプレイ１００と、ゲーム装置１０により生成される第２ゲーム画像を表示する表示装置１２とを備える。
ゲーム装置１０は、入力装置６又はヘッドマウントディスプレイ１００により入力される指示入力や、入力装置６又はヘッドマウントディスプレイ１００の位置又は姿勢などに基づいてゲームプログラムを実行し、第１ゲーム画像を生成してヘッドマウントディスプレイ１００に伝送し、第２ゲーム画像を生成して表示装置１２に伝送する。
ヘッドマウントディスプレイ１００は、ゲーム装置１０において生成された第１ゲーム画像を表示する。また、ヘッドマウントディスプレイ１００に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置１０へ伝送する。ヘッドマウントディスプレイ１００は、ゲーム装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮなどにより無線接続されてもよい。
表示装置１２は、ゲーム装置１０において生成された第２ゲーム画像を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。
入力装置６は、ユーザによる指示入力をゲーム装置１０に伝送する機能をもち、本実施の形態ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力装置６とゲーム装置１０は、Bluetooth（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力装置６は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。
入力装置６はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置６のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置１０に送信される。
撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。撮像装置１４により撮像された画像は、ゲーム装置１０において、入力装置６及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力装置６又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。
本実施例のゲームシステム１において、入力装置６及びヘッドマウントディスプレイ１００は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力装置６を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。
また、入力装置６及びヘッドマウントディスプレイ１００は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力装置６及びヘッドマウントディスプレイ１００の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。
図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１１２、及び発光部１１４を備える。
本体部１１０には、ディスプレイ、位置情報を取得するためのＧＰＳユニット、姿勢センサ、通信装置などが備えられる。頭部接触部１１２には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部１１４は、上述したように、ゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される画像においてヘッドマウントディスプレイ１００の位置を算出するための基準として機能する。
ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
図３は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース１２２、出力インタフェース１３０、バックライト１３２、通信制御部１４０、ネットワークアダプタ１４２、アンテナ１４４、記憶部１５０、ＧＰＳユニット１６１、無線ユニット１６２、姿勢センサ１６４、外部入出力端子インタフェース１７０、外部メモリ１７２、時計部１８０、表示装置９０、及び制御部１６０を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置９０に表示させる。バックライト１３２は、表示装置９０を構成する液晶ディスプレイにバックライトを供給する。
通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。
記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。
姿勢センサ１６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
外部入出力端子インタフェース１７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリである。
時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。
図４は、入力装置の外観図である。図４（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。４種のボタン７２〜７５には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン７２には赤色の丸、×ボタン７３には青色のバツ、□ボタン７４には紫色の四角形、△ボタン７５には緑色の三角形が記されている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。
２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６とゲーム装置１０とを接続する通信機能をアクティブにするために使用される。入力装置６がゲーム装置１０と接続した後は、機能ボタン８０は、ゲーム装置１０にメニュー画面を表示させるためにも使用される。
ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、ゲーム装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、ゲーム装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。
図４（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、ゲーム装置１０から送信される発光色情報にしたがって点灯する。
筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、撮像装置１４は、点灯した発光部８５を好適に撮像することができる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。
図５は、ゲーム装置１０の構成を示す。ゲーム装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。
メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置２に記録されたゲームプログラムを実行する機能をもつ。
サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えず、ゲームプログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。
メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、ゲーム装置１０の筐体の前面に設けられ、ゲーム装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。
システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。
クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。
デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置および撮像装置１４とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介して外部ネットワークに接続する。
図６は、ゲーム装置１０の機能構成図である。ゲーム装置１０のメインシステム６０は、制御部３１０及びデータ保持部３６０を備える。制御部３１０は、ゲーム制御部３１１、指示入力取得部３１２、撮像画像解析部３１３、ＨＭＤ情報取得部３１４、入力装置情報取得部３１５、第１画像生成部３１６、及び第２画像生成部３１７を備える。
データ保持部３６０は、ゲーム装置１０において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。
指示入力取得部３１２は、入力装置６又はヘッドマウントディスプレイ１００が受け付けたユーザによる指示入力に関する情報を入力装置６又はヘッドマウントディスプレイ１００から取得する。
撮像画像解析部３１３は、撮像装置１４が撮像した画像を取得し、取得した画像を解析して、入力装置６及びヘッドマウントディスプレイ１００の位置及び姿勢を算出する。撮像画像解析部３１３は、撮像装置１４から所定の撮像速度（例えば３０フレーム／秒）でフレーム画像を取得し、フレーム画像から入力装置６及びヘッドマウントディスプレイ１００の発光部の画像を抽出して、フレーム画像中の発光部の画像の位置及び大きさを特定する。例えば、撮像画像解析部３１３は、フレーム画像における発光体の画像の重心座標と半径を特定する。ユーザがゲームシステム１を使用する環境内で使われそうにない色にて発光部を点灯させることにより、フレーム画像から高精度で発光部の画像を抽出することができる。
撮像画像解析部３１３は、特定された発光体の画像の位置および大きさから、撮像装置１４から見た入力装置６及びヘッドマウントディスプレイ１００の位置情報を導出する。撮像画像解析部３１３は、発光体の画像の重心座標から、カメラ座標における位置座標を導出し、また発光体の画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標及び距離情報は、入力装置６及びヘッドマウントディスプレイ１００の位置情報を構成する。
ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、ＨＭＤ情報取得部３１４は、撮像画像解析部３１３から、ヘッドマウントディスプレイ１００の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。ヘッドマウントディスプレイ１００の姿勢に関する情報は、撮像画像解析部３１３がヘッドマウントディスプレイ１００の撮像画像を解析することにより取得されてもよい。
入力装置情報取得部３１５は、入力装置６から、入力装置６の姿勢に関する情報を取得する。また、入力装置情報取得部３１５は、撮像画像解析部３１３から、入力装置６の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。入力装置６の姿勢に関する情報は、撮像画像解析部３１３が入力装置６の撮像画像を解析することにより取得されてもよい。
入力装置６が撮像装置１４の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置１４により撮像されなかった場合、入力装置情報取得部３１５は、前回取得された入力装置６の位置と、その時点以降に取得された入力装置６の姿勢に関する情報に基づいて、入力装置６の位置を算出する。例えば、入力装置６の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置６の位置からのずれを算出することにより、現在の入力装置６の位置を算出してもよい。入力装置６が撮像装置１４により撮像されない間は、同様にして入力装置６の位置を逐次算出する。入力装置６が撮像装置１４により再度撮像された場合、加速度データにより逐次算出された入力装置６の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、撮像画像解析部３１３により新たに算出された入力装置６の位置を現在の入力装置６の位置としてもよい。ヘッドマウントディスプレイ１００についても同様である。
ゲーム制御部３１１は、ゲームプログラムを実行し、指示入力取得部３１２が取得したユーザによる指示入力や、入力装置６又はヘッドマウントディスプレイ１００の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部３１１は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置６の方向キー７１やアナログスティック７７ａ、７７ｂなどによる入力や、入力装置６又はヘッドマウントディスプレイ１００の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。
第１画像生成部３１６は、ヘッドマウントディスプレイ１００に表示すべき画像を生成する。第１画像生成部３１６は、ゲーム制御部３１１により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ１００の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第１画像生成部３１６は、所定のタイミングでヘッドマウントディスプレイ１００の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第１画像生成部３１６は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ１００に表示すべき画像などを追加して、第１画像を生成する。第１画像生成部３１６により生成された第１画像は、無線通信モジュール３８又は有線通信モジュール４０を介してヘッドマウントディスプレイ１００に送信される。
第２画像生成部３１７は、表示装置１２に表示すべき画像を生成する。ヘッドマウントディスプレイ１００に表示される画像と同じ画像を表示装置１２に表示する場合は、第１画像生成部３１６により生成された第１画像が表示装置１２にも送信される。ヘッドマウントディスプレイ１００に表示される画像とは異なる画像を表示装置１２に表示する場合、例えば、ヘッドマウントディスプレイ１００を装着したユーザと、表示装置１２を視聴しているユーザとが、対戦ゲームを実行する場合などは、第２画像生成部３１７は、第１画像生成部３１６とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第２画像生成部３１７は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置１２に表示すべき画像などを追加して、第２画像を生成する。第２画像生成部３１７により生成された第２画像は、無線通信モジュール３８又は有線通信モジュール４０を介して表示装置１２に送信される。
第１画像生成部３１６は、入力装置６とヘッドマウントディスプレイ１００の相対位置に基づいて、入力装置６の画像を第１画像に表示することが可能である。ヘッドマウントディスプレイ１００を装着しているユーザは、現実世界における周囲の状況を見ることができないが、ユーザがヘッドマウントディスプレイ１００を装着していなければ入力装置６が見えるであろう第１画像内の位置に入力装置６の画像を表示することにより、現実世界を見ているような感覚をユーザに与えることができ、第１画像のリアリティをより高めることができるとともに、より深い没入感をユーザに与えることができる。
ゲーム制御部３１１がゲームフィールド内で操作対象の位置を変更する際に、第１画像生成部３１６は、ゲームフィールドの位置に応じて、視点位置の設定方式を異ならせることが可能である。例えば、ゲームフィールドのある領域では、操作対象の後方の所定位置に視点位置を設定して、操作対象の移動に伴って視点位置を追随させ、別の領域では、操作対象の位置の変化にかかわらず、所定位置に視点位置を固定してもよい。これにより、ゲームフィールドの位置に応じて、適切に視点位置を設定してゲームフィールドの画像を生成することができるので、操作性のよいユーザインタフェースを提供し、ユーザの利便性を向上させることができる。
第１画像生成部がヘッドマウントディスプレイ１００を視聴する第１ユーザのための第１ゲーム画像を生成し、第２画像生成部が表示装置１２を視聴する第２ユーザのための第２ゲーム画像を生成することが可能である。第１ユーザは表示装置１２に表示される第２ゲーム画像を見ることができず、第２ユーザはヘッドマウントディスプレイ１００に表示される第１ゲーム画像を見ることができないので、このゲームシステムを用いて、対戦相手に自身の情報を秘匿しつつ対戦ゲームを実行することも可能である。
以下、上記のような特徴について、各種のゲームを例にとって説明する。
（射撃ゲーム）
図７は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図は、第１ゲーム画像に表示されている入力装置から手裏剣を発射して的を打ち落とすゲームの画像を示す。ゲーム制御部３１１は、複数の的５０２が配置されたゲームフィールド内において、配置された的５０２を所定の態様で移動させる。第１画像生成部３１６は、ゲームフィールドの所定位置に視点位置を設定し、ヘッドマウントディスプレイの姿勢に基づいて視線方向を設定して、ゲームフィールドをレンダリングすることにより第１ゲーム画像を生成する。このとき、第１画像生成部３１６は、入力装置６とヘッドマウントディスプレイ１００との間の相対位置に基づいて、ゲームフィールド内に入力装置６を配置し、第１画像内に入力装置６の画像５００を表示する。入力装置６の画像５００は、現実の入力装置６に基づいて生成されるものであり、ユーザが本物の入力装置６であると認識可能である程度の精度で表示される。第１画像生成部３１６は、入力装置６の位置及び姿勢が変更されると、第１ゲーム画像内の入力装置６の画像５００の位置及び姿勢も合わせて変更する。これにより、第１ゲーム画像に表示される入力装置６の画像のリアリティをより高めることができる。
図８は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。ユーザが頭を左右又は上下に振ってヘッドマウントディスプレイ１００の姿勢を変えると、第１画像生成部３１６は、ヘッドマウントディスプレイ１００の姿勢に応じて視線方向を変更する。ゲーム制御部３１１は、第１ゲーム画像の中央の所定の範囲５０４内に的５０２が入ったときに、その的５０２をターゲットとしてロックオンし、ロックオンされた的５０２にロックオンされていることを示す図形５０６を表示する。すなわち、ユーザが第１ゲーム画像内に表示されている的５０２の方に頭を向けて的５０２を見ると、その方向から所定の範囲の方向にある的５０２がロックオンされる。このように、ユーザが見ている方向にあるキャラクタやオブジェクトなどを操作対象とすることにより、入力装置６などを用いることなく簡易に操作対象を決定及び変更することができるので、ユーザの利便性を高めることができる。
図９は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。ユーザが入力装置６のタッチパッド７９においてフリック操作を行うと、第１画像生成部３１６は、フリック操作の移動距離に応じて、第１ゲーム画像に表示されている入力装置６の画像５００におけるタッチパッド７９の位置から手裏剣５０８が出てくる様子を表示する。このとき、ユーザの手が第１画像に表示されてもよいが、手裏剣が見えやすいように、ユーザの手は表示されなくてもよい。このように、入力装置６に入力された指示入力に応じて、第１ゲーム画像に表示されている入力装置６の画像５００を変更することにより、ユーザが入力した指示を第１ゲーム画像上でフィードバックし、指示が反映されていることを分かりやすく示すことができる。また、現実に自身が把持している入力装置６から手裏剣が出てくるような感覚をユーザに与えることができるので、現実世界と仮想世界が融合した独特の体験をユーザに与えることができる。
図１０は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。ユーザが入力装置６のタッチパッド７９において行ったフリック操作の移動距離が所定値を超えると、ゲーム制御部３１１は、ゲームフィールドにおいて、入力装置６の仮想位置から、入力装置６の姿勢に基づいて決定される方向に、フリック操作の速度に応じた速度で手裏剣５０８を発射させる。第１画像生成部３１６は、手裏剣５０８が発射された様子を示す第１ゲーム画像を生成する。ゲーム制御部３１１は、物理計算により手裏剣５０８の軌跡５０９を算出し、算出された軌跡５０９にしたがって手裏剣５０８を移動させる。手裏剣５０８がいずれかの的５０２に当たった場合は、的５０２を落下させる。ゲーム制御部３１１は、前述したように、ある的がロックオンされている場合は、算出された軌跡の通りに手裏剣を移動させず、手裏剣が的に向かって飛行するように軌跡を再計算し、再計算された軌跡にしたがって手裏剣を移動させる。この場合は、手裏剣はロックオンされた的に当たるので、その的を落下させる。
（レースゲーム）
図１１は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図は、二輪車を運転して所定のコースを走行し、ゴールまでの所要時間を競うレースゲームの画像を示す。ゲーム制御部３１１は、所定のコースが設けられたゲームフィールドにおいて、入力装置６のボタンなどの入力に応じて二輪車を走行させ、入力装置６の姿勢に応じて二輪車の走行方向を制御する。また、ヘッドマウントディスプレイ１００の位置が低くなると、二輪車を運転しているユーザの体が受ける空気抵抗が低くなるものとして、二輪車の速度を速くし、逆にヘッドマウントディスプレイ１００の位置が高くなると、空気抵抗が高くなるものとして、二輪車の速度を遅くする。このゲームにおいても、第１ゲーム画像に入力装置６の画像５００が表示され、入力装置６の画像５００がハンドル５１０の中央にくるように、二輪車の前方の画像が表示される。第１画像生成部３１６は、入力装置６の位置及び姿勢の変化に伴って、第１ゲーム画像内の入力装置６の画像５００の位置及び姿勢を変更し、更に二輪車の前方の画像の位置及び姿勢を変更する。
このレースゲームにおいては、入力装置６が二輪車のハンドルに見立てられているが、入力装置６の位置が当初の位置から大きくずれると、ハンドルの位置が不自然な位置にずれてしまい、入力装置６をハンドルとして操作しているという前提が成り立たなくなる。したがって、ゲーム制御部３１１は、レースを開始する前、又は、レース中の所定のタイミングにおける入力装置６の位置を基準として、所定の範囲から入力装置６の位置が外れると、その旨を第１ゲーム画像への表示、音声の出力、入力装置６の振動などによりユーザに報知し、入力装置６の位置を戻すようユーザに促す。このとき、ゲーム制御部３１１は、二輪車の走行に関する指示入力の受付を停止してもよいし、二輪車を停止させてもよい。第１画像生成部３１６は、二輪車の前方の画像を第１ゲーム画像から消去し、又は、二輪車のハンドルの中央部分から入力装置６が外れている様子を表示することにより、入力装置６がもはや二輪車のハンドルとして機能していないことをユーザに報知してもよい。入力装置６の位置が基準位置から第１の範囲以上外れると、その旨をユーザに報知し、第１の範囲よりも大きい第２の範囲以上外れると、入力装置６からの指示入力を受け付けず、入力装置６が二輪車から外れている様子を表示してもよい。これにより、入力装置６を適切な範囲内で操作させることができるので、撮像装置１４の撮像範囲から外れたり、入力装置６の画像を第１ゲーム画像に表示できなくなったりすることを回避することができる。
図１２は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。第１画像生成部３１６は、第１ゲーム画像に表示されている入力装置６の画像５００のタッチパッド７９の位置に、現在の二輪車の速度５１２を表示する。これにより、現実の入力装置６のタッチパッド７９には表示装置が設けられていないのに、あたかも表示装置が設けられているように見せることができる。また、ゲームにおいてユーザに提示すべき情報を、斬新な形で表示させることができる。
（アクションゲーム）
図１３は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図は、プレイヤーズキャラクタを操作してゲームフィールド内を移動させ、所定のゴールへ導くゲームの画像を示す。ゲーム制御部３１１は、障害物や起伏などが設けられたゲームフィールドにおいて、入力装置６の方向キーやアナログスティックなどの入力に応じてプレイヤーズキャラクタ５１６を移動させ、ボタンなどの入力に応じてプレイヤーズキャラクタ５１６をジャンプさせる。
このアクションゲームにおいては、ゲームフィールドの位置に応じて、第１画像生成部３１６が第１ゲーム画像を生成する際に用いるカメラの視点位置を設定する方式が異なる。本図の例では、視点位置がプレイヤーズキャラクタ５１６の後方かつ上方の所定位置に設定され、プレイヤーズキャラクタ５１６の移動に伴って視点位置も移動される。視線方向は、ヘッドマウントディスプレイ１００の姿勢に応じて変更される。つまり、ユーザが、プレイヤーズキャラクタ５１６を後方から追随する乗り物に乗ってゲームフィールドを見ているような画像が生成される。
図１４は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図の例では、視点位置がゲームフィールドの所定位置に固定され、ヘッドマウントディスプレイ１００の姿勢に応じて視線方向のみが変更される。つまり、ユーザが乗り物から降りて、自身は移動することなくゲームフィールドを見渡しているような画像が生成される。
ゲームフィールドのデータとして、地形などの形状データや配置されたキャラクタ及びアイテムなどのデータのほか、視点位置を決定するための規則を指定するためのデータが設定される。このデータは、ゲームフィールドを複数の領域に分割し、領域ごとに設定されてもよい。ゲーム制御部３１１は、ユーザからの指示入力にしたがってプレイヤーズキャラクタの位置を更新すると、更新後の位置において指定されている視点位置を決定するための規則を第１画像生成部３１６に伝達する。第１画像生成部３１６は、ゲーム制御部３１１から伝達された規則にしたがって視点位置を決定し、ゲームフィールドをレンダリングする。例えば、図１４の例では、プレイヤーズキャラクタが所定の領域内にいる間は視点位置は固定されたまま変更されないが、プレイヤーズキャラクタの位置が所定の領域から外れて別の領域に入ると、新たな領域で指定されている規則にしたがって視点位置が決定され、例えば、プレイヤーズキャラクタの後方の所定位置に視点位置が設定される。
これにより、ゲームの制作者がゲームフィールドを設計する際に、ゲームフィールドの地形、配置されたアイテム、ギミック、キャラクタなどの種類、プレイヤーズキャラクタが実行すべきアクションなどに応じて、視点位置をどのように設定してゲーム画像を生成するのがよいかを柔軟に設定することができる。また、ゲームフィールドの状況に合わせて適切なゲーム画像を生成することができるので、ユーザの利便性を向上させることができる。
視点位置を決定するための規則は、ゲームフィールドの状況に応じて動的に設定されてもよい。例えば、ゲームフィールドの地形が変化する場合などに、ゲームフィールドの地形から規則を決定するためのアルゴリズムが予め指定され、まず、ゲームフィールドの地形から規則を決定し、決定された規則にしたがって視点位置が決定されてもよい。これにより、ゲームフィールドの状況に即して適切な視点位置を設定することができるので、ユーザの利便性を向上させることができる。
（対戦ゲーム１）
図１５は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図は、ヘッドマウントディスプレイ１００を装着した第１ユーザと、表示装置１２を視聴している第２ユーザとが対戦するゲームの画像を示す。この対戦ゲームにおいて、第１ユーザは、入力装置６に対する入力により、第２ユーザの第２キャラクタ５２０に向けて爆弾５２２を投げつつ、ヘッドマウントディスプレイ１００を移動させることにより、第１キャラクタを移動させて第２キャラクタ５２０が投げてくる爆弾５２４を避ける。第２ユーザは、入力装置６に対する入力により、第１キャラクタに向けて爆弾５２４を投げつつ、入力装置６に対する入力により、第２キャラクタ５２０を移動させて第１キャラクタが投げてくる爆弾５２２を避ける。複数の第２ユーザが対戦ゲームに参加してもよく、この場合、複数の第２キャラクタが第１キャラクタを攻撃してもよい。
第１画像生成部３１６は、ゲームフィールドにおいて第１キャラクタの位置に視点位置を設定し、ヘッドマウントディスプレイ１００が向いている方向に視線方向を設定して、第１画像を生成する。したがって、本図の例では、一人称視点のゲーム画像がヘッドマウントディスプレイ１００に表示される。第２キャラクタ５２０が投げてくる爆弾５２４は、ユーザ自身に向かって飛んでくるように見えるので、リアリティの高いゲームを提供することができる。
ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、第１キャラクタの位置を変更する。また、ゲーム制御部３１１は、入力装置６に対する指示入力にしたがって、第１キャラクタから指示された方向に爆弾５２２を飛ばし、物理計算などにより軌跡を算出して爆弾５２２を移動させる。第１キャラクタが投げた爆弾５２２が第２キャラクタ５２０に当たると、第２キャラクタ５２０の体力値を所定数減じる。第２キャラクタ５２０が投げた爆弾５２４が第１キャラクタに当たると、第１キャラクタの体力値を所定数減じる。いずれかのキャラクタの体力値がゼロになると、ゲームを終了する。
図１６は、表示装置１２に表示される第２ゲーム画像の例を示す。第２画像生成部３１７は、ゲームフィールド全体を見渡すことができ、第１キャラクタ５２６と第２キャラクタ５２０がゲーム画像内に表示されるように、視点位置と視線方向を固定し、第２画像を生成する。第２ユーザ及び第２キャラクタ５２０が単数である場合、第２キャラクタ５２０の位置又は第２キャラクタ５２０の後方の所定位置に視点位置を設定し、第２キャラクタ５２０の移動方向に視線方向を設定して第２画像を生成してもよいが、第２ユーザ及び第２キャラクタ５２０が複数である場合は、全ての第２ユーザがゲーム画像を見やすいように、全体を見渡せるように固定された第２画像を生成するのが望ましい。
ゲーム制御部３１１は、入力装置６に対する指示入力にしたがって、第２キャラクタ５２０の位置を変更する。また、ゲーム制御部３１１は、入力装置６に対する指示入力にしたがって、第２キャラクタ５２０から指示された方向に爆弾５２４を飛ばし、物理計算などにより軌跡を算出して爆弾を移動させる。
このように、第１ユーザと第２ユーザが同一の仮想三次元空間を共有し、両ユーザが仮想三次元空間において相互作用することを可能とするゲームにおいて、同一の仮想三次元空間を別々の視点から見たゲーム画像をそれぞれのユーザに提供することができる。
図１７は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図の第１ゲーム画像は、図１５に示した第１ゲーム画像と同様に、上述の対戦ゲームにおいて、第１ユーザのヘッドマウントディスプレイ１００に表示される第１ゲーム画像であるが、ゲームフィールドに第１キャラクタを表示するための第１キャラクタ表示領域５３０が設けられている。図１５に示した第１ゲーム画像は一人称視点で生成されるので、第１キャラクタは第１ゲーム画像に表示されず、第１ユーザは自身のアバターである第１キャラクタを見ることができない。したがって、本図の例では、第１キャラクタ表示領域５３０に第１キャラクタ５３２の画像を表示する。これにより、第１ユーザも第１キャラクタ５３２を見ながらゲームを行うことができるので、第１ユーザと第２ユーザが同一のゲームの内容を共有することができる。
本図に示した第１ゲーム画像では、さらに、第１キャラクタ表示領域５３０の近傍に、カメラ５３６を持った撮影キャラクタ５３４が表示されている。撮影キャラクタ５３４が自身の方向をカメラ５３６で撮影している様子を第１ゲーム画像に表示することにより、自身のアバターである第１キャラクタの画像が第１キャラクタ表示領域５３０に表示されていることを第１ユーザに理解させることができる。
図１８は、表示装置１２に表示される第２ゲーム画像の例を示す。本図の第２ゲーム画像は、図１６に示した第２ゲーム画像と同様に、上述の対戦ゲームにおいて、第２ユーザが視聴する表示装置１２に表示される。図１７の第１ゲーム画像では撮影キャラクタ５３４が表示されたが、撮影キャラクタ５３４は対戦ゲームに関与しないので、本図の第２ゲーム画像では撮影キャラクタ５３４は表示されない。
第１ユーザが、爆弾５２４を避けようとして頭を左に移動させると、ゲーム制御部３１１は、ヘッドマウントディスプレイ１００が左に移動した旨を示す情報を受信し、第１キャラクタ５２６を左へ移動させる。このとき、第２画像生成部３１７により生成される第２ゲーム画像においては、第１キャラクタ５２６が右へ移動する様子が表示される。また、第１ユーザが、爆弾５２４を避けようとして頭を左に倒すと、ゲーム制御部３１１は、ヘッドマウントディスプレイ１００が左に傾いたことを示す情報を受信し、第１キャラクタ５２６の頭を左に傾ける。このとき、第２画像生成部３１７により生成される第２ゲーム画像においては、第１キャラクタ５２６の頭が右に傾く様子が表示される。
第１画像生成部３１６は、ゲームフィールドの所定位置に第１キャラクタ表示領域５３０を設け、第１キャラクタ表示領域５３０に第１キャラクタの画像を表示する。また、第１画像生成部３１６は、ゲームフィールドの所定位置にカメラ５３６を持った撮影キャラクタ５３４を表示する。第１キャラクタ表示領域５３０には、第２画像生成部３１７が生成した第２ゲーム画像の全部又は一部を左右反転した画像が表示されてもよい。これにより、第１ユーザの動きに合わせて第１キャラクタ５３２の位置及び姿勢が変わる様子を第１ゲーム画像に表示することができる。また、第１キャラクタ表示領域５３０が鏡であるかのように見せることができるので、第１ユーザが第１キャラクタ５３２になりきって、ゲーム世界に没入することを可能とすることができる。
第１画像生成部３１６は、第２画像生成部３１７が生成した第２ゲーム画像のうち、固定された位置の所定領域の画像を第１キャラクタ表示領域５３０に表示してもよいし、第１キャラクタ５３２が第１キャラクタ表示領域５３０に表示されるように、第１キャラクタ５３２の移動に伴って所定領域の位置を変更しつつ、所定領域の画像を第１キャラクタ表示領域５３０に表示してもよい。前者の場合、第１キャラクタ表示領域５３０が鏡であるかのように見せることができ、後者の場合、撮影キャラクタ５３４が第１キャラクタ５３２を追って撮影しているように見せることができる。前者の場合、撮影キャラクタ５３４を第１ゲーム画像に表示しなくてもよい。第１画像生成部３１６は、第１キャラクタ５３２の位置やゲームの状況などに応じて、第２ゲーム画像の一部を拡大又は縮小して第１キャラクタ表示領域５３０に表示してもよい。また、第１ユーザからの指示に応じて、第１キャラクタ表示領域５３０に第１キャラクタ５３２の画像を表示するか否かを決定してもよい。
（対戦ゲーム２）
図１９は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。本図は、ヘッドマウントディスプレイ１００を装着した第１ユーザと、表示装置１２を視聴している第２ユーザとが対戦するゲームの画像を示す。この対戦ゲームにおいて、第１ユーザはネコのキャラクタを操作し、第２ユーザはネズミ５４０のキャラクタを操作する。ゲームフィールドには、ネズミの好物であるチーズ５４２が配置される。第２ユーザは、入力装置６に対する入力によりネズミ５４０を操作して、ネコが見ていない間にチーズ５４２を取得する。第１ユーザは、ヘッドマウントディスプレイ１００を移動させたりヘッドマウントディスプレイ１００の姿勢を変化させたりすることによりネコを操作して、ネズミ５４０がチーズ５４２を取得することができないように監視する。本図の第１ゲーム画像は、ゲーム開始前に表示される第１ゲーム画像である。チーズ５４２は皿に乗せられていて、まだネズミ５４０が取ることはできない。
第１画像生成部３１６は、ゲームフィールドにおいてネコの頭部の位置に視点位置を設定し、ヘッドマウントディスプレイ１００が向いている方向に視線方向を設定して、第１画像を生成する。したがって、一人称視点の第１ゲーム画像がヘッドマウントディスプレイ１００に表示される。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の位置及び姿勢の変化に伴って、ネコの位置及び頭の向きを変更するとともに、第１ゲーム画像を生成するための視点位置及び視線方向を変更する。
図２０は、表示装置１２に表示される第２ゲーム画像の例を示す。本図の第２ゲーム画像も、ゲーム開始前に表示される第２ゲーム画像である。ゲーム開始前には、第１ユーザにより操作されるネコ５５０のキャラクタはカーテン５５２の後ろに隠れており、点線で表示されている。第１ユーザが頭を前方へ移動させると、ゲーム制御部３１１は、カーテン５５２を開けてネコ５５０を前方へ移動させ、ネコ５５０を実線で表示する。ゲーム制御部３１１は、ゲーム開始前の所定のタイミングにおけるヘッドマウントディスプレイ１００の位置を基準として、カーテンを開閉させるためのヘッドマウントディスプレイ１００の位置を設定し、設定された位置よりも前方にヘッドマウントディスプレイ１００が移動されるとカーテン５５２を開け、設定された位置よりも後方にヘッドマウントディスプレイ１００が移動されるとカーテン５５２を閉める。
カーテン５５２が開いている状態で、第１ユーザがネズミ５４０の方に顔を向けて、ネコ５５０とネズミ５４０の目が合うと、ゲームが開始される。ゲーム制御部３１１は、第１ゲーム画像の中央の所定の範囲内にネズミ５４０が入ったときに、ネコ５５０とネズミ５４０の目が合ったと判定して、ゲームを開始する。第１ユーザが横を向いているなどして、ネズミ５４０の方を見ていない間は、ゲームは開始されない。ゲーム制御部３１１は、ゲームが開始されると、皿に乗せられたチーズ５４２がゲームフィールドにばらまかれる様子を表示し、ネコ５５０及びネズミ５４０を移動させるための指示入力を受け付ける。
本図の例では、ネコ５５０のキャラクタは、ヘッドマウントディスプレイ１００の外観に似せたゴーグル５５４を着用している。これにより、ネコ５５０のキャラクタが、ヘッドマウントディスプレイ１００を装着している第１ユーザにより操作されるキャラクタであることを視覚的に分かりやすく示すことができる。
図２１は、ヘッドマウントディスプレイに表示される第１ゲーム画像の例を示す。ゲームフィールドには、ばらまかれたチーズ５４２のほか、缶５４４などの障害物や、野菜５４６などのオブジェクトが配置される。第２ユーザは、ネズミ５４０を操作してゲームフィールド内を移動させ、障害物をよけながらチーズ５４２を取得する。
図２２は、表示装置１２に表示される第２ゲーム画像の例を示す。ゲーム中に、第１ユーザがヘッドマウントディスプレイ１００を前方に移動させると、ゲーム制御部３１１はカーテン５５２を開き、ネコ５５０を前方に移動させる。カーテン５５２が開いている間に、ネコ５５０がネズミ５４０を発見したとき、ゲーム制御部３１１は、発見されたネズミ５４０にダメージを与えてもよい。この場合、ゲーム制御部３１１は、第１ゲーム画像の中央の所定の範囲内にネズミ５４０が入ったときに、そのネズミにダメージを与える。ゲーム制御部３１１は、ネズミ５４０の体力値を管理し、発見されたネズミ５４０の体力値を所定値だけ減じ、体力値がゼロになったネズミ５４０を操作している第２ユーザはゲームオーバーとしてもよい。また、発見されたネズミ５４０が取得していたチーズ５４２を再びゲームフィールドに戻してもよい。また、発見されたネズミ５４０を強制的に巣穴５４８へ移動させてもよい。ゲーム制御部３１１は、ネコ５５０がネズミ５４０を発見したときに、ネズミ５４０が動けなくなるようにしてもよい。この場合、ゲーム制御部３１１は、第１ゲーム画像の中央の所定の範囲内にネズミ５４０が入っている間、そのネズミ５４０の移動を禁止する。ゲーム制御部３１１は、ネコ５５０が缶５４４などの障害物をネズミ５４０に向かって投げつけられるようにしてもよい。この場合、ゲーム制御部３１１は、第１ユーザによる入力装置６に対する指示入力に応じて、ネコ５５０の位置から缶５４４を発射する。缶５４４がネズミ５４０に当たると、そのネズミ５４０の体力値を所定値だけ減じてもよい。
第１ユーザは、頭を上下左右に向けることにより、ゲームフィールド内にいるネズミ５４０を探す。ヘッドマウントディスプレイ１００にネズミ５４０が表示されると、そのネズミ５４０がネコ５５０に発見されたことにしてもよいし、前述したように、中央の所定の範囲内にネズミ５４０が入ったときに、そのネズミ５４０がネコ５５０に発見されたことにしてもよい。後者の場合、ヘッドマウントディスプレイ１００にネズミ５４０が表示されたときに、第１ユーザ自身はネズミ５４０を発見するが、ネコ５５０がそのネズミ５４０を発見したことにするためには、さらにそのネズミ５４０の方向に顔を向けて、中央の所定の範囲内にネズミ５４０が入るようにする必要がある。
第２ユーザは、カーテン５５２が開いてネコ５５０が出てきている間、ネズミ５４０を野菜５４６の裏側や巣穴５４８の中などに移動させて、ネコ５５０に発見されないようにする。ネコ５５０が後方に下がり、カーテン５５２が閉じられると、再びネズミ５４０を移動させてチーズ５４２を取得する。制限時間内にネズミ５４０がゲームフィールドに配置された全てのチーズ５４２を取得することができれば第２ユーザの勝ちとなり、できなければ第１ユーザの勝ちとなる。
第１ユーザが下を向いたとき、第１ゲーム画像には床が表示されることになるが、この状態でユーザがヘッドマウントディスプレイ１００を上下に移動させると、視点位置が上下に移動されるので、床の画像が拡大縮小される。ここで、視点位置が所定位置以上床に近づくと、第１画像生成部３１６は、床の画像をぼかして表示する。これにより、床に近づきすぎて焦点が合わなくなる様子を表現することができ、床や床に置かれたオブジェクトが拡大され過ぎて見づらくなってしまうのを防ぐことができる。また、ゲーム世界における床の位置と現実世界におけるヘッドマウントディスプレイ１００の位置との関係を第１ユーザに示すことができ、第１ユーザがそれ以上ヘッドマウントディスプレイ１００の位置を下に移動させて、視点位置が床よりも下に移動してしまうのを防ぐことができる。
図２３は、表示装置１２に表示される第２ゲーム画像の例を示す。上述したように、この対戦ゲームでは、ネコ５５０がカーテン５５２よりも前に出てきている間は、ネズミ５４０がチーズ５４２を取ることができないので、ネコ５５０がずっとカーテン５５２よりも前に出てきたままになっているとゲームが進行しない。したがって、ネコがカーテン５５２よりも前に出てネズミ５４０を発見することが可能な第１の状態が所定時間以上継続すると、ネコ５５０がネズミ５４０を発見することができない第２の状態に強制的に切り替える。本図の例では、ゲーム制御部３１１は、カーテン５５２が開かれてからの第１の経過時間をカウントし、第１の経過時間が第１の所定時間に達すると、ネコ５５０が着用しているゴーグル５５４を閉じて、ネコ５５０がネズミ５４０を発見することができないようにする。このとき、図２４に示すように、ヘッドマウントディスプレイ１００に表示される第１ゲーム画像では、真っ暗な画像又は透過率の低い画像を表示して、ゴーグル５５４が閉じられたことを第１ユーザに示す。第１ユーザがヘッドマウントディスプレイ１００を後方に移動させてカーテン５５２が閉じられると、ゲーム制御部３１１は、第１の経過時間をゼロに戻す。
カーテン５５２が閉じられた後、すぐにカーテン５５２を開けてネコ５５０が前に出てくることができないようにしてもよい。この場合、ゲーム制御部３１１は、カーテン５５２が閉じられてからの第２の経過時間をカウントし、第２の経過時間が第２の所定時間に達するまでは、ヘッドマウントディスプレイ１００が前方に移動されてもカーテン５５２を開けない。ゲーム制御部３１１は、第１の経過時間が第１の所定時間に達してゴーグル５５４が閉じられた後にカーテン５５２が閉じられた場合の第２の所定時間を、第１の経過時間が第１の所定時間に達する前に第１ユーザがヘッドマウントディスプレイ１００を後方に移動させることによりカーテン５５２が閉じられた場合の第２の所定時間よりも長くしてもよい。これにより、第１の経過時間が第１の所定時間に達するまでカーテン５５２を開けたままにしておくと、より長い時間カーテン５５２を開けることができなくなるというペナルティが与えられるので、第１の経過時間が第１の所定時間に達する前にカーテン５５２を閉じるようにしようと第１ユーザに思わせることができ、第１ユーザがカーテン５５２を開閉するタイミングと、第２ユーザがネズミ５４０を移動させるタイミングとの駆け引きを楽しむことが可能なゲームを提供することができる。
本図の例では、ネコ５５０が着用するゴーグル５５４を閉じることにより、ネコ５５０がネズミ５４０を発見することができないようにしたが、別の例では、第１の経過時間が第１の所定時間に達すると、犬などのキャラクタが登場してネコ５５０の視界を塞ぐ様子を表示してもよいし、ネコ５５０を強制的に後方に戻してカーテン５５２を閉じてもよい。
このように、ヘッドマウントディスプレイ１００の位置に応じて、ネコ５５０がネズミ５４０を発見することが可能な第１の状態と、ネコ５５０がネズミ５４０を発見することができない第２の状態との間で事象の状態を切り替える場合に、第１の状態が所定時間以上継続したときには、ヘッドマウントディスプレイ１００の位置にかかわらず、第２の状態に切り替えることにより、時間的要素も併せ持つゲーム性を提供することができる。
図２５は、実施の形態に係る表示制御方法の手順を示すフローチャートである。ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００の撮像画像から取得されたヘッドマウントディスプレイ１００の位置情報を取得し（Ｓ１００）、入力装置情報取得部３１５は、入力装置６の撮像画像から取得された入力装置６の位置情報を取得する（Ｓ１０２）。指示入力取得部３１２は、入力装置６から入力された指示に関する情報を取得する（Ｓ１０４）。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の位置、入力装置６の位置、入力装置６に入力された指示などに基づいてゲームを制御する（Ｓ１０６）。第１画像生成部３１６は、ヘッドマウントディスプレイ１００に表示すべき、ゲーム制御部３１１により制御されるゲームの画像を生成する（Ｓ１０８）。このとき、第１画像生成部３１６は、ヘッドマウントディスプレイ１００と入力装置６との間の相対位置に基づいて、入力装置６の画像を生成した画像に表示させる（Ｓ１１０）。生成された画像は、ヘッドマウントディスプレイ１００へ送信される（Ｓ１１２）。
図２６は、実施の形態に係る表示制御方法の手順を示すフローチャートである。指示入力取得部３１２は、入力装置６から入力された指示に関する情報を取得する（Ｓ１２０）。ゲーム制御部３１１は、入力された指示に基づいて操作対象の位置を更新し（Ｓ１２２）、更新後の位置に指定されている視点位置を決定するための規則を取得する（Ｓ１２４）。第１画像生成部３１６は、視点位置を決定するための規則にしたがって視点位置を決定する（Ｓ１２６）。ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイ１００の姿勢に関する情報を取得する（Ｓ１２８）。第１画像生成部３１６は、決定された視点位置と、ヘッドマウントディスプレイ１００の姿勢に基づいて決定された視線方向を用いて、ヘッドマウントディスプレイ１００に表示すべき画像を生成する（Ｓ１３０）。生成された画像は、ヘッドマウントディスプレイ１００へ送信される（Ｓ１３２）。
図２７は、実施の形態に係る表示制御方法の手順を示すフローチャートである。指示入力取得部３１２は、第１ユーザの入力装置６から入力された指示に関する情報を取得するとともに（Ｓ１４０）、第２ユーザの入力装置６から入力された指示に関する情報を取得する（Ｓ１４２）。ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００の位置及び姿勢に関する情報を取得し（Ｓ１４４）、入力装置情報取得部３１５は、入力装置６の位置及び姿勢に関する情報を取得する（Ｓ１４６）。ゲーム制御部３１１は、入力された指示、ヘッドマウントディスプレイ１００の位置及び姿勢、入力装置６の位置及び姿勢などに基づいてゲームを制御する（Ｓ１４８）。第１画像生成部３１６は、第１ユーザの視点位置及び視線方向を用いて、ヘッドマウントディスプレイ１００に表示すべき第１画像を生成し（Ｓ１５０）、生成された画像は、ヘッドマウントディスプレイ１００へ送信される（Ｓ１５２）。第２画像生成部３１７は、第２ユーザの視点位置及び視線方向を用いて、表示装置１２に表示すべき第２画像を生成し（Ｓ１５４）、生成された画像は、表示装置１２へ送信される（Ｓ１５６）。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
上記の例では、ヘッドマウントディスプレイ１００の表示装置９０に単眼視用の画像が表示されたが、別の例では、両眼立体視用の画像が表示されてもよい。
上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ１００が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。
１０ ゲーム装置、９０ 表示装置、１００ ヘッドマウントディスプレイ、３１１ ゲーム制御部、３１２ 指示入力取得部、３１３ 撮像画像解析部、３１４ ＨＭＤ情報取得部、３１５ 入力装置情報取得部、３１６ 第１画像生成部、３１７ 第２画像生成部。

Claims (9)

  1. コンピュータを、
    ヘッドマウントディスプレイを頭部に装着した第１のユーザが使用する第１の入力装置から、入力された指示を示す情報を取得し、表示装置を見ることが可能な第２のユーザが使用する第２の入力装置から、入力された指示を示す情報を取得する指示入力取得部、
    仮想三次元空間において、前記指示入力取得部が取得した指示に基づいて事象を制御する制御部、
    前記ヘッドマウントディスプレイに表示すべき前記仮想三次元空間の第１画像を生成する第１画像生成部、
    前記表示装置に表示すべき前記仮想三次元空間の第２画像を生成する第２画像生成部、
    として機能させ、
    前記制御部は、前記第１の入力装置又は前記ヘッドマウントディスプレイから取得した情報にしたがって、前記仮想三次元空間においてキャラクタを制御し、
    前記第１画像生成部は、前記キャラクタの位置に視点位置を設定して前記仮想三次元空間の前記第１画像を生成し、
    前記第１画像生成部は、前記第１画像内に設けられた表示領域に、前記キャラクタの画像を表示する
    ことを特徴とする表示制御プログラム。
  2. コンピュータを、前記ヘッドマウントディスプレイの位置又は姿勢を示す情報を取得するヘッドマウントディスプレイ情報取得部として更に機能させ、
    前記制御部は、前記ヘッドマウントディスプレイの位置又は姿勢に基づいて前記事象を制御することを特徴とする請求項１に記載の表示制御プログラム。
  3. コンピュータを、前記第１の入力装置又は前記第２の入力装置の位置又は姿勢を示す情報を取得する入力装置情報取得部として更に機能させ、
    前記制御部は、前記第１の入力装置又は前記第２の入力装置の位置又は姿勢に基づいて前記事象を制御することを特徴とする請求項１又は２に記載の表示制御プログラム。
  4. 前記第２画像生成部は、前記キャラクタを含む前記仮想三次元空間の前記第２画像を生成し、
    前記第１画像生成部は、前記第２画像の一部又は全部を左右反転した画像を前記表示領域に表示する
    ことを特徴とする請求項１から３のいずれかに記載の表示制御プログラム。
  5. 前記制御部は、前記ヘッドマウントディスプレイの位置に応じて、前記事象の状態を第１の状態と第２の状態との間で切り替え、
    前記第１の状態が所定時間以上継続したときには、前記ヘッドマウントディスプレイの位置にかかわらず、前記第２の状態に切り替える
    ことを特徴とする請求項１から４のいずれかに記載の表示制御プログラム。
  6. コンピュータを、
    ヘッドマウントディスプレイを頭部に装着した第１のユーザが使用する第１の入力装置から、入力された指示を示す情報を取得し、表示装置を見ることが可能な第２のユーザが使用する第２の入力装置から、入力された指示を示す情報を取得する指示入力取得部、
    仮想三次元空間において、前記指示入力取得部が取得した指示に基づいて事象を制御する制御部、
    前記ヘッドマウントディスプレイに表示すべき前記仮想三次元空間の第１画像を生成する第１画像生成部、
    前記表示装置に表示すべき前記仮想三次元空間の第２画像を生成する第２画像生成部、
    として機能させ、
    前記制御部は、前記ヘッドマウントディスプレイの位置に応じて、前記事象の状態を第１の状態と第２の状態との間で切り替え、
    前記第１の状態が所定時間以上継続したときには、前記ヘッドマウントディスプレイの位置にかかわらず、前記第２の状態に切り替える
    ことを特徴とする表示制御プログラム。
  7. ヘッドマウントディスプレイを頭部に装着した第１のユーザが使用する第１の入力装置から、入力された指示を示す情報を取得し、表示装置を見ることが可能な第２のユーザが使用する第２の入力装置から、入力された指示を示す情報を取得する指示入力取得部と、
    仮想三次元空間において、前記指示入力取得部が取得した指示に基づいて事象を制御する制御部と、
    前記ヘッドマウントディスプレイに表示すべき前記仮想三次元空間の第１画像を生成する第１画像生成部と、
    前記表示装置に表示すべき前記仮想三次元空間の第２画像を生成する第２画像生成部と、
    を備え、
    前記制御部は、前記第１の入力装置又は前記ヘッドマウントディスプレイから取得した情報にしたがって、前記仮想三次元空間においてキャラクタを制御し、
    前記第１画像生成部は、前記キャラクタの位置に視点位置を設定して前記仮想三次元空間の前記第１画像を生成し、
    前記第１画像生成部は、前記第１画像内に設けられた表示領域に、前記キャラクタの画像を表示する
    ことを特徴とする表示制御装置。
  8. コンピュータに、
    ヘッドマウントディスプレイを頭部に装着した第１のユーザが使用する第１の入力装置から、入力された指示を示す情報を取得し、表示装置を見ることが可能な第２のユーザが使用する第２の入力装置から、入力された指示を示す情報を取得するステップと、
    仮想三次元空間において、取得した指示に基づいて事象を制御するステップと、
    前記ヘッドマウントディスプレイに表示すべき前記仮想三次元空間の第１画像を生成するステップと、
    前記表示装置に表示すべき前記仮想三次元空間の第２画像を生成するステップと、
    前記第１の入力装置又は前記ヘッドマウントディスプレイから取得した情報にしたがって、前記仮想三次元空間においてキャラクタを制御するステップと、
    前記キャラクタの位置に視点位置を設定して前記仮想三次元空間の前記第１画像を生成するステップと、
    前記第１画像内に設けられた表示領域に、前記キャラクタの画像を表示するステップと、
    を実行させることを特徴とする表示制御方法。
  9. 請求項１から６のいずれかに記載の表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2015182762A 2015-02-27 2015-09-16 表示制御プログラム、表示制御装置、及び表示制御方法 Active JP6693718B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US15/547,736 US10596464B2 (en) 2015-02-27 2016-02-24 Display control program, display control apparatus and display control method
EP16755538.2A EP3263194B1 (en) 2015-02-27 2016-02-24 Display control program, dislay control device, and display control method
EP23168806.0A EP4236299A3 (en) 2015-02-27 2016-02-24 Display control program, dislay control device, and display control method
PCT/JP2016/055391 WO2016136794A1 (ja) 2015-02-27 2016-02-24 表示制御プログラム、表示制御装置、及び表示制御方法
JP2019196433A JP6929918B2 (ja) 2015-02-27 2019-10-29 表示制御プログラム、表示制御装置、及び表示制御方法
US16/784,338 US11154778B2 (en) 2015-02-27 2020-02-07 Display control program, display control apparatus and display control method
US17/486,200 US11660536B2 (en) 2015-02-27 2021-09-27 Display control program, display control apparatus and display control method
US18/303,760 US20230249071A1 (en) 2015-02-27 2023-04-20 Display control program, dislay control apparatus and display control method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015039077 2015-02-27
JP2015039077 2015-02-27
JP2015119033 2015-06-12
JP2015119033 2015-06-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019196433A Division JP6929918B2 (ja) 2015-02-27 2019-10-29 表示制御プログラム、表示制御装置、及び表示制御方法

Publications (2)

Publication Number Publication Date
JP2016214822A JP2016214822A (ja) 2016-12-22
JP6693718B2 true JP6693718B2 (ja) 2020-05-13

Family

ID=57577563

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015182762A Active JP6693718B2 (ja) 2015-02-27 2015-09-16 表示制御プログラム、表示制御装置、及び表示制御方法
JP2019196433A Active JP6929918B2 (ja) 2015-02-27 2019-10-29 表示制御プログラム、表示制御装置、及び表示制御方法
JP2021131154A Active JP7405801B2 (ja) 2015-02-27 2021-08-11 表示制御プログラム、表示制御装置、及び表示制御方法
JP2023025240A Active JP7489504B2 (ja) 2015-02-27 2023-02-21 表示制御プログラム、表示制御装置、及び表示制御方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2019196433A Active JP6929918B2 (ja) 2015-02-27 2019-10-29 表示制御プログラム、表示制御装置、及び表示制御方法
JP2021131154A Active JP7405801B2 (ja) 2015-02-27 2021-08-11 表示制御プログラム、表示制御装置、及び表示制御方法
JP2023025240A Active JP7489504B2 (ja) 2015-02-27 2023-02-21 表示制御プログラム、表示制御装置、及び表示制御方法

Country Status (3)

Country Link
US (2) US10596464B2 (ja)
EP (1) EP3263194B1 (ja)
JP (4) JP6693718B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018000308A (ja) * 2016-06-28 2018-01-11 フォーブ インコーポレーテッド 映像表示装置システム、心拍特定方法、心拍特定プログラム
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
JP7073702B2 (ja) 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7077595B2 (ja) 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2019105960A (ja) 2017-12-12 2019-06-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6441517B1 (ja) * 2018-01-26 2018-12-19 株式会社コロプラ プログラム、情報処理装置、および方法
JP7141093B2 (ja) 2018-07-17 2022-09-22 株式会社アルファコード タイミングゲーム装置およびタイミングゲーム用プログラム
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN116490250A (zh) * 2020-09-25 2023-07-25 苹果公司 环境的非对称呈现
JP2023120843A (ja) * 2022-02-18 2023-08-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス位置推定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312033A (ja) * 1998-04-28 1999-11-09 Sony Corp 眼鏡型画像表示装置
JP3413128B2 (ja) 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感提示方法
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP5427343B2 (ja) * 2007-04-20 2014-02-26 任天堂株式会社 ゲームコントローラ
WO2010066481A2 (de) 2008-12-10 2010-06-17 Siemens Aktiengesellschaft Verfahren zum übertragen eines bildes von einer ersten steuereinheit auf eine zweite steuereinheit und ausgabeeinheit
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
JP5756299B2 (ja) 2011-02-03 2015-07-29 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10173129B2 (en) 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
JP5898756B1 (ja) 2014-11-28 2016-04-06 株式会社コロプラ ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、プログラム、及び方法

Also Published As

Publication number Publication date
EP3263194B1 (en) 2023-05-24
JP7489504B2 (ja) 2024-05-23
US11154778B2 (en) 2021-10-26
EP3263194A4 (en) 2018-07-04
JP2021185500A (ja) 2021-12-09
US20180028915A1 (en) 2018-02-01
JP2016214822A (ja) 2016-12-22
JP2023075136A (ja) 2023-05-30
EP3263194A1 (en) 2018-01-03
JP6929918B2 (ja) 2021-09-01
JP2020044339A (ja) 2020-03-26
US20200171385A1 (en) 2020-06-04
JP7405801B2 (ja) 2023-12-26
US10596464B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
JP6929918B2 (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP6788327B2 (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
US10599286B2 (en) Information processing method and apparatus for executing the information processing method
JP2016158795A (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP6248219B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018147465A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6263292B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
US11660536B2 (en) Display control program, display control apparatus and display control method
JP6330072B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6445499B2 (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP6891319B2 (ja) 表示制御装置及び表示制御方法
JP6711891B2 (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP7462591B2 (ja) 表示制御装置及び表示制御方法
JP6683862B2 (ja) 表示制御装置及び表示制御方法
JP2018147469A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018143752A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200416

R150 Certificate of patent or registration of utility model

Ref document number: 6693718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150