JP4083155B2 - 入力位置検出装置及びエンタテインメントシステム - Google Patents

Description

本発明は、赤外線の送受信手段を備えた入力装置からの入力位置を検出する入力位置検出装置及びプログラムの実行機能を有する親機と、この親機に接続するためのインタフェースを備える子機とを有して成るエンタテインメントシステムに関する。

エンタテインメントシステムの具体例であるビデオゲーム装置では、ゲーム機本体に接続した、例えばテレビジョン受像機のようなモニタ装置上にプレイヤキャラクタや、オブジェクトを表示させ、入力操作装置を使ってそのキャラクタやオブジェクトをジャンプ、移動等させながら、例えばロールプレイングゲームや、レーシングゲーム等を進めていく。

通常、プレイヤが正面からモニタ装置を見ていることを前提として、ゲームを進めていく。このため、プレイヤはモニタ装置の正面に位置することが必要となる。

ところで、モニタ装置を置いている室内の状況によっては、モニタ装置の正面にプレイヤが位置することが困難な場合がある。

また、二人でそれぞれ入力操作装置を用いて例えば、対戦型のゲームを行う場合には、二人ともモニタ装置の正面に位置するのは困難である。

本発明は、上記実情に鑑みてなされたものであり、入力装置による入力位置を正確に、かつ簡単に検出することができる入力位置検出装置、及び子機の位置を検出し、その位置を中心とした視点上に、プログラムの実行により生成した画像を表示させることができ、プレイヤに最適な視点を設定させることができるエンタテインメントシステムの提供を目的とする。

本発明に係るエンタテインメントシステムは、上記課題を解決するために、赤外線の送受信手段を備えた入力装置からの入力位置を検出する入力位置検出装置において、上記入力装置の赤外線送受信手段に対して赤外線信号を送受信する赤外線送受信手段と、所定方向の画像を撮像する撮像手段とを備え、所定方向に向けて上記撮像手段と上記赤外線送受信手段とを隣接して配置し、上記撮像手段が撮像した、上記所定方向又はその近傍にある上記入力装置の赤外線送受信手段からの位置検出用の赤外線信号を含んだ画像と、その直前の位置検出用の赤外線信号を含まない画像との差分に基づいて、上記入力装置の上記所定方向又はその近傍上の入力位置を検出する。

また、本発明に係るエンタテインメントシステムは、上記課題を解決するために、プログラムの実行機能を有する親機と、この親機に接続するためのインタフェースと赤外線の送受信手段を備えた子機とを有して成るエンタテインメントシステムにおいて、上記親機は、上記子機の赤外線送受信手段に対して赤外線信号を送受信する赤外線送受信手段と、所定方向の画像を撮像する撮像手段とを所定方向に向けて隣接して配置し、上記撮像手段が撮像した、上記所定方向又はその近傍にある上記子機の赤外線送受信手段からの位置検出用の赤外線信号を含んだ画像と、その直前の位置検出用の赤外線信号を含まない画像との差分に基づいて、上記子機の上記所定方向又はその近傍上の入力位置を検出する。

ここで、上記親機はプログラムの実行により生成した画像を表示する表示手段を接続し、上記赤外線送受信手段と、上記撮像手段とをこの表示手段の近傍に配置する。

また、上記子機は固有の識別番号を有しており、上記親機に向けて発光する赤外線の中に該識別番号情報を含ませている。また、上記子機は固有の識別番号を有しており、上記親機から上記子機に向けて識別番号が赤外線信号により送られてきたときには、上記識別番号が固有の識別番号と等しいか否かを判定する。また、上記子機は上記赤外線送信手段を複数個備えている。

本発明によれば、入力装置からの入力位置を正確に、かつ簡単に検出することができる入力位置検出装置、及び子機の位置を検出し、その位置を中心とした視点上に、プログラムの実行により生成した画像を表示させることができ、プレイヤに最適な視点を設定させることができるエンタテインメントシステムを提供できる。

以下、本発明に係る入力位置検出装置及びエンタテインメントシステムの実施の形態について図面を参照しながら説明する。この実施の形態は、プログラムの実行機能を有するゲーム機本体と、このゲーム機本体に無線接続するためのインタフェースを備える携帯ゲーム端末とからなるビデオゲーム装置であり、ゲーム機本体は携帯ゲーム端末からの入力位置を検出する入力位置検出装置としての機能を備えている。

図１に示すように、このビデオゲーム装置１は、ゲーム機本体２と携帯ゲーム端末３とから成る。ゲーム機本体２は赤外線入出力装置４と、画像撮像手段となるＣＣＤカメラ５と、テレビジョン受像機のようなモニタ装置６とを接続している。

携帯ゲーム端末３は、操作者７によって把持される。携帯ゲーム端末３には、赤外線入出力部８が備えられ、操作者７の操作に応じた赤外線信号を赤外線入出力装置４に送信する。

ここで、モニタ装置６に接続される赤外線入出力装置４と、ＣＣＤカメラ５は、携帯ゲーム端末３を把持する操作者７の方向に向けて隣接して配置される。そして、ゲーム機本体２は、操作者７が携帯ゲーム端末３の赤外線入出力部８から赤外線信号を赤外線入出力装置４に向けて発光する直前のＣＣＤカメラ５による入力画像と、赤外線が発光した時点の入力画像との差分に基づいて携帯ゲーム端末３の位置を検出する。携帯ゲーム端末３は、固有の識別番号を有しており、ゲーム機本体２に向けて発光する赤外線の中にこの識別番号情報を含ませている。 ゲーム機本体２は、図２に示すように、ＣＣＤカメラ５からの撮像画像をディジタル信号に変換するＡ／Ｄ変換器１０と、赤外線入出力装置４から位置検出用の赤外線が供給されたときに切り替わる切り替え器１１と、二つのフレームバッファ１２及び１３と、読み出し回路１４と、比較器１５と、画像アドレス計算器１６とを備えて成る。

次に、図３のフローチャートを用いてビデオゲーム装置１の動作を以下に説明する。先ず、操作者７がステップＳ１で携帯ゲーム端末３の赤外線発光ボタンを押したとする。すると、携帯ゲーム端末３は、ステップＳ３で自分の識別番号を含んだ赤外線信号を赤外線入出力部８から発光する。

ゲーム機本体２に接続された赤外線入出力装置４はステップＳ３で上記赤外線入出力部８からの赤外線信号を検知する。そして、ステップＳ４で検知した赤外線信号に含まれる識別番号から、携帯ゲーム端末３からの信号と判断し、ＣＣＤカメラ５からの撮像画像をＡ／Ｄ変換器１０でディジタル画像信号に変換した後、フレームバッファ１２に１フレーム分保存する。

ステップＳ５で携帯ゲーム端末３が位置検出用の赤外線信号を、１フレーム時間以上発光すると、ステップＳ６でゲーム機本体２は上記位置検出用の赤外線信号発光中の画像をＣＣＤカメラ５により撮像し、Ａ／Ｄ変換器１０，切り替え器１１を介してフレームバッファ１３に１フレーム保存する。

最後にステップＳ７で画像アドレス計算器１６は、フレームバッファ１２及び１３から読み出し回路１４を介してディジタル画像信号を読み出し、比較器１５で比較して差分をとってから、発光点の位置を画像処理により求める。

すなわち、ＣＣＤカメラ５からの画像入力を予めフレームバッファ１２に１フレーム分保持しておき、位置検出用の赤外線信号が検出されたら、フレームバッファ１２に保存されている赤外線発光前のＣＣＤカメラの入力画像と、フレームバッファ１３に保存される赤外線発光後のＣＣＤカメラ５の入力画像の差分をとることにより、携帯ゲーム端末３の位置を検出する。

また、赤外線信号の中には、携帯ゲーム端末３の識別番号が含まれているので、どの位置にどの携帯ゲーム端末があるかを認識可能になる。

画像アドレス計算器１６では、以下の図４を用いて説明できるアルゴリズムによって、ＣＣＤカメラの画像座標から実空間座標を推定している。ここでは、モニタ装置（テレビ）６の画面中心を原点とし、テレビ６に向かって画面の垂直手前方向をＴz軸、右手方向をＴx軸、上方向をＴy軸としたテレビ座標系を用いて
説明する。

テレビ６の画面方向とＣＣＤカメラ５の視線方向は平行であり、テレビ座標系原点の真上にＣＣＤカメラ５があると仮定する。ＣＣＤカメラ５のレンズ中央を原点とし、ＣＣＤカメラ５に向かって画面の垂直手前方向をＣz軸、右手方向を
Ｃx軸、上方向をＣy軸とする。また、ＣＣＤカメラ座標系原点とテレビ座標系原点の距離をｄとする。

ＣＣＤカメラ１台の場合は、携帯ゲーム端末３の２次元的な位置しか分からないので、自由度を限定するためにテレビからａ離れた平面上に携帯ゲーム端末３は存在すると仮定する。

一般的に、レンズの歪みを無視すればカメラ５のｚ軸に垂直な平面上の位置は、ＣＣＤ上に線形にマッピングされる。これにより、携帯ゲーム機が上記平面内を移動する場合には、テレビ６の座標系とＣＣＤカメラ５の座標系は線形にマッピングされる。図４の場合、ｙ座標に関してｄの平行移動のみを行えばよい。

このため、画像アドレス計算器１６は、Ｔx＝Ｃz、Ｔy＝Ｃy＋ｄ、Ｔx＝Ｃxと計算できる。したがって、ビデオゲーム装置１では、携帯ゲーム端末３を把持しているプレーヤの位置を検出できる。そして、その位置を中心とした視点上に、プログラムの実行により生成した画像を表示させることができ、プレイヤに最適な視点を与えることができる。

なお、本発明に係る入力位置検出装置及びエンタテインメントシステムは、上記ビデオゲーム装置１にのみ適用が限定されるものではなく、図５に示すような、親機であるゲーム機本体２が、位置を知りたい携帯ゲーム端末３の識別番号を赤外線信号により送信してくるビデオゲーム装置２０に適用してもよい。

このビデオゲーム装置２０は、図６に示すフローチャートにしたがって動作する。すなわち、ステップＳ１１でゲーム機本体２１が、位置を知りたい携帯ゲーム端末３の識別番号と発光命令を赤外線信号により送信すると、ステップＳ１２で上記赤外線信号を受信した携帯ゲーム端末３は自らのＣＰＵにより信号を解読し、問い合わせられている識別番号が自分の識別番号と等しいか否かを調べる。 このステップＳ１２で赤外線による問い合わせ信号に対して自分の識別番号が含まれていれば携帯ゲーム端末３はステップＳ１３で自分の識別番号を含んだ赤外線信号を返答信号として発光する。

すると、ステップＳ１４でゲーム機本体２に接続された赤外線入出力装置４は上記赤外線信号を検出する。

そして、ステップＳ１５で検知した赤外線信号に含まれる識別番号から、携帯ゲーム端末３からの信号と判断し、ＣＣＤカメラ５からの撮像画像をＡ／Ｄ変換器１０でディジタル画像信号に変換した後、フレームバッファ１２に１フレーム分保存する。

ステップＳ１６で携帯ゲーム端末３が位置検出用の赤外線信号を、１フレーム時間以上発光すると、ステップＳ１７でゲーム機本体２は上記位置検出用の赤外線信号発光中の画像をＣＣＤカメラ５により撮像し、Ａ／Ｄ変換器１０，切り替え器１１を介してフレームバッファ１３に１フレーム保存する。

最後にステップＳ１８で画像アドレス計算器１６は、フレームバッファ１２及び１３から読み出し回路１４を介してディジタル画像信号を読み出し、比較器１５で比較して差分をとってから、発光点の位置を画像処理により求める。

すなわち、ＣＣＤカメラ５からの画像入力を予めフレームバッファ１２に１フレーム分保持しておき、位置検出用の赤外線信号が検出されたら、フレームバッファ１２に保存されている赤外線発光前のＣＣＤカメラの入力画像と、フレームバッファ１３に保存される赤外線発光後のＣＣＤカメラ５の入力画像の差分をとることにより、携帯ゲーム端末３の位置を検出する。

ここで、携帯ゲーム端末３についている発光素子８が一つであれば２次元位置の検出が可能である。また、二つの発光素子が離れた位置についていれば、ＣＣＤカメラ５からの距離の推定や、画面まわりの回転角度が検出可能となる。また、３つ以上の発光素子が離れた位置についていれば、携帯ゲーム端末の３次元的な位置と姿勢の推定が可能になる。もし、必要であれば、それぞれの発光素子の光るタイミングを別フレームに含まれるようにずらすことで、発光素子の同定も可能である。

そして、上記ビデオゲーム装置１及び２０では、画像アドレス計算器１６によって計算した携帯ゲーム端末３の入力位置検出結果を用いてゲームプレイヤの位置を検知し、その位置を中心とした視点上に、プログラムの実行により生成した画像を表示させる。

通常のゲームは、プレイヤが真正面からテレビ６の画面を見ていることを前提にしている。プレイヤの位置を中心とした視点に変換することにより、大画面でプレイする場合に最適な視点を設定することができる。

また、図７に示すように、操作者Ａ及びＢ（２１及び２２）で対戦プレイをすす場合等にも最適な視点を設定することができる。図７において、テレビ６の画面上で操作者Ａ２１の画面２３Ａと、操作者Ｂ２２の画面２３Ｂは、それぞれの操作者に最適な視点を与えている。

また、本発明によって検出できた入力位置を用いることにより、登場人物の視線の向きを携帯ゲーム端末の位置へ向けることにより、リアルな視線を表現できる。また、携帯ゲーム端末の動きを補足することにより、動きの入力が可能となるので、例えばキーパッド、ジョイスティックの代わりに使用可能となる。

このように、上記実施の形態となるビデオゲーム装置１及び２０や、さらにそれらを用いた、携帯ゲーム端末が複数個あるシステムによれば、携帯ゲーム端末となる入力装置の位置で、操作者の位置を知り、様々なフィードバックを行うことができる。

また、赤外線信号に識別番号を入れることで、位置と同時にどの入力装置がそこにあるかを特定することができる。

さらに、画像の差分を取ることにより、簡単な処理で正確に位置を計測できる。必要があれば、赤外線を通るフィルタをＣＣＤカメラの前に取り付ければ、さらに高いＳ／Ｎで計測が可能になる。

本発明に係る入力位置検出装置及びエンタテインメントシステムの実施の形態となるビデオゲーム装置の構成を示すブロック図である。 上記ビデオゲーム装置の要部の詳細な構成を示すブロック図である。 上記ビデオゲーム装置の動作を説明するためのフローチャートである。 上記ビデオゲーム装置を構成する画像アドレス計算機の計算アルゴリズムを説明するための図である。 上記ビデオゲーム装置の変形例の構成を示すブロック図である。 上記図５に示した変形例の動作を説明するためのフローチャートである。 携帯ゲーム端末を２個備えたビデオゲーム装置での動作を説明するための図である。

符号の説明

１ ビデオゲーム装置、２ ゲーム機本体、３ 携帯ゲーム端末、４ 赤外線入出力装置、５ ＣＣＤカメラ、６ テレビ

Claims (3)

1. プログラムの実行機能を有する親機と、複数の子機と、を含んで構成されるエンタテインメントシステムにおいて、
   赤外線信号を送信する赤外線信号送信手段と、
   画像を撮像する撮像手段と、
   上記撮像手段が撮像した画像に含まれる赤外線発光点に基づいて、それぞれの前記子機の位置を検出する検出手段と、
   それぞれの前記子機に対応する表示画像を、一画面を分割することにより表示する画像出力手段と、を備え、
   前記画像出力手段は、それぞれの前記子機に対応する表示画像を、それぞれの前記子機の位置に対応した表示画像として出力する
   ことを特徴とするエンタテインメントシステム。
2. 前記赤外線信号には、前記子機の識別信号が含まれている
   ことを特徴とする請求項１に記載のエンタテインメントシステム。
3. 前記画像出力手段は、それぞれの前記子機の位置からの視点による表示画像を出力する
   ことを特徴とする請求項１または２に記載のエンタテインメントシステム。

Images