JP4779123B2 - 人体動作を感知可能な電子ゲームコントローラ - Google Patents

Description

本発明は、人体動作を感知可能な電子ゲームコントローラに係り、特に、使用者の様々な動作を感知し、使用者が電子ゲーム表示画面上の特定指標を操作、制御できる人体動作を感知可能な電子ゲームコントローラに関するものである。

電子素子及びソフトウェア開発の急速な発展に伴い、新型の電子ゲームのコントロールインタフェースが続々と登場し、早くも伝統的な制御パネル及び手持ちレバーに限られておらず、使用者が電子ゲームをプレーする時のインタラクティブな楽しさを向上させるため、完全な使用者コントロールインタフェースを備える必要がある。

従来、慣性センシング素子で使用者の動作を感知し、表示画面上の特定カーソルを操作する方式は、使用者が慣性センシング素子を身に付けて或いは慣性センシング素子を手で持ち、傾斜や、手の振りまたはリズムなどを動作し、慣性センシング素子に感知されるとともに信号を発生する。しかし、使用者の動作、例えば、変位、姿勢または手の動きなどが、従来の慣性センシング素子には識別、検出され難く、通常、使用者が他のコントローラ（例えば、制御レバー）を操作し、使用者の変位を代表するこれらの信号を入力、コントロールする必要がある。
特開２００３−３１０８４０号公報

従来、使用者のボディ輪郭の変化を受け取ることで表示画面上の特定カーソルを操作する方式は、例えば、ビデオカメラの画像受け取りユニットで使用者のボディ画像を受け取り、さらに他の電子素子又はソフトウェア演算処理で、画像がシミュレーション平面座標での変化を識別する。例えば、画像がシミュレーション平面座標上において上下左右に移動する場合、上下左右の移動を発生させるように表示画面上の特定カーソルを操作し、コントロールできる。また、例えば、画像が拡大又は縮小される場合、前進または後退のように表示画面上の特定カーソルを操作し、コントロールできる。しかし、より多くの使用者の動作、例えば、回転や、規律的な動き、振りまたは力の量などの信号を感知しようとすれば、より多くのビデオカメラで使用者のボディ輪郭の変化を受け取って、さらに、膨大な画像デジタル化及び画像信号演算処理を行う必要がある。すると、特定カーソルの反応が大幅に遅れ、鋭さが足りなくなり、良好なリアルタイムコントロール特性ができなくなり、画像受取または画像処理等の電子設備の数及びコストを増加しなければならなくなってしまう。

そのため、本発明者は、前記欠点が改良できるのを感心して、長年以来この領域で積み立てた経験により、専念な観察かつ研究をし、さらに学術理論の運用に合せ、合理な設計且つ前記の欠点を有効に改良できた本発明を提案した。

本発明の主な目的は、１種以上の使用者の動作を感知する方式を合わせて、使用者にはより完全な電子ゲームコントロールインターフェースを提供し、電子ゲーム表示画面上の特定カーソルをコントロールできる人体動作を感知可能な電子ゲームコントローラを提供することである。

前記目的を達成するために、本発明は、使用者の輪郭及び動作を感知するとともに信号を発生し、電子ゲーム表示画面上の特定カーソルをコントロールする人体動作を感知可能な電子ゲームコントローラであって、使用者の手の動作の加速度及び角速度を感知して信号を発生する慣性センシングモジュールと、前記慣性センシングモジュールからの信号を受信し、使用者の手の動作を代表する加速度及び角速度を示す第１信号を発生するセンシング信号演算ユニットと、前記センシング信号演算ユニットからの信号を受信し、ワイヤレス転送の方式で信号を出力するワイヤレス転送モジュールとを有する慣性センシング入力モジュールと、使用者のボディの輪郭の画像を受信する少なくとも１つの画像受取ユニットと、前記画像受取ユニットが受け取った画像を受信しかつ画像をデジタル化するとともに、時間軸における画像の変化を識別し、使用者のボディの変位を代表する第２信号を出力する画像信号演算ユニットとを有する画像センシング入力モジュールと、前記ワイヤレス転送モジュールから第１信号を受信し、かつ、前記画像信号演算ユニットから第２信号を受信し統合させ、使用者の手の動きの加速度及び角速度と前記使用者の前記ボディの変位とを組み合わせて時間軸に対応させた制御信号を発生し、前記制御信号により前記電子ゲーム表示画面上の特定カーソルをコントロールするコントロールユニットと、を含むことを特徴とする人体動作を感知可能な電子ゲームコントローラである。

本発明は、以下の有利な効果がある。

慣性センシング入力モジュールは、使用者のボディが発生する加速度及び角速度を感知し、使用者の動作の回転や、リズム、手の振りまたは力の量などの運動状態の信号を発生し、応答性が高いという特徴を有するだけではなく、リアルタイムコントロールのニーズにも符合する。

画像センシング入力モジュールは、使用者のボディ輪郭の画像を受け取る方式で、さらに、画像処理及び演算により使用者のボディ変位又は特別な姿勢を代表する信号を発生する。したがって、使用者が電子ゲーム表示画面を見ながら自己の変位動作を観察でき、リアルタイムでゲーム内容に基づいて反応するため、使用者はインタラクティブ電子ゲームの内容に合わせてプレーすることができるようになる。

また、コントロールユニットにより、慣性センシング入力モジュール及び画像センシング入力モジュールからの信号を統合することによって、本発明が応答性が高く、リアルタイムコントロールのニーズを同時に兼備できるようになり、複雑な画像処理工程または装置を簡易化でき、慣性センシング入力モジュール及び画像センシング入力モジュールが互いに補助し、統合できるようになり、本発明がより完全かつ細かな電子ゲームコントロールインターフェースとして、使用者が電子ゲームをプレーする際のインタラクティブシミュレーションの楽しさをより増進できるようになった。

以下に本発明に係る詳しい説明及び添付図面を参照することにより本発明の特徴及び技術内容がより深く了解できると信じているが、以上の図面は、参考や説明のみに使われ、本発明を局限するものではない。

図１は、本発明に関わる人体動作を感知可能な電子ゲームコントローラの一実施例を示しており、図１に示すように、使用者の動作及び輪郭を感知するとともに信号を発生し、電子ゲーム表示画面上の特定カーソルをコントロールする人体動作を感知可能な電子ゲームコントローラであって、慣性センシング入力モジュール１と画像センシング入力モジュール２とコントロールユニット３とからなる。

慣性センシング入力モジュール１は、慣性センシングモジュール１１とセンシング信号演算ユニット１２とワイヤレス転送モジュール１３とを備えている。

慣性センシングモジュール１１は、使用者のボディがＸ軸、Ｙ軸およびＺ軸に沿う移動分の加速度及び角速度を感知して信号を発生する。本実施例では、慣性センシングモジュール１１は、使用者の体の重心のところ（例えば、腰部）の近くに配置されたり、或いは使用者が手で持ったりする。また、慣性センシングモジュール１１は、少なくとも一つの加速度計または少なくとも一つのジャイロスコープを含む。

センシング信号演算ユニット１２は、慣性センシングモジュール１１からの信号を受信し、演算処理を経て使用者の重心または肢体を代表する加速度及び角速度の信号を発生する。

ワイヤレス転送モジュール１３は、センシング信号演算ユニット１２が発生する信号を受信し、さらにワイヤレス転送の方式で信号をコントロールユニット３へ転送する。

画像センシング入力モジュール２は、画像受取ユニット２１と画像信号演算ユニット２２とを有している。画像受取ユニット２１は、１または複数のビデオカメラであり、使用者に向けられて設置される。例えば、画像受取ユニット２１は、使用者が電子ゲーム表示スクリーンを臨む前方、上方、左右両側または後方に設置したり、或いは、ヘッドマウンドディスプレイに合わせて使用者の周りの一箇所または複数箇所に設置したりしてもよい。このように、画像受取ユニット２１は、使用者に向けられて使用者のボディ輪郭の全部または一部（例えば、顔部）の画像を受け取る。そして、画像受取ユニット２１から受け取った使用者のボディ画像を、さらに画像信号演算ユニット２２に転送して画像をデジタル化し、かつ平面参考座標内に定義させる。

画像信号演算ユニット２２は、平面参考座標内に定義された使用者の画像を演算処理し、画像が平面参考座標上において時間軸に対する変化を識別し、使用者のボディが左、右、上、下、前、後に移動し、或いは姿勢が変化したり手を動かした時に、平面参考座標に定義された画像が、対応する左、右、上、下の変位、面積の拡大や縮小、或いは形状の変化を生じる。画像信号演算ユニット２２は、画像が平面参考座標上の変化に基づいて、さらに、使用者のボディの左、右、上、下、前、後の変位、或いは特殊姿勢や手の動きを代表する信号を発生する。

コントロールユニット３は、センシング信号演算ユニット１２(ワイヤレス転送モジュール１３の転送を経て)及び画像信号演算ユニット２２からの信号をそれぞれ受信し、両方の信号を時間軸に対応して統合させ、使用者の様々な動作に対応する制御信号を発生する。例えば、コントロールユニット３は、センシング信号演算ユニット１２からの信号を処理でき、使用者のボディの回転や、リズム（例えば、ランニング）、振りまたは力量等の運動状態を代表する制御信号を発生し、或いは、画像信号演算ユニット２２からの信号を併せて、使用者の変位または姿勢変化を代表する制御信号を同時に発生できる。

使用者が本発明を利用して、さらにゲームホストまたはパソコンに合わせてインタラクティブ電子ゲームをプレーする時に、慣性センシング入力モジュール１及び画像センシング入力モジュール２により使用者の動作の信号を感知し、また、コントロールユニット３が発生する制御信号により、電子ゲーム表示画面上の特定カーソルをコントロールでき、特定カーソルが使用者のボディの様々な動作または運動状態をシミュレーションできるようになる。

図２は、本発明の他の実施例を示している。この実施例では、使用者は、本発明を利用してテニス運動をシミュレーションするインタラクティブ電子ゲームをプレーしており、使用者は、慣性センシング入力モジュール１を装着したゲームレバー４を持っている。画像受取ユニット２１は２つのビデオカメラ５であり、２つのビデオカメラ５が、使用者が電子ゲーム表示スクリーンを臨む時の前方及び上方に設置されている。すなわち、表示装置６の上側及び使用者の頭の上方の一箇所でそれぞれ使用者に向けられている。

このようにして、ゲームレバー４内に装着された慣性センシング入力モジュール１は、慣性センシングモジュール１１により使用者の手の振り撃ちや、回転などの動作を感知し、かつ信号を発生する。センシング信号演算ユニット１２は、慣性センシングモジュール１１からの信号を受信し、演算処理を経て使用者の手の振り撃ちや、回転などの動作を代表する信号を発生する。ワイヤレス転送モジュール１３は、センシング信号演算ユニット１２が発生する信号を受信し、信号をパソコン７内に装着されたコントロールユニット３へ転送する。

使用者の前方（表示装置の上側）に設けられたビデオカメラ５は、使用者のボディ輪郭の画像を受け取り、さらに、画像をパソコン７内に装着された画像信号演算ユニット２２へ転送し、画像信号演算ユニット２２の演算処理を経てから、使用者が表示画面に対向する左右変位を代表する信号を識別、発生する。使用者の頭の上方の一箇所に設けられたビデオカメラ５も、同様に、使用者のボディ輪郭の画像を受け取り、さらに画像信号演算ユニット２２へ転送しかつ演算処理を経てから、使用者が表示画面に対向する前後変位を代表する信号を識別、発生する。センシング信号演算ユニット１２(ワイヤレス転送モジュール１３の転送を経て)及び画像信号演算ユニット２２が発生する信号は、いずれもコントロールユニット３に転送される。

コントロールユニット３は、これらの信号を時間軸に対応して統合させ、使用者の様々な動作に対応する制御信号を発生し、表示画面に位置され使用者を代表する特定のカーソルをコントロールし、使用者がテニスをする時の様々な動作及び運動状態をシミュレーションする。これにより、使用者には本物のテニス場で人と対を組んでテニスをプレーしているような楽しさを提供する。

図３は、本発明の他の実施例を示しており、コントロールユニット３は、さらに、制御選択モジュール３１を備えている。制御選択モジュール３１は、使用者または電子ゲームソフトウェアにより制御指令を入力し、コントロールユニット３に信号を発生し、コントロールユニット３が慣性センシング入力モジュール１及び画像センシング入力モジュール２からの全部または一部の信号しか受信できないように変換させる。コントロールユニット３が異なる信号受信モード、例えば、１）一つの入力モジュールでしか信号入力できなくする。すなわち、慣性センシング入力モジュール１または画像センシング入力モジュール２の信号しか入力できなくする。２）信号を優先的に感知した入力モジュールで信号を入力する、３）両入力モジュールで信号を同時に入力できるなどのモードを有する。使用者が電子ゲームの内容または操作習性に合わせて感知または信号入力の方式を変換できるようにする。

前記説明した本発明の実施例から分かるように、慣性センシング入力モジュール１は、使用者のボディが発生する加速度及び角速度を感知し、使用者のボディ動作の回転や、リズム、手の振りまたは力の量などの運動状態の信号を発生し、応答性が高いという特徴を有するだけではなく、リアルタイムコントロールのニーズにも符合する。

画像センシング入力モジュール２は、使用者のボディ輪郭の画像を受け取る方式で、さらに画像処理及び演算により使用者のボディ変位または特殊な姿勢を代表する信号を発生し、使用者が電子ゲーム表示画面を見ながら自己の変位動作を観察でき、リアルタイムでゲーム内容に基づいて反応し、使用者がインタラクティブ電子ゲームをプレーする際にゲーム内容に合わせてプレーすることができるようになる。

また、コントロールユニット３により、慣性センシング入力モジュール１及び画像センシング入力モジュール２からの信号を統合することによって、本発明が高い応答性を備えたリアルタイムコントロールのニーズを備えることができるようになり、複雑な画像処理工程または装置を簡易化でき、慣性センシング入力モジュール１及び画像センシング入力モジュール２が互いに補助し統合できるようになる。これにより、本発明がより完全かつ細かな電子ゲームコントロールインターフェースとして、使用者が電子ゲームをプレーする際のインタラクティブシミュレーションの楽しさをより増進できた。

しかし、前記の説明は、単に本発明の好ましい具体的な実施例の詳細説明及び図面に過ぎず、本発明の特許請求の範囲を局限するものではなく、本発明の主張する範囲は、下記の特許請求の範囲に基づくべき、いずれの当該分野における通常の知識を有する専門家が本発明の分野の中で、適当に変更や修飾などを実施できるが、それらの実施のことが本発明の主張範囲内に納入されるべきことは言うまでもないことである。

人体動作を感知可能な電子ゲームコントローラの構成を示すブロック図である。 人体動作を感知可能な電子ゲームコントローラの他の実施例を示す図である。 人体動作を感知可能な電子ゲームコントローラの他の実施例を示す図である。

符号の説明

１ 慣性センシング入力モジュール
２ 画像センシング入力モジュール
３ コントロールユニット
１１ 慣性センシングモジュール
１２ センシング信号演算ユニット
１３ ワイヤレス転送モジュール
２１ 画像受取ユニット
２２ 画像信号演算ユニット
３１ 制御選択モジュール
４ ゲームレバー
５ ビデオカメラ
６ 表示装置
７ パソコン

Claims (5)

1. 使用者の輪郭及び動作を感知するとともに信号を発生し、電子ゲーム表示画面上の特定カーソルをコントロールする人体動作を感知可能な電子ゲームコントローラであって、
   慣性センシング入力モジュールと、画像センシング入力モジュールと、コントロールユニットとからなり、
   上記慣性センシング入力モジュールは、
   使用者の手の動作の加速度及び角速度を感知して信号を発生する慣性センシングモジュールと、
   上記慣性センシングモジュールからの信号を受信して、使用者の手の動作を代表する加速度及び角速度を示す第１信号を発生するセンシング信号演算ユニットと、
   上記センシング信号演算ユニットからの信号を受信し、ワイヤレス転送方式で信号を出力するワイヤレス転送モジュールとを備え、
   上記画像センシング入力モジュールは、
   使用者のボディの輪郭の画像を受信する少なくとも１つの画像受取ユニットと、
   上記画像受取ユニットが受け取った画像を受信しかつ画像をデジタル化するとともに、時間軸における画像の変化を識別し、使用者のボディの変位を代表する第２信号を出力する画像信号演算ユニットとを備え、
   上記コントロールユニットは、
   上記ワイヤレス転送モジュールから前記第１信号を受信し、かつ、上記画像信号演算ユニットから前記第２信号を受信し、前記第１信号と前記第２信号とを統合させ、前記使用者の手の動きの加速度及び角速度と前記使用者の前記ボディの変位とを組み合わせて時間軸に対応させた制御信号を発生し、制御信号により電子ゲーム表示画面上の前記特定カーソルをコントロールすることを特徴とする人体動作を感知可能な電子ゲームコントローラ。
2. 前記慣性センシング入力モジュールはゲームレバーに装着されて備えられていることを特徴とする請求項１記載の人体動作を感知可能な電子ゲームコントローラ。
3. 前記慣性センシングモジュールは、少なくとも一つの加速度計または少なくとも一つのジャイロスコープを含むことを特徴とする請求項１記載の人体動作を感知可能な電子ゲームコントローラ。
4. 前記画像受取ユニットは、少なくとも１つのビデオカメラを含んでいることを特徴とする請求項１記載の人体動作を感知可能な電子ゲームコントローラ。
5. 前記コントロールユニットは、さらに、制御選択モジュールを含み、
   上記制御選択モジュールは、使用者または電子ゲームの指令を受信し、上記コントロールユニットに信号を発生し、これにより、上記コントロールユニットは、前記慣性センシング入力モジュールまたは前記画像センシング入力モジュールからの信号を選択的に受信することを特徴とする請求項１記載の人体動作を感知可能な電子ゲームコントローラ。

Images