JP3812092B2 - 姿勢検出装置及び方法 - Google Patents
姿勢検出装置及び方法 Download PDFInfo
- Publication number
- JP3812092B2 JP3812092B2 JP29418597A JP29418597A JP3812092B2 JP 3812092 B2 JP3812092 B2 JP 3812092B2 JP 29418597 A JP29418597 A JP 29418597A JP 29418597 A JP29418597 A JP 29418597A JP 3812092 B2 JP3812092 B2 JP 3812092B2
- Authority
- JP
- Japan
- Prior art keywords
- human body
- posture
- intensity
- signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ゲームを楽しむ人が実際に自分の姿勢を変化させ、姿勢の変化を反映させることができる姿勢検出装置および方法に関する。
【０００２】
【従来の技術】
ゲームを楽しむ人が実際に自分の体を動かし、この人の人体、あるいは、人体部位の姿勢を認識し、認識結果に従ってテレビ等に接続されたコンピュータを制御し、全体としてゲーム装置を構成することが考えられている。例えば二人のプレーヤが指定された位置に対峙して、パンチを出したり、キックを行い、これらプレーヤの姿勢を認識し、認識結果をコンピュータに与え、コンピュータが作成したゲームキャラクターをモニタ上に表示し、モニタ上で、ゲームキャラクターがプレーヤと同様に動き、二人のプレーヤについてのスコアを集計、表示するようになされる。
【０００３】
この種のコンピュータゲーム装置においては、人体の姿勢を認識することが必要である。従来、人体の全体、または、一部をＣＣＤ（固体撮像素子）カメラにより撮像し、このＣＣＤカメラにより出力されるが画像信号（電気信号）に基づいて、人体、あるいは、人体部位の姿勢を検出するように構成された姿勢検出装置が提案されている。
【０００４】
例えば"Artificial Retina Chips as Image Input Interfaces for Multimedia Systems"(First Optoelectronics and Communications Confernce(OECC'96)Technical Digest,July 1996,Makuhari Messe p516-p517)には、ＣＣＤにより撮像された画像データを処理することによって、画像中の物体の輪郭線（エッジ）を抽出する技術が開示されている。このエッジから人体を動きを判定することができる。そして、検出された人体の動きをコントローラによる入力に代えてコンピュータゲームに入力することによって、例えば格闘ゲームを構成することが可能となる。
【０００５】
【発明が解決しようとする課題】
従来の姿勢認識装置では、人体を撮影した画像から輪郭線を抽出する処理を行うために、信号処理に時間を費やし、応答が遅くなるという欠点があった。例えば、人体の姿勢を認識する時間が０．６秒から０．７秒程度必要であるとされている。０．６秒もの時間が、認識するために費やされてしまっては、ゲームの応答が遅くなり、実用的とは言えなかった。また、輪郭線の抽出および認識の処理がコンピュータで行われるため、高価なコンピュータを必要とするという欠点があった。また、人体全体が前後、左右、上下に大きく動いた場合や、背の高さなどの体型が異なる場合においても正確に姿勢を認識できる姿勢検出ゲーム装置が要望されている。
【０００６】
従って、この発明の目的は、高速で、小規模のハードウエアによって、人体、あるいは人体の部位の姿勢を認識し、認識結果をゲームに反映させることが可能な姿勢検出装置及び方法を提供することにある。
【０００７】
また、この発明の他の目的は、人体全体が前後、左右、上下に大きく動いた場合や、背の高さなどの体型が異なる場合においても正確に姿勢を認識できる姿勢検出装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、請求項１の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から画面の略中心位置と人体の略中心部分の位置とのずれを示す中心位置情報を生成し、中心位置情報に応じて一部領域の位置を変化させることを特徴とする姿勢検出装置である。請求項８の発明は、請求項１のように姿勢を認識する姿勢検出方法である。
【０００９】
請求項２の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部であって、予め用意された複数の候補領域から選択された一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から画面の略中心位置と人体の略中心部分の位置とのずれを示す中心位置情報を生成し、中心位置情報に応じて複数の候補領域の一つを認識用領域として選択することを特徴とする姿勢検出装置である。請求項９の発明は、請求項２のように姿勢を認識する姿勢検出方法である。
【００１０】
請求項４の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から人体の略面積あるいは体積を示す面積情報を生成し、面積情報に応じて一部領域の位置及び大きさを変化させることを特徴とする姿勢検出装置である。請求項１０の発明は、請求項４のように姿勢を認識する姿勢検出方法である。
【００１１】
請求項５の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部であって、予め用意された複数の候補領域から選択された一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から人体の略面積あるいは体積を示す面積情報を生成し、面積情報に応じて複数の候補領域の一つを認識用領域として選択することを特徴とする姿勢検出装置である。請求項１１の発明は、請求項５のように姿勢を認識する姿勢検出方法である。
【００１２】
この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の略中心位置を認識するために用いられて所定の演算処理によって中心位置が認識され、得られた中心位置情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段が認識された中心位置に対して略一定の距離と方向を保つように配置されるか選択されるようになされる。
【００１３】
また、この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の大きさを認識するために用いられて所定の演算処理によって体型の大きさが認識され、得られた体型情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段の位置や強度検出手段の認識範囲の大きさが所定の関係を満たすように配置されるか選択されるようになされる。
【００１４】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態に係る姿勢検出ゲーム装置を全体的に示すブロック図である。この姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。姿勢認識装置３では、ゲームプレーヤ１の現在の姿勢を認識する。典型的な例は、格闘ゲームであるが、この発明は、他の種類のゲームに対しても適用できる。例えばストレッチ体操等のエキササイズのゲームを構成することができる。これは、画面上のコーチ、教師の行う体操をプレーヤが真似て、上手く真似るほど、点数が良くなるゲームである。
【００１５】
姿勢認識装置３は、例えば、ゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。姿勢認識装置３において、ゲームプレーヤ１の各姿勢に対応して信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が形成され、この各姿勢に対応した信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）の夫々がゲーム装置４に供給される。
【００１６】
例えば、ゲームプレーヤ１が『前方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ１をアクティブにし、『斜め上方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ２をアクティブにする。また、同様にゲームプレーヤ１の現在の姿勢が『前方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ１をアクティブにし、『後方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ２をアクティブにする。更に、ゲームプレーヤ１の現在の姿勢が『しゃがみ』であると認識された場合には、ゲーム装置４に対して信号ＳＤをアクティブにし、『ジャンプ』であると認識された場合には、ゲーム装置４に対して信号ＪＭをアクティブにする。
【００１７】
ゲーム装置４は、これらの外部入力信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）により、ゲームプレーヤ１の姿勢が『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢のうちのいずれかであると認識されたものとして、信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）に従って、ゲームを進行する。
【００１８】
具体的には、信号ＰＣ１がアクティブの場合には、ゲームのキャラクターに『前方へのパンチ』を行わせ、また同様に信号ＫＫ１がアクティブの場合には、ゲームのキャラクターに『前方へのキック』を行わせ、他の信号の場合も同様に対応した動作を行わせるようになされている。このゲームの進行状況は、ディスプレイ装置５に表示され、ゲームプレーヤ１が常にゲームの進行状況を把握できるように構成されている。すなわち、既存のコンピュータゲームにおける外部入力装置（押しボタンキー、ジョイスティック、トラックボール等）に変わるものとして、姿勢認識装置３からの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が使用される。ゲーム装置４に対してディスプレイ装置５が接続され、ディスプレイ装置５には、ゲーム装置４からビデオ信号ＶＤが供給される。
【００１９】
このようなゲーム装置４としては、例えば、ソニーコンピュータエンターテイメント社から発売されている、『プレイステーション』を使用することができる。また、ディスプレイ装置５に関しては、一般のテレビモニターを使用することができる。図１では、理解の容易のため、ディスプレイ装置５上に表示されているキャラクターがプレーヤと同様の形とされているが、実際には、プレーヤとは別個の娯楽性を高めるためのアニメーション等のゲーム装置４で作成されたキャラクターが表示される。キャラクターとしては、複数種類のものが用意されており、プレーヤが好みのものを選択可能としても良い。
【００２０】
また、ゲームプレーヤ１の姿勢を正確に認識する上で、プレーヤの立つ場所、プレーヤの背景の画像、プレーヤの着衣の色彩等が必要に応じて指定される。さらに、図１の例では、プレーヤが一人の例であり、ゲーム装置４により作成された対戦相手のキャラクターがディスプレイ装置５上に表示される。ゲームプレーヤ１は、相手の動きを見ながら、６種類のいずれかの姿勢をとる。ゲーム装置４では、対戦相手の動きとプレーヤの姿勢とから点数を集計し、点数表示を行う。また、１ゲームの時間を規定し、ゲーム終了後に集計点数と勝敗の表示を行うことができる。これらの態様は、既存の格闘ゲームに採用されているものを適用できる。
【００２１】
尚、この発明の一実施形態は、プレーヤが１名の場合であるが、プレーヤが２名の場合に対してもこの発明を適用することができる。さらに、プレーヤが１名の場合と２名の場合とを選択可能としても良い。この発明の特徴とする点は、姿勢認識装置３に存するので、簡単のため図１に示すプレーヤが１名の場合を例として、姿勢認識について以下説明する。
【００２２】
図２は、姿勢認識装置３において、プレーヤの人体の中心位置及び面積を認識する動作原理を簡単に示すものである。姿勢認識装置３において、入力されたビデオ信号ＳＶは、図２に示すような９つの領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）に分割され、それぞれの領域内における信号強度（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）が算出されるようになされている。９つの領域は、ＣＣＤカメラ２の撮影画面内の略中央となる一部の領域である。上述したように、ゲームプレーヤ１が図２に示すような画面中の位置にある程度の幅を以て合致するように、ゲームプレーヤ１の立つ位置等が規定されている。
【００２３】
人体の中心位置は、例えば、図２に示すような９つの領域からの信号強度（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）について下記の数式（１）及び数式（２）に示す演算結果であるＵＤ，ＬＲの値を用いて認識する。即ち、図２において人体の存在する領域の信号強度が大きくなるものとすれば、人体が図を向かって見て右側に動いたときには信号強度の演算の結果ＬＲは大きくなり、左側に動いたときには小さくなる。また、図２において人体が上側に動いたときには信号強度の演算の結果ＵＤは大きくなり、下側に動いたときには小さくなる。
【００２４】
ＵＤ＝ｕ１＋ｕ２＋ｕ３−（ｄ１＋ｄ２＋ｄ３）・・・（１）
ＬＲ＝ｕ３＋ｍ３＋ｄ３−（ｕ１＋ｍ１＋ｄ１）・・・（２）
また、人体の面積は、例えば、図２に示す９つの領域からの信号強度（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）について下記の数式（３）に示す演算の結果であるＶの値を用いて認識する。即ち、図２において人体の存在する領域の信号強度が大きくなるものとすれば、９つの領域の面積に対する人体の面積の比率が大きい場合には演算の結果Ｖは大きくなり、小さい場合には演算の結果Ｖは小さくなる。
【００２５】
Ｖ＝ｕ１＋ｕ２＋ｕ３＋ｍ１＋ｍ２＋ｍ３＋ｄ１＋ｄ２＋ｄ３・・・（３）
図３は、姿勢認識装置３において人体の姿勢を認識するために割り当てられた強度検出手段の一例を示す。姿勢認識装置３は、前述したようにゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。図３において、『しゃがみ』を認識するための強度検出手段は、Ｄｄで示される領域であり、ゲームプレーヤ１が『しゃがみ』の姿勢をとった時には検出される信号強度が相対的に小さくなる。
【００２６】
また、『前方へのパンチ』を認識するための強度検出手段として、ＭＰｄで示される領域が設けられ、『斜め上方へのパンチ』を認識するための強度検出手段として、ＵＰｄで示される領域が設けられ、『前方へのキック』を認識するための強度検出手段として、Ｋｄで示される領域が設けられ、『後方へのキック』を認識するための強度検出手段として、ＢＫｄで示される領域が設けられ、『ジャンプ』を認識するための強度検出手段として、Ｊｄで示される領域が設けられる。『しゃがみ』の姿勢以外の夫々の姿勢に対応して割り当てられた強度検出手段の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ）においては、夫々の姿勢をとった時には『しゃがみ』の場合とは逆に検出される信号強度が相対的に大きくなる。
【００２７】
図４，図５及び図６は、姿勢認識装置３において上述した方法により得られた中心位置情報を用い、前記人体の姿勢を認識するために割り当てられた強度検出手段の位置を変化させる方法を『前方へのパンチ』の場合を例にとって簡単に示すものである。
【００２８】
図４では人体の中心位置を認識するための９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の略中心に人体が位置しており、ゲームプレーヤ１は、『前方へのパンチ』の姿勢をとっている。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに腕が位置しているので、ＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったと認識される。
【００２９】
図５では人体が中心位置を認識するための９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）に対してやや前方及び上方に位置している。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに胸が進入してくるため『前方のパンチ』の姿勢をとっていない場合でもＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったものと認識する可能性がある。従って、この発明においては、図６に示すように強度検出手段の領域ＭＰｄを人体の中心位置情報に応じて移動させて認識処理を行う。
【００３０】
つまり、人体の中心位置がやや右側及び上側に位置していることを上述した数式（１）及び数式（２）に示す演算の結果であるＵＤ，ＬＲの値を用いて認識することができるので、強度検出手段の領域ＭＰｄを図６に示すように移動させることができる。
【００３１】
この場合の処理について具体的に更に詳細に説明する。人体の中心位置を認識する９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の信号強度を（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）とし、人体の存在する領域に応じて信号強度が大きくなるものとすれば、人体が略中心に位置している図４の場合には、ｍ２が最大値となり、ｍ２以外の信号強度に関しては、ｍ２に比べて小さな余り差のない数値となって、数式（１）及び（２）の演算の結果ＵＤ及びＬＲは略０に近い数値となる。
【００３２】
また、人体の中心位置がやや右側及び上側に位置している図５の場合には、（ｕ２，ｕ３，ｍ２，ｍ３）がやや大きな数値となり、残りの信号強度に関しては、略０に近い数値となって、数式（１）及び（２）の演算の結果ＵＤ及びＬＲは、図４の場合に比べて両者共に大きな数値となり、前方及び上方に人体がずれていることが認識される。そして、演算の結果ＵＤ，ＬＲの差に応じて強度検出手段の『前方へのパンチ』を認識するための領域ＭＰｄが図６に示すように図４の位置よりも右上側の位置へ移動させられる。この補正によって、『前方へのパンチ』の認識処理が誤らないようになされる。
【００３３】
尚、上述した『前方のパンチ』の姿勢以外の他の姿勢の場合においても、同様に強度検出手段の領域（ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）の位置を人体の中心位置情報に応じて移動させて認識処理がなされる。また、上述した処理においては、強度検出手段の領域ＭＰｄを移動する場合について説明したが、強度検出手段の領域ＭＰｄを移動させる代わりに、予め用意された幾つかの検出領域の候補の中から最適と判断される領域を認識領域として選択し、認識処理するようにしても良い。
【００３４】
図４，図７及び図８は、姿勢認識装置３において上述した方法により得られた人体の面積情報を用い、前記人体の姿勢を認識するために割り当てられた強度検出手段の位置及び大きさを変化させる方法を『前方へのパンチ』の場合を例にとって簡単に示すものである。尚、面積に限らず、面積及び／または体積情報についても同様に処理できる。
【００３５】
図４では人体の中心位置を認識するための９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の略中心に人体が位置しており、平均的な体型のゲームプレーヤ１は、『前方へのパンチ』の姿勢をとっている。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに腕が位置しているので、ＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったと認識される。
【００３６】
図７では大きな体型のゲームプレーヤ１の姿勢を認識する場合を示している。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに胸が進入してくるため『前方のパンチ』の姿勢をとっていない場合でもＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったものと誤って認識する可能性がある。従って、この発明においては、図８に示すように強度検出手段の領域ＭＰｄの位置及び大きさを、人体の面積情報に応じて移動させたり、変化させたりして認識処理を行う。
【００３７】
つまり、人体の大きさを上述した数式（３）に示す演算の結果であるＶの値を用いて認識することができるので、強度検出手段の領域ＭＰｄの大きさとその位置を図８に示すように変化させることができる。
【００３８】
この場合の処理について具体的に更に詳細に説明する。人体の中心位置を認識する９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の信号強度を（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）とし、人体の存在する領域に応じて信号強度が大きくなるものとすれば、図４の平均的な体型のゲームプレーヤ１の場合には、ｍ２が最大値となり、ｍ２以外の信号強度に関しては、ｍ２に比べて小さな余り差のない数値となって、数式（３）の演算の結果Ｖが略所定の値となる。
【００３９】
また、図７に示すように、大きな体型のゲームプレーヤ１の場合には、（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）の信号強度に関して全てが図４の場合に比べて大きな数値となる。従って、数式（３）の演算の結果Ｖは、図４の場合に比べて当然大きな数値となり、大きな体型のゲームプレーヤ１であると認識される。そして、演算の結果Ｖの差に応じて強度検出手段の『前方へのパンチ』を認識するための領域ＭＰｄが図８に示すように図４の位置よりも右上側へ移動させられると共に、その認識範囲が大きくされる。それによって、体型の異なるゲームプレーヤ１の場合においても『前方へのパンチ』の認識処理が誤らないようになされる。
【００４０】
尚、上述した『前方のパンチ』の姿勢以外の他の姿勢の場合においても、同様に強度検出手段の領域（ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）を人体の面積及び／または体積情報に応じて大きさを変化させたり、移動させたりして認識処理がなされる。また、上述した処理においては、強度検出手段の領域ＭＰｄを大きくすると共に、移動する場合について説明したが、強度検出手段の領域ＭＰｄの大きさや位置を変化させる代わりに、予め用意された幾つかの検出領域の候補の中からもっとも最適と判断される領域を認識領域として選択し、認識処理するようにしても良い。
【００４１】
更に、人体の体型の大きさを上述した数式（３）に示す演算の結果であるＶの値を用いて認識する場合について説明したが、以下に示す数式（４）を用いてＶの値を算出しても良い。
Ｖ＝ｕ１＋ｕ２＋ｕ３＋ｍ１＋ｍ３＋ｄ１＋ｄ２＋ｄ３−ｍ２・・・（４）
図９は、このような動作を行う姿勢認識装置３の一例の構成である。図１と同一部分には、同一の参照符号が付されている。姿勢認識装置３が図９に示すようにＡ／Ｄコンバータ９２、ＲＡＭ（ランダムアクセスメモリ）９３、ＣＰＵ（マイクロプロセッサ）９４及びインターフェース回路９５等により構成される。Ａ／Ｄコンバータ９２、ＲＡＭ９３、ＣＰＵ９４及びインターフェース回路９５の夫々は、データバスにより接続され、双方向にデータの授受が可能とされている。
【００４２】
ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。入力されたビデオ信号は、Ａ／Ｄコンバータ９２によりアナログ信号からディジタル信号に変換される。ディジタル信号に変換された画像データは、マイクロプロセッサ９４によりランダムアクセスメモリ９３上に蓄えられる。マイクロプロセッサ９４は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路９５に認識処理結果を送る。インターフェイス回路９５は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。尚、プレーヤの体重を検出する場合には、ＣＣＤカメラ２が増設されて３次元認識処理がなされる。
【００４３】
また、図１０は、姿勢認識装置３の他の例の構成で、ホログラム６を用いたものである。図１０において、ＣＣＤカメラ２からの映像信号ＳＶは、液晶ディスプレイ３３に送られ、液晶ディスプレイ３３上に２次元の情報として投影される。レーザ発振器３１からのレーザ光線は、コリメーターレンズ３２により平行光線に変換された後に、この液晶ディスプレイ３３を照射する。従って、液晶ディスプレイ３３の直後には、コヒーレントなレーザ光として、ＣＣＤカメラ２で撮影された画像が復元される。このコヒーレントな光による画像情報は、結像レンズ３４によってホログラム６上に結像される。また、レーザ発振器３１は、レーザパワー制御装置３０（Automatio Power Control 回路）により、常に所定の出力が得られるように制御されている。
【００４４】
このようにして液晶ディスプレイ３３上に得られたゲームプレーヤ１の姿勢情報は、結像レンズ３４によってホログラム６上に投影される。ホログラム６は、投影された画像を必要に応じて６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）及び９個の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）に分割し、各領域中の強度に比例した強度の光線を異なる角度方向に回析させる。尚、図１０は、姿勢認識のために６個の領域に分割する場合を示すが、中心位置や人体の大きさを認識するために９個の領域に分割する場合も同様になされる。
【００４５】
ホログラム６によって回析された光線の方向を図１１に示す。この図１１において、領域ＭＰｄの内部の光強度に比例した強度の光線がＡの方向に向かって飛ぶようになされている。また、同様にして領域ＵＰｄ内部の光強度に比例した強度を持つ光線が、Ｂの方向に発生する。以下同様に、領域（Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）の光強度に従ってＣ〜Ｆの方向に光線が飛ぶようになされる。このように、６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）毎に光線の角度を所定のものとするためには、ホログラム６の６個の領域にそれぞれ対応する領域に所定の縞模様を形成する必要がある。すなわち、ホログラム６は、例えば各領域が所定の方向に回析するようになされた回析格子として構成されたＣＧＨ（Computer Genereted Hologram)などの手法で作製することができる。
【００４６】
ホログラム６から回析された光線は、ディテクターアレイ３５により電気信号に変換される。ディテクターアレイ３５は、図１１中のＡからＦまでの各方向に対して、少なくとも１つ以上の独立したフォトディテクターを持ち、各方向成分の光線を独立に検出して６個の電気信号（図１０におけるＢｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）に変換する。この電気信号のレベル（ピーク値、または平均値）は、ＡからＦまでの各方向の光線の強度に対応する。なお、図１１では、６個の領域に対応して６個のフォトディテクターを使用しているが、一つの領域に対して、複数のフォトディテクターを使用しても良い。
【００４７】
このようにして得られた６個の電気信号（Ｂｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）は、増幅ユニット７により、各検出信号毎に増幅され、十分なＳＮＲ（信号対雑音比）が得られる検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）として判定ユニット８に出力される。増幅ユニット７は、例えば６つのオペレーショナル・アンプリファイヤーを単純に並べることで構成することができる。
【００４８】
判定ユニット８は、６個の検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）を入力とし、ゲームプレーヤ１の姿勢が『前方へのパンチ』と判定した場合には、信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』と判定した場合には、信号ＰＣ２をアクティブとする。また、ゲームプレーヤ１の姿勢が『前方へのキック』と判定した場合には、信号ＫＫ１をアクティブとし、『後方へのキック』と判定した場合には、信号ＫＫ２をアクティブとする。更に、ゲームプレーヤ１の姿勢が『しゃがみ』と判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』と判定した場合には、信号ＪＭをアクティブとする。
【００４９】
判定ユニット８の一例を図１２に示す。図１２において、６本の入力（検出）信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）は、Ａ／Ｄコンバータ８１Ａ〜８１Ｆによって各８ビットのディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）に変換される。この結果のディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）は、図示しないインターフェース回路を通して、マイクロプロッセッサー８２に取り込まれる。
【００５０】
マイクロプロッセッサー８２は、上述の入力信号からゲームプレーヤ１の姿勢を判定して、『前方へのパンチ』の姿勢であると判定した場合には信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』の姿勢であると判定した場合には信号ＰＣ２をアクティブとする。また、『前方へのキック』の姿勢であると判定した場合には信号ＫＫ１をアクティブとし、『後方へのキック』の姿勢であると判定した場合には信号ＫＫ２をアクティブとする。更に、『しゃがみ』の姿勢であると判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』の姿勢であると判定した場合には、信号ＪＭをアクティブとする。これらの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）は、ゲーム装置４に対して供給される。
【００５１】
マイクロプロセッサ８２が行う『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢の判定動作のうちの『前方へのパンチ』及び『前方へのキック』の場合を特に例として挙げながら次に説明する。マイクロプロセッサ８２の内部には、図１３に示すような（７行×６バイト，図１３中には３行分しか図示せず）のメモリが搭載されている。第１行目のメモリは、入力バッファーであり、入力された６つのディジタル検出信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）が常に保持されている。
【００５２】
第２行目のメモリは、前方へのパンチ姿勢基準として用いられる基準値を保持する。このメモリは、ゲーム開始に先立ち、実際にゲームを楽しもうとするゲームプレーヤ１が『前方へのパンチ』の姿勢であるときの画像をＣＣＤカメラ２で取り込み、増幅ユニット７の出力から得られた６バイトの信号を保持している。このメモリに保持される『前方へのパンチ』の基準値を、（ＹＭ１，ＹＭ２，ＹＭ３，ＹＭ，ＹＭ５，ＹＭ６）と表記する。
【００５３】
第３行目のメモリは、前方へのキック姿勢基準として用いられる基準値を保持する。これらのメモリは、ゲーム開始に先立ち、ゲームプレーヤ１が『前方へのキック』の姿勢であるときの画像をＣＣＤカメラで取り込み、増幅ユニット７の出力から得られた６バイトの夫々の信号を保持している。第３行目のメモリに保持される『前方へのキック』の基準値を、（ＺＦ１，ＺＦ２，ＺＦ３，ＺＦ４，ＺＦ５，ＺＦ６）と表記する。
【００５４】
第２行目から第７行目までのメモリに保持する各姿勢の基準値は、例えば工場出荷時に実験を行って定め、ＲＯＭ（リードオンリーメモリ）として構成しておくことができる。このようにＲＯＭで構成すれば、電源を入れただけで直ちに使用を開始することも可能である。また、ＲＡＭ（ランダムアクセスメモリ）として構成することも可能である。ＲＡＭで構成し、上述したように、実際のプレーヤの姿勢から基準値を生成することによって、ゲームプレーヤ１の個人的な差を吸収して、確実な動作をさせることが可能となる。
【００５５】
マイクロプロッセッサ８２は、これらのメモリに保持された値に対して、例えば、各パラメータの差の二乗和の演算を行う。この演算によって、入力信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）と、各姿勢の基準値のそれぞれとの距離を求める。例えば、『前方へのパンチ』及び『前方へのキック』の場合には、以下の数式（４）及び（５）で示されるような演算を行い、距離ＤＭＹ及びＤＦＺを算出する。
【００５６】
ＤＹＭ＝（Ｄ１−ＹＭ１）2 ＋（Ｄ２−ＹＭ２）2 ＋（Ｄ３−ＹＭ３）2 ＋（Ｄ４−ＹＭ４）2 ＋（Ｄ５−ＹＭ５) 2 ＋（Ｄ６−ＹＭ６）2 ・・・（４）
ＤＺＦ＝（Ｄ１−ＺＦ１）2 ＋（Ｄ２−ＺＦ２）2 ＋（Ｄ３−ＺＦ３）2 ＋（Ｄ４−ＺＦ４）2 ＋（Ｄ５−ＺＦ５）2 ＋（Ｄ６−ＺＦ６）2 ・・・（５）
マイクロプロセッサ８２は、他の姿勢についても同様の距離計算を行う。そして、生成した各姿勢の距離に関して大小比較を行い、求められた距離がもっとも小さいものを決定する。この大小比較の結果、例えば、ＤＹＭの値がもっとも小さいと判定された場合には、マイクロプロセッサ８２はゲームプレーヤ１が『前方へのパンチ』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＰＣ１をアクティブにして、前方へのパンチの動作を行うように指示する。
【００５７】
同様にして、大小比較の結果、例えば、ＤＺＦの値がもっとも小さいと判定された場合には、マイクロプロセッサ８２はゲームプレーヤ１が『前方へのキック』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＫＫ１をアクティブにして、前方へのキックの動作を行うように指示する。
【００５８】
また、他の姿勢の距離が小さい場合には、同様に対応する信号をアクティブとし、その姿勢を行うように指示する。尚、ゲームプレーヤの姿勢を認識するタイミングは、予め決定された所定時間の周期、または検出信号の大きな変化が発生する時点になされる。
【００５９】
以上のように、この発明の姿勢検出ゲーム装置１は、ゲームプレーヤ１の姿勢を認識して、ゲームプレーヤ１の姿勢にしたがったゲームを構成することが可能となる。尚、認識する姿勢としては上述したものに限定されず、『静止』のような他の姿勢を認識するようにしても良い。
【００６０】
【発明の効果】
この発明の姿勢検出ゲーム装置は、ゲームプレーヤの人体、あるいは人体各部の姿勢を画像信号として入力し、この画像信号を複数個の領域に分割し、各領域中の信号強度を検出し、検出信号に基づいて人体の姿勢を認識するように構成されているので、人体を撮影した画像情報から輪郭線を抽出する処理が必要なくなる。このため高速な動作が可能となり、さらに、安価な信号処理装置で実現することが可能となる。
【００６１】
また、この発明は、輪郭線の抽出が必要ないので、認識装置をホログラムなどの回折手段を使って実現することも可能となり、さらに安価で高速な動作を実現することが可能となるという効果を奏する。
【００６２】
また、この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の略中心位置を認識するために用いられて所定の演算処理によって中心位置が認識され、得られた中心位置情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段が認識された中心位置に対して略一定の距離と方向を保つように配置されるか選択されるようになされる。従ってこの発明に依れば、人体が前後、左右、上下に大きく動いた場合においても誤認識することなく正確に姿勢を認識することができる。
【００６３】
また、この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の大きさを認識するために用いられて所定の演算処理によって体型の大きさが認識され、得られた体型情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段の位置や強度検出手段の認識範囲の大きさが所定の関係を満たすように配置されるか選択されるようになされる。従って、この発明に依れば、背の高さなどゲームプレーヤの体型が異なる場合においても誤認識することなく正確に姿勢を認識することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態に係わる姿勢検出ゲーム装置の一例を示すブロック図である。
【図２】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図３】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図４】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図５】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図６】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図７】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図８】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図９】この発明の一実施形態における姿勢認識装置の一例を示すブロック図である。
【図１０】この発明の一実施形態における姿勢認識装置の他の例を示すブロック図である。
【図１１】図１０に示す姿勢認識装置におけるホログラムの回折効果を説明する略線図である。
【図１２】図１０に示す姿勢認識装置における判定ユニットの一例を示すブロック図である。
【図１３】図１２に示す判定ユニットにおけるマイクロプロセッサ内部のメモリを示す略線図である。
【符号の説明】
１・・・ゲームプレーヤ、２・・・ＣＣＤカメラ、３・・・姿勢認識装置、４・・・ゲーム装置、５・・・ディスプレイ装置、６・・・ホログラム、８・・・判定ユニット、３１・・・レーザ発振器、３２・・・コリメーターレンズ、３３・・・液晶ディスプレイ、３５・・・ディテクターアレイ、８１Ａ〜８１Ｆ，９２・・・Ａ／Ｄコンバータ、８２，９４・・・マイクロプロセッサ
【発明の属する技術分野】
この発明は、ゲームを楽しむ人が実際に自分の姿勢を変化させ、姿勢の変化を反映させることができる姿勢検出装置および方法に関する。
【０００２】
【従来の技術】
ゲームを楽しむ人が実際に自分の体を動かし、この人の人体、あるいは、人体部位の姿勢を認識し、認識結果に従ってテレビ等に接続されたコンピュータを制御し、全体としてゲーム装置を構成することが考えられている。例えば二人のプレーヤが指定された位置に対峙して、パンチを出したり、キックを行い、これらプレーヤの姿勢を認識し、認識結果をコンピュータに与え、コンピュータが作成したゲームキャラクターをモニタ上に表示し、モニタ上で、ゲームキャラクターがプレーヤと同様に動き、二人のプレーヤについてのスコアを集計、表示するようになされる。
【０００３】
この種のコンピュータゲーム装置においては、人体の姿勢を認識することが必要である。従来、人体の全体、または、一部をＣＣＤ（固体撮像素子）カメラにより撮像し、このＣＣＤカメラにより出力されるが画像信号（電気信号）に基づいて、人体、あるいは、人体部位の姿勢を検出するように構成された姿勢検出装置が提案されている。
【０００４】
例えば"Artificial Retina Chips as Image Input Interfaces for Multimedia Systems"(First Optoelectronics and Communications Confernce(OECC'96)Technical Digest,July 1996,Makuhari Messe p516-p517)には、ＣＣＤにより撮像された画像データを処理することによって、画像中の物体の輪郭線（エッジ）を抽出する技術が開示されている。このエッジから人体を動きを判定することができる。そして、検出された人体の動きをコントローラによる入力に代えてコンピュータゲームに入力することによって、例えば格闘ゲームを構成することが可能となる。
【０００５】
【発明が解決しようとする課題】
従来の姿勢認識装置では、人体を撮影した画像から輪郭線を抽出する処理を行うために、信号処理に時間を費やし、応答が遅くなるという欠点があった。例えば、人体の姿勢を認識する時間が０．６秒から０．７秒程度必要であるとされている。０．６秒もの時間が、認識するために費やされてしまっては、ゲームの応答が遅くなり、実用的とは言えなかった。また、輪郭線の抽出および認識の処理がコンピュータで行われるため、高価なコンピュータを必要とするという欠点があった。また、人体全体が前後、左右、上下に大きく動いた場合や、背の高さなどの体型が異なる場合においても正確に姿勢を認識できる姿勢検出ゲーム装置が要望されている。
【０００６】
従って、この発明の目的は、高速で、小規模のハードウエアによって、人体、あるいは人体の部位の姿勢を認識し、認識結果をゲームに反映させることが可能な姿勢検出装置及び方法を提供することにある。
【０００７】
また、この発明の他の目的は、人体全体が前後、左右、上下に大きく動いた場合や、背の高さなどの体型が異なる場合においても正確に姿勢を認識できる姿勢検出装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、請求項１の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から画面の略中心位置と人体の略中心部分の位置とのずれを示す中心位置情報を生成し、中心位置情報に応じて一部領域の位置を変化させることを特徴とする姿勢検出装置である。請求項８の発明は、請求項１のように姿勢を認識する姿勢検出方法である。
【０００９】
請求項２の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部であって、予め用意された複数の候補領域から選択された一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から画面の略中心位置と人体の略中心部分の位置とのずれを示す中心位置情報を生成し、中心位置情報に応じて複数の候補領域の一つを認識用領域として選択することを特徴とする姿勢検出装置である。請求項９の発明は、請求項２のように姿勢を認識する姿勢検出方法である。
【００１０】
請求項４の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から人体の略面積あるいは体積を示す面積情報を生成し、面積情報に応じて一部領域の位置及び大きさを変化させることを特徴とする姿勢検出装置である。請求項１０の発明は、請求項４のように姿勢を認識する姿勢検出方法である。
【００１１】
請求項５の発明は、人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
強度検出手段の領域の一部であって、予め用意された複数の候補領域から選択された一部領域が人体の姿勢を認識するための認識用領域に割り当てられ、認識用領域の信号強度から人体の姿勢に応じた出力信号を発生する認識手段と、
認識手段からの出力信号に応じて、画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段とを備え、
認識手段は、強度検出手段の出力信号から人体の略面積あるいは体積を示す面積情報を生成し、面積情報に応じて複数の候補領域の一つを認識用領域として選択することを特徴とする姿勢検出装置である。請求項１１の発明は、請求項５のように姿勢を認識する姿勢検出方法である。
【００１２】
この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の略中心位置を認識するために用いられて所定の演算処理によって中心位置が認識され、得られた中心位置情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段が認識された中心位置に対して略一定の距離と方向を保つように配置されるか選択されるようになされる。
【００１３】
また、この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の大きさを認識するために用いられて所定の演算処理によって体型の大きさが認識され、得られた体型情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段の位置や強度検出手段の認識範囲の大きさが所定の関係を満たすように配置されるか選択されるようになされる。
【００１４】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態に係る姿勢検出ゲーム装置を全体的に示すブロック図である。この姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。姿勢認識装置３では、ゲームプレーヤ１の現在の姿勢を認識する。典型的な例は、格闘ゲームであるが、この発明は、他の種類のゲームに対しても適用できる。例えばストレッチ体操等のエキササイズのゲームを構成することができる。これは、画面上のコーチ、教師の行う体操をプレーヤが真似て、上手く真似るほど、点数が良くなるゲームである。
【００１５】
姿勢認識装置３は、例えば、ゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。姿勢認識装置３において、ゲームプレーヤ１の各姿勢に対応して信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が形成され、この各姿勢に対応した信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）の夫々がゲーム装置４に供給される。
【００１６】
例えば、ゲームプレーヤ１が『前方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ１をアクティブにし、『斜め上方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ２をアクティブにする。また、同様にゲームプレーヤ１の現在の姿勢が『前方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ１をアクティブにし、『後方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ２をアクティブにする。更に、ゲームプレーヤ１の現在の姿勢が『しゃがみ』であると認識された場合には、ゲーム装置４に対して信号ＳＤをアクティブにし、『ジャンプ』であると認識された場合には、ゲーム装置４に対して信号ＪＭをアクティブにする。
【００１７】
ゲーム装置４は、これらの外部入力信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）により、ゲームプレーヤ１の姿勢が『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢のうちのいずれかであると認識されたものとして、信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）に従って、ゲームを進行する。
【００１８】
具体的には、信号ＰＣ１がアクティブの場合には、ゲームのキャラクターに『前方へのパンチ』を行わせ、また同様に信号ＫＫ１がアクティブの場合には、ゲームのキャラクターに『前方へのキック』を行わせ、他の信号の場合も同様に対応した動作を行わせるようになされている。このゲームの進行状況は、ディスプレイ装置５に表示され、ゲームプレーヤ１が常にゲームの進行状況を把握できるように構成されている。すなわち、既存のコンピュータゲームにおける外部入力装置（押しボタンキー、ジョイスティック、トラックボール等）に変わるものとして、姿勢認識装置３からの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が使用される。ゲーム装置４に対してディスプレイ装置５が接続され、ディスプレイ装置５には、ゲーム装置４からビデオ信号ＶＤが供給される。
【００１９】
このようなゲーム装置４としては、例えば、ソニーコンピュータエンターテイメント社から発売されている、『プレイステーション』を使用することができる。また、ディスプレイ装置５に関しては、一般のテレビモニターを使用することができる。図１では、理解の容易のため、ディスプレイ装置５上に表示されているキャラクターがプレーヤと同様の形とされているが、実際には、プレーヤとは別個の娯楽性を高めるためのアニメーション等のゲーム装置４で作成されたキャラクターが表示される。キャラクターとしては、複数種類のものが用意されており、プレーヤが好みのものを選択可能としても良い。
【００２０】
また、ゲームプレーヤ１の姿勢を正確に認識する上で、プレーヤの立つ場所、プレーヤの背景の画像、プレーヤの着衣の色彩等が必要に応じて指定される。さらに、図１の例では、プレーヤが一人の例であり、ゲーム装置４により作成された対戦相手のキャラクターがディスプレイ装置５上に表示される。ゲームプレーヤ１は、相手の動きを見ながら、６種類のいずれかの姿勢をとる。ゲーム装置４では、対戦相手の動きとプレーヤの姿勢とから点数を集計し、点数表示を行う。また、１ゲームの時間を規定し、ゲーム終了後に集計点数と勝敗の表示を行うことができる。これらの態様は、既存の格闘ゲームに採用されているものを適用できる。
【００２１】
尚、この発明の一実施形態は、プレーヤが１名の場合であるが、プレーヤが２名の場合に対してもこの発明を適用することができる。さらに、プレーヤが１名の場合と２名の場合とを選択可能としても良い。この発明の特徴とする点は、姿勢認識装置３に存するので、簡単のため図１に示すプレーヤが１名の場合を例として、姿勢認識について以下説明する。
【００２２】
図２は、姿勢認識装置３において、プレーヤの人体の中心位置及び面積を認識する動作原理を簡単に示すものである。姿勢認識装置３において、入力されたビデオ信号ＳＶは、図２に示すような９つの領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）に分割され、それぞれの領域内における信号強度（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）が算出されるようになされている。９つの領域は、ＣＣＤカメラ２の撮影画面内の略中央となる一部の領域である。上述したように、ゲームプレーヤ１が図２に示すような画面中の位置にある程度の幅を以て合致するように、ゲームプレーヤ１の立つ位置等が規定されている。
【００２３】
人体の中心位置は、例えば、図２に示すような９つの領域からの信号強度（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）について下記の数式（１）及び数式（２）に示す演算結果であるＵＤ，ＬＲの値を用いて認識する。即ち、図２において人体の存在する領域の信号強度が大きくなるものとすれば、人体が図を向かって見て右側に動いたときには信号強度の演算の結果ＬＲは大きくなり、左側に動いたときには小さくなる。また、図２において人体が上側に動いたときには信号強度の演算の結果ＵＤは大きくなり、下側に動いたときには小さくなる。
【００２４】
ＵＤ＝ｕ１＋ｕ２＋ｕ３−（ｄ１＋ｄ２＋ｄ３）・・・（１）
ＬＲ＝ｕ３＋ｍ３＋ｄ３−（ｕ１＋ｍ１＋ｄ１）・・・（２）
また、人体の面積は、例えば、図２に示す９つの領域からの信号強度（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）について下記の数式（３）に示す演算の結果であるＶの値を用いて認識する。即ち、図２において人体の存在する領域の信号強度が大きくなるものとすれば、９つの領域の面積に対する人体の面積の比率が大きい場合には演算の結果Ｖは大きくなり、小さい場合には演算の結果Ｖは小さくなる。
【００２５】
Ｖ＝ｕ１＋ｕ２＋ｕ３＋ｍ１＋ｍ２＋ｍ３＋ｄ１＋ｄ２＋ｄ３・・・（３）
図３は、姿勢認識装置３において人体の姿勢を認識するために割り当てられた強度検出手段の一例を示す。姿勢認識装置３は、前述したようにゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。図３において、『しゃがみ』を認識するための強度検出手段は、Ｄｄで示される領域であり、ゲームプレーヤ１が『しゃがみ』の姿勢をとった時には検出される信号強度が相対的に小さくなる。
【００２６】
また、『前方へのパンチ』を認識するための強度検出手段として、ＭＰｄで示される領域が設けられ、『斜め上方へのパンチ』を認識するための強度検出手段として、ＵＰｄで示される領域が設けられ、『前方へのキック』を認識するための強度検出手段として、Ｋｄで示される領域が設けられ、『後方へのキック』を認識するための強度検出手段として、ＢＫｄで示される領域が設けられ、『ジャンプ』を認識するための強度検出手段として、Ｊｄで示される領域が設けられる。『しゃがみ』の姿勢以外の夫々の姿勢に対応して割り当てられた強度検出手段の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ）においては、夫々の姿勢をとった時には『しゃがみ』の場合とは逆に検出される信号強度が相対的に大きくなる。
【００２７】
図４，図５及び図６は、姿勢認識装置３において上述した方法により得られた中心位置情報を用い、前記人体の姿勢を認識するために割り当てられた強度検出手段の位置を変化させる方法を『前方へのパンチ』の場合を例にとって簡単に示すものである。
【００２８】
図４では人体の中心位置を認識するための９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の略中心に人体が位置しており、ゲームプレーヤ１は、『前方へのパンチ』の姿勢をとっている。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに腕が位置しているので、ＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったと認識される。
【００２９】
図５では人体が中心位置を認識するための９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）に対してやや前方及び上方に位置している。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに胸が進入してくるため『前方のパンチ』の姿勢をとっていない場合でもＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったものと認識する可能性がある。従って、この発明においては、図６に示すように強度検出手段の領域ＭＰｄを人体の中心位置情報に応じて移動させて認識処理を行う。
【００３０】
つまり、人体の中心位置がやや右側及び上側に位置していることを上述した数式（１）及び数式（２）に示す演算の結果であるＵＤ，ＬＲの値を用いて認識することができるので、強度検出手段の領域ＭＰｄを図６に示すように移動させることができる。
【００３１】
この場合の処理について具体的に更に詳細に説明する。人体の中心位置を認識する９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の信号強度を（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）とし、人体の存在する領域に応じて信号強度が大きくなるものとすれば、人体が略中心に位置している図４の場合には、ｍ２が最大値となり、ｍ２以外の信号強度に関しては、ｍ２に比べて小さな余り差のない数値となって、数式（１）及び（２）の演算の結果ＵＤ及びＬＲは略０に近い数値となる。
【００３２】
また、人体の中心位置がやや右側及び上側に位置している図５の場合には、（ｕ２，ｕ３，ｍ２，ｍ３）がやや大きな数値となり、残りの信号強度に関しては、略０に近い数値となって、数式（１）及び（２）の演算の結果ＵＤ及びＬＲは、図４の場合に比べて両者共に大きな数値となり、前方及び上方に人体がずれていることが認識される。そして、演算の結果ＵＤ，ＬＲの差に応じて強度検出手段の『前方へのパンチ』を認識するための領域ＭＰｄが図６に示すように図４の位置よりも右上側の位置へ移動させられる。この補正によって、『前方へのパンチ』の認識処理が誤らないようになされる。
【００３３】
尚、上述した『前方のパンチ』の姿勢以外の他の姿勢の場合においても、同様に強度検出手段の領域（ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）の位置を人体の中心位置情報に応じて移動させて認識処理がなされる。また、上述した処理においては、強度検出手段の領域ＭＰｄを移動する場合について説明したが、強度検出手段の領域ＭＰｄを移動させる代わりに、予め用意された幾つかの検出領域の候補の中から最適と判断される領域を認識領域として選択し、認識処理するようにしても良い。
【００３４】
図４，図７及び図８は、姿勢認識装置３において上述した方法により得られた人体の面積情報を用い、前記人体の姿勢を認識するために割り当てられた強度検出手段の位置及び大きさを変化させる方法を『前方へのパンチ』の場合を例にとって簡単に示すものである。尚、面積に限らず、面積及び／または体積情報についても同様に処理できる。
【００３５】
図４では人体の中心位置を認識するための９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の略中心に人体が位置しており、平均的な体型のゲームプレーヤ１は、『前方へのパンチ』の姿勢をとっている。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに腕が位置しているので、ＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったと認識される。
【００３６】
図７では大きな体型のゲームプレーヤ１の姿勢を認識する場合を示している。この場合では、腕の動きを認識するために割り当てられた強度検出手段の領域ＭＰｄに胸が進入してくるため『前方のパンチ』の姿勢をとっていない場合でもＭＰｄの検出強度が大きくなり、『前方へのパンチ』の姿勢をとったものと誤って認識する可能性がある。従って、この発明においては、図８に示すように強度検出手段の領域ＭＰｄの位置及び大きさを、人体の面積情報に応じて移動させたり、変化させたりして認識処理を行う。
【００３７】
つまり、人体の大きさを上述した数式（３）に示す演算の結果であるＶの値を用いて認識することができるので、強度検出手段の領域ＭＰｄの大きさとその位置を図８に示すように変化させることができる。
【００３８】
この場合の処理について具体的に更に詳細に説明する。人体の中心位置を認識する９つの強度検出手段の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）の信号強度を（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）とし、人体の存在する領域に応じて信号強度が大きくなるものとすれば、図４の平均的な体型のゲームプレーヤ１の場合には、ｍ２が最大値となり、ｍ２以外の信号強度に関しては、ｍ２に比べて小さな余り差のない数値となって、数式（３）の演算の結果Ｖが略所定の値となる。
【００３９】
また、図７に示すように、大きな体型のゲームプレーヤ１の場合には、（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｍ３，ｄ１，ｄ２，ｄ３）の信号強度に関して全てが図４の場合に比べて大きな数値となる。従って、数式（３）の演算の結果Ｖは、図４の場合に比べて当然大きな数値となり、大きな体型のゲームプレーヤ１であると認識される。そして、演算の結果Ｖの差に応じて強度検出手段の『前方へのパンチ』を認識するための領域ＭＰｄが図８に示すように図４の位置よりも右上側へ移動させられると共に、その認識範囲が大きくされる。それによって、体型の異なるゲームプレーヤ１の場合においても『前方へのパンチ』の認識処理が誤らないようになされる。
【００４０】
尚、上述した『前方のパンチ』の姿勢以外の他の姿勢の場合においても、同様に強度検出手段の領域（ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）を人体の面積及び／または体積情報に応じて大きさを変化させたり、移動させたりして認識処理がなされる。また、上述した処理においては、強度検出手段の領域ＭＰｄを大きくすると共に、移動する場合について説明したが、強度検出手段の領域ＭＰｄの大きさや位置を変化させる代わりに、予め用意された幾つかの検出領域の候補の中からもっとも最適と判断される領域を認識領域として選択し、認識処理するようにしても良い。
【００４１】
更に、人体の体型の大きさを上述した数式（３）に示す演算の結果であるＶの値を用いて認識する場合について説明したが、以下に示す数式（４）を用いてＶの値を算出しても良い。
Ｖ＝ｕ１＋ｕ２＋ｕ３＋ｍ１＋ｍ３＋ｄ１＋ｄ２＋ｄ３−ｍ２・・・（４）
図９は、このような動作を行う姿勢認識装置３の一例の構成である。図１と同一部分には、同一の参照符号が付されている。姿勢認識装置３が図９に示すようにＡ／Ｄコンバータ９２、ＲＡＭ（ランダムアクセスメモリ）９３、ＣＰＵ（マイクロプロセッサ）９４及びインターフェース回路９５等により構成される。Ａ／Ｄコンバータ９２、ＲＡＭ９３、ＣＰＵ９４及びインターフェース回路９５の夫々は、データバスにより接続され、双方向にデータの授受が可能とされている。
【００４２】
ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。入力されたビデオ信号は、Ａ／Ｄコンバータ９２によりアナログ信号からディジタル信号に変換される。ディジタル信号に変換された画像データは、マイクロプロセッサ９４によりランダムアクセスメモリ９３上に蓄えられる。マイクロプロセッサ９４は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路９５に認識処理結果を送る。インターフェイス回路９５は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。尚、プレーヤの体重を検出する場合には、ＣＣＤカメラ２が増設されて３次元認識処理がなされる。
【００４３】
また、図１０は、姿勢認識装置３の他の例の構成で、ホログラム６を用いたものである。図１０において、ＣＣＤカメラ２からの映像信号ＳＶは、液晶ディスプレイ３３に送られ、液晶ディスプレイ３３上に２次元の情報として投影される。レーザ発振器３１からのレーザ光線は、コリメーターレンズ３２により平行光線に変換された後に、この液晶ディスプレイ３３を照射する。従って、液晶ディスプレイ３３の直後には、コヒーレントなレーザ光として、ＣＣＤカメラ２で撮影された画像が復元される。このコヒーレントな光による画像情報は、結像レンズ３４によってホログラム６上に結像される。また、レーザ発振器３１は、レーザパワー制御装置３０（Automatio Power Control 回路）により、常に所定の出力が得られるように制御されている。
【００４４】
このようにして液晶ディスプレイ３３上に得られたゲームプレーヤ１の姿勢情報は、結像レンズ３４によってホログラム６上に投影される。ホログラム６は、投影された画像を必要に応じて６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）及び９個の領域（Ｕ１，Ｕ２，Ｕ３，Ｍ１，Ｍ２，Ｍ３，Ｄ１，Ｄ２，Ｄ３）に分割し、各領域中の強度に比例した強度の光線を異なる角度方向に回析させる。尚、図１０は、姿勢認識のために６個の領域に分割する場合を示すが、中心位置や人体の大きさを認識するために９個の領域に分割する場合も同様になされる。
【００４５】
ホログラム６によって回析された光線の方向を図１１に示す。この図１１において、領域ＭＰｄの内部の光強度に比例した強度の光線がＡの方向に向かって飛ぶようになされている。また、同様にして領域ＵＰｄ内部の光強度に比例した強度を持つ光線が、Ｂの方向に発生する。以下同様に、領域（Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）の光強度に従ってＣ〜Ｆの方向に光線が飛ぶようになされる。このように、６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）毎に光線の角度を所定のものとするためには、ホログラム６の６個の領域にそれぞれ対応する領域に所定の縞模様を形成する必要がある。すなわち、ホログラム６は、例えば各領域が所定の方向に回析するようになされた回析格子として構成されたＣＧＨ（Computer Genereted Hologram)などの手法で作製することができる。
【００４６】
ホログラム６から回析された光線は、ディテクターアレイ３５により電気信号に変換される。ディテクターアレイ３５は、図１１中のＡからＦまでの各方向に対して、少なくとも１つ以上の独立したフォトディテクターを持ち、各方向成分の光線を独立に検出して６個の電気信号（図１０におけるＢｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）に変換する。この電気信号のレベル（ピーク値、または平均値）は、ＡからＦまでの各方向の光線の強度に対応する。なお、図１１では、６個の領域に対応して６個のフォトディテクターを使用しているが、一つの領域に対して、複数のフォトディテクターを使用しても良い。
【００４７】
このようにして得られた６個の電気信号（Ｂｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）は、増幅ユニット７により、各検出信号毎に増幅され、十分なＳＮＲ（信号対雑音比）が得られる検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）として判定ユニット８に出力される。増幅ユニット７は、例えば６つのオペレーショナル・アンプリファイヤーを単純に並べることで構成することができる。
【００４８】
判定ユニット８は、６個の検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）を入力とし、ゲームプレーヤ１の姿勢が『前方へのパンチ』と判定した場合には、信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』と判定した場合には、信号ＰＣ２をアクティブとする。また、ゲームプレーヤ１の姿勢が『前方へのキック』と判定した場合には、信号ＫＫ１をアクティブとし、『後方へのキック』と判定した場合には、信号ＫＫ２をアクティブとする。更に、ゲームプレーヤ１の姿勢が『しゃがみ』と判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』と判定した場合には、信号ＪＭをアクティブとする。
【００４９】
判定ユニット８の一例を図１２に示す。図１２において、６本の入力（検出）信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）は、Ａ／Ｄコンバータ８１Ａ〜８１Ｆによって各８ビットのディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）に変換される。この結果のディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）は、図示しないインターフェース回路を通して、マイクロプロッセッサー８２に取り込まれる。
【００５０】
マイクロプロッセッサー８２は、上述の入力信号からゲームプレーヤ１の姿勢を判定して、『前方へのパンチ』の姿勢であると判定した場合には信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』の姿勢であると判定した場合には信号ＰＣ２をアクティブとする。また、『前方へのキック』の姿勢であると判定した場合には信号ＫＫ１をアクティブとし、『後方へのキック』の姿勢であると判定した場合には信号ＫＫ２をアクティブとする。更に、『しゃがみ』の姿勢であると判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』の姿勢であると判定した場合には、信号ＪＭをアクティブとする。これらの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）は、ゲーム装置４に対して供給される。
【００５１】
マイクロプロセッサ８２が行う『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢の判定動作のうちの『前方へのパンチ』及び『前方へのキック』の場合を特に例として挙げながら次に説明する。マイクロプロセッサ８２の内部には、図１３に示すような（７行×６バイト，図１３中には３行分しか図示せず）のメモリが搭載されている。第１行目のメモリは、入力バッファーであり、入力された６つのディジタル検出信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）が常に保持されている。
【００５２】
第２行目のメモリは、前方へのパンチ姿勢基準として用いられる基準値を保持する。このメモリは、ゲーム開始に先立ち、実際にゲームを楽しもうとするゲームプレーヤ１が『前方へのパンチ』の姿勢であるときの画像をＣＣＤカメラ２で取り込み、増幅ユニット７の出力から得られた６バイトの信号を保持している。このメモリに保持される『前方へのパンチ』の基準値を、（ＹＭ１，ＹＭ２，ＹＭ３，ＹＭ，ＹＭ５，ＹＭ６）と表記する。
【００５３】
第３行目のメモリは、前方へのキック姿勢基準として用いられる基準値を保持する。これらのメモリは、ゲーム開始に先立ち、ゲームプレーヤ１が『前方へのキック』の姿勢であるときの画像をＣＣＤカメラで取り込み、増幅ユニット７の出力から得られた６バイトの夫々の信号を保持している。第３行目のメモリに保持される『前方へのキック』の基準値を、（ＺＦ１，ＺＦ２，ＺＦ３，ＺＦ４，ＺＦ５，ＺＦ６）と表記する。
【００５４】
第２行目から第７行目までのメモリに保持する各姿勢の基準値は、例えば工場出荷時に実験を行って定め、ＲＯＭ（リードオンリーメモリ）として構成しておくことができる。このようにＲＯＭで構成すれば、電源を入れただけで直ちに使用を開始することも可能である。また、ＲＡＭ（ランダムアクセスメモリ）として構成することも可能である。ＲＡＭで構成し、上述したように、実際のプレーヤの姿勢から基準値を生成することによって、ゲームプレーヤ１の個人的な差を吸収して、確実な動作をさせることが可能となる。
【００５５】
マイクロプロッセッサ８２は、これらのメモリに保持された値に対して、例えば、各パラメータの差の二乗和の演算を行う。この演算によって、入力信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）と、各姿勢の基準値のそれぞれとの距離を求める。例えば、『前方へのパンチ』及び『前方へのキック』の場合には、以下の数式（４）及び（５）で示されるような演算を行い、距離ＤＭＹ及びＤＦＺを算出する。
【００５６】
ＤＹＭ＝（Ｄ１−ＹＭ１）2 ＋（Ｄ２−ＹＭ２）2 ＋（Ｄ３−ＹＭ３）2 ＋（Ｄ４−ＹＭ４）2 ＋（Ｄ５−ＹＭ５) 2 ＋（Ｄ６−ＹＭ６）2 ・・・（４）
ＤＺＦ＝（Ｄ１−ＺＦ１）2 ＋（Ｄ２−ＺＦ２）2 ＋（Ｄ３−ＺＦ３）2 ＋（Ｄ４−ＺＦ４）2 ＋（Ｄ５−ＺＦ５）2 ＋（Ｄ６−ＺＦ６）2 ・・・（５）
マイクロプロセッサ８２は、他の姿勢についても同様の距離計算を行う。そして、生成した各姿勢の距離に関して大小比較を行い、求められた距離がもっとも小さいものを決定する。この大小比較の結果、例えば、ＤＹＭの値がもっとも小さいと判定された場合には、マイクロプロセッサ８２はゲームプレーヤ１が『前方へのパンチ』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＰＣ１をアクティブにして、前方へのパンチの動作を行うように指示する。
【００５７】
同様にして、大小比較の結果、例えば、ＤＺＦの値がもっとも小さいと判定された場合には、マイクロプロセッサ８２はゲームプレーヤ１が『前方へのキック』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＫＫ１をアクティブにして、前方へのキックの動作を行うように指示する。
【００５８】
また、他の姿勢の距離が小さい場合には、同様に対応する信号をアクティブとし、その姿勢を行うように指示する。尚、ゲームプレーヤの姿勢を認識するタイミングは、予め決定された所定時間の周期、または検出信号の大きな変化が発生する時点になされる。
【００５９】
以上のように、この発明の姿勢検出ゲーム装置１は、ゲームプレーヤ１の姿勢を認識して、ゲームプレーヤ１の姿勢にしたがったゲームを構成することが可能となる。尚、認識する姿勢としては上述したものに限定されず、『静止』のような他の姿勢を認識するようにしても良い。
【００６０】
【発明の効果】
この発明の姿勢検出ゲーム装置は、ゲームプレーヤの人体、あるいは人体各部の姿勢を画像信号として入力し、この画像信号を複数個の領域に分割し、各領域中の信号強度を検出し、検出信号に基づいて人体の姿勢を認識するように構成されているので、人体を撮影した画像情報から輪郭線を抽出する処理が必要なくなる。このため高速な動作が可能となり、さらに、安価な信号処理装置で実現することが可能となる。
【００６１】
また、この発明は、輪郭線の抽出が必要ないので、認識装置をホログラムなどの回折手段を使って実現することも可能となり、さらに安価で高速な動作を実現することが可能となるという効果を奏する。
【００６２】
また、この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の略中心位置を認識するために用いられて所定の演算処理によって中心位置が認識され、得られた中心位置情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段が認識された中心位置に対して略一定の距離と方向を保つように配置されるか選択されるようになされる。従ってこの発明に依れば、人体が前後、左右、上下に大きく動いた場合においても誤認識することなく正確に姿勢を認識することができる。
【００６３】
また、この発明では、姿勢認識装置３が設けられ、姿勢認識装置３において、強度検出手段の一部が人体の大きさを認識するために用いられて所定の演算処理によって体型の大きさが認識され、得られた体型情報に基づいて人体の姿勢を認識するために割り当てられた強度検出手段の位置や強度検出手段の認識範囲の大きさが所定の関係を満たすように配置されるか選択されるようになされる。従って、この発明に依れば、背の高さなどゲームプレーヤの体型が異なる場合においても誤認識することなく正確に姿勢を認識することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態に係わる姿勢検出ゲーム装置の一例を示すブロック図である。
【図２】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図３】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図４】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図５】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図６】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図７】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図８】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図９】この発明の一実施形態における姿勢認識装置の一例を示すブロック図である。
【図１０】この発明の一実施形態における姿勢認識装置の他の例を示すブロック図である。
【図１１】図１０に示す姿勢認識装置におけるホログラムの回折効果を説明する略線図である。
【図１２】図１０に示す姿勢認識装置における判定ユニットの一例を示すブロック図である。
【図１３】図１２に示す判定ユニットにおけるマイクロプロセッサ内部のメモリを示す略線図である。
【符号の説明】
１・・・ゲームプレーヤ、２・・・ＣＣＤカメラ、３・・・姿勢認識装置、４・・・ゲーム装置、５・・・ディスプレイ装置、６・・・ホログラム、８・・・判定ユニット、３１・・・レーザ発振器、３２・・・コリメーターレンズ、３３・・・液晶ディスプレイ、３５・・・ディテクターアレイ、８１Ａ〜８１Ｆ，９２・・・Ａ／Ｄコンバータ、８２，９４・・・マイクロプロセッサ
Claims (11)
- 人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
前記画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
前記強度検出手段の前記領域の一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識手段と、
前記認識手段からの前記出力信号に応じて、画像情報を作成する情報作成手段と、
前記画像情報を出力する画像出力手段とを備え、
前記認識手段は、前記強度検出手段の出力信号から前記画面の略中心位置と前記人体の略中心部分の位置とのずれを示す中心位置情報を生成し、前記中心位置情報に応じて前記一部領域の位置を変化させることを特徴とする姿勢検出装置。 - 人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
前記画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
前記強度検出手段の前記領域の一部であって、予め用意された複数の候補領域から選択された一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識手段と、
前記認識手段からの前記出力信号に応じて、画像情報を作成する情報作成手段と、
前記画像情報を出力する画像出力手段とを備え、
前記認識手段は、前記強度検出手段の出力信号から前記画面の略中心位置と前記人体の略中心部分の位置とのずれを示す中心位置情報を生成し、前記中心位置情報に応じて前記複数の候補領域の一つを前記認識用領域として選択することを特徴とする姿勢検出装置。 - 請求項１または２において、
前記中心位置情報に応じて前記一部領域の位置が中心位置の変化と同じ方向に変化するようになされていることを特徴とする姿勢検出装置。 - 人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
前記画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
前記強度検出手段の前記領域の一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識手段と、
前記認識手段からの前記出力信号に応じて、画像情報を作成する情報作成手段と、
前記画像情報を出力する画像出力手段とを備え、
前記認識手段は、前記強度検出手段の出力信号から前記人体の略面積あるいは体積を示す面積情報を生成し、前記面積情報に応じて前記一部領域の位置及び大きさを変化させることを特徴とする姿勢検出装置。 - 人体、あるいは人体各部の姿勢を画像信号として入力する画像入力手段と、
前記画像入力手段により入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出手段と、
前記強度検出手段の前記領域の一部であって、予め用意された複数の候補領域から選択された一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識手段と、
前記認識手段からの前記出力信号に応じて、画像情報を作成する情報作成手段と、
前記画像情報を出力する画像出力手段とを備え、
前記認識手段は、前記強度検出手段の出力信号から前記人体の略面積あるいは体積を示す面積情報を生成し、前記面積情報に応じて前記複数の候補領域の一つを前記認識用領域として選択することを特徴とする姿勢検出装置。 - 請求項４または５において、
前記強度検出手段の一部の前記領域の複数個が、前記人体の略面積あるいは体積を認識するために用いられ、
前記認識用領域に割り当てられた前記領域の複数個は、検出された中心位置との位置関係が常に一定となるように位置が変化するようになされていることを特徴とする姿勢検出装置。 - 請求項１、２、４または５において、
前記強度検出手段は、
前記画像信号を２次元の光強度分布に変換する光強度変調手段と、
前記光強度変調手段の光強度分布を複数の領域に分割し、前記領域毎に異なる角度方向に光を回折させる光回折手段と、
前記回折光の強度を求める複数の光検出手段とからなることを特徴とする姿勢検出装置。 - 人体、あるいは人体各部の姿勢を画像信号として入力するステップと、
入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出ステップと、
前記領域の一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識ステップと、
前記認識ステップで発生した前記出力信号に応じて、画像情報を作成する情報作成ステップと、
前記画像情報を出力する画像出力ステップとを備え、
前記認識ステップにおいて、前記強度検出ステップで発生した前記出力信号から前記画面の略中心位置と前記人体の略中心部分の位置とのずれを示す中心位置情報を生成し、前記中心位置情報に応じて前記一部領域の位置を変化させることを特徴とする姿勢検出方法。 - 人体、あるいは人体各部の姿勢を画像信号として入力するステップと、
入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出ステップと、
前記領域の一部であって、予め用意された複数の候補領域から選択された一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識ステップと、
前記認識ステップで発生した前記出力信号に応じて、画像情報を作成する情報作成ステップと、
前記画像情報を出力する画像出力ステップとを備え、
前記認識ステップにおいて、前記強度検出ステップで発生した出力信号から前記画面の略中心位置と前記人体の略中心部分の位置とのずれを示す中心位置情報を生成し、前記中心位置情報に応じて前記複数の候補領域の一つを前記認識用領域として選択することを特徴とする姿勢検出方法。 - 人体、あるいは人体各部の姿勢を画像信号として入力するステップと、
入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出ステップと、
前記領域の一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識ステップと、
前記認識ステップで発生した前記出力信号に応じて、画像情報を作成する情報作成ステップと、
前記画像情報を出力する画像出力ステップとを備え、
前記認識ステップにおいて、前記強度検出ステップで発生した出力信号から前記人体の略面積あるいは体積を示す面積情報を生成し、前記面積情報に応じて前記一部領域の位置及び大きさを変化させることを特徴とする姿勢検出方法。 - 人体、あるいは人体各部の姿勢を画像信号として入力するステップと、
入力された画像信号による画面を複数個の領域に分割し、各領域の信号強度をそれぞれ検出する強度検出ステップと、
前記領域の一部であって、予め用意された複数の候補領域から選択された一部領域が前記人体の姿勢を認識するための認識用領域に割り当てられ、前記認識用領域の信号強度から前記人体の姿勢に応じた出力信号を発生する認識ステップと、
前記認識ステップで発生した前記出力信号に応じて、画像情報を作成する情報作成ステップと、
前記画像情報を出力する画像出力ステップとを備え、
前記認識ステップにおいて、前記強度検出ステップで発生した出力信号から前記人体の略面積あるいは体積を示す面積情報を生成し、前記面積情報に応じて前記複数の候補領域の一つを前記認識用領域として選択することを特徴とする姿勢検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29418597A JP3812092B2 (ja) | 1997-10-27 | 1997-10-27 | 姿勢検出装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29418597A JP3812092B2 (ja) | 1997-10-27 | 1997-10-27 | 姿勢検出装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11128534A JPH11128534A (ja) | 1999-05-18 |
| JP3812092B2 true JP3812092B2 (ja) | 2006-08-23 |
Family
ID=17804423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29418597A Expired - Fee Related JP3812092B2 (ja) | 1997-10-27 | 1997-10-27 | 姿勢検出装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3812092B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001224731A (ja) * | 2000-02-18 | 2001-08-21 | Namco Ltd | ゲーム装置および情報記憶媒体 |
| US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| JP3746060B2 (ja) * | 2004-07-20 | 2006-02-15 | コナミ株式会社 | ゲーム装置、コンピュータの制御方法及びプログラム |
| JP2006068315A (ja) | 2004-09-02 | 2006-03-16 | Sega Corp | ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP4882443B2 (ja) * | 2006-03-27 | 2012-02-22 | ヤマハ株式会社 | 演奏装置 |
| JP2010531159A (ja) | 2007-06-14 | 2010-09-24 | ハーモニックス・ミュージック・システムズ・インコーポレイテッド | ロックバンド疑似体験システム及び方法。 |
| US8588465B2 (en) * | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
| JP5446572B2 (ja) * | 2009-08-12 | 2014-03-19 | 学校法人近畿大学 | 画像生成システム、制御プログラム、及び記録媒体 |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| US10357714B2 (en) | 2009-10-27 | 2019-07-23 | Harmonix Music Systems, Inc. | Gesture-based user interface for navigating a menu |
| US8874243B2 (en) | 2010-03-16 | 2014-10-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| JP2010137097A (ja) * | 2010-03-23 | 2010-06-24 | Namco Bandai Games Inc | ゲーム装置および情報記憶媒体 |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
-
1997
- 1997-10-27 JP JP29418597A patent/JP3812092B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11128534A (ja) | 1999-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3812092B2 (ja) | 姿勢検出装置及び方法 | |
| JP3442754B2 (ja) | ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム | |
| Freeman et al. | Computer vision for computer games | |
| JP2001299975A (ja) | 体感装置及び体感システム | |
| US6890262B2 (en) | Video game apparatus, method and recording medium storing program for controlling viewpoint movement of simulated camera in video game | |
| EP1867369A1 (en) | Game device and game execution control method | |
| KR100566751B1 (ko) | 화상 생성 장치 및 화상 생성 방법 | |
| JP3709491B2 (ja) | 画像処理方法及びゲーム装置 | |
| US7959511B2 (en) | Information processing device for controlling movement of a game character by using a player image and game character movement control method | |
| JP4928482B2 (ja) | ゲーム装置及び情報記憶媒体 | |
| CN103581522B (zh) | 信息通知装置以及信息通知方法 | |
| US8257176B2 (en) | Game device and method for processing images responsive to captured player images | |
| JP2008018287A (ja) | ゲーム装置及び情報記憶媒体 | |
| JP3812093B2 (ja) | 姿勢検出装置及び方法 | |
| WO2009141855A1 (ja) | 入力システム、入力方法、コンピュータプログラム、及び、記録媒体 | |
| JPH1153563A (ja) | 姿勢検出ゲーム装置およびゲーム方法 | |
| JP2001224729A (ja) | ゲーム装置および情報記憶媒体 | |
| JP2010137097A (ja) | ゲーム装置および情報記憶媒体 | |
| AU710024B2 (en) | A running model for a race game machine | |
| JPH11144061A (ja) | 画像認識装置、画像認識方法及び姿勢検出ゲーム装置 | |
| JP2010253322A (ja) | ゲーム装置及び情報記憶媒体 | |
| JPH1099558A (ja) | 対戦装置及びロボツト装置 | |
| JP4132501B2 (ja) | ゲーム装置 | |
| JP2000517087A (ja) | ジェスチャ認識のための方法及び装置 | |
| JP2005000247A (ja) | ビデオゲームプログラム、ビデオゲーム装置及びビデオゲーム方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
| LAPS | Cancellation because of no payment of annual fees |