JP3812093B2 - 姿勢検出装置及び方法 - Google Patents
姿勢検出装置及び方法 Download PDFInfo
- Publication number
- JP3812093B2 JP3812093B2 JP29418697A JP29418697A JP3812093B2 JP 3812093 B2 JP3812093 B2 JP 3812093B2 JP 29418697 A JP29418697 A JP 29418697A JP 29418697 A JP29418697 A JP 29418697A JP 3812093 B2 JP3812093 B2 JP 3812093B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- posture
- intensity
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ゲームを楽しむ人が実際に自分の姿勢を変化させ、姿勢の変化を反映させることができる姿勢検出装置および方法に関する。
【０００２】
【従来の技術】
ゲームを楽しむ人が実際に自分の体を動かし、この人の人体、あるいは、人体部位の姿勢を認識し、認識結果に従ってテレビ等に接続されたコンピュータを制御し、全体としてゲーム装置を構成することが考えられている。例えば二人のプレーヤが指定された位置に対峙して、パンチを出したり、キックを行い、これらプレーヤの姿勢を認識し、認識結果をコンピュータに与え、コンピュータが作成したゲームキャラクターをモニタ上に表示し、モニタ上で、ゲームキャラクターがプレーヤと同様に動き、二人のプレーヤについてのスコアを集計、表示するようになされる。
【０００３】
この種のコンピュータゲーム装置においては、人体の姿勢を認識することが必要である。従来、人体の全体、または、一部をＣＣＤ（固体撮像素子）カメラにより撮像し、このＣＣＤカメラにより出力されるが画像信号（電気信号）に基づいて、人体、あるいは、人体部位の姿勢を検出するように構成された姿勢検出装置が提案されている。
【０００４】
例えば"Artificial Retina Chips as Image Input Interfaces for Multimedia Systems"(First Optoelectronics and Communications Confernce(OECC'96)Technical Digest,July 1996,Makuhari Messe p516-p517)には、ＣＣＤにより撮像された画像データを処理することによって、画像中の物体の輪郭線（エッジ）を抽出する技術が開示されている。このエッジから人体を動きを判定することができる。そして、検出された人体の動きをコントローラによる入力に代えてコンピュータゲームに入力することによって、例えば格闘ゲームを構成することが可能となる。
【０００５】
【発明が解決しようとする課題】
従来の姿勢認識装置では、人体を撮影した画像から輪郭線を抽出する処理を行うために、信号処理に時間を費やし、応答が遅くなるという欠点があった。例えば、人体の姿勢を認識する時間が０．６秒から０．７秒程度必要であるとされている。０．６秒もの時間が、認識するために費やされてしまっては、ゲームの応答が遅くなり、実用的とは言えなかった。また、輪郭線の抽出および認識の処理がコンピュータで行われるため、高価なコンピュータを必要とするという欠点があった。また、人体の背後の画像が一様でない場合に背景の一部が人体の一部として認識されてしまったり、人体の明るさ（輝度）が背景に近い場合には人体が背景から区別できない可能性があるという欠点があった。
【０００６】
従って、この発明の目的は、高速で、小規模のハードウエアによって、人体、あるいは人体の部位の姿勢を認識し、認識結果をゲームに反映させることが可能な姿勢検出装置及び方法を提供することにある。
【０００７】
また、この発明の他の目的は、人体の背後の画像が一様でない場合においてもまた、人体の明るさ（輝度）が背景に近い場合においても正確に人体あるいは人体の部位の姿勢を認識できる姿勢検出装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、請求項１の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、
画像入力手段により入力された画像信号の１画面中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出手段と、
画像入力手段により入力された特定の時間間隔以前の画像信号から得られた強度検出手段の複数の出力を記憶する記憶手段を有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識手段と、
認識手段の出力に応じて、人体の画像と異なる画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段を備えたことを特徴とする姿勢検出装置である。
【０００９】
請求項２の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、
画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出手段と、
画像入力手段により入力された特定の時間間隔以前の画像信号から得られた強度検出手段の複数の出力を記憶する記憶手段を有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識手段と、
認識手段の出力に応じて、人体の画像と異なる画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段を備えたことを特徴とする姿勢検出装置である。
【００１０】
請求項４の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力するステップと、
入力された画像信号の１画面中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出ステップと、
入力された特定の時間間隔以前の画像信号から得られた各信号検出領域の信号強度を記憶し、各信号検出領域中の信号強度から記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識ステップと、
認識した結果に応じて、人体の画像と異なる画像情報を作成する画像情報作成ステップと、
画像情報を出力する出力ステップとを備えたことを特徴とする姿勢検出方法である。
【００１１】
請求項５の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力するステップと、
入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号中に複数の信号検出領域を設定し、各信号検出領域中の信号強度ををそれぞれ算出する強度検出ステップと、
入力された特定の時間間隔以前の画像信号から得られた各信号検出領域中の信号強度を記憶し、各信号検出領域中の信号強度から記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識ステップと、
認識した結果に応じて、人体の画像と異なる画像情報を作成する画像情報作成ステップと、
画像情報を出力する出力ステップとを備えたことを特徴とする姿勢検出方法である。
【００１４】
また、この発明では、人体あるいは人体各部の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、画像入力手段により入力された特定の時間間隔以前の画像信号から得られた複数の強度検出手段の出力を記憶する手段とが設けられ、認識処理に際して、複数の強度検出手段の現画像出力から記憶されている所定時間前の前回取り込まれた複数の強度検出手段の出力を差し引き、この差し引いた信号により人体の姿勢の認識処理がなされる。
【００１５】
更に、この発明では、画像入力手段により入力された画像信号から異なる色成分の複数の信号が分離され、この分離された信号により人体の姿勢の認識処理がなされる。
【００１６】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態に係る姿勢検出ゲーム装置を全体的に示すブロック図である。この姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。姿勢認識装置３では、ゲームプレーヤ１の現在の姿勢を認識する。典型的な例は、格闘ゲームであるが、この発明は、他の種類のゲームに対しても適用できる。例えばストレッチ体操等のエキササイズのゲームを構成することができる。これは、画面上のコーチ、教師の行う体操をプレーヤが真似て、上手く真似るほど、点数が良くなるゲームである。
【００１７】
姿勢認識装置３は、例えば、ゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。姿勢認識装置３において、ゲームプレーヤ１の各姿勢に対応して信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が形成され、この各姿勢に対応した信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）の夫々がゲーム装置４に供給される。
【００１８】
例えば、ゲームプレーヤ１が『前方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ１をアクティブにし、『斜め上方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ２をアクティブにする。また、同様にゲームプレーヤ１の現在の姿勢が『前方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ１をアクティブにし、『後方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ２をアクティブにする。更に、ゲームプレーヤ１の現在の姿勢が『しゃがみ』であると認識された場合には、ゲーム装置４に対して信号ＳＤをアクティブにし、『ジャンプ』であると認識された場合には、ゲーム装置４に対して信号ＪＭをアクティブにする。
【００１９】
ゲーム装置４は、これらの外部入力信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）により、ゲームプレーヤ１の姿勢が『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢のうちのいずれかであると認識されたものとして、信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）に従って、ゲームを進行する。
【００２０】
具体的には、信号ＰＣ１がアクティブの場合には、ゲームのキャラクターに『前方へのパンチ』を行わせ、また同様に信号ＫＫ１がアクティブの場合には、ゲームのキャラクターに『前方へのキック』を行わせ、他の信号の場合も同様に対応した動作を行わせるようになされている。このゲームの進行状況は、ディスプレイ装置５に表示され、ゲームプレーヤ１が常にゲームの進行状況を把握できるように構成されている。すなわち、既存のコンピュータゲームにおける外部入力装置（押しボタンキー、ジョイスティック、トラックボール等）に変わるものとして、姿勢認識装置３からの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が使用される。ゲーム装置４に対してディスプレイ装置５が接続され、ディスプレイ装置５には、ゲーム装置４からビデオ信号ＶＤが供給される。
【００２１】
このようなゲーム装置４としては、例えば、ソニーコンピュータエンターテイメント社から発売されている、『プレイステーション』を使用することができる。また、ディスプレイ装置５に関しては、一般のテレビモニターを使用することができる。図１では、理解の容易のため、ディスプレイ装置５上に表示されているキャラクターがプレーヤと同様の形とされているが、実際には、プレーヤとは別個の娯楽性を高めるためのアニメーション等のゲーム装置４で作成されたキャラクターが表示される。キャラクターとしては、複数種類のものが用意されており、プレーヤが好みのものを選択可能としても良い。
【００２２】
また、ゲームプレーヤ１の姿勢を正確に認識する上で、プレーヤの立つ場所、プレーヤの背景の画像、プレーヤの着衣の色彩等が必要に応じて指定される。さらに、図１の例では、プレーヤが一人の例であり、ゲーム装置４により作成された対戦相手のキャラクターがディスプレイ装置５上に表示される。ゲームプレーヤ１は、相手の動きを見ながら、６種類のいずれかの姿勢をとる。ゲーム装置４では、対戦相手の動きとプレーヤの姿勢とから点数を集計し、点数表示を行う。また、１ゲームの時間を規定し、ゲーム終了後に集計点数と勝敗の表示を行うことができる。これらの態様は、既存の格闘ゲームに採用されているものを適用できる。
【００２３】
尚、この発明の一実施形態は、プレーヤが１名の場合であるが、プレーヤが２名の場合に対してもこの発明を適用できる。さらに、プレーヤが１名の場合と２名の場合とを選択可能としても良い。プレーヤが２名の場合には、画像入力手段としてのＣＣＤカメラ、強度検出手段を有した認識手段が並列に増設される。また、同様にプレヤーが３名以上の場合には、３以上の複数の人体の姿勢を認識するために、認識する人体の数に対応して分離して画像入力手段としてのＣＣＤカメラ、強度検出手段を有した認識手段が並列に設けられるが、この発明の特徴とする点は、姿勢認識装置３に存するので、簡単のため図１に示すプレーヤが１名の場合を例として、姿勢認識について以下説明する。
【００２４】
図２は、姿勢認識装置３において人体（プレーヤ）の姿勢を認識するために割り当てられた強度検出手段の一例を簡単に示したものである。姿勢認識装置３は、前述したようにゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。図２において、『しゃがみ』を認識するための強度検出手段は、Ｄｄで示される領域である。図２において、人体の存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとすると、ゲームプレーヤ１が『しゃがみ』の姿勢をとった時には検出される信号強度が小さくなる。
【００２５】
また、『前方へのパンチ』を認識するための強度検出手段として、ＭＰｄで示される領域が設けられ、『斜め上方へのパンチ』を認識するための強度検出手段として、ＵＰｄで示される領域が設けられ、『前方へのキック』を認識するための強度検出手段として、Ｋｄで示される領域が設けられ、『後方へのキック』を認識するための強度検出手段として、ＢＫｄで示される領域が設けられ、『ジャンプ』を認識するための強度検出手段として、Ｊｄで示される領域が設けられる。『しゃがみ』の姿勢以外の夫々の姿勢に対応して割り当てられた強度検出手段の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ）においては、夫々の姿勢をとった時には『しゃがみ』の場合とは逆に検出される信号強度が大きくなる。
【００２６】
図３及び図４は、姿勢認識装置３においてなされる認識処理の第１の例を示す。図３は、姿勢認識装置３において、画像認識手段として設けられたＣＣＤカメラ２により人体像４１とその背後にある障害物像４２とが画像情報として取り込まれた状態を示す。
【００２７】
図３において人体像４１の存在する黒く塗り潰された領域及びその背後にある障害物像４２の存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとすると、図３に示す場合には、『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄと障害物像４２の存在する領域とが重なっているため、強度検出手段の領域ＭＰｄで検出される信号強度が大きくなり、ゲームプレーヤ１が『前方へのパンチ』を出したものと認識する可能性がある。従って、この発明では、例えば、ゲーム開始前に予め人体像４１の背後にある障害物像４２をＣＣＤカメラ２により画像情報として取り込み、ゲーム進行時には、その画像情報を用いて認識処理を行う。
【００２８】
図４は、姿勢認識装置３において、ＣＣＤカメラ２により人体像４１の背後にある障害物像４２のみが画像情報として取り込まれた状態を示す。図４において、『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内の画像と図３における強度検出手段の領域ＭＰｄ内の画像とは同一であるため、図３における強度検出手段の領域ＭＰｄにより検出された強度出力から図４における強度検出手段の領域ＭＰｄにより検出された強度出力を差し引くことで障害物像４２の影響を相殺することができ、ゲームプレーヤ１が『前方へのパンチ』を出したものと誤って認識することがないようになされる。
【００２９】
尚、上述の説明においては、『前方へのパンチ』を認識する場合を例に挙げて説明したが、その他の姿勢である『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『ジャンプ』『しゃがみ』についての認識処理においても同様に適用できる。また、図３及び図４において示す障害物像４２に関しては、その形状にとらわれることなく、他の異なる形状のものにおいても同様に適用できる。
【００３０】
図５、図６、図７及び図８は、姿勢認識装置３においてなされる認識処理の第２の例を示す。図６は、姿勢認識装置３において、画像認識手段として設けられたＣＣＤカメラ２により『前方へのパンチ』の姿勢をとった人体像４１とその背後にある障害物像４２とが画像情報として取り込まれた状態を示す。また、図５は、姿勢認識装置３において、ＣＣＤカメラ２によりゲームプレーヤ１が図６に示す『前方へのパンチ』の姿勢をとったタイミングより前の所定の時間間隔以前に取り込まれた画像を示す。
【００３１】
図５及び図６において人体像４１の存在する黒く塗り潰された領域及びその背後にある障害物像４２の存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとする。また、図５及び図６に示す画像は、二次元の強度分布とみなせ、図６に対応する強度分布から図５に示す強度分布を差し引いた強度分布を演算により合成することができ、その結果を図７に示す。図７において、黒く塗り潰された領域４４が正の値を有した領域となる一方で、黒く塗り潰された領域４３が負の値を有した領域となり、変化があった領域のみが抽出され、それらの画像情報に基づいて認識処理がなされる。尚、図７において、黒く塗り潰されていないその他の領域に関しては、前回に取り込まれた画像情報と現画像情報との間において変化がなく差異がないため、０の値となっている。
【００３２】
この場合の処理について更に詳細に説明する。図６に示す画像情報が得られたタイミングにおいて、『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度の夫々を（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）とする。また、図５に示す画像が得られたタイミングにおいて、『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度の夫々を（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）とする。この場合に、この発明では、下記の数式（１）〜（６）に示す演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が用いられて認識処理がなされる。
【００３３】
ＳＪｄ１＝ＳＪｄ−ＳＪｄ０・・・（１）
ＳＵＰｄ１＝ＳＵＰｄ−ＳＵＰｄ０・・・（２）
ＳＭＰｄ１＝ＳＭＰｄ−ＳＭＰｄ０・・・（３）
ＳＫｄ１＝ＳＫｄ−ＳＫｄ０・・・（４）
ＳＢＫｄ１＝ＳＢＫｄ−ＳＢＫｄ０・・・（５）
ＳＤｄ１＝ＳＤｄ−ＳＤｄ０・・・（６）
図８は、図６に対応する強度分布から図５に示す強度分布を差し引くことで得られた強度分布（図７に示す）と『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）との位置関係を示したものである。
【００３４】
『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄに対応する上記数式（３）の演算結果であるＳＭＰｄ１は、図８において４３で示すように強度検出手段の領域ＭＰｄと重なって存在し、正の値となる。また、その他の姿勢に対応する上記数式（１），（２），（４）〜（６）の演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）は、略々０となる。従って、この演算処理によって、動かない背景の障害物像４２の影響が相殺され、所定時間間隔において動いた部分のみが抽出された状態で姿勢の認識処理がなされ、ゲームプレーヤ１が『前方へのパンチ』を出した時にのみ正確に『前方へのパンチ』の姿勢をとったと認識する。
【００３５】
尚、上述の説明においては、『前方へのパンチ』を認識する場合を例に挙げて説明したが、その他の姿勢である『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『ジャンプ』『しゃがみ』についての認識処理においても同様に適用できる。また、図５〜図８に示す障害物像４２に関しては、その形状にとらわれることなく、他の異なる形状のものにおいても同様に検出できる。
【００３６】
また、上述した処理を行う具体的な回路は、遅延回路と減算器とにより容易に構成される。例えば、具体的には、減算器の一方の＋入力端子に入力信号としての画像情報を直接入力すると共に、入力信号としての画像情報を遅延回路を介して減算器の他方の−入力端子に供給する。減算器において現画像情報から遅延回路において遅延された所定時間前の画像情報が逐次減算され、現画像情報と所定時間間隔前の画像情報との差が求めらる。この減算器によって得られる出力が認識処理に用いられる。
【００３７】
図９〜図１６は、姿勢認識装置３においてなされる認識処理の第３の例を示す。図９は、姿勢認識装置３において、画像認識手段として設けられたＣＣＤカメラ２によりどの姿勢もとっていない赤色の人体像４１Ｒと、その背後にある青色の障害物像４２Ｂとが画像情報として取り込まれた状態を示す。また、図１０は、姿勢認識装置３において、ＣＣＤカメラ２により『前方へのパンチ』の姿勢をとった赤色の人体像４１Ｒと、その背後にある青色の障害物像４２Ｂとが画像情報として取り込まれた状態を示す。
【００３８】
図１１は、図９に示す画像情報の輝度成分の分布を示し、図１２は、図１０に示す画像情報の輝度成分の分布を示す。また、図１３は、図９に示す画像情報の青色成分のみの分布を示し、図１４は、図１０に示す画像情報の青色成分のみの分布を示す。更に、図１５は、図９に示す画像情報の赤色成分のみの分布を示し、図１６は、図１０に示す画像情報の赤色成分のみの分布を示す。
【００３９】
図１１〜図１６において、前述した場合と同様に『前方へのパンチ』を認識するための強度検出手段の領域がＭＰｄで示される。また、人体像４１Ｒの存在する黒く塗り潰された領域及びその背後にある障害物像４２Ｂの存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとする。
【００４０】
図１１及び図１２における『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内では、輝度成分の分布が略々同じで差異がないため、『前方へのパンチ』の姿勢を認識することは、困難である。しかしながら、この発明では、各色成分に分離した画像情報を用いて人体と人体の背後の障害物とを分離した状態で処理されるため、誤った認識がなされることなく各姿勢が正確に認識される。
【００４１】
上述した処理を具体的に詳細に説明すると、図１３及び図１４における『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内では、青色成分の分布が異なっているのが明らかである。つまり、『前方へのパンチ』の姿勢をとった場合の方が信号強度が小さくなり、『前方へのパンチ』の姿勢をとったと認識することができる。また、図１５及び図１６における『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内では、赤色成分の分布が異なっているのが明らかである。つまり、『前方へのパンチ』の姿勢をとった場合の方が信号強度が大きくなり、『前方へのパンチ』の姿勢をとったと認識することができる。
【００４２】
尚、上述の説明においては、『前方へのパンチ』を認識する場合を例に挙げて説明したが、その他の姿勢である『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『ジャンプ』『しゃがみ』についての認識処理においても同様に適用できる。また、図１１〜図１６に示す障害物像４２Ｂに関しては、その形状にとらわれることなく、他の異なる形状のものにおいても同様に適用できる。また、赤色の人物像４１Ｒ及び青色の障害物像４２Ｂについて説明したが、同一色でない他の色の異なる組み合わせならば同様に適用することができる。
【００４３】
姿勢認識装置３においてなされる第１，第２及び第３の認識処理の例について説明したが、それらの認識処理は、組み合わせて用いることができ、組み合わせて用いることによりその効果を相乗的なものとすることができる。例えば、第１の認識処理と、第３の認識処理とを組み合わせて、画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号を有限個の領域に分割し、各領域中の信号強度を算出する複数の強度検出手段と、画像入力手段に人体を入力しない場合の前記複数の強度検出手段の出力を記憶する記憶手段とを有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識することにより、人体の背後の障害物の影響を相殺すると共に、人体と人体の背後の障害物とを分離した状態で処理して正確に人体の姿勢を認識する。
【００４４】
また、第２の認識処理と、第３の認識処理とを組み合わせて、人体、あるいは人体各部の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号を有限個の領域に分割し、各領域中の信号強度を算出する複数の強度検出手段と、画像入力手段により入力された特定の時間間隔以前の画像信号から得られた複数の強度検出手段の出力を記憶する記憶手段とを有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識することにより、人体の背後の障害物の影響を相殺すると共に、人体と人体の背後の障害物とを分離した状態で処理して正確に人体の姿勢の認識する。
【００４５】
図１７は、上述した姿勢認識装置３においてなされる第１及び第２の処理動作が可能とされる姿勢検出ゲーム装置の一実施形態を示し、図１と同一部分には、同一の参照符号が付されている。また、図１８は、図１７において９３にて示されるランダムアクセスメモリの内容の一部を簡単に示す。姿勢認識装置３が図１７に示すようにＡ／Ｄコンバータ９２、ＲＡＭ（ランダムアクセスメモリ）９３、ＣＰＵ（マイクロプロセッサ）９４及びインターフェース回路９５等により構成される。Ａ／Ｄコンバータ９２、ＲＡＭ９３、ＣＰＵ９４及びインターフェース回路９５の夫々は、データバスにより接続され、双方向にデータの授受が可能とされている。
【００４６】
ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。入力されたビデオ信号は、Ａ／Ｄコンバータ９２によりアナログ信号からディジタル信号に変換される。ディジタル信号に変換された画像データは、マイクロプロセッサ９４によりランダムアクセスメモリ９３上に蓄えられる。
【００４７】
第１の認識処理の場合には、マイクロプロセッサ９４は、初期化処理の段階において、例えば、ゲーム開始前に予めゲームプレーヤ１を含めないで背景のみをＣＣＤカメラ２により撮影し、得られた『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）のデータの夫々をランダムアクセスメモリ９３の第１行目のメモリに保持する。
【００４８】
次に、ゲーム進行時には、ゲームプレーヤ１を含めた状態でＣＣＤカメラ２により撮影がなされ、得られた『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータの夫々をランダムアクセスメモリ９３の第２行目のメモリに保持する。
【００４９】
そして、（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）及び（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータに基づいて下記の数式（７）〜（１２）に示す演算が行われ、演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が正の値であるかどうかによって姿勢認識処理を行う。尚、ランダムアクセスメモリ９３の第３行目のメモリに保持される数式（７）〜（１２）において（ＴＪｄ，ＴＵＰｄ，ＴＭＰｄ，ＴＫｄ，ＴＢＫｄ，ＴＤｄ）で示されるデータは、画像情報に含まれる雑音などで誤認識しないように設定された所定の数値である。
【００５０】
ＳＪｄ１＝ＳＪｄ−ＳＪｄ０−ＴＪｄ・・・（７）
ＳＵＰｄ１＝ＳＵＰｄ−ＳＵＰｄ０−ＴＵＰｄ・・・（８）
ＳＭＰｄ１＝ＳＭＰｄ−ＳＭＰｄ０−ＴＭＰｄ・・・（９）
ＳＫｄ１＝ＳＫｄ−ＳＫｄ０−ＴＫｄ・・・（１０）
ＳＢＫｄ１＝ＳＢＫｄ−ＳＢＫｄ０−ＴＢＫｄ・・・（１１）
ＳＤｄ１＝ＳＤｄ−ＳＤｄ０−ＴＤｄ・・・（１２）
マイクロプロセッサ９４は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路９５に認識処理結果を送る。インターフェイス回路９５は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。以上のようにこの発明による姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢を認識してゲームプレーヤ１の姿勢に従ったゲームを構成することが可能となる。尚、３次元認識を行う場合には、ＣＣＤカメラ２が増設されて認識処理がなされる。
【００５１】
第２の認識処理の場合には、マイクロプロセッサ９４は、ゲーム進行時において逐次背景を含めてゲームプレーヤ１の姿勢をＣＣＤカメラ２により撮影し、得られた現タイミングの『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータの夫々をランダムアクセスメモリ９３の第２行目のメモリに保持し、前回取り込まれて保持されていた信号強度の夫々のデータを（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）としてランダムアクセスメモリ９３の第１行目のメモリに移動して保持する。つまり、所定の時間間隔で以てデータの移動と書き込みが逐次なされ、ランダムアクセスメモリ９３の第１行目のメモリには、所定時間間隔前に取り込まれた画像データが保持され、ランダムアクセスメモリ９３の第２行目のメモリには、現画像データが常に保持される。
【００５２】
そして、（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）及び（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータに基づいて上述した第１の認識処理の場合と同様に数式（７）〜（１２）に示す演算が行われ、演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が正の値であるかどうかによって姿勢認識処理がなされる。尚、ランダムアクセスメモリ９３の第３行目のメモリに保持される数式（７）〜（１２）における（ＴＪｄ，ＴＵＰｄ，ＴＭＰｄ，ＴＫｄ，ＴＢＫｄ，ＴＤｄ）は、画像に含まれる雑音などで誤認識しないように設定された所定の数値である。
【００５３】
マイクロプロセッサ９４は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路９５に認識処理結果を送る。インターフェイス回路９５は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。以上のようにこの発明の姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢を認識してゲームプレーヤ１の姿勢に従ったゲームを構成することが可能となる。尚、３次元認識を行う場合には、ＣＣＤカメラ２が増設されて認識処理がなされる。
【００５４】
図１９は、上述した姿勢認識装置３においてなされる第３の処理動作が可能とされる姿勢検出ゲーム装置の他の実施形態を示し、図１と同一部分には、同一の参照符号が付されている。また、図２０は、図１９において８４にて示されるランダムアクセスメモリの内容の一部を簡単に示す。姿勢認識装置３が図１９に示すように色信号分離回路８２、各色成分に対応したＡ／Ｄコンバータ８３Ｒ、Ａ／Ｄコンバータ８３Ｇ、Ａ／Ｄコンバータ８３Ｂ、ＲＡＭ（ランダムアクセスメモリ）８４、ＣＰＵ（マイクロプロセッサ）８５及びインターフェース回路８６等により構成される。Ａ／Ｄコンバータ８３Ｒ、Ａ／Ｄコンバータ８３Ｇ、Ａ／Ｄコンバータ８３Ｂ、ＲＡＭ８４、ＣＰＵ８５及びインターフェース回路８６の夫々は、データバスにより接続され、双方向にデータの授受が可能とされている。
【００５５】
ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。入力されたビデオ信号ＳＶは、図１９に示す色信号分離回路８２において三原色信号（Ｒ，Ｇ，Ｂ）の夫々に分離される。色信号分離回路８２において分離されたＲ信号ＲがＡ／Ｄコンバータ８３Ｒに供給され、Ｇ信号がＡ／Ｄコンバータ８３Ｇに供給され、Ｂ信号がＡ／Ｄコンバータ８３Ｂに供給される。
【００５６】
Ａ／Ｄコンバータ８３Ｒ，８３Ｇ，８３Ｂの夫々においてＲ，Ｇ，Ｂ信号の夫々がアナログ信号からディジタル信号に変換される。ディジタル信号に変換された各色の画像データは、マイクロプロセッサ８５によりランダムアクセスメモリ８４上に蓄えられる。
【００５７】
第３の認識処理の場合には、マイクロプロセッサ８５は、ゲーム進行時において逐次背景を含めてゲームプレーヤ１の姿勢をＣＣＤカメラ２により撮影し、得られた『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された赤色成分に関する信号強度（ＲＪｄ，ＲＵＰｄ，ＲＭＰｄ，ＲＫｄ，ＲＢＫｄ，ＲＤｄ）のデータの夫々をランダムアクセスメモリ８４の第１行目のメモリに保持する。
【００５８】
同様に緑色成分に関する信号強度（ＧＪｄ，ＧＵＰｄ，ＧＭＰｄ，ＧＫｄ，ＧＧＫｄ，ＧＤｄ）のデータの夫々をランダムアクセスメモリ８４の第２行目のメモリに保持すると共に、青色成分に関する信号強度（ＢＪｄ，ＢＵＰｄ，ＢＭＰｄ，ＢＫｄ，ＢＢＫｄ，ＢＤｄ）のデータの夫々をランダムアクセスメモリ８４の第３行目のメモリに保持する。
【００５９】
そして、マイクロプロセッサ８５において、（ＲＪｄ，ＲＵＰｄ，ＲＭＰｄ，ＲＫｄ，ＲＢＫｄ，ＲＤｄ）、（ＧＪｄ，ＧＵＰｄ，ＧＭＰｄ，ＧＫｄ，ＧＧＫｄ，ＧＤｄ）及び（ＢＪｄ，ＢＵＰｄ，ＢＭＰｄ，ＢＫｄ，ＢＢＫｄ，ＢＤｄ）のデータに基づいて下記の数式（１３）〜（１８）に示す演算が行われ、演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が正の値であるかどうかによって姿勢認識処理がなされる。尚、ランダムアクセスメモリ８４の第４行目〜第６行目のメモリに保持される数式（１３）〜（１９）における（ＴＲＪｄ，ＴＲＵＰｄ，ＴＲＭＰｄ，ＴＲＫｄ，ＴＲＢＫｄ，ＴＲＤｄ）、（ＴＧＪｄ，ＴＧＵＰｄ，ＴＧＭＰｄ，ＴＧＫｄ，ＴＧＢＫｄ，ＴＧＤｄ）及び（ＴＧＪｄ，ＴＧＵＰｄ，ＴＧＭＰｄ，ＴＧＫｄ，ＴＧＢＫｄ，ＴＧＤｄ）は、画像に含まれる雑音などで誤認識しないように設定された所定の数値である。
【００６０】
ＳＪｄ１＝ｍａｘ（ＲＪｄ−ＴＲＪｄ，ＧＪｄ−ＴＧＪｄ，ＢＪｄ−ＴＢＪｄ）・・・（１３）
ＳＵＰｄ１＝ｍａｘ（ＲＵＰｄ−ＴＲＵＰｄ，ＧＵＰｄ−ＴＧＵＰｄ，ＢＵＰｄ−ＴＢＵＰｄ）・・・（１４）
ＳＭＰｄ１＝ｍａｘ（ＲＭＰｄ−ＴＲＭＰｄ，ＧＭＰｄ−ＴＧＭＰｄ，ＢＭＰｄ−ＴＢＭＰｄ）・・・（１５）
ＳＫｄ１＝ｍａｘ（ＲＫｄ−ＴＲＫｄ，ＧＫｄ−ＴＧＫｄ，ＢＫｄ−ＴＢＫｄ）・・・（１６）
ＳＢＫｄ１＝ｍａｘ（ＲＢＫｄ−ＴＲＢＫｄ，ＧＢＫｄ−ＴＧＢＫｄ，ＢＢＫｄ−ＴＢＢＫｄ）・・・（１７）
ＳＤｄ１＝ｍａｘ（ＲＤｄ−ＴＲＤｄ，ＧＤｄ−ＴＧＤｄ，ＢＤｄ−ＴＢＤｄ）・・・（１８）
尚、上記の数式（１３）〜（１８）におけるｍａｘ（ａ，ｂ，ｃ，，，ｚ）で表記される関数は、（ａ，ｂ，ｃ，，，ｚ）のうちで最大の値を出力するものである。
【００６１】
マイクロプロセッサ８５は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路８６に認識処理結果を送る。インターフェイス回路８６は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。以上のようにこの発明の姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢を認識してゲームプレーヤ１の姿勢に従ったゲームを構成することが可能となる。尚、３次元認識を行う場合には、ＣＣＤカメラ２が増設されて認識処理がなされる。
【００６２】
尚、上述した色信号分離回路においては、ビデオ信号が赤色、緑色、青色成分の信号に分離される場合について説明したが、他の信号、例えば、輝度信号、色相信号、彩度信号にビデオ信号を色信号分離回路において分離するようにしても良い。また、正確に赤色、緑色、青色成分の信号に分離する必要はなく、混ぜ合わせた状態においてもこの発明を適用することができる。更に、赤色、緑色、青色成分の信号即ち、必ずしも三色に分離する必要はなく、２色以上に分離すれば十分に効果を発揮することができる。
【００６３】
また、図２１は、上述した動作を行う姿勢認識装置３の他の例の構成を示し、、ホログラム６が用いられる。図２１において、ＣＣＤカメラ２からの映像信号ＳＶは、液晶ディスプレイ３３に送られ、液晶ディスプレイ３３上に２次元の情報として投影される。レーザ発振器３１からのレーザ光線は、コリメーターレンズ３２により平行光線に変換された後に、この液晶ディスプレイ３３を照射する。従って、液晶ディスプレイ３３の直後には、コヒーレントなレーザ光として、ＣＣＤカメラ２で撮影された画像が復元される。このコヒーレントな光による画像情報は、結像レンズ３４によってホログラム６上に結像される。また、レーザ発振器３１は、レーザパワー制御装置３０（Automatio Power Control 回路）により、常に所定の出力が得られるように制御されている。
【００６４】
このようにして液晶ディスプレイ３３上に得られたゲームプレーヤ１の姿勢情報は、結像レンズ３４によってホログラム６上に投影される。ホログラム６は、投影された画像を必要に応じて６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）に分割し、各領域中の強度に比例した強度の光線を異なる角度方向に回析させる。
【００６５】
ホログラム６によって回析された光線の方向を図２２に示す。この図２２において、領域ＭＰｄの内部の光強度に比例した強度の光線がＡの方向に向かって飛ぶようになされている。また、同様にして領域ＵＰｄ内部の光強度に比例した強度を持つ光線が、Ｂの方向に発生する。以下同様に、領域（Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）の光強度に従ってＣ〜Ｆの方向に光線が飛ぶようになされる。このように、６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）毎に光線の角度を所定のものとするためには、ホログラム６の６個の領域にそれぞれ対応する領域に所定の縞模様を形成する必要がある。すなわち、ホログラム６は、例えば各領域が所定の方向に回析するようになされた回析格子として構成されたＣＧＨ（Computer Genereted Hologram)などの手法で作製することができる。
【００６６】
ホログラム６から回析された光線は、ディテクターアレイ３５により電気信号に変換される。ディテクターアレイ３５は、図２２中のＡからＦまでの各方向に対して、少なくとも１つ以上の独立したフォトディテクターを持ち、各方向成分の光線を独立に検出して６個の電気信号（図２１におけるＢｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）に変換する。この電気信号のレベル（ピーク値、または平均値）は、ＡからＦまでの各方向の光線の強度に対応する。なお、図２２では、６個の領域に対応して６個のフォトディテクターを使用しているが、一つの領域に対して、複数のフォトディテクターを使用しても良い。
【００６７】
このようにして得られた６個の電気信号（Ｂｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）は、増幅ユニット７により、各検出信号毎に増幅され、十分なＳＮＲ（信号対雑音比）が得られる検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）として判定ユニット８に出力される。増幅ユニット７は、例えば６つのオペレーショナル・アンプリファイヤーを単純に並べることで構成することができる。
【００６８】
判定ユニット８は、６個の検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）を入力とし、ゲームプレーヤ１の姿勢が『前方へのパンチ』と判定した場合には、信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』と判定した場合には、信号ＰＣ２をアクティブとする。また、ゲームプレーヤ１の姿勢が『前方へのキック』と判定した場合には、信号ＫＫ１をアクティブとし、『後方へのキック』と判定した場合には、信号ＫＫ２をアクティブとする。更に、ゲームプレーヤ１の姿勢が『しゃがみ』と判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』と判定した場合には、信号ＪＭをアクティブとする。
【００６９】
判定ユニット８の一例を図２３に示す。図２３において、６本の入力（検出）信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）は、Ａ／Ｄコンバータ７１Ａ〜７１Ｆによって各８ビットのディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）に変換される。この結果のディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）は、図示しないインターフェース回路を通して、マイクロプロッセッサー７２に取り込まれる。
【００７０】
マイクロプロッセッサー７２は、上述の入力信号からゲームプレーヤ１の姿勢を判定して、『前方へのパンチ』の姿勢であると判定した場合には信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』の姿勢であると判定した場合には信号ＰＣ２をアクティブとする。また、『前方へのキック』の姿勢であると判定した場合には信号ＫＫ１をアクティブとし、『後方へのキック』の姿勢であると判定した場合には信号ＫＫ２をアクティブとする。更に、『しゃがみ』の姿勢であると判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』の姿勢であると判定した場合には、信号ＪＭをアクティブとする。これらの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）は、ゲーム装置４に対して供給される。
【００７１】
マイクロプロセッサ７２が行う『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢の判定動作のうちの『前方へのパンチ』及び『前方へのキック』の場合を特に例として挙げながら次に説明する。マイクロプロセッサ７２の内部には、図２４に示すような（７行×６バイト，図２４中には３行分しか図示せず）のメモリが搭載されている。第１行目のメモリは、入力バッファーであり、入力された６つのディジタル検出信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）が常に保持されている。
【００７２】
第２行目のメモリは、前方へのパンチ姿勢基準として用いられる基準値を保持する。このメモリは、ゲーム開始に先立ち、実際にゲームを楽しもうとするゲームプレーヤ１が『前方へのパンチ』の姿勢であるときの画像をＣＣＤカメラ２で取り込み、増幅ユニット７の出力から得られた６バイトの信号を保持している。このメモリに保持される『前方へのパンチ』の基準値を、（ＹＭ１，ＹＭ２，ＹＭ３，ＹＭ，ＹＭ５，ＹＭ６）と表記する。
【００７３】
第３行目のメモリは、前方へのキック姿勢基準として用いられる基準値を保持する。これらのメモリは、ゲーム開始に先立ち、ゲームプレーヤ１が『前方へのキック』の姿勢であるときの画像をＣＣＤカメラで取り込み、増幅ユニット７の出力から得られた６バイトの夫々の信号を保持している。第３行目のメモリに保持される『前方へのキック』の基準値を、（ＺＦ１，ＺＦ２，ＺＦ３，ＺＦ４，ＺＦ５，ＺＦ６）と表記する。
【００７４】
第２行目から第７行目までのメモリに保持する各姿勢の基準値は、例えば工場出荷時に実験を行って定め、ＲＯＭ（リードオンリーメモリ）として構成しておくことができる。このようにＲＯＭで構成すれば、電源を入れただけで直ちに使用を開始することも可能である。また、ＲＡＭ（ランダムアクセスメモリ）として構成することも可能である。ＲＡＭで構成し、上述したように、実際のプレーヤの姿勢から基準値を生成することによって、ゲームプレーヤ１の個人的な差を吸収して、確実な動作をさせることが可能となる。
【００７５】
マイクロプロッセッサ７２は、これらのメモリに保持された値に対して、例えば、各パラメータの差の二乗和の演算を行う。この演算によって、入力信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）と、各姿勢の基準値のそれぞれとの距離を求める。例えば、『前方へのパンチ』及び『前方へのキック』の場合には、以下の数式（１９）及び（２０）で示されるような演算を行い、距離ＤＭＹ及びＤＦＺを算出する。
【００７６】
ＤＹＭ＝（Ｄ１−ＹＭ１）2 ＋（Ｄ２−ＹＭ２）2 ＋（Ｄ３−ＹＭ３）2 ＋（Ｄ４−ＹＭ４）2 ＋（Ｄ５−ＹＭ５) 2 ＋（Ｄ６−ＹＭ６）2 ・・・数式（１９）
ＤＺＦ＝（Ｄ１−ＺＦ１）2 ＋（Ｄ２−ＺＦ２）2 ＋（Ｄ３−ＺＦ３）2 ＋（Ｄ４−ＺＦ４）2 ＋（Ｄ５−ＺＦ５）2 ＋（Ｄ６−ＺＦ６）2 ・・・数式（２０）
マイクロプロセッサ７２は、このようにして生成した各姿勢の距離に関して大小比較を行い、求められた距離がもっとも小さいものを決定する。この大小比較の結果、例えば、ＤＹＭの値がもっとも小さいと判定された場合には、マイクロプロセッサ７２はゲームプレーヤ１が『前方へのパンチ』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＰＣ１をアクティブにして、前方へのパンチの動作を行うように指示する。
【００７７】
同様にして、大小比較の結果、例えば、ＤＺＦの値がもっとも小さいと判定された場合には、マイクロプロセッサ７２はゲームプレーヤ１が『前方へのキック』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＫＫ１をアクティブにして、前方へのキックの動作を行うように指示する。
【００７８】
また、他の姿勢の距離が小さい場合には、同様に対応する信号をアクティブとし、その姿勢を行うように指示する。尚、ゲームプレーヤの姿勢を認識するタイミングは、予め決定された所定時間の周期、または検出信号の大きな変化が発生する時点になされる。
【００７９】
以上のように、この発明の姿勢検出ゲーム装置１は、ゲームプレーヤ１の姿勢を認識して、ゲームプレーヤ１の姿勢にしたがったゲームを構成することが可能となる。尚、認識する姿勢としては、上述したものに限らず、『静止』のような他の姿勢であっても良い。
【００８０】
【発明の効果】
この発明の姿勢検出ゲーム装置は、ゲームプレーヤの人体、あるいは人体各部の姿勢を画像信号として入力し、この画像信号を複数個の領域に分割し、各領域中の信号強度を検出し、検出信号に基づいて人体の姿勢を認識するように構成されているので、人体を撮影した画像情報から輪郭線を抽出する処理が必要なくなる。このため高速な動作が可能となり、さらに、安価な信号処理装置で実現することが可能となる。
【００８１】
また、この発明は、輪郭線の抽出が必要ないので、認識装置をホログラムなどの回折手段を使って実現することも可能となり、さらに安価で高速な動作を実現することが可能となるという効果を奏する。
【００８２】
また、この発明では、ゲームプレーヤを含まない背景のみの状態での複数の強度検出手段の出力を記憶する手段が設けられ、認識処理に際して、ゲームプレーヤを含んだ状態でのゲーム進行中の複数の強度検出手段の出力から記憶されている背景のみの状態での複数の強度検出手段の出力を差し引き、この差し引いた信号により人体の姿勢の認識処理がなされる。従って、この発明に依れば、背景の障害物に影響されることなく正確に姿勢認識処理を行うことができ、誤認識が防止される。
【００８３】
また、この発明では、人体あるいは人体各部の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、画像入力手段により入力された特定の時間間隔以前の画像信号から得られた複数の強度検出手段の出力を記憶する手段とが設けられ、認識処理に際して、複数の強度検出手段の現画像出力から記憶されている所定時間前の前回取り込まれた複数の強度検出手段の出力を差し引き、この差し引いた信号により人体の姿勢の認識処理がなされる。従って、この発明に依れば、動かない背景の障害物は相殺され、所定時間間隔において動いた部分のみを抽出して正確に姿勢認識処理を行うことができ、誤認識が防止される。
【００８４】
また、この発明では、画像入力手段により入力された画像信号から異なる色成分の複数の信号が分離され、この分離された信号により人体の姿勢の認識処理がなされる。従って、この発明に依れば、人体の明るさ（輝度）が背景の障害物と近い場合においても、人体と障害物とが分離されて別個に処理され、背景の障害物に影響されることなく正確に姿勢認識処理を行うことができ、誤認識が防止される。
【図面の簡単な説明】
【図１】この発明の一実施形態に係わる姿勢検出ゲーム装置の一例を示すブロック図である。
【図２】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図３】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図４】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図５】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図６】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図７】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図８】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図９】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１０】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１１】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１２】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１３】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１４】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１５】この発明の他の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図１６】この発明の他の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図１７】この発明の一実施形態における姿勢認識装置の一例を示すブロック図である。
【図１８】図１７に示すランダムアクセスメモリの内部を示す略線図である。
【図１９】この発明の他の実施形態における姿勢認識装置の一例を示すブロック図である。
【図２０】図１９に示すランダムアクセスメモリの内部を示す略線図である。
【図２１】この発明の一実施形態及び他の実施形態においける姿勢認識装置の他の例を示すブロック図である。
【図２２】図２１に示す姿勢認識装置におけるホログラムの回折効果を説明する略線図である。
【図２３】図２１に示す姿勢認識装置における判定ユニットの一例を示すブロック図である。
【図２４】図２３に示す判定ユニットにおけるマイクロプロセッサ内部のメモリを示す略線図である。
【符号の説明】
４・・・ゲーム装置、５・・・ディスプレイ装置、６・・・ホログラム、８・・・判定ユニット、３１・・・レーザ発振器、３２・・・コリメーターレンズ、３３・・・液晶ディスプレイ、３５・・・ディテクターアレイ、７１Ａ〜７１Ｆ，，８３Ｒ，８３Ｇ，８３Ｂ，９２・・・Ａ／Ｄコンバータ、７２，８５，９４・・・マイクロプロセッサ、８２・・・色信号分離回路、８４，９３・・・ランダムアクセスメモリ、８６，９５・・・インターフェース回路
【発明の属する技術分野】
この発明は、ゲームを楽しむ人が実際に自分の姿勢を変化させ、姿勢の変化を反映させることができる姿勢検出装置および方法に関する。
【０００２】
【従来の技術】
ゲームを楽しむ人が実際に自分の体を動かし、この人の人体、あるいは、人体部位の姿勢を認識し、認識結果に従ってテレビ等に接続されたコンピュータを制御し、全体としてゲーム装置を構成することが考えられている。例えば二人のプレーヤが指定された位置に対峙して、パンチを出したり、キックを行い、これらプレーヤの姿勢を認識し、認識結果をコンピュータに与え、コンピュータが作成したゲームキャラクターをモニタ上に表示し、モニタ上で、ゲームキャラクターがプレーヤと同様に動き、二人のプレーヤについてのスコアを集計、表示するようになされる。
【０００３】
この種のコンピュータゲーム装置においては、人体の姿勢を認識することが必要である。従来、人体の全体、または、一部をＣＣＤ（固体撮像素子）カメラにより撮像し、このＣＣＤカメラにより出力されるが画像信号（電気信号）に基づいて、人体、あるいは、人体部位の姿勢を検出するように構成された姿勢検出装置が提案されている。
【０００４】
例えば"Artificial Retina Chips as Image Input Interfaces for Multimedia Systems"(First Optoelectronics and Communications Confernce(OECC'96)Technical Digest,July 1996,Makuhari Messe p516-p517)には、ＣＣＤにより撮像された画像データを処理することによって、画像中の物体の輪郭線（エッジ）を抽出する技術が開示されている。このエッジから人体を動きを判定することができる。そして、検出された人体の動きをコントローラによる入力に代えてコンピュータゲームに入力することによって、例えば格闘ゲームを構成することが可能となる。
【０００５】
【発明が解決しようとする課題】
従来の姿勢認識装置では、人体を撮影した画像から輪郭線を抽出する処理を行うために、信号処理に時間を費やし、応答が遅くなるという欠点があった。例えば、人体の姿勢を認識する時間が０．６秒から０．７秒程度必要であるとされている。０．６秒もの時間が、認識するために費やされてしまっては、ゲームの応答が遅くなり、実用的とは言えなかった。また、輪郭線の抽出および認識の処理がコンピュータで行われるため、高価なコンピュータを必要とするという欠点があった。また、人体の背後の画像が一様でない場合に背景の一部が人体の一部として認識されてしまったり、人体の明るさ（輝度）が背景に近い場合には人体が背景から区別できない可能性があるという欠点があった。
【０００６】
従って、この発明の目的は、高速で、小規模のハードウエアによって、人体、あるいは人体の部位の姿勢を認識し、認識結果をゲームに反映させることが可能な姿勢検出装置及び方法を提供することにある。
【０００７】
また、この発明の他の目的は、人体の背後の画像が一様でない場合においてもまた、人体の明るさ（輝度）が背景に近い場合においても正確に人体あるいは人体の部位の姿勢を認識できる姿勢検出装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、請求項１の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、
画像入力手段により入力された画像信号の１画面中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出手段と、
画像入力手段により入力された特定の時間間隔以前の画像信号から得られた強度検出手段の複数の出力を記憶する記憶手段を有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識手段と、
認識手段の出力に応じて、人体の画像と異なる画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段を備えたことを特徴とする姿勢検出装置である。
【０００９】
請求項２の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、
画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出手段と、
画像入力手段により入力された特定の時間間隔以前の画像信号から得られた強度検出手段の複数の出力を記憶する記憶手段を有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識手段と、
認識手段の出力に応じて、人体の画像と異なる画像情報を作成する情報作成手段と、
画像情報を出力する画像出力手段を備えたことを特徴とする姿勢検出装置である。
【００１０】
請求項４の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力するステップと、
入力された画像信号の１画面中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出ステップと、
入力された特定の時間間隔以前の画像信号から得られた各信号検出領域の信号強度を記憶し、各信号検出領域中の信号強度から記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識ステップと、
認識した結果に応じて、人体の画像と異なる画像情報を作成する画像情報作成ステップと、
画像情報を出力する出力ステップとを備えたことを特徴とする姿勢検出方法である。
【００１１】
請求項５の発明は、人体の姿勢を画像信号として特定の時間間隔で逐次入力するステップと、
入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号中に複数の信号検出領域を設定し、各信号検出領域中の信号強度ををそれぞれ算出する強度検出ステップと、
入力された特定の時間間隔以前の画像信号から得られた各信号検出領域中の信号強度を記憶し、各信号検出領域中の信号強度から記憶された出力を差し引いた信号強度により人体の姿勢を認識する認識ステップと、
認識した結果に応じて、人体の画像と異なる画像情報を作成する画像情報作成ステップと、
画像情報を出力する出力ステップとを備えたことを特徴とする姿勢検出方法である。
【００１４】
また、この発明では、人体あるいは人体各部の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、画像入力手段により入力された特定の時間間隔以前の画像信号から得られた複数の強度検出手段の出力を記憶する手段とが設けられ、認識処理に際して、複数の強度検出手段の現画像出力から記憶されている所定時間前の前回取り込まれた複数の強度検出手段の出力を差し引き、この差し引いた信号により人体の姿勢の認識処理がなされる。
【００１５】
更に、この発明では、画像入力手段により入力された画像信号から異なる色成分の複数の信号が分離され、この分離された信号により人体の姿勢の認識処理がなされる。
【００１６】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態に係る姿勢検出ゲーム装置を全体的に示すブロック図である。この姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。姿勢認識装置３では、ゲームプレーヤ１の現在の姿勢を認識する。典型的な例は、格闘ゲームであるが、この発明は、他の種類のゲームに対しても適用できる。例えばストレッチ体操等のエキササイズのゲームを構成することができる。これは、画面上のコーチ、教師の行う体操をプレーヤが真似て、上手く真似るほど、点数が良くなるゲームである。
【００１７】
姿勢認識装置３は、例えば、ゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。姿勢認識装置３において、ゲームプレーヤ１の各姿勢に対応して信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が形成され、この各姿勢に対応した信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）の夫々がゲーム装置４に供給される。
【００１８】
例えば、ゲームプレーヤ１が『前方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ１をアクティブにし、『斜め上方へのパンチ』を出している姿勢であると認識された場合には、ゲーム装置４に対して信号ＰＣ２をアクティブにする。また、同様にゲームプレーヤ１の現在の姿勢が『前方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ１をアクティブにし、『後方へのキック』であると認識された場合には、ゲーム装置４に対して信号ＫＫ２をアクティブにする。更に、ゲームプレーヤ１の現在の姿勢が『しゃがみ』であると認識された場合には、ゲーム装置４に対して信号ＳＤをアクティブにし、『ジャンプ』であると認識された場合には、ゲーム装置４に対して信号ＪＭをアクティブにする。
【００１９】
ゲーム装置４は、これらの外部入力信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）により、ゲームプレーヤ１の姿勢が『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢のうちのいずれかであると認識されたものとして、信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）に従って、ゲームを進行する。
【００２０】
具体的には、信号ＰＣ１がアクティブの場合には、ゲームのキャラクターに『前方へのパンチ』を行わせ、また同様に信号ＫＫ１がアクティブの場合には、ゲームのキャラクターに『前方へのキック』を行わせ、他の信号の場合も同様に対応した動作を行わせるようになされている。このゲームの進行状況は、ディスプレイ装置５に表示され、ゲームプレーヤ１が常にゲームの進行状況を把握できるように構成されている。すなわち、既存のコンピュータゲームにおける外部入力装置（押しボタンキー、ジョイスティック、トラックボール等）に変わるものとして、姿勢認識装置３からの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）が使用される。ゲーム装置４に対してディスプレイ装置５が接続され、ディスプレイ装置５には、ゲーム装置４からビデオ信号ＶＤが供給される。
【００２１】
このようなゲーム装置４としては、例えば、ソニーコンピュータエンターテイメント社から発売されている、『プレイステーション』を使用することができる。また、ディスプレイ装置５に関しては、一般のテレビモニターを使用することができる。図１では、理解の容易のため、ディスプレイ装置５上に表示されているキャラクターがプレーヤと同様の形とされているが、実際には、プレーヤとは別個の娯楽性を高めるためのアニメーション等のゲーム装置４で作成されたキャラクターが表示される。キャラクターとしては、複数種類のものが用意されており、プレーヤが好みのものを選択可能としても良い。
【００２２】
また、ゲームプレーヤ１の姿勢を正確に認識する上で、プレーヤの立つ場所、プレーヤの背景の画像、プレーヤの着衣の色彩等が必要に応じて指定される。さらに、図１の例では、プレーヤが一人の例であり、ゲーム装置４により作成された対戦相手のキャラクターがディスプレイ装置５上に表示される。ゲームプレーヤ１は、相手の動きを見ながら、６種類のいずれかの姿勢をとる。ゲーム装置４では、対戦相手の動きとプレーヤの姿勢とから点数を集計し、点数表示を行う。また、１ゲームの時間を規定し、ゲーム終了後に集計点数と勝敗の表示を行うことができる。これらの態様は、既存の格闘ゲームに採用されているものを適用できる。
【００２３】
尚、この発明の一実施形態は、プレーヤが１名の場合であるが、プレーヤが２名の場合に対してもこの発明を適用できる。さらに、プレーヤが１名の場合と２名の場合とを選択可能としても良い。プレーヤが２名の場合には、画像入力手段としてのＣＣＤカメラ、強度検出手段を有した認識手段が並列に増設される。また、同様にプレヤーが３名以上の場合には、３以上の複数の人体の姿勢を認識するために、認識する人体の数に対応して分離して画像入力手段としてのＣＣＤカメラ、強度検出手段を有した認識手段が並列に設けられるが、この発明の特徴とする点は、姿勢認識装置３に存するので、簡単のため図１に示すプレーヤが１名の場合を例として、姿勢認識について以下説明する。
【００２４】
図２は、姿勢認識装置３において人体（プレーヤ）の姿勢を認識するために割り当てられた強度検出手段の一例を簡単に示したものである。姿勢認識装置３は、前述したようにゲームプレーヤ１の『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６通りの姿勢を認識する。図２において、『しゃがみ』を認識するための強度検出手段は、Ｄｄで示される領域である。図２において、人体の存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとすると、ゲームプレーヤ１が『しゃがみ』の姿勢をとった時には検出される信号強度が小さくなる。
【００２５】
また、『前方へのパンチ』を認識するための強度検出手段として、ＭＰｄで示される領域が設けられ、『斜め上方へのパンチ』を認識するための強度検出手段として、ＵＰｄで示される領域が設けられ、『前方へのキック』を認識するための強度検出手段として、Ｋｄで示される領域が設けられ、『後方へのキック』を認識するための強度検出手段として、ＢＫｄで示される領域が設けられ、『ジャンプ』を認識するための強度検出手段として、Ｊｄで示される領域が設けられる。『しゃがみ』の姿勢以外の夫々の姿勢に対応して割り当てられた強度検出手段の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ）においては、夫々の姿勢をとった時には『しゃがみ』の場合とは逆に検出される信号強度が大きくなる。
【００２６】
図３及び図４は、姿勢認識装置３においてなされる認識処理の第１の例を示す。図３は、姿勢認識装置３において、画像認識手段として設けられたＣＣＤカメラ２により人体像４１とその背後にある障害物像４２とが画像情報として取り込まれた状態を示す。
【００２７】
図３において人体像４１の存在する黒く塗り潰された領域及びその背後にある障害物像４２の存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとすると、図３に示す場合には、『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄと障害物像４２の存在する領域とが重なっているため、強度検出手段の領域ＭＰｄで検出される信号強度が大きくなり、ゲームプレーヤ１が『前方へのパンチ』を出したものと認識する可能性がある。従って、この発明では、例えば、ゲーム開始前に予め人体像４１の背後にある障害物像４２をＣＣＤカメラ２により画像情報として取り込み、ゲーム進行時には、その画像情報を用いて認識処理を行う。
【００２８】
図４は、姿勢認識装置３において、ＣＣＤカメラ２により人体像４１の背後にある障害物像４２のみが画像情報として取り込まれた状態を示す。図４において、『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内の画像と図３における強度検出手段の領域ＭＰｄ内の画像とは同一であるため、図３における強度検出手段の領域ＭＰｄにより検出された強度出力から図４における強度検出手段の領域ＭＰｄにより検出された強度出力を差し引くことで障害物像４２の影響を相殺することができ、ゲームプレーヤ１が『前方へのパンチ』を出したものと誤って認識することがないようになされる。
【００２９】
尚、上述の説明においては、『前方へのパンチ』を認識する場合を例に挙げて説明したが、その他の姿勢である『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『ジャンプ』『しゃがみ』についての認識処理においても同様に適用できる。また、図３及び図４において示す障害物像４２に関しては、その形状にとらわれることなく、他の異なる形状のものにおいても同様に適用できる。
【００３０】
図５、図６、図７及び図８は、姿勢認識装置３においてなされる認識処理の第２の例を示す。図６は、姿勢認識装置３において、画像認識手段として設けられたＣＣＤカメラ２により『前方へのパンチ』の姿勢をとった人体像４１とその背後にある障害物像４２とが画像情報として取り込まれた状態を示す。また、図５は、姿勢認識装置３において、ＣＣＤカメラ２によりゲームプレーヤ１が図６に示す『前方へのパンチ』の姿勢をとったタイミングより前の所定の時間間隔以前に取り込まれた画像を示す。
【００３１】
図５及び図６において人体像４１の存在する黒く塗り潰された領域及びその背後にある障害物像４２の存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとする。また、図５及び図６に示す画像は、二次元の強度分布とみなせ、図６に対応する強度分布から図５に示す強度分布を差し引いた強度分布を演算により合成することができ、その結果を図７に示す。図７において、黒く塗り潰された領域４４が正の値を有した領域となる一方で、黒く塗り潰された領域４３が負の値を有した領域となり、変化があった領域のみが抽出され、それらの画像情報に基づいて認識処理がなされる。尚、図７において、黒く塗り潰されていないその他の領域に関しては、前回に取り込まれた画像情報と現画像情報との間において変化がなく差異がないため、０の値となっている。
【００３２】
この場合の処理について更に詳細に説明する。図６に示す画像情報が得られたタイミングにおいて、『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度の夫々を（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）とする。また、図５に示す画像が得られたタイミングにおいて、『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度の夫々を（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）とする。この場合に、この発明では、下記の数式（１）〜（６）に示す演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が用いられて認識処理がなされる。
【００３３】
ＳＪｄ１＝ＳＪｄ−ＳＪｄ０・・・（１）
ＳＵＰｄ１＝ＳＵＰｄ−ＳＵＰｄ０・・・（２）
ＳＭＰｄ１＝ＳＭＰｄ−ＳＭＰｄ０・・・（３）
ＳＫｄ１＝ＳＫｄ−ＳＫｄ０・・・（４）
ＳＢＫｄ１＝ＳＢＫｄ−ＳＢＫｄ０・・・（５）
ＳＤｄ１＝ＳＤｄ−ＳＤｄ０・・・（６）
図８は、図６に対応する強度分布から図５に示す強度分布を差し引くことで得られた強度分布（図７に示す）と『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）との位置関係を示したものである。
【００３４】
『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄに対応する上記数式（３）の演算結果であるＳＭＰｄ１は、図８において４３で示すように強度検出手段の領域ＭＰｄと重なって存在し、正の値となる。また、その他の姿勢に対応する上記数式（１），（２），（４）〜（６）の演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）は、略々０となる。従って、この演算処理によって、動かない背景の障害物像４２の影響が相殺され、所定時間間隔において動いた部分のみが抽出された状態で姿勢の認識処理がなされ、ゲームプレーヤ１が『前方へのパンチ』を出した時にのみ正確に『前方へのパンチ』の姿勢をとったと認識する。
【００３５】
尚、上述の説明においては、『前方へのパンチ』を認識する場合を例に挙げて説明したが、その他の姿勢である『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『ジャンプ』『しゃがみ』についての認識処理においても同様に適用できる。また、図５〜図８に示す障害物像４２に関しては、その形状にとらわれることなく、他の異なる形状のものにおいても同様に検出できる。
【００３６】
また、上述した処理を行う具体的な回路は、遅延回路と減算器とにより容易に構成される。例えば、具体的には、減算器の一方の＋入力端子に入力信号としての画像情報を直接入力すると共に、入力信号としての画像情報を遅延回路を介して減算器の他方の−入力端子に供給する。減算器において現画像情報から遅延回路において遅延された所定時間前の画像情報が逐次減算され、現画像情報と所定時間間隔前の画像情報との差が求めらる。この減算器によって得られる出力が認識処理に用いられる。
【００３７】
図９〜図１６は、姿勢認識装置３においてなされる認識処理の第３の例を示す。図９は、姿勢認識装置３において、画像認識手段として設けられたＣＣＤカメラ２によりどの姿勢もとっていない赤色の人体像４１Ｒと、その背後にある青色の障害物像４２Ｂとが画像情報として取り込まれた状態を示す。また、図１０は、姿勢認識装置３において、ＣＣＤカメラ２により『前方へのパンチ』の姿勢をとった赤色の人体像４１Ｒと、その背後にある青色の障害物像４２Ｂとが画像情報として取り込まれた状態を示す。
【００３８】
図１１は、図９に示す画像情報の輝度成分の分布を示し、図１２は、図１０に示す画像情報の輝度成分の分布を示す。また、図１３は、図９に示す画像情報の青色成分のみの分布を示し、図１４は、図１０に示す画像情報の青色成分のみの分布を示す。更に、図１５は、図９に示す画像情報の赤色成分のみの分布を示し、図１６は、図１０に示す画像情報の赤色成分のみの分布を示す。
【００３９】
図１１〜図１６において、前述した場合と同様に『前方へのパンチ』を認識するための強度検出手段の領域がＭＰｄで示される。また、人体像４１Ｒの存在する黒く塗り潰された領域及びその背後にある障害物像４２Ｂの存在する黒く塗り潰された領域が広ければ広い程、信号強度が大きくなるものとする。
【００４０】
図１１及び図１２における『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内では、輝度成分の分布が略々同じで差異がないため、『前方へのパンチ』の姿勢を認識することは、困難である。しかしながら、この発明では、各色成分に分離した画像情報を用いて人体と人体の背後の障害物とを分離した状態で処理されるため、誤った認識がなされることなく各姿勢が正確に認識される。
【００４１】
上述した処理を具体的に詳細に説明すると、図１３及び図１４における『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内では、青色成分の分布が異なっているのが明らかである。つまり、『前方へのパンチ』の姿勢をとった場合の方が信号強度が小さくなり、『前方へのパンチ』の姿勢をとったと認識することができる。また、図１５及び図１６における『前方へのパンチ』を認識するための強度検出手段の領域ＭＰｄ内では、赤色成分の分布が異なっているのが明らかである。つまり、『前方へのパンチ』の姿勢をとった場合の方が信号強度が大きくなり、『前方へのパンチ』の姿勢をとったと認識することができる。
【００４２】
尚、上述の説明においては、『前方へのパンチ』を認識する場合を例に挙げて説明したが、その他の姿勢である『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『ジャンプ』『しゃがみ』についての認識処理においても同様に適用できる。また、図１１〜図１６に示す障害物像４２Ｂに関しては、その形状にとらわれることなく、他の異なる形状のものにおいても同様に適用できる。また、赤色の人物像４１Ｒ及び青色の障害物像４２Ｂについて説明したが、同一色でない他の色の異なる組み合わせならば同様に適用することができる。
【００４３】
姿勢認識装置３においてなされる第１，第２及び第３の認識処理の例について説明したが、それらの認識処理は、組み合わせて用いることができ、組み合わせて用いることによりその効果を相乗的なものとすることができる。例えば、第１の認識処理と、第３の認識処理とを組み合わせて、画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号を有限個の領域に分割し、各領域中の信号強度を算出する複数の強度検出手段と、画像入力手段に人体を入力しない場合の前記複数の強度検出手段の出力を記憶する記憶手段とを有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識することにより、人体の背後の障害物の影響を相殺すると共に、人体と人体の背後の障害物とを分離した状態で処理して正確に人体の姿勢を認識する。
【００４４】
また、第２の認識処理と、第３の認識処理とを組み合わせて、人体、あるいは人体各部の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、複数の信号を有限個の領域に分割し、各領域中の信号強度を算出する複数の強度検出手段と、画像入力手段により入力された特定の時間間隔以前の画像信号から得られた複数の強度検出手段の出力を記憶する記憶手段とを有し、複数の強度検出手段の出力から記憶手段により記憶された出力を差し引いた信号強度により人体の姿勢を認識することにより、人体の背後の障害物の影響を相殺すると共に、人体と人体の背後の障害物とを分離した状態で処理して正確に人体の姿勢の認識する。
【００４５】
図１７は、上述した姿勢認識装置３においてなされる第１及び第２の処理動作が可能とされる姿勢検出ゲーム装置の一実施形態を示し、図１と同一部分には、同一の参照符号が付されている。また、図１８は、図１７において９３にて示されるランダムアクセスメモリの内容の一部を簡単に示す。姿勢認識装置３が図１７に示すようにＡ／Ｄコンバータ９２、ＲＡＭ（ランダムアクセスメモリ）９３、ＣＰＵ（マイクロプロセッサ）９４及びインターフェース回路９５等により構成される。Ａ／Ｄコンバータ９２、ＲＡＭ９３、ＣＰＵ９４及びインターフェース回路９５の夫々は、データバスにより接続され、双方向にデータの授受が可能とされている。
【００４６】
ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。入力されたビデオ信号は、Ａ／Ｄコンバータ９２によりアナログ信号からディジタル信号に変換される。ディジタル信号に変換された画像データは、マイクロプロセッサ９４によりランダムアクセスメモリ９３上に蓄えられる。
【００４７】
第１の認識処理の場合には、マイクロプロセッサ９４は、初期化処理の段階において、例えば、ゲーム開始前に予めゲームプレーヤ１を含めないで背景のみをＣＣＤカメラ２により撮影し、得られた『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）のデータの夫々をランダムアクセスメモリ９３の第１行目のメモリに保持する。
【００４８】
次に、ゲーム進行時には、ゲームプレーヤ１を含めた状態でＣＣＤカメラ２により撮影がなされ、得られた『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータの夫々をランダムアクセスメモリ９３の第２行目のメモリに保持する。
【００４９】
そして、（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）及び（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータに基づいて下記の数式（７）〜（１２）に示す演算が行われ、演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が正の値であるかどうかによって姿勢認識処理を行う。尚、ランダムアクセスメモリ９３の第３行目のメモリに保持される数式（７）〜（１２）において（ＴＪｄ，ＴＵＰｄ，ＴＭＰｄ，ＴＫｄ，ＴＢＫｄ，ＴＤｄ）で示されるデータは、画像情報に含まれる雑音などで誤認識しないように設定された所定の数値である。
【００５０】
ＳＪｄ１＝ＳＪｄ−ＳＪｄ０−ＴＪｄ・・・（７）
ＳＵＰｄ１＝ＳＵＰｄ−ＳＵＰｄ０−ＴＵＰｄ・・・（８）
ＳＭＰｄ１＝ＳＭＰｄ−ＳＭＰｄ０−ＴＭＰｄ・・・（９）
ＳＫｄ１＝ＳＫｄ−ＳＫｄ０−ＴＫｄ・・・（１０）
ＳＢＫｄ１＝ＳＢＫｄ−ＳＢＫｄ０−ＴＢＫｄ・・・（１１）
ＳＤｄ１＝ＳＤｄ−ＳＤｄ０−ＴＤｄ・・・（１２）
マイクロプロセッサ９４は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路９５に認識処理結果を送る。インターフェイス回路９５は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。以上のようにこの発明による姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢を認識してゲームプレーヤ１の姿勢に従ったゲームを構成することが可能となる。尚、３次元認識を行う場合には、ＣＣＤカメラ２が増設されて認識処理がなされる。
【００５１】
第２の認識処理の場合には、マイクロプロセッサ９４は、ゲーム進行時において逐次背景を含めてゲームプレーヤ１の姿勢をＣＣＤカメラ２により撮影し、得られた現タイミングの『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された信号強度（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータの夫々をランダムアクセスメモリ９３の第２行目のメモリに保持し、前回取り込まれて保持されていた信号強度の夫々のデータを（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）としてランダムアクセスメモリ９３の第１行目のメモリに移動して保持する。つまり、所定の時間間隔で以てデータの移動と書き込みが逐次なされ、ランダムアクセスメモリ９３の第１行目のメモリには、所定時間間隔前に取り込まれた画像データが保持され、ランダムアクセスメモリ９３の第２行目のメモリには、現画像データが常に保持される。
【００５２】
そして、（ＳＪｄ０，ＳＵＰｄ０，ＳＭＰｄ０，ＳＫｄ０，ＳＢＫｄ０，ＳＤｄ０）及び（ＳＪｄ，ＳＵＰｄ，ＳＭＰｄ，ＳＫｄ，ＳＢＫｄ，ＳＤｄ）のデータに基づいて上述した第１の認識処理の場合と同様に数式（７）〜（１２）に示す演算が行われ、演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が正の値であるかどうかによって姿勢認識処理がなされる。尚、ランダムアクセスメモリ９３の第３行目のメモリに保持される数式（７）〜（１２）における（ＴＪｄ，ＴＵＰｄ，ＴＭＰｄ，ＴＫｄ，ＴＢＫｄ，ＴＤｄ）は、画像に含まれる雑音などで誤認識しないように設定された所定の数値である。
【００５３】
マイクロプロセッサ９４は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路９５に認識処理結果を送る。インターフェイス回路９５は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。以上のようにこの発明の姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢を認識してゲームプレーヤ１の姿勢に従ったゲームを構成することが可能となる。尚、３次元認識を行う場合には、ＣＣＤカメラ２が増設されて認識処理がなされる。
【００５４】
図１９は、上述した姿勢認識装置３においてなされる第３の処理動作が可能とされる姿勢検出ゲーム装置の他の実施形態を示し、図１と同一部分には、同一の参照符号が付されている。また、図２０は、図１９において８４にて示されるランダムアクセスメモリの内容の一部を簡単に示す。姿勢認識装置３が図１９に示すように色信号分離回路８２、各色成分に対応したＡ／Ｄコンバータ８３Ｒ、Ａ／Ｄコンバータ８３Ｇ、Ａ／Ｄコンバータ８３Ｂ、ＲＡＭ（ランダムアクセスメモリ）８４、ＣＰＵ（マイクロプロセッサ）８５及びインターフェース回路８６等により構成される。Ａ／Ｄコンバータ８３Ｒ、Ａ／Ｄコンバータ８３Ｇ、Ａ／Ｄコンバータ８３Ｂ、ＲＡＭ８４、ＣＰＵ８５及びインターフェース回路８６の夫々は、データバスにより接続され、双方向にデータの授受が可能とされている。
【００５５】
ゲームプレーヤ１の姿勢をＣＣＤカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変換し、姿勢認識装置３に入力する。入力されたビデオ信号ＳＶは、図１９に示す色信号分離回路８２において三原色信号（Ｒ，Ｇ，Ｂ）の夫々に分離される。色信号分離回路８２において分離されたＲ信号ＲがＡ／Ｄコンバータ８３Ｒに供給され、Ｇ信号がＡ／Ｄコンバータ８３Ｇに供給され、Ｂ信号がＡ／Ｄコンバータ８３Ｂに供給される。
【００５６】
Ａ／Ｄコンバータ８３Ｒ，８３Ｇ，８３Ｂの夫々においてＲ，Ｇ，Ｂ信号の夫々がアナログ信号からディジタル信号に変換される。ディジタル信号に変換された各色の画像データは、マイクロプロセッサ８５によりランダムアクセスメモリ８４上に蓄えられる。
【００５７】
第３の認識処理の場合には、マイクロプロセッサ８５は、ゲーム進行時において逐次背景を含めてゲームプレーヤ１の姿勢をＣＣＤカメラ２により撮影し、得られた『ジャンプ』『斜め上方へのパンチ』『前方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』の夫々の姿勢に対応して割り当てられた強度検出手段の領域（Ｊｄ，ＵＰｄ，ＭＰｄ，Ｋｄ，ＢＫｄ，Ｄｄ）により検出された赤色成分に関する信号強度（ＲＪｄ，ＲＵＰｄ，ＲＭＰｄ，ＲＫｄ，ＲＢＫｄ，ＲＤｄ）のデータの夫々をランダムアクセスメモリ８４の第１行目のメモリに保持する。
【００５８】
同様に緑色成分に関する信号強度（ＧＪｄ，ＧＵＰｄ，ＧＭＰｄ，ＧＫｄ，ＧＧＫｄ，ＧＤｄ）のデータの夫々をランダムアクセスメモリ８４の第２行目のメモリに保持すると共に、青色成分に関する信号強度（ＢＪｄ，ＢＵＰｄ，ＢＭＰｄ，ＢＫｄ，ＢＢＫｄ，ＢＤｄ）のデータの夫々をランダムアクセスメモリ８４の第３行目のメモリに保持する。
【００５９】
そして、マイクロプロセッサ８５において、（ＲＪｄ，ＲＵＰｄ，ＲＭＰｄ，ＲＫｄ，ＲＢＫｄ，ＲＤｄ）、（ＧＪｄ，ＧＵＰｄ，ＧＭＰｄ，ＧＫｄ，ＧＧＫｄ，ＧＤｄ）及び（ＢＪｄ，ＢＵＰｄ，ＢＭＰｄ，ＢＫｄ，ＢＢＫｄ，ＢＤｄ）のデータに基づいて下記の数式（１３）〜（１８）に示す演算が行われ、演算結果である（ＳＪｄ１，ＳＵＰｄ１，ＳＭＰｄ１，ＳＫｄ１，ＳＢＫｄ１，ＳＤｄ１）が正の値であるかどうかによって姿勢認識処理がなされる。尚、ランダムアクセスメモリ８４の第４行目〜第６行目のメモリに保持される数式（１３）〜（１９）における（ＴＲＪｄ，ＴＲＵＰｄ，ＴＲＭＰｄ，ＴＲＫｄ，ＴＲＢＫｄ，ＴＲＤｄ）、（ＴＧＪｄ，ＴＧＵＰｄ，ＴＧＭＰｄ，ＴＧＫｄ，ＴＧＢＫｄ，ＴＧＤｄ）及び（ＴＧＪｄ，ＴＧＵＰｄ，ＴＧＭＰｄ，ＴＧＫｄ，ＴＧＢＫｄ，ＴＧＤｄ）は、画像に含まれる雑音などで誤認識しないように設定された所定の数値である。
【００６０】
ＳＪｄ１＝ｍａｘ（ＲＪｄ−ＴＲＪｄ，ＧＪｄ−ＴＧＪｄ，ＢＪｄ−ＴＢＪｄ）・・・（１３）
ＳＵＰｄ１＝ｍａｘ（ＲＵＰｄ−ＴＲＵＰｄ，ＧＵＰｄ−ＴＧＵＰｄ，ＢＵＰｄ−ＴＢＵＰｄ）・・・（１４）
ＳＭＰｄ１＝ｍａｘ（ＲＭＰｄ−ＴＲＭＰｄ，ＧＭＰｄ−ＴＧＭＰｄ，ＢＭＰｄ−ＴＢＭＰｄ）・・・（１５）
ＳＫｄ１＝ｍａｘ（ＲＫｄ−ＴＲＫｄ，ＧＫｄ−ＴＧＫｄ，ＢＫｄ−ＴＢＫｄ）・・・（１６）
ＳＢＫｄ１＝ｍａｘ（ＲＢＫｄ−ＴＲＢＫｄ，ＧＢＫｄ−ＴＧＢＫｄ，ＢＢＫｄ−ＴＢＢＫｄ）・・・（１７）
ＳＤｄ１＝ｍａｘ（ＲＤｄ−ＴＲＤｄ，ＧＤｄ−ＴＧＤｄ，ＢＤｄ−ＴＢＤｄ）・・・（１８）
尚、上記の数式（１３）〜（１８）におけるｍａｘ（ａ，ｂ，ｃ，，，ｚ）で表記される関数は、（ａ，ｂ，ｃ，，，ｚ）のうちで最大の値を出力するものである。
【００６１】
マイクロプロセッサ８５は、上述した姿勢認識処理などを行った後、ゲーム装置４と姿勢認識装置３との信号変換を行うインターフェイス回路８６に認識処理結果を送る。インターフェイス回路８６は、ゲーム装置４を操作する信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）を形成してその信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＰ）をゲーム装置に供給し、ゲーム装置４は、ゲームのキャラクターに信号に対応する動作を行わせる。以上のようにこの発明の姿勢検出ゲーム装置は、ゲームプレーヤ１の姿勢を認識してゲームプレーヤ１の姿勢に従ったゲームを構成することが可能となる。尚、３次元認識を行う場合には、ＣＣＤカメラ２が増設されて認識処理がなされる。
【００６２】
尚、上述した色信号分離回路においては、ビデオ信号が赤色、緑色、青色成分の信号に分離される場合について説明したが、他の信号、例えば、輝度信号、色相信号、彩度信号にビデオ信号を色信号分離回路において分離するようにしても良い。また、正確に赤色、緑色、青色成分の信号に分離する必要はなく、混ぜ合わせた状態においてもこの発明を適用することができる。更に、赤色、緑色、青色成分の信号即ち、必ずしも三色に分離する必要はなく、２色以上に分離すれば十分に効果を発揮することができる。
【００６３】
また、図２１は、上述した動作を行う姿勢認識装置３の他の例の構成を示し、、ホログラム６が用いられる。図２１において、ＣＣＤカメラ２からの映像信号ＳＶは、液晶ディスプレイ３３に送られ、液晶ディスプレイ３３上に２次元の情報として投影される。レーザ発振器３１からのレーザ光線は、コリメーターレンズ３２により平行光線に変換された後に、この液晶ディスプレイ３３を照射する。従って、液晶ディスプレイ３３の直後には、コヒーレントなレーザ光として、ＣＣＤカメラ２で撮影された画像が復元される。このコヒーレントな光による画像情報は、結像レンズ３４によってホログラム６上に結像される。また、レーザ発振器３１は、レーザパワー制御装置３０（Automatio Power Control 回路）により、常に所定の出力が得られるように制御されている。
【００６４】
このようにして液晶ディスプレイ３３上に得られたゲームプレーヤ１の姿勢情報は、結像レンズ３４によってホログラム６上に投影される。ホログラム６は、投影された画像を必要に応じて６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）に分割し、各領域中の強度に比例した強度の光線を異なる角度方向に回析させる。
【００６５】
ホログラム６によって回析された光線の方向を図２２に示す。この図２２において、領域ＭＰｄの内部の光強度に比例した強度の光線がＡの方向に向かって飛ぶようになされている。また、同様にして領域ＵＰｄ内部の光強度に比例した強度を持つ光線が、Ｂの方向に発生する。以下同様に、領域（Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）の光強度に従ってＣ〜Ｆの方向に光線が飛ぶようになされる。このように、６個の領域（ＭＰｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）毎に光線の角度を所定のものとするためには、ホログラム６の６個の領域にそれぞれ対応する領域に所定の縞模様を形成する必要がある。すなわち、ホログラム６は、例えば各領域が所定の方向に回析するようになされた回析格子として構成されたＣＧＨ（Computer Genereted Hologram)などの手法で作製することができる。
【００６６】
ホログラム６から回析された光線は、ディテクターアレイ３５により電気信号に変換される。ディテクターアレイ３５は、図２２中のＡからＦまでの各方向に対して、少なくとも１つ以上の独立したフォトディテクターを持ち、各方向成分の光線を独立に検出して６個の電気信号（図２１におけるＢｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）に変換する。この電気信号のレベル（ピーク値、または平均値）は、ＡからＦまでの各方向の光線の強度に対応する。なお、図２２では、６個の領域に対応して６個のフォトディテクターを使用しているが、一つの領域に対して、複数のフォトディテクターを使用しても良い。
【００６７】
このようにして得られた６個の電気信号（Ｂｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）は、増幅ユニット７により、各検出信号毎に増幅され、十分なＳＮＲ（信号対雑音比）が得られる検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）として判定ユニット８に出力される。増幅ユニット７は、例えば６つのオペレーショナル・アンプリファイヤーを単純に並べることで構成することができる。
【００６８】
判定ユニット８は、６個の検出信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）を入力とし、ゲームプレーヤ１の姿勢が『前方へのパンチ』と判定した場合には、信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』と判定した場合には、信号ＰＣ２をアクティブとする。また、ゲームプレーヤ１の姿勢が『前方へのキック』と判定した場合には、信号ＫＫ１をアクティブとし、『後方へのキック』と判定した場合には、信号ＫＫ２をアクティブとする。更に、ゲームプレーヤ１の姿勢が『しゃがみ』と判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』と判定した場合には、信号ＪＭをアクティブとする。
【００６９】
判定ユニット８の一例を図２３に示す。図２３において、６本の入力（検出）信号（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）は、Ａ／Ｄコンバータ７１Ａ〜７１Ｆによって各８ビットのディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）に変換される。この結果のディジタル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）は、図示しないインターフェース回路を通して、マイクロプロッセッサー７２に取り込まれる。
【００７０】
マイクロプロッセッサー７２は、上述の入力信号からゲームプレーヤ１の姿勢を判定して、『前方へのパンチ』の姿勢であると判定した場合には信号ＰＣ１をアクティブとし、『斜め上方へのパンチ』の姿勢であると判定した場合には信号ＰＣ２をアクティブとする。また、『前方へのキック』の姿勢であると判定した場合には信号ＫＫ１をアクティブとし、『後方へのキック』の姿勢であると判定した場合には信号ＫＫ２をアクティブとする。更に、『しゃがみ』の姿勢であると判定した場合には、信号ＳＤをアクティブとし、『ジャンプ』の姿勢であると判定した場合には、信号ＪＭをアクティブとする。これらの信号（ＰＣ１，ＰＣ２，ＫＫ１，ＫＫ２，ＳＤ，ＪＭ）は、ゲーム装置４に対して供給される。
【００７１】
マイクロプロセッサ７２が行う『前方へのパンチ』『斜め上方へのパンチ』『前方へのキック』『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢の判定動作のうちの『前方へのパンチ』及び『前方へのキック』の場合を特に例として挙げながら次に説明する。マイクロプロセッサ７２の内部には、図２４に示すような（７行×６バイト，図２４中には３行分しか図示せず）のメモリが搭載されている。第１行目のメモリは、入力バッファーであり、入力された６つのディジタル検出信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）が常に保持されている。
【００７２】
第２行目のメモリは、前方へのパンチ姿勢基準として用いられる基準値を保持する。このメモリは、ゲーム開始に先立ち、実際にゲームを楽しもうとするゲームプレーヤ１が『前方へのパンチ』の姿勢であるときの画像をＣＣＤカメラ２で取り込み、増幅ユニット７の出力から得られた６バイトの信号を保持している。このメモリに保持される『前方へのパンチ』の基準値を、（ＹＭ１，ＹＭ２，ＹＭ３，ＹＭ，ＹＭ５，ＹＭ６）と表記する。
【００７３】
第３行目のメモリは、前方へのキック姿勢基準として用いられる基準値を保持する。これらのメモリは、ゲーム開始に先立ち、ゲームプレーヤ１が『前方へのキック』の姿勢であるときの画像をＣＣＤカメラで取り込み、増幅ユニット７の出力から得られた６バイトの夫々の信号を保持している。第３行目のメモリに保持される『前方へのキック』の基準値を、（ＺＦ１，ＺＦ２，ＺＦ３，ＺＦ４，ＺＦ５，ＺＦ６）と表記する。
【００７４】
第２行目から第７行目までのメモリに保持する各姿勢の基準値は、例えば工場出荷時に実験を行って定め、ＲＯＭ（リードオンリーメモリ）として構成しておくことができる。このようにＲＯＭで構成すれば、電源を入れただけで直ちに使用を開始することも可能である。また、ＲＡＭ（ランダムアクセスメモリ）として構成することも可能である。ＲＡＭで構成し、上述したように、実際のプレーヤの姿勢から基準値を生成することによって、ゲームプレーヤ１の個人的な差を吸収して、確実な動作をさせることが可能となる。
【００７５】
マイクロプロッセッサ７２は、これらのメモリに保持された値に対して、例えば、各パラメータの差の二乗和の演算を行う。この演算によって、入力信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）と、各姿勢の基準値のそれぞれとの距離を求める。例えば、『前方へのパンチ』及び『前方へのキック』の場合には、以下の数式（１９）及び（２０）で示されるような演算を行い、距離ＤＭＹ及びＤＦＺを算出する。
【００７６】
ＤＹＭ＝（Ｄ１−ＹＭ１）2 ＋（Ｄ２−ＹＭ２）2 ＋（Ｄ３−ＹＭ３）2 ＋（Ｄ４−ＹＭ４）2 ＋（Ｄ５−ＹＭ５) 2 ＋（Ｄ６−ＹＭ６）2 ・・・数式（１９）
ＤＺＦ＝（Ｄ１−ＺＦ１）2 ＋（Ｄ２−ＺＦ２）2 ＋（Ｄ３−ＺＦ３）2 ＋（Ｄ４−ＺＦ４）2 ＋（Ｄ５−ＺＦ５）2 ＋（Ｄ６−ＺＦ６）2 ・・・数式（２０）
マイクロプロセッサ７２は、このようにして生成した各姿勢の距離に関して大小比較を行い、求められた距離がもっとも小さいものを決定する。この大小比較の結果、例えば、ＤＹＭの値がもっとも小さいと判定された場合には、マイクロプロセッサ７２はゲームプレーヤ１が『前方へのパンチ』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＰＣ１をアクティブにして、前方へのパンチの動作を行うように指示する。
【００７７】
同様にして、大小比較の結果、例えば、ＤＺＦの値がもっとも小さいと判定された場合には、マイクロプロセッサ７２はゲームプレーヤ１が『前方へのキック』の姿勢をとっていると判断し、ゲーム装置４に対する信号ＫＫ１をアクティブにして、前方へのキックの動作を行うように指示する。
【００７８】
また、他の姿勢の距離が小さい場合には、同様に対応する信号をアクティブとし、その姿勢を行うように指示する。尚、ゲームプレーヤの姿勢を認識するタイミングは、予め決定された所定時間の周期、または検出信号の大きな変化が発生する時点になされる。
【００７９】
以上のように、この発明の姿勢検出ゲーム装置１は、ゲームプレーヤ１の姿勢を認識して、ゲームプレーヤ１の姿勢にしたがったゲームを構成することが可能となる。尚、認識する姿勢としては、上述したものに限らず、『静止』のような他の姿勢であっても良い。
【００８０】
【発明の効果】
この発明の姿勢検出ゲーム装置は、ゲームプレーヤの人体、あるいは人体各部の姿勢を画像信号として入力し、この画像信号を複数個の領域に分割し、各領域中の信号強度を検出し、検出信号に基づいて人体の姿勢を認識するように構成されているので、人体を撮影した画像情報から輪郭線を抽出する処理が必要なくなる。このため高速な動作が可能となり、さらに、安価な信号処理装置で実現することが可能となる。
【００８１】
また、この発明は、輪郭線の抽出が必要ないので、認識装置をホログラムなどの回折手段を使って実現することも可能となり、さらに安価で高速な動作を実現することが可能となるという効果を奏する。
【００８２】
また、この発明では、ゲームプレーヤを含まない背景のみの状態での複数の強度検出手段の出力を記憶する手段が設けられ、認識処理に際して、ゲームプレーヤを含んだ状態でのゲーム進行中の複数の強度検出手段の出力から記憶されている背景のみの状態での複数の強度検出手段の出力を差し引き、この差し引いた信号により人体の姿勢の認識処理がなされる。従って、この発明に依れば、背景の障害物に影響されることなく正確に姿勢認識処理を行うことができ、誤認識が防止される。
【００８３】
また、この発明では、人体あるいは人体各部の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、画像入力手段により入力された特定の時間間隔以前の画像信号から得られた複数の強度検出手段の出力を記憶する手段とが設けられ、認識処理に際して、複数の強度検出手段の現画像出力から記憶されている所定時間前の前回取り込まれた複数の強度検出手段の出力を差し引き、この差し引いた信号により人体の姿勢の認識処理がなされる。従って、この発明に依れば、動かない背景の障害物は相殺され、所定時間間隔において動いた部分のみを抽出して正確に姿勢認識処理を行うことができ、誤認識が防止される。
【００８４】
また、この発明では、画像入力手段により入力された画像信号から異なる色成分の複数の信号が分離され、この分離された信号により人体の姿勢の認識処理がなされる。従って、この発明に依れば、人体の明るさ（輝度）が背景の障害物と近い場合においても、人体と障害物とが分離されて別個に処理され、背景の障害物に影響されることなく正確に姿勢認識処理を行うことができ、誤認識が防止される。
【図面の簡単な説明】
【図１】この発明の一実施形態に係わる姿勢検出ゲーム装置の一例を示すブロック図である。
【図２】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図３】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図４】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図５】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図６】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図７】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図８】この発明の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図９】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１０】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１１】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１２】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１３】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１４】この発明の他の実施形態における姿勢認識装置の動作を説明する略線図である。
【図１５】この発明の他の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図１６】この発明の他の一実施形態における姿勢認識装置の動作を説明する略線図である。
【図１７】この発明の一実施形態における姿勢認識装置の一例を示すブロック図である。
【図１８】図１７に示すランダムアクセスメモリの内部を示す略線図である。
【図１９】この発明の他の実施形態における姿勢認識装置の一例を示すブロック図である。
【図２０】図１９に示すランダムアクセスメモリの内部を示す略線図である。
【図２１】この発明の一実施形態及び他の実施形態においける姿勢認識装置の他の例を示すブロック図である。
【図２２】図２１に示す姿勢認識装置におけるホログラムの回折効果を説明する略線図である。
【図２３】図２１に示す姿勢認識装置における判定ユニットの一例を示すブロック図である。
【図２４】図２３に示す判定ユニットにおけるマイクロプロセッサ内部のメモリを示す略線図である。
【符号の説明】
４・・・ゲーム装置、５・・・ディスプレイ装置、６・・・ホログラム、８・・・判定ユニット、３１・・・レーザ発振器、３２・・・コリメーターレンズ、３３・・・液晶ディスプレイ、３５・・・ディテクターアレイ、７１Ａ〜７１Ｆ，，８３Ｒ，８３Ｇ，８３Ｂ，９２・・・Ａ／Ｄコンバータ、７２，８５，９４・・・マイクロプロセッサ、８２・・・色信号分離回路、８４，９３・・・ランダムアクセスメモリ、８６，９５・・・インターフェース回路
Claims (5)
- 人体の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、
前記画像入力手段により入力された画像信号の１画面中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出手段と、
前記画像入力手段により入力された特定の時間間隔以前の画像信号から得られた前記強度検出手段の複数の出力を記憶する記憶手段を有し、前記複数の強度検出手段の出力から前記記憶手段により記憶された出力を差し引いた信号強度により前記人体の姿勢を認識する認識手段と、
前記認識手段の出力に応じて、前記人体の画像と異なる画像情報を作成する情報作成手段と、
前記画像情報を出力する画像出力手段を備えたことを特徴とする姿勢検出装置。 - 人体の姿勢を画像信号として特定の時間間隔で逐次入力する画像入力手段と、
前記画像入力手段により入力された画像信号を異なる色成分の複数の信号に分離すると共に、前記複数の信号中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出手段と、
前記画像入力手段により入力された特定の時間間隔以前の画像信号から得られた前記強度検出手段の複数の出力を記憶する記憶手段を有し、前記複数の強度検出手段の出力から前記記憶手段により記憶された出力を差し引いた信号強度により前記人体の姿勢を認識する認識手段と、
前記認識手段の出力に応じて、前記人体の画像と異なる画像情報を作成する情報作成手段と、
前記画像情報を出力する画像出力手段を備えたことを特徴とする姿勢検出装置。 - 請求項１または２において、
前記強度検出手段は、
前記画像信号を２次元の光強度分布に変換する光強度変調手段と、
前記光強度変調手段の光強度分布を複数の領域に分割し、前記信号検出領域毎に異なる角度方向に光を回折させる光回折手段と、
前記回折光の強度を求める複数の光検出手段とからなることを特徴とする姿勢検出装置。 - 人体の姿勢を画像信号として特定の時間間隔で逐次入力するステップと、
入力された画像信号の１画面中に複数の信号検出領域を設定し、各信号検出領域中の信号強度をそれぞれ算出する強度検出ステップと、
前記入力された特定の時間間隔以前の画像信号から得られた前記各信号検出領域の信号強度を記憶し、前記各信号検出領域中の信号強度から前記記憶された出力を差し引いた信号強度により前記人体の姿勢を認識する認識ステップと、
認識した結果に応じて、前記人体の画像と異なる画像情報を作成する画像情報作成ステップと、
前記画像情報を出力する出力ステップとを備えたことを特徴とする姿勢検出方法。 - 人体の姿勢を画像信号として特定の時間間隔で逐次入力するステップと、
入力された画像信号を異なる色成分の複数の信号に分離すると共に、前記複数の信号中に複数の信号検出領域を設定し、各信号検出領域中の信号強度ををそれぞれ算出する強度検出ステップと、
前記入力された特定の時間間隔以前の画像信号から得られた前記各信号検出領域中の信号強度を記憶し、前記各信号検出領域中の信号強度から前記記憶された出力を差し引いた信号強度により前記人体の姿勢を認識する認識ステップと、
認識した結果に応じて、前記人体の画像と異なる画像情報を作成する画像情報作成ステップと、
前記画像情報を出力する出力ステップとを備えたことを特徴とする姿勢検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29418697A JP3812093B2 (ja) | 1997-10-27 | 1997-10-27 | 姿勢検出装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29418697A JP3812093B2 (ja) | 1997-10-27 | 1997-10-27 | 姿勢検出装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11128535A JPH11128535A (ja) | 1999-05-18 |
| JP3812093B2 true JP3812093B2 (ja) | 2006-08-23 |
Family
ID=17804437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29418697A Expired - Fee Related JP3812093B2 (ja) | 1997-10-27 | 1997-10-27 | 姿勢検出装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3812093B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4925538B2 (ja) * | 2001-09-28 | 2012-04-25 | 株式会社バンダイナムコゲームス | ゲームシステム |
| JP2006068315A (ja) | 2004-09-02 | 2006-03-16 | Sega Corp | ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US8678895B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for online band matching in a rhythm action game |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| WO2011056657A2 (en) | 2009-10-27 | 2011-05-12 | Harmonix Music Systems, Inc. | Gesture-based user interface |
| US8550908B2 (en) | 2010-03-16 | 2013-10-08 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
| JP2012113460A (ja) | 2010-11-24 | 2012-06-14 | Sony Corp | 情報処理装置および方法、並びにプログラム |
-
1997
- 1997-10-27 JP JP29418697A patent/JP3812093B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11128535A (ja) | 1999-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3812092B2 (ja) | 姿勢検出装置及び方法 | |
| US6890262B2 (en) | Video game apparatus, method and recording medium storing program for controlling viewpoint movement of simulated camera in video game | |
| US6835136B2 (en) | Game system, computer readable storage medium storing game program and image displaying method | |
| JP3812093B2 (ja) | 姿勢検出装置及び方法 | |
| US7059962B2 (en) | Gun shooting game device, method of controlling computer and program | |
| US7597622B2 (en) | Game device, computer control method, and computer-readable information storage medium | |
| US7959511B2 (en) | Information processing device for controlling movement of a game character by using a player image and game character movement control method | |
| US7911447B2 (en) | Information processing device for controlling object by using player image and object control method in the information processing device | |
| KR100508368B1 (ko) | 게임장치및게임장치에있어서의화면표시방법 | |
| JP5039808B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
| US8257176B2 (en) | Game device and method for processing images responsive to captured player images | |
| JP2001299975A (ja) | 体感装置及び体感システム | |
| WO1996034364A1 (fr) | Dispositif de traitement d'images, procede de traitement d'images, appareil de jeu les utilisant et support de memoire | |
| EP0893149A3 (en) | Video-game apparatus, method of processing video game image, and computer-readable recording medium with stored video game program | |
| JPH1153563A (ja) | 姿勢検出ゲーム装置およびゲーム方法 | |
| US20100035684A1 (en) | System and method for controlling movement of a plurality of game objects along a playfield | |
| US20100160042A1 (en) | Game program, game apparatus and game control method | |
| JPH11144061A (ja) | 画像認識装置、画像認識方法及び姿勢検出ゲーム装置 | |
| JP2009061180A (ja) | カメラ装置、画像処理方法及びカメラシステム | |
| JP2002085344A (ja) | 画像フリーズ処理装置 | |
| JP2009018012A (ja) | 射撃ゲーム装置 | |
| Kage et al. | Artificial retina chips as on-chip image processors and gesture-oriented interfaces | |
| JP2004033640A (ja) | 玩具ロボット、その制御方法、制御プログラムおよび可読記録媒体 | |
| EP0864342B1 (en) | A method and apparatus for operating a video game with backfeeding a video image of a player | |
| JP2001340636A (ja) | 撮影ゲーム装置、撮影ゲーム処理方法および情報記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050816 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
| LAPS | Cancellation because of no payment of annual fees |