JPH11144061A

JPH11144061A - 画像認識装置、画像認識方法及び姿勢検出ゲーム装置

Info

Publication number: JPH11144061A
Application number: JP9310283A
Authority: JP
Inventors: Seiji Kobayashi; 誠司小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-11-12
Filing date: 1997-11-12
Publication date: 1999-05-28

Abstract

(57)【要約】【課題】認識対象物の状態を背景に影響されることな
く、正確で然も安定的に小規模のハードウェアにより高
速に認識できるようにする。【解決手段】主に認識対象を照明する光源７Ａと、主
に認識対象外の背景側を照明する光源７Ｂと、タイミン
グコントローラ６と、背景除去回路３１とが設けられ、
光源７Ａ及び７Ｂを夫々に制御することで、認識対象の
像の照度を背景の照度と独立して変化させ、背景除去回
路３１において、認識対象に照明を当てている時のビデ
オ信号と背景側に照明を当てている時のビデオ信号とを
用いて所定の演算処理を行うことで、背景部分の信号振
幅を減少させると共に、認識対象部分の信号を強調した
ビデオ信号ＶＸを形成し、このビデオ信号ＶＸに基づい
て正確かつ安定に認識処理がなされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、検出対象の物体
を画像撮影装置により撮影し、撮影された画像を基に検
出対象の物体の形状や動作を認識する画像認識装置およ
び方法に関する。また、この発明は、ゲームを楽しむ人
が実際に自分の姿勢を変化させ、姿勢の変化を反映させ
ることができる姿勢検出ゲーム装置及び方法に関する。

【０００２】

【従来の技術】ゲームを楽しむ人が実際に自分の体を動
かし、この人の人体、あるいは、人体部位の姿勢を認識
し、認識結果に従ってテレビ等に接続されたコンピュー
タを制御し、全体としてゲーム装置を構成することが考
えられている。例えば二人のプレイヤが指定された位置
に対峙して、パンチを出したリ、キックを行い、これら
プレイヤの姿勢を認識し、認識結果をコンピュータに与
え、コンピュータが作成したゲームキャラクターをモニ
タ上に表示し、モニタ上で、ゲームキャラクターがプレ
イヤと同様に動き、二人のプレイヤについてのスコアを
集計、表示するようになされる。

【０００３】この種のコンピュータゲーム装置において
は、人体の姿勢を認識することが必要である。従来、人
体の全体、または、一部をＣＣＤ（固体撮像素子）カメ
ラにより撮像し、このＣＣＤカメラにより出力される画
像信号（電気信号）に基づいて、人体、あるいは、人体
部位の姿勢を検出するように構成された姿勢検出装置が
提案されている。

【０００４】例えば”Artificial Retina Chips as Ima
ge Input Interfaces for Multimedia Systems”（Firs
t Optoelectronics and Communications Conference
（OECC’９６）Technical Digest，July１９９６，Maku
hari Messe（p ５１６−p ５１７）には、ＣＣＤカメラ
により撮像された画像データを処理することによって、
画像中の物体の輪郭線（エッジ）を抽出する技術が開示
されている。このエッジから人体の動きを判定すること
ができる。そして、検出された人体の動きをコントロー
ラによる入力に代えてコンピュータゲームに入力するこ
とによって、例えば格闘ゲームを構成することが可能と
なる。

【０００５】

【発明が解決しようとする課題】従来の姿勢認識装置で
は、人体を撮影した画像から輪郭線を抽出する処理を行
うために、信号処理に時間を費やし、応答が遅くなると
いう欠点があった。例えば、人体の姿勢を認識する時間
がO ．６秒からO ．７秒程度必要であるとされている。
O ・６秒もの時間が、認識するために費やされてしまっ
ては、ゲームの応答が遅くなり、実用的とは言えなかっ
た。また、輪郭線の抽出および認識の処理がコンピュー
タで行われるため、高価なコンピュータを必要とすると
いう欠点があった。

【０００６】更に、従来の姿勢認識装置では、対象とな
る人間が身につけている衣服の模様と、人間の背景が同
じ色かつ同じ反射率であると、人間と背景との区別が付
かなくなることがあり、動作が不安定となる問題点があ
った。

【０００７】従って、この発明の目的は、高速で、小規
模のハードウエアによって、人体を含む様々な物体の形
状や姿勢を、背景によらずに安定に認識する画像認識装
置および方法を提供することにある。また、この発明の
もう一つの目的は、人体、あるいは人体の部位の姿勢を
認識し、認識結果をゲームに反映させることが可能な姿
勢検出ゲーム装置および方法を提供することにある。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
めに、請求項１記載の発明は、画像入力手段により入力
された画像信号により対象物の状態を認識する画像認識
装置において、画像信号に含まれる背景を除去する背景
除去手段と、背景除去手段の出力から画像を認識する認
識手段とで構成し、背景除去手段は対象物または対象物
の背景を照明する照明手段と、照明手段の照射する照度
の変化を検出する照度変化検出手段と、画像信号と照度
変化検出手段の出力に従って処理を行う信号処理手段と
により構成されることを特徴とする画像認識装置であ
る。請求項４の発明は、請求項１のように画像を認識す
る画像認識方法である。

【０００９】また、請求項５に記載の発明は、人体、あ
るいは人体各部の姿勢を画像信号として入力する画像入
力手段と、画像入力手段により入力された画像信号によ
り人体の姿勢を認識する姿勢認識手段と、姿勢認識手段
の出力に応じて異なった画像情報を作製する情報作成手
段と、画像情報を出力する画像出力手段を持つことを特
徴とする姿勢検出ゲーム装置において、姿勢認識手段は
画像信号に含まれる背景を除去する背景除去手段と、背
景除去手段の出力から画像を認識する認識手段とで構成
され、背景除去手段は対象物または対象物の背景を照明
する照明手段と、照明手段の照射する照度の変化を検出
する照度変化検出手段と、画像信号と照度変化検出手段
の出力に従って処理をおこなう信号処理手段とにより構
成されることを特徴とする姿勢検出ゲーム装置である。

【００１０】この発明では、主に認識対象を照明する光
源と、主に認識対象以外の背景側を照明する光源と、タ
イミングコントローラと、背景除去回路とが設けられ、
夫々の光源を制御することで、認識対象の像の照度を背
景の照度と独立して変化させ、背景除去回路において、
認識対象に照明を当てている時のビデオ信号と背景側に
照明を当てている時のビデオ信号とを用いて所定の演算
処理を行うことで、背景部分の信号振幅を減少させると
共に、認識対象部分の信号を強調したビデオ信号を形成
する。このビデオ信号が認識ユニットに供給され、所定
の認識処理がなされる。

【００１１】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１は、この発明の一実
施形態に係る姿勢検出ゲーム装置を全体的に示すブロッ
ク図である。この姿勢検出ゲーム装置は、壁８の前に立
ってプレイを行っているゲームプレイヤ１の姿勢をＣＣ
Ｄカメラ２で電気信号（いわゆるビデオ信号）ＳＶに変
換し、姿勢認識装置３に入力する。姿勢認識装置３で
は、ゲームプレイヤ１の現在の姿勢を認識する。典型的
な例は、格闘ゲームであるが、この発明は、他の種類の
ゲーム、あるいは他の認識装置としても適用できる。例
えばストレッチ体操等のエキササイズのゲームを構成す
ることができる。これは、画面上のコーチ、教師の行う
体操をプレイヤが真似て、上手く真似るほど、点数が良
くなるゲームである。さらに他の例としては、ベルトコ
ンベアー上を流れる製品の欠陥検査装置などにも適用可
能である。

【００１２】姿勢認識装置３により、ゲームプレイヤ１
が『パンチ』を出している姿勢であると認識された場合
には、ゲーム装置４に対して信号ＰＣをアクティブにす
る、また、同様にゲームプレイヤ１の現在の姿勢が『キ
ック』であると認識された場合には、ゲーム装置４に対
して信号ＫＫをアクティブにする。ゲーム装置４は、こ
れらの外部入力信号ＰＣまたはＫＫを、ゲームプレイヤ
１の姿勢が『パンチ』または『キック』と認識されたも
のとして、信号ＰＣとＫＫに従って、ゲームを進行す
る。

【００１３】具体的には、信号ＰＣがアクティブの場合
には、ゲームのキャラクターに『パンチ』を行わせ、ま
た同様に信号ＫＫがアクティブの場合には、ゲームのキ
ャラクターに『キック』を行わせるようになされてい
る。このゲームの進行状況は、ディスプレイ装置５に表
示され、ゲームプレイヤ１が常にゲームの進行状況を把
握できるように構成されている。すなわち、既存のコン
ピュータゲームにおける外部入力装置（押しボタンキ
ー、ジョイスティック、トラックボール等）に変わるも
のとして、姿勢認識装置３からの信号ＰＣ，ＫＫが使用
される。ゲーム装置４に対してディスプレイ装置５が接
続され、ディスプレイ装置５には、ゲーム装置４からビ
デオ信号ＶＤが供給される。

【００１４】このようなゲーム装置４としては、例え
ば、ソニーコンピュータエンターテイメント社から発売
されている、『プレイステーション』を使用することが
できる。また、ディスプレイ装置５に関しては、一般の
テレビモニターを使用することができる。図１では、理
解の容易のため、ディスプレイ装置５上に表示されてい
るキャラクターがプレイヤと同様の形とされているが、
実際には、プレイヤとは別個の娯楽性を高めるためのア
ニメーション等のゲーム装置４で作成されたキャラクタ
ーが表示される。キャラクターとしては、複数種類のも
のが用意されており、プレイヤが好みのものを選択可能
としても良い。

【００１５】また、プレイヤ１の姿勢を正確に認識する
上で、プレイヤ１の立つ場所等が必要に応じて指定され
る。さらに、図１の例では、プレイヤ１が一人の例であ
り、ゲーム装置４により作成された対戦相手のキャラク
ターがディスプレイ装置５上に表示される。プレイヤ１
は、相手の動きを見ながら、３種類のいずれかの姿勢を
とる。ゲーム装置４では、対戦相手の動きとプレイヤ１
の姿勢とから点数を集計し、点数表示を行う。また、１
ゲームの時間を規定し、ゲーム終了後に集計点数と勝敗
の表示を行うことができる。これらの態様は、既存の格
闘ゲームに採用されているものを適用できる。

【００１６】図２は、この発明を適用することができる
ゲーム装置の他の例である。すなわち、図２は、２名の
ゲームプレイヤ１Ａ，１Ｂが格闘ゲームを楽しむことを
可能としたものである。各プレイヤ１Ａ，１Ｂを撮影す
るために、ＣＣＤカメラ２Ａ，２Ｂが設置され、各カメ
ラ２Ａ，２Ｂからのビデオ信号ＳＶ(A) 、ＳＶ(B）が姿
勢認識装置３Ａ，３Ｂにそれぞれ供給される。

【００１７】姿勢認識装置３Ａ，３Ｂは、各プレイヤ１
Ａ，１Ｂの姿勢を認識し、『パンチ』の姿勢でアクティ
ブとなる信号ＰＣ(A）、ＰＣ(B）と、『キック』の姿勢
でアクティブとなる信号ＫＫ(A）、ＫＫ(B）をそれぞれ
発生する。これらの信号をゲーム装置４が受け取リ、デ
ィスプレイ装置５上に各プレイヤ１Ａ，１Ｂにそれぞれ
対応する二つのキャラクターを表示する。プレイヤ１
Ａ，１Ｂの姿勢に応じて、各キャラクターが格闘を行
い、点数の集計等がなされる。

【００１８】この発明の一実施形態は、プレイヤが１名
の場合（図１）、プレイヤが２名の場合（図２）を選択
することが可能とされている。しかしながら、この発明
の特徴とする点は、姿勢認識装置３，３Ａ，３Ｂに存す
るので、簡単のため図１に示すプレイヤが１名の場合を
例として、姿勢認識について以下説明する。

【００１９】図３は、この発明の一実施形態を示し、図
３において、３にて示されるのが姿勢認識装置である。
尚、図３において、図１と対応する箇所には、同一の参
照符号が付されている。姿勢認識装置３は、図３に示す
ように背景除去ユニット９および認識ユニット３２とに
より構成されている。また、背景除去ユニット９は、タ
イミングコントローラ６、照明光源７Ａ，７Ｂおよび背
景除去回路３１により構成されている。

【００２０】背景除去ユニット９では、入力されたビデ
オ信号ＳＶから背景の影響を取り除き、ゲームプレイヤ
１の信号を主に含むようなビデオ信号ＶＸを生成して認
識ユニット３２に送出する。なお、背景除去ユニット９
の動作に関しては後でより詳細に説明する。

【００２１】図４は、認識ユニット３２の動作原理を簡
単に示すものである。認識ユニット３２おいて、入力さ
れたビデオ信号ＶＸは、図４に示すような２つの領域
（Ｐ１，Ｆ１）に分割され、それぞれの領域内における
信号強度が算出されるようになされている、２つの領域
は、ＣＣＤカメラ２の撮影画面（図４で外枠として示
す）内の一部の領域である。また上述したように、ゲー
ムプレイヤ１が図３に示すような画面中の位置に合致す
るように、ゲームプレイヤ１の立つ位置等が規定されて
いる。

【００２２】図５は、更に、この発明の一実施形態にお
いて認識される３通りの姿勢を示す。すなわち、図５Ａ
は、『静止』の姿勢であリ、図５Ｂが『パンチ』の姿勢
であり、図５Ｃが『キック』の姿勢である。図５Ａに示
す『静止』の姿勢をゲームプレイヤ１がとっている時に
は、（Ｐ１、Ｆ１）で示される２つの検出領域からの信
号出力を考えると、ゲームプレイヤ１の映像がこれら２
つの検出領域のいずれにも入っていないので、これらの
領域のビデオ信号が一定レベルの出力信号となってい
る。このとき認識ユニット３２は、ゲームプレイヤ１が
『静止』姿勢を取っていると判定し、ゲーム装置４には
信号がなにも送られず、ゲームが進行しない。

【００２３】図５Ｂでは、ゲームプレイヤ１が『パン
チ』の姿勢をとっている。このとき、領域Ｐ１において
は、ゲームプレイヤ１の腕の映像が信号検出領域に入っ
ているので、大きな出力信号となっている。一方、領域
Ｆ１においては、検出領域内にゲームプレイヤ１の映像
が入っていないので、信号レベルは一定の値となってい
る。このとき認識ユニット３２では、領域Ｐ１における
信号が大きな出力レベルになったことを検出して、認識
ユニット３２は、ゲーム装置４に対する信号ＰＣをアク
ティブとする。この結果ゲーム装置４は、ゲーム上のキ
ャラクターに『パンチ』の動作を行わせるようにゲーム
を進行する。

【００２４】図５Ｃでは、ゲームプレイヤ１が『キッ
ク』の姿勢を取っている。このとき、領域Ｆ１において
は、ゲームプレイヤ１の足の部分の映像が信号検出領域
に入っているので、大きな出力信号となっている。一
方、領域Ｐ１では、検出領域内にゲームプレイヤ１の映
像が入っていないので、信号レベルは一定の値となって
いる。このとき認識ユニット３２では、領域Ｆ１におけ
る信号が大きな出力レベルになったことを検出して、ゲ
ームプレイヤ１が『キック』の姿勢をとっていると認識
する。従って、認識ユニット３２はゲーム装置４に対す
る信号ＫＫをアクティブとする。この結果ゲーム装置４
は、ゲーム上のキャラクターに『キック』の動作を行わ
せるようにゲームを進行する。

【００２５】以上述べたように、認識ユニット３２は、
入力されたビデオ信号のうち、所定の領域内の信号強度
を求め、その値が所定の値を超えて大きいかどうかだけ
を検出することにより、ゲームプレイヤ１の姿勢を判定
する。このような判定処理は、市販されているパーソナ
ルコンピュータの画像処理プログラムで実現可能であ
る。また、信号強度を検出する手段としてホログラムを
用いても良く、ホログラムを用いて認識処理を行う認識
ユニット３２に関しては、後で詳述する。

【００２６】このように簡単な処理でゲームプレイヤ１
の姿勢が判定できる理由は、背景除去ユニット９が背景
の情報とゲームプレイヤ１の情報を確実に分離している
ことに起因する。以下にこの背景除去ユニット９の動作
を説明する。

【００２７】図３に示すように、背景除去ユニット９を
構成するタイミングコントローラ６は、信号ＬＡと信号
ＬＢを交互に論理１（例えば、信号レベルをハイレベル
とする）とすることにより、照明光源７Ａと７Ｂを交互
に点灯させる。即ち信号ＬＡが論理１である場合には照
明光源７Ａが点灯し、また信号ＬＢが論理１である場合
には照明光源７Ｂが点灯するようになされている。同時
にタイミングコントローラ６は、信号ＬＡを論理１とし
ている期間、タイミング信号ＴＬを論理１として背景除
去回路３１に対して送出する。このことにより、タイミ
ングコントローラ６は背景除去回路３１に対して照明光
源７Ａ，７Ｂのどちら側が点灯しているかを通知する。

【００２８】図６は、ＣＣＤカメラ２、壁８、ゲームプ
レイヤ１、照明光源７Ａ，７Ｂの配置関係の一例を示
す。図６において、壁８の前にゲームプレイヤ１が立っ
ていて、照明光源７Ａ，７Ｂがおかれている。さらにゲ
ームプレイヤ１の姿勢を、図中の点線が示すような範囲
でＣＣＤカメラ２が撮影するようになされている。

【００２９】図７Ａは、照明光源７Ａが点灯したときの
様子を示している。この場合にはゲームプレイヤ１が照
明され、明るい像として浮かび上がる。一方で、図７Ｂ
は、照明光源７Ｂが点灯した場合である。この図７Ｂに
示す場合には、壁８だけが明るく照明され、ゲームプレ
イヤ１は逆に暗い像としてＣＣＤカメラ２により撮影さ
れる。このようにして、照明光源７Ａ，７Ｂの照明方法
を制御することにより、ゲームプレイヤ１の像を背景と
は独立に変化させることができる。従って、次に説明す
るように背景除去回路３１で所定の信号処理を施すこと
により、背景の情報を除去してゲームプレイヤ１の情報
をほぼ独立に得ることが可能となる。

【００３０】図８は、上述した背景除去ユニット９の背
景除去回路３１の具体的な構成の一例を示す。図８にお
いて、入力されたビデオ信号ＳＶは、画像メモリ３３お
よび３４に供給される。画像メモリ３３は、タイミング
信号ＴＬが論理１である場合に、ビデオ信号ＳＶを内部
のメモリに記憶するように構成されている。また、画像
メモリ３３は、記録された画像情報をビデオ信号ＳＦと
して常に出力するように構成されている。タイミング信
号ＴＬが論理１である場合には、先に述べたように信号
ＬＡも論理１であるので、照明光源７Ａが点灯している
状態である。即ち、図７Ａで説明したように、ゲームプ
レイヤ１に照明が当たっているときのビデオ信号が画像
メモリ３３に記録され、また同時に信号ＳＦとして出力
される。

【００３１】一方で画像メモリ３４には、反転回路３５
により、タイミング信号ＴＬの論理が反転されて供給さ
れる。従って、画像メモリ３４では、タイミング信号Ｔ
Ｌが論理０（例えば、信号レベルをローレベルとする）
で、反転回路３５の出力が論理１である場合に、ビデオ
信号ＳＶを内部のメモリに記憶するように構成されてい
る。また、画像メモリ３４においても、記録された画像
情報をビデオ信号ＳＢとして常に出力するように構成さ
れている。タイミング信号ＴＬが論理０である場合に
は、信号ＬＢが論理１であるので、照明光源７Ｂが点灯
している状態である。即ち、図７Ｂで説明したように、
壁８に照明が当たっていて、ゲームプレイヤ１が相対的
に暗くなっているときのビデオ信号が画像メモリ３４に
記録され、また同時に信号ＳＢとして出力される。

【００３２】画像メモリ３３の出力信号ＳＦと、画像メ
モリ３４の出力信号ＳＢの差が減算回路３６により演算
され、背景が除去されたビデオ信号ＶＸとなって出力さ
れる。このようにして得られたビデオ信号ＶＸは、背景
の信号振幅が減少し、ゲームプレイヤ１からの信号が強
調されたビデオ信号となっている。従って、簡単な構成
の認識ユニット３２により安定かつ確実な認識が実現さ
れる。

【００３３】以上のように、本発明の装置は背景の影響
を除去してゲームプレイヤ１の姿勢を認識して、ゲーム
プレイヤ１の姿勢に従ったゲームを構成することが可能
となる。上述した一実施形態においては、パンチとキッ
クに関しての検出を例として説明したが、本発明はこれ
に限らず、例えば、『ジャンプ』、『後ろ蹴り』、『し
ゃがみ込み』など、ゲームプレイヤ１のいかなる姿勢に
対しても適用することが可能である。

【００３４】また、上述した一実施形態においては、照
明光源７Ａ，７Ｂとしてそれぞれ１つの光源を用いた
が、本発明はこれに限らず、例えば２つ以上の光源をそ
れぞれ照明光源７Ａ，７Ｂとして使用することも可能で
ある。また、光源としては、ストロボライトなどの光量
が急峻に変化する物を用いることもできる。

【００３５】更に、上述した一実施形態においては、照
明光源７Ａ，７Ｂが交互にオンオフを繰り返すものとし
て説明したが、本発明はこれに限らず、例えばゲームの
開始時点のみにおいて照明光源７Ｂを点灯させた後に背
景の情報を画像メモリ３４に取り込み、その後はずっと
照明光源７Ａを点灯させてゲームを続行するようにして
も構わない。

【００３６】更に、上述の実施形態においては、背景除
去された信号ＶＸを得るために減算回路３６を用いた
が、本発明はこれに限らず、例えば減算回路３６の後に
２値化回路を配置して、さらに確実に背景の情報を除去
することも可能である。

【００３７】更に、上述した一実施形態においては、照
明光源７Ａ，７Ｂとしてそれぞれ１つの光源を用いた
が、本発明はこれに限らず、例えば１つの光源を用いて
指向性を切り替えたり、照明方向を切り替えたりするよ
うにしても良い。

【００３８】図９は、上述した認識処理を行う認識ユニ
ット３２の一例の構成を示し、ホログラム２０が用いら
れている。また、図１０は、人体の姿勢を認識するため
に割り当てられた信号強度の検出領域の他の例を示す。
前述した一実施形態においては、説明を簡単とするた
め、二つの検出領域（Ｐ１，Ｆ１）を設けて『パンチ』
『キック』『静止』の３通りの姿勢を認識する場合につ
いて説明したが、『前方へのパンチ』『斜め上方へのパ
ンチ』『前方へのキック』『後方へのキック』『しゃが
み』『ジャンプ』の６通りの姿勢を認識する場合につい
て説明する。

【００３９】図１０において、『しゃがみ』を認識する
ための信号強度の検出領域がＤｄで示され、ゲームプレ
イヤ１が『しゃがみ』の姿勢をとった時には検出される
信号強度が相対的に小さくなる。

【００４０】また、『前方へのパンチ』を認識するため
の信号強度の検出領域がＭＰｄで示され、『斜め上方へ
のパンチ』を認識するための信号強度の検出領域がＵＰ
ｄで示され、『前方へのキック』を認識するための信号
強度の検出領域がＫｄで示され、『後方へのキック』を
認識するための信号強度の検出領域がＢＫｄで示され、
『ジャンプ』を認識するための信号強度の検出領域がＪ
ｄで示される。『しゃがみ』以外の夫々の姿勢に対応し
て割り当てられた信号強度の検出領域においては、夫々
の姿勢をとった時には『しゃがみ』の場合とは逆に検出
される信号強度が相対的に大きくなる。

【００４１】図９において、背景除去回路３１からの背
景部分の信号振幅が減少し、ゲームプレイヤ１の部分の
信号が強調されたビデオ信号ＶＸは、液晶ディスプレイ
４３に送られ、液晶ディスプレイ４３上に２次元の情報
として投影される。レーザ発振器４１からのレーザ光線
は、コリメーターレンズ４２により平行光線に変換され
た後に、この液晶ディスプレイ４３を照射する。従っ
て、液晶ディスプレイ４３の直後には、コヒーレントな
レーザ光として、ＣＣＤカメラ２で撮影された画像が復
元される。このコヒーレントな光による画像情報は、結
像レンズ４４によってホログラム２０上に結像される。
また、レーザ発振器４１は、レーザパワー制御装置４０
（Automatic Power Control 回路）により、常に所定の
出力が得られるように制御されている。

【００４２】このようにして液晶ディスプレイ４３上に
得られたゲームプレイヤ１の姿勢情報は、結像レンズ４
４によってホログラム２０上に投影される。ホログラム
２０は、投影された画像を必要に応じて６個の領域（Ｍ
Ｐｄ，ＵＰｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）に分割し、
各領域中の強度に比例した強度の光線を異なる角度方向
に回析させる。

【００４３】ホログラム２０によって回析された光線の
方向を図１１に示す。この図１１において、領域ＭＰｄ
の内部の光強度に比例した強度の光線がＡの方向に向か
って飛ぶようになされている。また、同様にして領域Ｕ
Ｐｄ内部の光強度に比例した強度を持つ光線が、Ｂの方
向に発生する。以下同様に、領域（Ｋｄ，ＢＫｄ，Ｊ
ｄ，Ｄｄ）の光強度に従ってＣ〜Ｆの方向に光線が飛ぶ
ようになされる。このように、６個の領域（ＭＰｄ，Ｕ
Ｐｄ，Ｋｄ，ＢＫｄ，Ｊｄ，Ｄｄ）毎に光線の角度を所
定のものとするためには、ホログラム２０の６個の領域
にそれぞれ対応する領域に所定の縞模様を形成する必要
がある。すなわち、ホログラム２０は、例えば各領域が
所定の方向に回析するようになされた回析格子として構
成されたＣＧＨ（Computer Generated Hologram)などの
手法で作製することができる。

【００４４】ホログラム２０から回析された光線は、デ
ィテクターアレイ４５により電気信号に変換される。デ
ィテクターアレイ４５は、図１１中のＡからＦまでの各
方向に対して、少なくとも１つ以上の独立したフォトデ
ィテクターを持ち、各方向成分の光線を独立に検出して
６個の電気信号（図９におけるＢｄ１，Ｂｄ２，Ｂｄ
３，Ｂｄ４，Ｂｄ５，Ｂｄ６）に変換する。この電気信
号のレベル（ピーク値、または平均値）は、ＡからＦま
での各方向の光線の強度に対応する。なお、図９では、
６個の領域に対応して６個のフォトディテクターを使用
しているが、一つの領域に対して、複数のフォトディテ
クターを使用しても良い。

【００４５】このようにして得られた６個の電気信号
（Ｂｄ１，Ｂｄ２，Ｂｄ３，Ｂｄ４，Ｂｄ５，Ｂｄ６）
は、増幅ユニット２７により、各検出信号毎に増幅さ
れ、十分なＳＮＲ（信号対雑音比）が得られる検出信号
（Ａｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）
として判定ユニット２８に出力される。増幅ユニット２
７は、例えば６つのオペレーショナル・アンプリファイ
ヤーを単純に並べることで構成することができる。

【００４６】判定ユニット２８は、６個の検出信号（Ａ
ｄ１，Ａｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）を入
力とし、ゲームプレイヤ１の姿勢が『前方へのパンチ』
と判定した場合には、信号ＰＣ１をアクティブとし、
『斜め上方へのパンチ』と判定した場合には、信号ＰＣ
２をアクティブとする。また、ゲームプレイヤ１の姿勢
が『前方へのキック』と判定した場合には、信号ＫＫ１
をアクティブとし、『後方へのキック』と判定した場合
には、信号ＫＫ２をアクティブとする。更に、ゲームプ
レイヤ１の姿勢が『しゃがみ』と判定した場合には、信
号ＳＤをアクティブとし、『ジャンプ』と判定した場合
には、信号ＪＭをアクティブとする。

【００４７】判定ユニット２８の一例を図１２に示す。
図１２において、６本の入力（検出）信号（Ａｄ１，Ａ
ｄ２，Ａｄ３，Ａｄ４，Ａｄ５，Ａｄ６）は、Ａ／Ｄコ
ンバータ８１Ａ〜８１Ｆによって各８ビットのディジタ
ル信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）に変換
される。この結果のディジタル信号（Ｄ１，Ｄ２，Ｄ
３，Ｄ４，Ｄ５，Ｄ６）は、図示しないインターフェー
ス回路を通して、マイクロプロッセッサー８２に取り込
まれる。

【００４８】マイクロプロッセッサー８２は、上述の入
力信号からゲームプレイヤ１の姿勢を判定して、『前方
へのパンチ』の姿勢であると判定した場合には信号ＰＣ
１をアクティブとし、『斜め上方へのパンチ』の姿勢で
あると判定した場合には信号ＰＣ２をアクティブとす
る。また、『前方へのキック』の姿勢であると判定した
場合には信号ＫＫ１をアクティブとし、『後方へのキッ
ク』の姿勢であると判定した場合には信号ＫＫ２をアク
ティブとする。更に、『しゃがみ』の姿勢であると判定
した場合には、信号ＳＤをアクティブとし、『ジャン
プ』の姿勢であると判定した場合には、信号ＪＭをアク
ティブとする。これらの信号（ＰＣ１，ＰＣ２，ＫＫ
１，ＫＫ２，ＳＤ，ＪＭ）は、ゲーム装置４に対して供
給される。

【００４９】マイクロプロセッサ８２が行う『前方への
パンチ』『斜め上方へのパンチ』『前方へのキック』
『後方へのキック』『しゃがみ』『ジャンプ』の６姿勢
の判定動作のうちの『前方へのパンチ』及び『前方への
キック』の場合を特に例として挙げながら次に説明す
る。マイクロプロセッサ８２の内部には、図１３に示す
ような（７行×６バイト，図１３中には３行分しか図示
せず）のメモリが搭載されている。第１行目のメモリ
は、入力バッファーであり、入力された６つのディジタ
ル検出信号（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）が
常に保持されている。

【００５０】第２行目のメモリは、前方へのパンチ姿勢
基準として用いられる基準値を保持する。このメモリ
は、ゲーム開始に先立ち、実際にゲームを楽しもうとす
るゲームプレイヤ１が『前方へのパンチ』の姿勢である
ときの画像をＣＣＤカメラ２で取り込み、増幅ユニット
２７の出力から得られた６バイトの信号を保持してい
る。このメモリに保持される『前方へのパンチ』の基準
値を、（ＹＭ１，ＹＭ２，ＹＭ３，ＹＭ，ＹＭ５，ＹＭ
６）と表記する。

【００５１】第３行目のメモリは、前方へのキック姿勢
基準として用いられる基準値を保持する。これらのメモ
リは、ゲーム開始に先立ち、ゲームプレイヤ１が『前方
へのキック』の姿勢であるときの画像をＣＣＤカメラ２
で取り込み、増幅ユニット２７の出力から得られた６バ
イトの夫々の信号を保持している。第３行目のメモリに
保持される『前方へのキック』の基準値を、（ＺＦ１，
ＺＦ２，ＺＦ３，ＺＦ４，ＺＦ５，ＺＦ６）と表記す
る。

【００５２】第２行目及び７行目のメモリに保持する各
姿勢の基準値は、例えば工場出荷時に実験を行って定
め、ＲＯＭ（リードオンリーメモリ）として構成してお
くことができる。このようにＲＯＭで構成すれば、電源
を入れただけで直ちに使用を開始することも可能であ
る。また、ＲＡＭ（ランダムアクセスメモリ）として構
成することも可能である。ＲＡＭで構成し、上述したよ
うに、実際のプレイヤーの姿勢から基準値を生成するこ
とによって、ゲームプレイヤ１の個人的な差を吸収し
て、確実な動作をさせることが可能となる。

【００５３】マイクロプロッセッサ８２は、これらのメ
モリに保持された値に対して、例えば、各パラメータの
差の二乗和の演算を行う。この演算によって、入力信号
（Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６）と、各姿勢の
基準値のそれぞれとの距離を求める。例えば、『前方へ
のパンチ』及び『前方へのキック』の場合には、以下の
数式（１）及び（２）で示されるような演算を行い、距
離ＤＭＹ及びＤＦＺを算出する。

【００５４】ＤＹＭ＝（Ｄ１−ＹＭ１）²＋（Ｄ２−ＹＭ２）²＋（Ｄ３−ＹＭ３）²＋（Ｄ４−ＹＭ４）²＋（Ｄ５−ＹＭ５) ²＋（Ｄ６−ＹＭ６）²・・・（１）ＤＺＦ＝（Ｄ１−ＺＦ１）²＋（Ｄ２−ＺＦ２）²＋（Ｄ３−ＺＦ３）²＋（Ｄ４−ＺＦ４）²＋（Ｄ５−ＺＦ５）²＋（Ｄ６−ＺＦ６）²・・・（２）マイクロプロセッサ８２は、このようにして生成した各
姿勢の距離に関して大小比較を行い、求められた距離が
もっとも小さいものを決定する。この大小比較の結果、
例えば、ＤＹＭの値がもっとも小さいと判定された場合
には、マイクロプロセッサ８２はゲームプレイヤ１が
『前方へのパンチ』の姿勢をとっていると判断し、ゲー
ム装置４に対する信号ＰＣ１をアクティブにして、前方
へのパンチの動作を行うように指示する。

【００５５】同様にして、大小比較の結果、例えば、Ｄ
ＺＦの値がもっとも小さいと判定された場合には、マイ
クロプロセッサ８２はゲームプレイヤ１が『前方へのキ
ック』の姿勢をとっていると判断し、ゲーム装置４に対
する信号ＫＫ１をアクティブにして、前方へのキックの
動作を行うように指示する。

【００５６】また、他の姿勢の距離が小さい場合には、
同様に対応する信号をアクティブとし、その姿勢を行う
ように指示する。尚、ゲームプレイヤの姿勢を認識する
タイミングは、予め決定された所定時間の周期、または
検出信号の大きな変化が発生する時点になされる。

【００５７】以上のように、この発明の姿勢検出ゲーム
装置１は、ゲームプレイヤ１の姿勢を認識して、ゲーム
プレイヤ１の姿勢にしたがったゲームを構成することが
可能となる。尚、その他の姿勢『静止』に関しても、同
様に距離計算がなされ、もっとも近い場合には、その動
作を行うように処理される。

【００５８】

【発明の効果】この発明では、主に認識対象を照明する
光源と、主に認識対象以外の背景側を照明する光源と、
タイミングコントローラと、背景除去回路とが設けら
れ、夫々の光源を制御することで、認識対象の像の照度
を背景の照度と独立して変化させ、背景除去回路におい
て、認識対象に照明を当てている時のビデオ信号と背景
側に照明を当てている時のビデオ信号とを用いて所定の
演算処理を行うことで、背景部分の信号振幅を減少させ
ると共に、認識対象部分の信号を強調したビデオ信号を
形成し、この信号に基づいて認識処理を行う。従って、
この発明に依れば、認識される物体の色や反射率などが
多少変化しても、安定かつ確実に認識処理を行うことが
可能となる。また、輪郭線の抽出が必要ないので、高速
な動作が可能となり、安価な信号処理装置で実現するこ
とが可能となる。

【００５９】また、この発明では、輪郭線の抽出が必要
ないので、認識装置をフォログラムなどの回折手段を使
って実現することも可能となり、更に安価で高速な動作
を実現することができる。

【００６０】更に、この発明の姿勢検出ゲーム装置にお
いては、ゲームプレイヤの衣服や肌の色が様々に異なっ
ても、安定な認識に基づく快適なゲームを常に提供する
ことができ、また、大がかりな背景の設定などが必要無
くなり、ゲーム装置がより安価に構成できる。

【図面の簡単な説明】

【図１】この発明の一実施形態に係る姿勢検出ゲーム装
置の一例を示すブロック図である。

【図２】この発明の一実施形態に係る姿勢検出ゲーム装
置の他の例を示すブロック図である。

【図３】この発明の一実施形態のブロック図である。

【図４】この発明の一実施形態における姿勢認識装置の
動作を説明する略線図である。

【図５】この発明の一実施形態における姿勢認識装置の
動作を説明する略線図である。

【図６】この発明の一実施形態における背景除去ユニッ
トの動作を説明する略線図である。

【図７】この発明の一実施形態における背景除去ユニッ
トの動作を説明する略線図である。

【図８】この発明の一実施形態の要部のブロック図であ
る。

【図９】この発明の一実施形態における認識ユニットの
一例を示すブロック図である。

【図１０】この発明の一実施形態における認識ユニット
の動作を説明する略線図である。

【図１１】図９に示す認識ユニットにおけるホログラム
の回折効果を説明する略線図である。

【図１２】図９に示す認識ユニットの要部の一例を示す
ブロック図である。

【図１３】図１２に示す認識ユニットの要部におけるマ
イクロプロセッサ内部のメモリを示す略線図である。

【符号の説明】１・・・ゲームプレイヤ、２・・・ＣＣＤカメラ、３・
・・姿勢認識装置、４・・・ゲーム装置、５・・・ディ
スプレイ装置、６・・・タイミングコントローラ、７
Ａ，７Ｂ・・・照明光源、８・・・壁、９・・・背景除
去ユニット、３１・・・背景除去回路、３２・・・認識
ユニット、３３，３４・・・画像メモリ、３５・・・反
転回路、３６・・・減算回路

Claims

【特許請求の範囲】

【請求項１】画像入力手段により入力された画像信号
により対象物の状態を認識する画像認識装置において、前記画像信号に含まれる背景を除去する背景除去手段
と、前記背景除去手段の出力から画像を認識する認識手段と
で構成され、前記背景除去手段は、前記対象物または前記対象物の背景を照明する照明手段
と、前記照明手段の照射する照度の変化を検出する照度変化
検出手段と、前記画像信号と前記照度変化検出手段の出力に従って処
理を行う信号処理手段とにより構成されることを特徴と
する画像認識装置。
【請求項２】請求項１において、前記照明手段は、主に前記対象物を照明する第一の照明手段と、主に前記対象物の背景を照明する第二の照明手段とで構
成され、前記第一または第二の照明手段の少なくとも一つはその
照明強度を時間的に変化するように構成されていること
を特徴とする画像認識装置。
【請求項３】請求項１または２において前記信号処理手段は、前記画像信号を保持する画像記憶手段と、前記画像記憶手段に記憶された画像情報を使って背景の
除去を行う演算手段とで構成され、前記画像記憶手段が画像を記憶するタイミングは前記照
度検出手段の出力によって定められるように構成されて
いることを特徴とする画像認識装置。
【請求項４】画像入力手段により入力された画像信号
を使って対象物の状態を認識する画像認識方法におい
て、前記認識方法は前記画像信号に含まれる背景を除去する
背景除去ステップと、前記背景除去ステップの結果を用いて画像を認識する認
識ステップとで構成され、前記背景除去ステップは前記対象物、あるいは前記対象
物の背景の照明強度を変化させる照明強度変化ステップ
と、前記照明強度が変化した時点での前記画像信号を保持す
る画像信号保持のステップと、前記画像信号と、前記画像信号保持のステップの両方か
ら得られる信号を処理する信号処理ステップにより構成
されていることを特徴とする画像認識方法。
【請求項５】人体、あるいは人体各部の姿勢を画像信
号として入力する画像入力手段と、前記画像入力手段に
より入力された画像信号により前記人体の姿勢を認識す
る姿勢認識手段と、前記姿勢認識手段の出力に応じて異
なった画像情報を作製する情報作成手段と、前記画像情
報を出力する画像出力手段とを持つことを特徴とする姿
勢検出ゲーム装置において、前記姿勢認識手段は、前記画像信号に含まれる背景を除去する背景除去手段
と、前記背景除去手段の出力から画像を認識する認識手段と
で構成され、前記背景除去手段は、前記対象物または前記対象物の背景を照明する照明手段
と、前記照明手段の照射する照度の変化を検出する照度変化
検出手段と、前記画像信号と前記照度変化検出手段の出力に従って処
理を行う信号処理手段とにより構成されることを特徴と
する姿勢検出ゲーム装置。
【請求項６】請求項５において、前記照明手段は、主に前記対象物を照明する第一の照明手段と、主に前記対象物の背景を照明する第二の照明手段で構成
され、前記第一または第二の照明手段の少なくとも一つはその
照明強度を時間的に変化するように構成されていること
を特徴とする姿勢検出ゲーム装置。
【請求項７】請求項５または６において、前記信号処理手段は、前記画像信号を保持する画像記憶手段と、前記画像記憶手段に記憶された画像情報を使って背景の
除去を行う演算手段とで構成され、前記画像記憶手段が画像を記憶するタイミングは前記照
度検出手段の出力によって定められるように構成されて
いることを特徴とする姿勢検出ゲーム装置。
【請求項８】請求項５において、前記認識手段は、前記画像信号を２次元の光強度分布に変換する光強度変
調手段と、前記光強度変調手段の光強度分布を複数の領域に分割
し、前記領域毎に異なる角度方向に光を回折させる光回
折手段と、前記回折光の強度を求める複数の光検出手段とを有する
ことを特徴とする姿勢検出ゲーム装置。
【請求項９】請求項５において、前記画像入力手段及び前記姿勢認識手段が２以上の複数
の人体の姿勢を認識するために、前記複数の人体と対応
して分離して備えられていることを特徴とする姿勢検出
ゲーム装置。
【請求項１０】請求項５において、さらに、音声情報を作成する音声作成手段と、前記音声
情報を出力する音声出力手段とを有することを特徴とす
る姿勢検出ゲーム装置。