JPH11191158A - 動作認識方法 - Google Patents

Abstract

(57)【要約】 【課題】人物等の動作の認識を、人物等の動作を認識す
べき体を所要の部分領域に分け、部分領域毎の個別の認
識処理により実現する動作認識方法を提供する。 【解決手段】単色背景の前で動作する人物等の被写体を
カラーテレビジョンカメラで撮像した画像情報を動作認
識手段へ出力し、動作認識手段により、画像情報の中か
ら背景が持つ色情報以外の色情報を持つ画像領域を抽出
して２値化画像とし、２値化画像から得られる人物等の
個体長、個体幅に応じて分割した右頭上部、左頭上部、
右腕部、左腕部、頭部、中央部の各サンプル領域毎に、
２値化画像の水平および垂直方向の累積画素数を計数
し、それぞれに水平画素累積分布、垂直画素累積分布を
求めグラフ形状化し、得られたグラフ形状とあらかじめ
登録されている基本的なグラフ形状パターンとを比較
し、合致した基本形状パターンの時間的遷移により動作
の内容を認識、判断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物等、例えば手
足を動かす等の動作をしている人物をカラーテレビジョ
ンカメラで撮像し、出力される画像情報を動作認識装置
において処理し、動作する人物の画像領域の抽出、動作
する人物の手足の形状変化の解析、動作の内容の認識を
し、人物等の動作の認識、動作の判断を行なう動作認識
方法に関するものである。

【０００２】

【従来の技術】従来の技術による動作認識方法では、例
えば動作をしている人物を、カラーテレビジョンカメラ
で撮像し、カラーテレビジョンカメラから出力される画
像情報を動作認識装置に入力して、動作をしている人物
の動作の内容の認識、判断をする場合、単色背景、例え
ば青の背景を設置し、この青の単色背景の前で動作をす
る人物をカラーテレビジョンカメラで撮像し、カラーテ
レビジョンカメラから出力される画像情報を動作認識装
置に入力して、動作認識装置において処理を行ない、動
作をしている人物の画像領域のみを抽出し、抽出した人
物の画像領域の全体の変化を観察することにより、対象
とする人物の動作の認識、判断をするものであった。

【０００３】従来の技術による動作認識方法を説明する
ための概念図を、図２に示す。図２において、１は、動
作認識の対象となる人物（以下、対象者と記す）、２
は、対象者１の下方から後方に設置されている単色の背
景、１７は、対象者１の動作認識に必要な画像情報を入
手するためのカラーテレビジョンカメラ、１８は、カラ
ーテレビジョンカメラ１７で撮像した画像情報の処理を
行ない動作認識を行なう動作認識装置を示す。また、動
作認識装置１８で行なう動作認識に使用される要件とし
て、９、１０は、入力された画像情報から得られる対象
者１の個体長および個体幅、１１は、対象者１の中心軸
を表わす中心線、１９は、対象者１に応じたサンプル領
域、１２は水平のサンプル領域、１３は垂直のサンプル
領域、１４は、サンプル領域１９内で累積画素数をサン
プルするサンプル点、１５は、各サンプル点１４におけ
る水平の累積画素数を線で結んだ水平累積画素分布、１
６は、各サンプル点１４における垂直の累積画素数を線
で結んだ垂直累積画素分布を示す。

【０００４】設置されている、例えば青色の単色背景２
の前で所要の動作を行なう対象者１を、カラーテレビジ
ョンカメラ１７で撮像し、カラーテレビジョンカメラ１
７から出力される青色の背景の前に立つ対象者１の画像
情報を、動作認識装置１８に入力する。動作認識装置１
８では、カラーテレビジョンカメラ１７から入力された
青色の背景の前に立つ対象者１の画像情報から、単色背
景２が持つ色情報、つまり青色の色情報を選択し、選択
した青色以外の色情報を持つ画像領域、すなわち青色の
背景の前に立つ対象者１のみの画像領域を抽出し、抽出
された対象者１の画像情報を２値化して、例えば１と
し、抽出された対象者１以外の画像情報を２値化して、
例えば０として、２値化画像を生成する。

【０００５】このように２値化画像を生成し、動作認識
を行なうために、まず、初期設定を行なう。直立姿勢の
ときの対象者１をカラーテレビジョンカメラ１７で撮像
し、直立姿勢の対象者１の画像情報を、動作認識装置１
８へ出力する。動作認識装置１８では、入力される対象
者１の直立姿勢時の画像情報を処理し、対象者１の個体
長９と個体幅１０、および対象者１の中心線１１を抽出
し、水平サンプル領域１２と垂直サンプル領域１３とを
決定する。つぎに、初期設定された水平サンプル領域１
２と垂直サンプル領域１３とにおいて、それぞれの領域
で所要の数のサンプル点１４を等間隔で設定し、各サン
プル点１４における対象者１についての水平、垂直の画
素の累積画素数を計数し、水平画素累積分布１５および
垂直画素累積分布１６を求める。

【０００６】求められた水平画素累積分布１５および垂
直画素累積分布１６のグラフ形状の各サンプル点１４に
おける直前サンプル点からの画素数変動を表わす形状推
移を、あらかじめ登録されている基本形状推移パターン
と比較し、合致する基本形状パターンを認識する。認識
された合致する基本形状パターンの時間的遷移により、
対象者１が行なった動作の内容を判断する。なお、中心
線１１は、垂直画素累積分布１６の画素累積の分布内容
から判断し、画像の取り込み毎に更新し、対象者１の動
作の左右方向の変化に対応するようにしている。また、
水平サンプル領域１２、垂直サンプル領域１３を、対象
者１の個体幅１０および個体長９から求めることによ
り、対象者１の個別の体格に違いに対応することができ
るようにしている。

【０００７】

【発明が解決しようとする課題】従来の技術による動作
認識方法では、対象者１の全体をサンプル領域として設
定しているため、累積分布に大きな変化が生じるような
動作でなければ認識できず、複雑な動作や小さな変化を
伴う動作の認識には不適当であった。また、動作の認識
にまったく関係のない領域の画素累積分布の判断も行な
うために、余分な処理時間を必要とし、また、対象者１
の認識すべき動作の領域に直接関係のない領域、例えば
左手の動作の認識時に頭や胴体の動作も影響を及ぼす恐
れがあり、安定度に欠け、非効率的であった。本発明
は、前記欠点を解決し、人物等の動作の認識を、人物等
の動作を認識すべき体を所要の部分領域に分け、部分領
域毎の個別の認識処理により実現する動作認識方法を提
供することを目的とする。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、本発明の動作認識方法は、単色背景の前で動作する
人物等の被写体（以下、人物等と称す）をカラーテレビ
ジョンカメラで撮像した画像情報を動作認識手段へ出力
し、該動作認識手段により、前記画像情報の中から前記
背景が持つ色情報以外の色情報を持つ画像領域を抽出し
て２値化画像とし、該２値化画像から得られる前記人物
等の個体長、個体幅に応じて分割した右頭上部、左頭上
部、右腕部、左腕部、頭部、中央部の各サンプル領域毎
に、前記２値化画像の水平および垂直方向の累積画素数
を計数し、それぞれに水平画素累積分布、垂直画素累積
分布を求めグラフ形状化し、得られたグラフ形状とあら
かじめ登録されている基本的なグラフ形状パターン（基
本形状パターン）とを比較し、合致した基本形状パター
ンの時間的遷移により前記動作の内容を認識、判断する
ものである。

【０００９】また、本発明の動作認識方法は、単色背景
の前で動作する人物等をカラーテレビジョンカメラで撮
像した画像情報を動作認識手段へ出力し、該動作認識手
段により、前記画像情報の中から前記背景が持つ色情報
以外の色情報を持つ画像領域を抽出して２値化画像と
し、該２値化画像から得られる前記人物等の個体長、個
体幅に応じて分割した右頭上部、左頭上部、右腕部、左
腕部、頭部、中央部の各サンプル領域毎に、前記２値化
画像の水平および垂直方向の累積画素数を計数し、それ
ぞれに水平画素累積分布、垂直画素累積分布を求めグラ
フ形状化し、得られたグラフ形状とあらかじめ登録され
ている基本的なグラフ形状パターンとを比較し、合致し
た基本形状パターンの時間的遷移にしたがって、前記中
央部サンプル領域で前記人物等の胴体の向きが前方向あ
るいは横方向かを認識、判断し、該判断が前方向の場
合、前記右頭上部、左頭上部、右腕部、左腕部の各サン
プル領域により前記人物等の左右の腕の横方向の動作の
内容を認識、判断し、該判断が横方向の場合、前記右頭
上部、左頭上部、右腕部、左腕部の各サンプル領域によ
り前記人物等の左右の腕の前後方向の動作の内容を認
識、判断し、前記動作の内容を認識、判断するものであ
る。

【００１０】また、本発明の動作認識方法は、人物等の
眼部をテレビジョンカメラで撮像した画像情報を動作認
識手段へ出力し、該動作認識手段により、前記画像情報
の中から輝度の比較により前記人物等の眼部の瞳部分領
域を抽出して２値化画像とし、該２値化画像の水平およ
び垂直方向の累積画素数を計数し、それぞれ水平画素累
積分布、垂直画素累積分布を求めグラフ形状化し、得ら
れたグラフ形状とあらかじめ登録されている基本的なグ
ラフ形状パターンとを比較し、合致した基本形状パター
ンの時間的遷移により前記人物等の視線の方向を認識、
判断するものである。

【００１１】また、本発明の動作認識方法は、単色背景
の前で動作する人物等を第１のカラーテレビジョンカメ
ラで撮像した画像情報を動作認識手段へ出力し、該動作
認識手段により、前記画像情報の中から前記背景が持つ
色情報以外の色情報を持つ画像領域を抽出して２値化画
像とし、該２値化画像から得られる前記人物等の個体
長、個体幅に応じて分割した右頭上部、左頭上部、右腕
部、左腕部、頭部、中央部の各サンプル領域毎に、前記
２値化画像の水平および垂直方向の累積画素数を計数
し、それぞれに水平画素累積分布、垂直画素累積分布を
求めグラフ形状化し、得られたグラフ形状とあらかじめ
登録されている基本的なグラフ形状パターンとを比較
し、合致した基本形状パターンの時間的遷移により前記
動作の内容を認識、判断するとともに、前記人物等の眼
部を第２のテレビジョンカメラで撮像した画像情報を前
記動作認識手段へ出力し、前記動作認識手段により、前
記画像情報の中から輝度の比較により前記人物等の眼部
の瞳部分領域を抽出して２値化画像とし、該２値化画像
の水平および垂直方向の累積画素数を計数し、それぞれ
水平画素累積分布、垂直画素累積分布を求めグラフ形状
化し、得られたグラフ形状とあらかじめ登録されている
基本的なグラフ形状パターンとを比較し、合致した基本
形状パターンの時間的遷移により前記人物等の視線の方
向を認識、判断するものである。

【００１２】

【発明の実施の形態】本発明による動作認識方法の実施
例を説明する前に、本発明による動作認識方法の基本に
ついて、図１を使用して説明する。図１（ａ）は、単色
背景の前に立つ人物（以下、対象者と記す）と動作認識
するために分割する部分領域の説明図を示し、図１
（ｂ）は、例えば左腕部領域の動作認識の説明図を示
す。図１（ａ）において、３から８は、単色背景２の前
で動作を行なう動作認識の対象となる対象者１を所要の
部分領域に分割したサンプル領域であって、３は右頭上
部、４は左頭上部、５は右腕部、６は左腕部、７は頭
部、８は中央部のサンプル領域を示す。なお、上述の従
来技術の説明において使用した図２と同一符号のもの
は、同一物、同一部分を示すため、説明を省略する。ま
た、図２に記載したカラーテレビジョンカメラ１７、動
作認識装置１８も同様に使用するが、同一物を使用し説
明するため記載を省略する。

【００１３】本発明による動作認識方法においては、設
置されている、例えば青色の単色背景２の前で所要の動
作を行なう対象者１を、カラーテレビジョンカメラ１７
で撮像し、カラーテレビジョンカメラ１７から出力され
る青色の背景の前に立つ対象者１の画像情報を、動作認
識装置１８に入力する。動作認識装置１８では、カラー
テレビジョンカメラ１７から入力された青色の背景の前
に立つ対象者１の画像情報（動作認識装置で処理される
のは画像情報であるが、画像という概念で処理を考える
と理解しやすいので、以下、画像と記し説明する）の中
から、単色背景２が持つ色情報、つまり青色の色情報を
選択し、選択した青色以外の色情報を持つ画像、すなわ
ち青色の背景の前に立つ対象者１のみの画像を抽出し、
抽出された対象者１の画像を２値化して、例えば１と
し、抽出された対象者１以外の画像を２値化して、例え
ば０として、２値化画像を生成する。

【００１４】この生成した２値化画像により、動作認識
を行なうために、まず、初期設定を行なう。単色背景２
の前に直立姿勢で立つ対象者１をカラーテレビジョンカ
メラ１７で撮像し、直立姿勢で立つ対象者１の画像を、
動作認識装置１８へ出力する。動作認識装置１８では、
入力された対象者１が直立姿勢で立つ画像を処理し、対
象者１に関する情報である個体長９と個体幅１０、およ
び対象者１の中心線１１のデータを抽出し、各データか
ら決定される値とサンプルする領域を所要の分割したサ
ンプル領域とする領域分割方法に従い、右頭上部３、左
頭上部４、右腕部５、左腕部６、頭部７、中央部８のサ
ンプル領域を決定する。ここで所要の分割したサンプル
領域とする領域分割方法とは、例えば右頭上部サンプル
領域３であれば、対象者１の頭頂点（中心線１１上の個
体長９の点）から中心線１１に沿って上方へ１／４個体
長９、頭頂点から右側方向へ１／２個体幅１０の範囲を
右頭上部サンプル領域３と決定するというものである。
なお、前記説明では６つのサンプル領域を設定したが、
動作認識の対象、目的に応じてサンプル領域の大きさ、
数は変動させることはいうまでもない。

【００１５】６つの分割したサンプル領域の決定につづ
き、６つのサンプル領域それぞれで個別に画素累積分布
計測を行なうが、ここでは図１（ｂ）を使用して、左腕
部サンプル領域６における画素累積分布計測について説
明をする。左腕部サンプル領域６において、水平サンプ
ル領域１２と垂直サンプル領域１３それぞれの領域で所
要の数のサンプル点１４を等間隔で設定し、各サンプル
点１４における２値化した画像の水平、垂直の画素情報
が、例えば１の累積画素数を計数し、水平画素累積分布
１５および垂直画素累積分布１６を求める。求められた
グラフ形状の水平画素累積分布１５および垂直画素累積
分布１６の各サンプル点１４における累積画素計数値、
および直前の各サンプル点１４の累積画素計数値からの
画素数変動を表わす形状推移を、あらかじめ登録されて
いる基本形状推移パターンと比較し、合致する基本形状
パターンを認識する。前述の左腕部サンプル領域６の画
素累積分布計測のように、対象者１の画像について、同
様のパターン認識処理を全てのサンプル領域で行なう
が、各サンプル領域はそれぞれにおいて認識する目的を
持っており、順序立てて処理することを必要とする。

【００１６】つぎに、図３に示すパターン認識処理フロ
ーチャートを使用して、分割された各サンプル領域のパ
ターン認識処理順序を説明する。第一に、対象者１が直
立姿勢（図３、ステップ３０１参照）のときの動作認識
において、中央部サンプル領域８のパターン認識処理を
行なう。中央部サンプル領域８は、対象者１がカラーテ
レビジョンカメラ１７の方を向いている（以下、前方向
と記す）のか、カラーテレビジョンカメラ１７に対して
垂直な方向を向いている（以下、横方向と記す）のかを
判断するサンプル領域である。基本形状パターンとし
て、前方向用、左横方向用、右横方向用が準備されてお
り、中央部サンプル領域８のパターン認識結果（図３、
ステップ３０２参照）が対象者前向き（図３、ステップ
３０３参照）であった場合、基本形状パターンは前方向
用を使用（図３、ステップ３０４参照）する。一方、パ
ターン認識結果が対象者横向き（図３、ステップ３０５
参照）との結果が得られた場合には、頭部サンプル領域
７のパターン認識処理を行なう。頭部サンプル領域７
は、対象者１が右方向を向いているのか、左方向を向い
ているのかを判断するサンプル領域であり、頭部サンプ
ル領域７のパターン認識結果（図３、ステップ３０６参
照）が対象者右横向き（図３、ステップ３０７参照）で
あった場合には基本形状パターンは右横向用を使用（図
３、ステップ３０８参照）し、パターン認識結果が対象
者左横向き（図３、ステップ３０９参照）であった場合
には基本形状パターンは左横方向用を使用（図３、ステ
ップ３１０参照）する。

【００１７】つぎに、対象者１が前向き、右横向き、左
横向きのいずれの場合においても、右腕部サンプル領域
５、左腕部サンプル領域６、右頭上部サンプル領域３、
左頭上部サンプル領域４のパターン認識処理を行ない、
パターン認識結果から（図３、ステップ３１１参照）、
パターンの時間的遷移による動作認識を行ない（図３、
ステップ３１２〜３１４参照）、対象者１が行なった動
作内容を判断する。この右腕部サンプル領域５、左腕部
サンプル領域６、右頭上部サンプル領域３、左頭上部サ
ンプル領域４のパターン認識処理による動作認識を、直
立姿勢を認識するまで（図３、ステップ３１５参照）連
続して行ない、直立姿勢を認識したとき、再び、中央部
サンプル領域８のパターン認識処理を行ない、対象者１
の方向認識を行ない、使用する基本形状パターンを確認
する。なお、対象者１の中心線１１は、中央部サンプル
領域８の垂直画素累積分布１６の分布状況から画像の取
り込み毎に更新し、対象者１の左右方向の移動に対処す
る。また、分割された各サンプル領域３から８、水平、
垂直サンプル領域１２、１３を対象者１の個体幅１０お
よび個体長９から求めることにより、対象者１個別の固
有の体格に対処する。

【００１８】〔実施例 １〕本発明の第１の実施例とし
て、単色背景、例えば青色背景の前に立つ人物と、コン
ピュータグラフィックス（以下、ＣＧと記す）による登
場物体（以下、キャラクタと記す）との共演を、モニタ
画面上で実現する場合の例を、図４を使用して説明す
る。図４において、動作認識装置１８Ａは、カラーテレ
ビジョンカメラ１７で撮像した画像の中から、動作する
画像を抽出し、動作内容を認識処理し、動作する画像と
制御信号とを出力する動作認識処理部２０と、ＣＧで使
用するキャラクタや背景として存在する物体を発生する
ＣＧ発生部２４と、カラーテレビジョンカメラ１７で撮
像した画像の中の動作する画像とＣＧ発生部２４で発生
したキャラクタ等のＣＧ画像とを合成する画像合成処理
部２５と、各回路を制御するＣＰＵ（図には記載してい
ない）とで構成されている。また、動作認識処理部２０
は、カラーテレビジョンカメラ１７で撮像した画像の中
から、動作する画像を抽出する動作画像抽出部２１と、
動作画像抽出部２１で抽出された画像の変化から動作の
内容を認識する動作内容認識部２２と、動作内容認識部
２２で認識された動作内容により割り当てられた制御信
号を出力する制御信号出力部２３とで構成されている。
モニタ２６は、動作認識装置１８Ａから出力される合成
画像を表示する。なお、上述の従来技術の説明、本発明
による動作認識方法の基本的な説明において使用された
図１および図２の符号と同一符号のものは、同一物、同
一部分であるため、説明を省略する。

【００１９】青色の単色背景２の前で所要の動作を行な
う対象者１は、カラーテレビジョンカメラ１７で撮像さ
れ、撮像された画像が動作認識装置１８Ａへ出力され
る。動作認識装置１８Ａでは、カラーテレビジョンカメ
ラ１７から入力された青色の単色背景２の前で動作を行
なう対象者１の画像が、動作画像抽出部２１に入力され
る。動作画像抽出部２１は、入力された青色の単色背景
２の前で動作を行なう対象者１の画像の中の青色成分を
選択色成分として選択することにより、選択された青色
成分以外の色成分の画像として対象者１の画像が抽出さ
れ、動作内容認識部２２および画像合成処理部２５へ出
力される。動作内容認識部２２は、入力された対象者１
の画像を動作画像領域とし、複数の部分のサンプル領域
へ分割し、各サンプル領域毎に累積画素計数処理を行な
い、得られた累積画素のグラフ形状をあらかじめ登録さ
れている基本形状パターンと比較し、合致する基本形状
パターンの時間的遷移により、動作内容を認識し、認識
結果を制御信号出力部２３へ出力する。制御信号出力部
２３は、入力された認識結果から動作内容に応じた制御
信号および対象者１の移動情報をＣＧ発生部２４へ出力
する。

【００２０】ＣＧ発生部２４は、入力された制御信号に
従い、あらかじめ登録されているＣＧキャラクタ等の形
状データに移動、回転等の変形処理を行なう。例えば、
空や雲、樹木等の背景画像も同時に発生させてＣＧ画像
を発生するが、背景画像のようなＣＧ画像は、カラーテ
レビジョンカメラ１７の画角、位置等の情報を考慮し、
画像合成をしたときに不自然さが生じないように同じ環
境での発生が必要である。一方、ＣＧ画像の情報には、
入力される動作内容に応じた移動情報から計算される対
象者１のＣＧ画像中の位置データを含み、ＣＧ画像を構
成する、例えば木などのキャラクタには対象者１の位置
により決定される優先度情報を持たせ、画像合成処理部
２５へ出力する。

【００２１】画像合成処理部２５は、動作画像抽出部２
１から入力された抽出画像と、ＣＧ発生部２４から入力
されたＣＧ画像とを合成し、合成画像をモニタ２６へ出
力する。画像合成処理部２５における画像合成は、ＣＧ
発生部２４から入力されたＣＧ画像に、動作画像抽出部
２１から入力された抽出画像をインサートすることによ
って合成される。合成の例として、例えば対象者１がＣ
Ｇにより発生された公園内で犬などのＣＧキャラクタと
一緒に遊んだり、天気予報などでＣＧにより発生された
スタジオ内で天気図の説明ボードなどの操作を対象者１
自身で行なう等が挙げられる。本発明による動作認識方
法により、対象者の動作に対しＣＧキャラクタ等が動作
する、対話型のＣＧシステムが実現できる。また、本実
施例では単色背景として青色背景を使用したが、他の色
でも良く、また、背景として完全に固定された背景であ
っても同様の効果を得られることはいうまでもない。ま
た、合成画像を表示するものとして、モニタのほかに、
液晶プロジェクタ等の表示装置を使用することに何の問
題もない。

【００２２】〔実施例 ２〕本発明の第２の実施例とし
て、単色背景、例えば青色背景を使用し、ＣＧによる仮
想空間を擬似体験できるバーチャルリアリティを実現す
る場合の例を、図５を使用して説明する。図５におい
て、リアルタイムＣＧ発生装置２７は、ＣＧにより発生
した仮想空間、例えば室内にあるテーブルと椅子のよう
な表示画像２８の画像をフレーム周波数３０Ｈｚ以上で
発生し、頭部装着型表示装置（ヘッドマウントディスプ
レイ、以下、ＨＭＤと記す）２９へ出力する。ＨＭＤ２
９には、テーブル、椅子等を備えた室内を示すような表
示画像２８が表示され、仮想空間を擬似体験することが
できる。なお、上述の従来技術の説明、本発明による動
作認識方法の基本的な説明において使用された図１およ
び図２、実施例１の説明において使用された図４の符号
と同一符号のものは、同一物、同一部分であるため、説
明を省略する。

【００２３】青色背景２の前で所要の動作を行なうＨＭ
Ｄ２９を装着した対象者１は、カラーテレビジョンカメ
ラ１７で撮像され、撮像された画像が動作認識装置１８
Ｂへ出力される。動作認識装置１８Ｂでは、カラーテレ
ビジョンカメラ１７から入力された青色背景２の前で所
要の動作を行なうＨＭＤ２９を装着した対象者１の画像
が、動作画像抽出部２１に入力される。動作画像抽出部
２１は、入力された青色背景２の前で所要の動作を行な
うＨＭＤ２９を装着した対象者１の画像の中の青色成分
を選択色成分として選択することにより、選択された青
色成分以外の色成分の画像として対象者１の画像を抽出
し、青色成分以外の色成分の画像として対象者１の画像
情報を２値化レベル１、青色成分の画像情報を２値化レ
ベル０と、２値化した情報を動作内容認識部２２へ出力
する。動作内容認識部２２は、入力された２値化レベル
１の対象者１の画像領域を動作画像領域とし、複数のサ
ンプル領域へ分割し、各サンプル領域毎に累積画素計数
処理を行ない、得られた累積画素のグラフ形状をあらか
じめ登録されている基本形状パターンと比較し、合致す
る基本形状パターンの時間的遷移により、動作内容を認
識し、認識結果を制御信号出力部２３へ出力する。制御
信号出力部２３は、入力された認識結果から動作内容に
応じた制御信号およびＨＭＤ２９を装着した対象者１の
移動情報をリアルタイムＣＧ発生装置２７へ出力する。

【００２４】リアルタイムＣＧ発生装置２７は、入力さ
れた制御信号に従い、あらかじめ登録された、例えば表
示画像２８に示すようなテーブル、椅子等ＣＧキャラク
タの形状データに移動、回転等の変形処理を行ない、対
象者１が装着しているＨＭＤ２９へ出力する。このリア
ルタイムＣＧ発生装置２７で発生されるＣＧ画像は、フ
レーム周波数３０Hz以上で発生するが、ＨＭＤ２９を装
着した対象者１があたかもＣＧ画像の空間内に存在して
いるという錯覚を起こさせるために、ＣＧ画像を発生す
るときの視点位置を、ＨＭＤ２９を装着した対象者１の
眼の位置に一致させることが望ましい。ＣＧによる仮想
空間の擬似体験の例として、ＣＧにより発生した現実に
は存在しない仮想室内空間内において、ＨＭＤ２９を装
着した対象者１が前進の動作をすると視点が前方へ移動
し、実際に対象者１が移動をせずに仮想空間を自由に移
動体験したり、例えば建築メーカのショールームにおい
て、仮想空間のモデルルームの中で顧客が家具などを設
置し、好みの家具の配置、配色等を容易に体験すること
ができるなどが挙げられる。

【００２５】本発明による動作認識方法を使用すること
により、対象者が現実に行う動作がＣＧによる仮想空間
画像にリアルタイムで反映され、非常に現実感のあるバ
ーチャルリアリティシステムを実現できる。本実施例で
は、青色背景を使用したが、白色やその他の色であつて
も、あるいはキャラクタが完全に固定されたものであっ
ても同様の効果を得られることはいうまでもない。ま
た、リアルタイムＣＧ発生装置を動作認識装置とは別装
置としたが、動作認識装置内にリアルタイムＣＧ発生装
置を内蔵としたり、内蔵するＣＰＵとソフトウェアとに
よるＣＧ発生部としても良く、同様の結果を得られるこ
とはいうまでもない。

【００２６】〔実施例 ３〕本発明の第３の実施例とし
て、単色背景、例えば青色背景を使用し、ＣＧによる仮
想空間を利用した災害避難訓練システムを実現する場合
の例を、図６を使用して説明する。図６（ａ）におい
て、３０は眼部撮像用テレビジョンカメラ、３１は、眼
部撮像用テレビジョンカメラ３０が載置されており所要
の撮像方向へ回動、ズーミング等を制御できるカメラ制
御台、３２は、カメラ制御台３１へ制御信号を出力し回
動、ズーミング等を制御する制御装置、３３はＣＧ画像
を発生するＣＧ発生装置、３４は、ＣＧ発生装置３３か
ら出力される画像を表示するための大型表示装置を示
す。また、図６（ｂ）において、３５は眼部サンプル領
域を示し、３６は処理される眼部画像を示す。なお、上
述の従来技術の説明、本発明による動作認識方法の基本
的な説明において使用された図１および図２、実施例１
の説明において使用された図４の符号と同一符号のもの
は、同一物、同一部分であるため、説明を省略する。

【００２７】青色背景２の前で動作を行なう対象者１
は、カラーテレビジョンカメラ１７で撮像され、撮像さ
れた画像が動作認識装置１８Ｃへ出力される。動作認識
装置１８Ｃでは、カラーテレビジョンカメラ１７から入
力された青色背景２の前で所要の動作を行なう対象者１
の画像が、動作画像抽出部２１に入力される。動作画像
抽出部２１は、入力された青色背景２の前で所要の動作
を行なう対象者１の画像の中の青色成分を選択色成分と
して選択することにより、選択された青色成分以外の色
成分の画像として対象者１の画像を抽出し、青色成分以
外の色成分の画像として対象者１の画像情報を２値化レ
ベル１、青色成分の画像情報を２値化レベル０と、２値
化した情報を動作内容認識部２２へ出力する。動作内容
認識部２２は、入力された２値化レベル１の対象者１の
画像領域を動作画像領域とし、複数のサンプル領域へ分
割し、各サンプル領域毎に累積画素計数処理を行ない、
得られた累積画素のグラフ形状をあらかじめ登録されて
いる基本形状パターンと比較し、合致する基本形状パタ
ーンの時間的遷移により、動作内容を認識し、認識結果
を制御信号出力部２３へ出力する。制御信号出力部２３
は、入力された認識結果から動作内容に応じた制御信号
および対象者１の移動情報をＣＧ発生装置３３へ出力す
る。

【００２８】ＣＧ発生装置３３は、動作認識装置１８Ｃ
から入力される制御信号に従い、あらかじめ登録され
た、例えば危険物等ＣＧキャラクタの形状データに移
動、回転等の変形処理を行ないＣＧ画像を生成する。こ
のとき、災害避難訓練の教育上必要となる指示、質問
と、それらに対する選択項目等のコントロールボタンを
画像として表示するアイコンを同時に生成し、生成した
ＣＧ画像とともに大型表示装置３４へ出力する。ＣＧ発
生装置３３から入力された災害避難訓練の画像が、対象
者１が見る大型表示装置３４に表示される。

【００２９】このとき、対象者１の動作の認識に加え、
同時に対象者１の視線方向認識を行なう。対象者１は、
前述の動作認識方法により動作が認識されるが、動作内
容認識部２２からカメラ制御装置３２へ、このとき動作
認識している対象者１の頭部領域の位置情報を出力す
る。カメラ制御装置３２は、入力された頭部領域の位置
情報から、あらかじめ入力されている一般的な人物の顔
における眼の位置を参照して、眼部撮像用テレビジョン
カメラ３０のズーミング、パンニング等に必要なテレビ
ジョンカメラの制御量を算出し、制御データとしてカメ
ラ制御台３１へ出力する。カメラ制御台３１は、入力さ
れた制御データにより眼部撮影用テレビジョンカメラ３
０を制御し、眼部撮影用テレビジョンカメラ３０が撮像
した対象者１の眼部の所要の眼部画像３６を動作認識装
置１８Ｃへ出力する。動作認識装置１８Ｃでは、動作画
像抽出部２１において、入力した眼部画像３６の中の輝
度の低い（黒色に近い）画像の情報を２値化レベル１、
それ以外の画像の情報を２値化レベル０として入力画像
を２値化し、動作内容認識部２２へ出力する。

【００３０】動作内容認識部２２は、入力された２値化
レベル１の眼部の画像領域を動作画像領域、すなわち眼
部サンプル領域３５とし、対象者１の場合と同様に累積
画素計数処理を行ない、得られた累積画素のグラフ形状
をあらかじめ登録されている基本形状パターンと比較
し、合致する基本形状パターンの時間的遷移により、視
線方向を認識し、認識結果を制御信号出力部２３へ出力
する。制御信号出力部２３は、入力された認識結果から
対象者１の視線方向に応じた制御信号をＣＧ発生装置３
３へ出力する。ＣＧ発生装置３３は、動作認識装置１８
Ｃから入力される制御信号に従い、対象者１の制御信号
が入力されたと同様な方法で、ＣＧ画像を発生する。

【００３１】前述のように、対象者１の視線方向に応じ
た制御を加えることにより、ＣＧによる災害が発生して
いる空間内において、青色背景２の前で動作を行なう対
象者１が、指示に従い前進の動作をすると、視点が前方
へ移動する、あるいは注意された地点を見るなどして避
難体験したり、災害に対する質問に対し、動作または視
線方向により解答することができるなど、対象者１が現
実に行なう動作がＣＧによる仮想災害空間画像に反映さ
れ、危険を伴わない効果的な災害避難訓練システムを実
現できる。なお、実施例では青色背景を使用したが、白
色やその他の色または設置物が完全に固定された背景で
あっても同様の効果を得られることはいうまでもない。
また、カメラ制御装置、ＣＧ発生装置を別装置とした
が、動作認識装置内にＣＧ発生装置を内装したり、ソフ
トウェアによるＣＧ発生部としても同様の結果を得られ
ることはいうまでもない。大型表示装置として大型表示
モニタや液晶プロジェクタ等の表示装置が挙げられる。

【００３２】

【発明の効果】本発明によれば、人物等の動作の認識
を、人物等の動作を認識すべき体を所要の部分領域に分
け、部分領域毎の個別の認識処理により実現する動作認
識方法を提供することができる。

【図面の簡単な説明】

【図１】本発明による動作認識方法の基本概念図。

【図２】従来の動作認識方法の概念図。

【図３】本発明による動作認識方法のパターン認識処理
フローチャート。

【図４】本発明による動作認識方法を使用した第１の実
施例。

【図５】本発明による動作認識方法を使用した第２の実
施例。

【図６】本発明による動作認識方法を使用した第３の実
施例。

【符号の説明】

１…対象者、２…単色背景、１７…カラーテレビジョン
カメラ、１８、１８Ａ、１８Ｂ、１８Ｃ…動作認識装
置、２０…動作認識処理部、２１…動作画像抽出部、２
２…動作内容認識部、２３…制御信号出力部、２４…Ｃ
Ｇ発生部、２５…画像合成処理部、２６…モニタ、２７
…リアルタイムＣＧ発生装置、２９…頭部装着型表示装
置、３０…眼部撮像用テレビジョンカメラ、３１…カメ
ラ制御台、３２…カメラ制御装置、３３…ＣＧ発生装
置、３４…大型表示装置。３…右頭上部サンプル領域、
４…左頭上部サンプル領域、５…右腕部サンプル領域、
６…左腕部サンプル領域、７…頭部サンプル領域、８…
中央部サンプル領域、９…個体長、１０…個体幅、１１
…中心線、１２…水平サンプル領域、１３…垂直サンプ
ル領域、１４…サンプル点、１５…水平画素累積分布、
１６…垂直画素累積分布、１９…サンプル領域、２８…
表示画像、３５…眼部サンプル領域、３６…眼部画像。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 単色背景の前で動作する人物等の被写体
   （以下、人物等と称す）をカラーテレビジョンカメラで
   撮像した画像情報を動作認識手段へ出力し、 該動作認識手段により、前記画像情報の中から前記背景
   が持つ色情報以外の色情報を持つ画像領域を抽出して２
   値化画像とし、 該２値化画像から得られる前記人物等の個体長、個体幅
   に応じて分割した右頭上部、左頭上部、右腕部、左腕
   部、頭部、中央部の各サンプル領域毎に、前記２値化画
   像の水平および垂直方向の累積画素数を計数し、 それぞれに水平画素累積分布、垂直画素累積分布を求め
   グラフ形状化し、 得られたグラフ形状とあらかじめ登録されている基本的
   なグラフ形状パターン（基本形状パターン）とを比較
   し、合致した基本形状パターンの時間的遷移により前記
   動作の内容を認識、判断することを特徴とする動作認識
   方法。
2. 【請求項２】 単色背景の前で動作する人物等をカラー
   テレビジョンカメラで撮像した画像情報を動作認識手段
   へ出力し、 該動作認識手段により、前記画像情報の中から前記背景
   が持つ色情報以外の色情報を持つ画像領域を抽出して２
   値化画像とし、 該２値化画像から得られる前記人物等の個体長、個体幅
   に応じて分割した右頭上部、左頭上部、右腕部、左腕
   部、頭部、中央部の各サンプル領域毎に、前記２値化画
   像の水平および垂直方向の累積画素数を計数し、 それぞれに水平画素累積分布、垂直画素累積分布を求め
   グラフ形状化し、 得られたグラフ形状とあらかじめ登録されている基本的
   なグラフ形状パターンとを比較し、合致した基本形状パ
   ターンの時間的遷移にしたがって、前記中央部サンプル
   領域で前記人物等の胴体の向きが前方向あるいは横方向
   かを認識、判断し、 該判断が前方向の場合、前記右頭上部、左頭上部、右腕
   部、左腕部の各サンプル領域により前記人物等の左右の
   腕の横方向の動作の内容を認識、判断し、 該判断が横方向の場合、前記右頭上部、左頭上部、右腕
   部、左腕部の各サンプル領域により前記人物等の左右の
   腕の前後方向の動作の内容を認識、判断し、前記動作の
   内容を認識、判断することを特徴とする動作認識方法。
3. 【請求項３】 人物等の眼部をテレビジョンカメラで撮
   像した画像情報を動作認識手段へ出力し、 該動作認識手段により、前記画像情報の中から輝度の比
   較により前記人物等の眼部の瞳部分領域を抽出して２値
   化画像とし、 該２値化画像の水平および垂直方向の累積画素数を計数
   し、 それぞれ水平画素累積分布、垂直画素累積分布を求めグ
   ラフ形状化し、 得られたグラフ形状とあらかじめ登録されている基本的
   なグラフ形状パターンとを比較し、合致した基本形状パ
   ターンの時間的遷移により前記人物等の視線の方向を認
   識、判断することを特徴とする動作認識方法。
4. 【請求項４】 単色背景の前で動作する人物等を第１の
   カラーテレビジョンカメラで撮像した画像情報を動作認
   識手段へ出力し、 該動作認識手段により、前記画像情報の中から前記背景
   が持つ色情報以外の色情報を持つ画像領域を抽出して２
   値化画像とし、 該２値化画像から得られる前記人物等の個体長、個体幅
   に応じて分割した右頭上部、左頭上部、右腕部、左腕
   部、頭部、中央部の各サンプル領域毎に、前記２値化画
   像の水平および垂直方向の累積画素数を計数し、 それぞれに水平画素累積分布、垂直画素累積分布を求め
   グラフ形状化し、 得られたグラフ形状とあらかじめ登録されている基本的
   なグラフ形状パターンとを比較し、合致した基本形状パ
   ターンの時間的遷移により前記動作の内容を認識、判断
   するとともに、 前記人物等の眼部を第２のテレビジョンカメラで撮像し
   た画像情報を前記動作認識手段へ出力し、 前記動作認識手段により、前記画像情報の中から輝度の
   比較により前記人物等の眼部の瞳部分領域を抽出して２
   値化画像とし、 該２値化画像の水平および垂直方向の累積画素数を計数
   し、 それぞれ水平画素累積分布、垂直画素累積分布を求めグ
   ラフ形状化し、 得られたグラフ形状とあらかじめ登録されている基本的
   なグラフ形状パターンとを比較し、合致した基本形状パ
   ターンの時間的遷移により前記人物等の視線の方向を認
   識、判断することを特徴とする動作認識方法。