JPWO2018189796A1 - 認識装置、認識システム、認識方法および認識プログラム - Google Patents

Abstract

認識装置（１００）は、記憶部と、第１認識部と、第２認識部と、第３認識部とを有する。記憶部は、画像情報に含まれる人物の特徴と、人物の体が向いている可能性のある方向の範囲を示す第１範囲とを特徴毎に対応付けた第１識別器を記憶する。記憶部は、距離情報に含まれる人物の特徴と、人物の体が向いている可能性のある方向の範囲を示す第２範囲とを特徴毎に対応付けた第２識別器と、人物の体が向いている方向と人物の関節位置とを対応付けた関節位置辞書とを記憶する。第１認識部は、対象者の画像情報を取得し、画像情報の特徴と第１識別器とを基にして、対象者の画像情報に対する第１範囲を特定する。第２認識部は、対象者の距離情報を取得し、距離情報の特徴と第２識別器とを基にして、対象者の距離情報に対する第２範囲を特定する。第３認識部は、第１認識部に特定された第１範囲と第２認識部に特定された第２範囲とを基にして、対象者の体が向いている方向を特定し、特定した方向と関節位置辞書とを基にして、対象者の骨格を認識する。

Description

本発明は、認識装置等に関する。

近年、距離センサでセンシングした結果の距離データ（距離画像）またはＲＧＢ（Red Green Blue）画像を基にして、機械学習による辞書を作成し、作成した辞書を用いて、人体の骨格を認識する技術がある。

図２９は、従来の骨格認識システムの一例を示す図である。図２９に示す例では、距離センサ５ａを用いてセンシングすることで、対象者６ａを含む距離データ５ｂを取得し、距離データ５ｂと辞書５ｃとを用いて、対象者６ａの骨格位置６ｂを推定する。辞書５ｃは、予め機械学習しておく。

ここで、人体の骨格を認識する場合には、学習時に認識対象となるあらゆる動作を学習することが前提となるため、例えば、単一の辞書を用いて、体操競技のように複雑で広範囲な動作を認識しようとすると、認識精度が低下してしまう。

認識精度の低下を防止するものとして、従来技術１がある。従来技術１は、顔の特徴点認識に関する技術である。顔の特徴点は、目、鼻、口の位置等を示す点である。従来技術１は、学習データを、正面、右、左等の方向に応じて分割し、分割した各学習データで顔特徴点の学習を行う。以下に、図３０および図３１を用いて、従来技術１の一例について説明する。

図３０は、従来技術１による顔特徴点の学習例を示す図である。従来技術１による特徴点の学習は、予め顔の方向に応じて分類された画像と、その画像における顔特徴点とを示す教師データを用いて、方向毎に独立して機械学習を行う。これにより、入力される顔画像の方向を限定して特徴点を認識する。

図３０に示す例では、左向き学習画像と顔特徴点との教師データ１ａを用いて、左向き顔画像の特徴点を学習することで、左向き用識別器２ａを得る。正面向き学習画像と顔特徴点との教師データ１ｂを用いて、正面向き顔画像の特徴点を学習することで、正面向き用識別器２ｂを得る。右向き学習画像と顔特徴点との教師データ１ｃを用いて、右向き顔画像の特徴点を学習することで、右向き用識別器２ｃを得る。

図３１は、従来技術１による特徴点の認識処理を示す図である。図３１に示すように、従来技術１は、顔画像３ａを受け付けると、顔方向識別器４を基にして、顔画像３ａの方向を認識する。従来技術１は、方向の認識結果を基にして、識別器２ａ〜２ｃのうちいずれかの識別器を選択し、選択した識別器を用いて、顔画像３ａの特徴点を認識することで、認識結果３ｂを得る。このように、従来技術１では、顔画像の方向に応じて、識別器２ａ〜２ｃを使い分けることで、特徴点の認識精度を高めている。

特開２０１２−０００１６５号公報 特開２０１４−１３６１３７号公報

しかしながら、上述した従来技術では、人体の骨格認識の精度が低いという問題がある。

例えば、従来技術１では、顔方向識別器４を用いて、顔画像３ａの方向を認識しているが、従来技術１で説明したような対象が複雑な動きをするものについては、顔画像と同様にして、シーンを識別することが難しい。シーンを精度良く識別できないと、最適な辞書を用いることができず、結果として、認識精度が低下する。

本発明は、上記に鑑みてなされたものであって、人体の骨格認識の精度を向上させることができる装置を提供することを目的とする。

第１の案では、認識装置は、記憶部と、第１認識部と、第２認識部と、第３認識部とを有する。記憶部は、画像情報に含まれる人物の特徴と、人物の体が向いている可能性のある方向の範囲を示す第１範囲とを特徴毎に対応付けた第１識別器を記憶する。記憶部は、距離情報に含まれる人物の特徴と、人物の体が向いている可能性のある方向の範囲を示す第２範囲とを特徴毎に対応付けた第２識別器と、人物の体が向いている方向と人物の関節位置とを対応付けた関節位置辞書とを記憶する。第１認識部は、対象者の画像情報を取得し、画像情報の特徴と第１識別器とを基にして、対象者の画像情報に対する第１範囲を特定する。第２認識部は、対象者の距離情報を取得し、距離情報の特徴と第２識別器とを基にして、対象者の距離情報に対する第２範囲を特定する。第３認識部は、第１認識部に特定された第１範囲と第２認識部に特定された第２範囲とを基にして、対象者の体が向いている方向を特定し、特定した方向と関節位置辞書とを基にして、対象者の骨格を認識する。

人体の骨格認識の精度を向上させることができる。

図１は、本実施例１で扱う人の方向の定義例を示す図である。 図２は、本実施例１で扱う方向の認識単位、認識範囲、学習範囲の一例を示す図（１）である。 図３は、本実施例１で扱う方向の認識単位、認識範囲、学習範囲の一例を示す図（２）である。 図４は、本実施例１に係る認識システムの一例を示す図である。 図５は、ＲＧＢ画像データおよび距離データの一例を示す図である。 図６は、本実施例１に係る認識装置の構成を示す機能ブロック図である。 図７は、方向確率保持テーブルのデータ構造の一例を示す図である。 図８は、人方向キューのデータ構造の一例を示す図である。 図９は、学習部の処理の一例を説明するための図である。 図１０は、第１認識結果の一例を示す図である。 図１１は、ルールベースの一例を示す図である。 図１２は、第２認識結果の一例を示す図である。 図１３は、間違えやすい人方向の一例を示す図である。 図１４は、対角方向追加処理の一例を説明するための図（１）である。 図１５は、対角方向追加処理の一例を説明するための図（２）である。 図１６は、フィルタリング処理の一例を説明するための図（１）である。 図１７は、フィルタリング処理の一例を説明するための図（２）である。 図１８は、人方向認識処理の一例を説明するための図である。 図１９は、骨格認識処理の一例を説明するための図である。 図２０は、本実施例１に係る認識装置の処理手順を示すフローチャートである。 図２１は、対角方向追加処理の処理手順を示すフローチャートである。 図２２は、移動方向算出処理の処理手順を示すフローチャートである。 図２３は、フィルタリング処理の処理手順を示すフローチャートである。 図２４は、人方向算出処理の処理手順を示すフローチャートである。 図２５は、倒立方向の分割定義例を示す図である。 図２６は、本実施例２で扱う方向の認識単位、認識範囲、学習範囲の一例を示す図（１）である。 図２７は、本実施例２で扱う方向の認識単位、認識範囲、学習範囲の一例を示す図（２）である。 図２８は、認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２９は、従来の骨格認識システムの一例を示す図である。 図３０は、従来技術１による顔特徴点の学習例を示す図である。 図３１は、従来技術１による特徴点の認識処理を示す図である。

以下に、本発明にかかる認識装置、認識システム、認識方法および認識プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１で扱う人の方向の定義例を示す図である。図１に示すように、地面に垂直な直線を軸として人が正面を向いている場合を０°とする。人が左を向いている場合を９０°とする。人が後ろを向いている場合を１８０°とする。人が右を向いている場合を２７０°とする。本実施例１では、９０°単位で４分割した単位毎に方向を認識して骨格認識を行う。例えば、３１５°〜４５°を正面、４５°〜１３５°を左、１３５°〜２２５°を後ろ、２２５°〜３１５°を右とする。

図２および図３は、本実施例１で扱う方向の認識単位、認識範囲、学習範囲の一例を示す図である。例えば、認識装置は、人方向の認識の際は狭い範囲で認識し、関節位置の推定の際には各認識単位を複数結合した広い範囲によって、学習した結果を用いる。図３は、方向認識時の認識単位例を示す。認識装置が、方向認識を行う時点で、３０°単位で学習・認識を行い、その結果を９０°単位にまとめ、最終的に正面のグループＧ１、左のグループＧ２、後ろのグループＧ３、右のグループＧ４のいずれかに確定する。

図２に示すように、認識装置は、認識範囲Ａ１の単位で、方向を確定する。例えば、認識範囲Ａ１の単位は、図３で説明した各グループＧ１〜Ｇ４の単位（９０°単位）に対応する。また、認識時の実際の人の方向が４分割の境界付近であった場合には、認識装置は、骨格認識時の精度低下を防止するために、学習範囲Ａ２のデータを用いて学習を行う。例えば、学習範囲Ａ２は、認識範囲Ａ１に対して、右に３０°左に３０°広い１５０°の範囲となる。

図４は、本実施例１に係る認識システムの一例を示す図である。図４に示すように、この認識システムは、ＲＧＢ（Red Green Blue）カメラ１０ａと、距離センサ１０ｂと、認識装置１００とを有する。認識装置１００は、ＲＧＢカメラ１０ａおよび距離センサ１０ｂに接続される。

ＲＧＢカメラ１０ａは、撮影範囲に含まれる画像（ＲＧＢ画像）を撮影するカメラである。ＲＧＢカメラ１０ａは、撮影した画像の情報を、認識装置１００に出力する。以下の説明では、ＲＧＢカメラ１０ａが撮影した画像の情報を「ＲＧＢ画像データ」と表記する。

距離センサ１０ｂは、距離センサ１０ｂの設置位置から、距離センサ１０ｂの撮影範囲に含まれる対象者６ａ上の各観測点までの距離を計測するセンサである。距離センサ１０ｂは、各観測点の３次元座標を示す距離データ（距離画像）を生成し、生成した距離データを、認識装置１００に出力する。

図５は、ＲＧＢ画像データおよび距離データの一例を示す図である。例えば、ＲＧＢ画像データ１１ａは、各座標に画素値（ＲＧＢ値）が対応付けられている。距離データ１１ｂは、各座標に３次元座標あるいは距離センサ１０ｂから座標に対応する点までの距離が対応付けられている。

認識装置１００は、ＲＧＢ画像データ１１ａを基にした人方向の認識結果と、距離データ１１ｂを基にした人方向の認識結果とを用いることで、より確からしい人方向を特定し、特定した人方向に対応する辞書を用いて、対象者６ａの骨格認識を行う装置である。

図６は、本実施例１に係る認識装置の構成を示す機能ブロック図である。図６に示すように、この認識装置１００は、入力部１１０と、表示部１２０と、記憶部１３０と、制御部１４０とを有する。また、認識装置１００は、ＲＧＢカメラ１０ａおよび距離センサ１０ｂに接続される。

入力部１１０は、認識装置１００に各種の情報を入力するための入力装置である。例えば、入力部１１０は、キーボードやマウス、タッチパネル等に対応する。

表示部１２０は、制御部１４０から出力される情報を表示する表示装置である。例えば、表示部１２０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１３０は、第１識別器１３１、第２識別器１３２、方向確率保持テーブル１３３、人方向キュー１３４と、骨格辞書データ１３５とを有する。記憶部１３０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

第１識別器１３１は、ＲＧＢ画像データ１１ａに基づいて、対象者６ａの体の方向を識別する識別器の情報である。以下の説明では、適宜、人物（対象者６ａ）の体の方向を「人方向」と表記する。例えば、第１識別器１３１は、予め学習されるＲＧＢ画像データの人物の特徴量と、人方向とを対応付ける。

第２識別器１３２は、距離データ１１ｂに基づいて、対象者６ａの人方向を識別する識別器の情報である。例えば、第２識別器１３２は、予め学習される距離データの人物の特徴量と、人方向とを対応付ける。

方向確率保持テーブル１３３は、対象者に関する認識単位に分割された各方向と、確率値とを対応付けるテーブルである。図７は、方向確率保持テーブルのデータ構造の一例を示す図である。図７に示すように、方向確率保持テーブル１３３は、第１確率保持テーブル１３３ａと、第２確率保持テーブル１３３ｂとを含む。

第１確率保持テーブル１３３ａは、後述する第１認識部１４２の認識結果を保存するテーブルである。第２確率保持テーブル１３３ｂは、後述する第２認識部１４３の認識結果を保存するテーブルである。第１確率保持テーブル１３３ａおよび第２確率保持テーブル１３３ｂは、方向と、確率値とを対応付ける。例えば、方向は、図２で説明した認識単位となる３０°単位で区切られる。確率値は、人方向が該当する方向である確からしさを示す値であり、確率値が高いほど、より確からしいことを示す。

人方向キュー１３４は、後述する第３認識部１４５により特定される人方向の過去の履歴を保持するキューである。図８は、人方向キューのデータ構造の一例を示す図である。図８に示すように、この人方向キュー１３４は、各人方向が順に記録される。例えば、第３認識部１４５は、人方向を特定する度に、上から順番に、人方向を人方向キュー１３４に保存する。

骨格辞書データ１３５は、人方向と、この人方向に対応する人物の関節位置とを対応付ける情報である。例えば、人物の関節位置を繋げたものが、人物の骨格に対応する。

図６の説明に戻る。制御部１４０は、学習部１４１と、第１認識部１４２と、第２認識部１４３と、移動推定部１４４と、第３認識部１４５とを有する。制御部１４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

例えば、学習部１４１は、学習フェーズで動作する。第１認識部１４２、第２認識部１４３、移動推定部１４４、第３認識部１４５は、認識フェーズで動作する。

学習部１４１は、学習フェーズにおいて、第１識別器１３１および第２識別器１３２を生成する処理部である。図９は、学習部の処理の一例を説明するための図である。まず、学習部１４１が、第１識別器１３１を生成する処理の一例について説明する。学習部１４１は、学習画像データ２０ａを取得する。学習画像データ２０ａは、複数のＲＧＢ画像データ２１ａが含まれる。各ＲＧＢ画像データ２１ａには、教師ラベルが付与されている。教師ラベルは、ＲＧＢ画像データ２１ａに含まれる人物の人方向を一意に識別する情報であり、「正面」、「左」、「後ろ」、「右」のうちいずれか一つの人方向となる。なお、教師ラベルは図３のような人方向範囲を直接示す情報であっても良いし、ＲＧＢ画像データ２１ａに含まれる人物の方向を示す角度値そのものであっても良い。

学習部１４１は、教師ラベル「正面」が付与された複数のＲＧＢ画像データ２１ａを基にして機械学習を行い、人方向「正面」の特徴量を抽出する。学習部１４１は、人方向「正面」と、人方向「正面」の特徴量とを対応付けて、第１識別器１３１に登録する。学習部１４１は、他の教師ラベル「左」、「後ろ」、「右」が付与された複数のＲＧＢ画像データ２１ａについても同様に機械学習を行う。学習部１４１は、人方向「左」、「後ろ」、「右」の各特徴量を、人方向「左」、「後ろ」、「右」と対応付けて、第１識別器１３１に登録する。

学習部１４１が、第２識別器１３２を生成する処理の一例について説明する。学習部１４１は、学習距離データ２０ｂを取得する。学習距離データ２０ｂは、複数の距離データ２１ｂが含まれる。各距離データ２１ｂには、教師ラベルが付与されている。教師ラベルは、距離データ２１ｂに含まれる人物の方向を一意に識別する情報であり、「正面」、「左」、「後ろ」、「右」のうちいずれか一つの人方向となる。なお、教師ラベルは図３のような人方向範囲を直接示す情報であっても良いし、距離データ２１ｂに含まれる人物の方向を示す角度値そのものであっても良い。

学習部１４１は、教師ラベル「正面」が付与された複数の距離データ２１ｂを基にして機械学習を行い、人方向「正面」の特徴量を抽出する。学習部１４１は、人方向「正面」と人方向「正面」の特徴量とを対応付けて、第２識別器１３２に登録する。学習部１４１は、他の教師ラベル「左」、「後ろ」、「右」が付与された複数の距離データ２１ｂについても同様に機械学習を行う。学習部１４１は、人方向「左」、「後ろ」、「右」の各特徴量を、人方向「左」、「後ろ」、「右」と対応付けて、第２識別器１３２に登録する。

上記の説明では、学習部１４１が学習フェーズにおいて、第１識別器１３１および第２識別器１３２を生成する場合について説明したが、これに限定されるものではない。例えば、認識装置１００は、第１識別器１３１、第２識別器１３２を、予め記憶部１３０に保存しておいても良い。また、学習部１４１は、ディープラーニング等を用いて、各人方向の特徴量を求め、第１識別器１３１、第２識別器１３２を生成しても良い。

第１認識部１４２は、認識フェーズにおいて、ＲＧＢカメラ１０ａからＲＧＢ画像データ１１ａを取得し、第１識別器１３１を基にして、対象者６ａの人方向を認識する処理部である。以下の説明において、第１認識部１４２が人方向を認識する処理を「第１認識処理」と表記する。第１認識部１４２は、第１認識処理の認識結果を、第１確率保持テーブル１３３ａに保存する。第１認識処理の認識結果を「第１認識結果」と表記する。

第１認識処理の一例について説明する。第１認識部１４２は、ＲＧＢ画像データ１１ａの特徴量と、第１識別器１３１に含まれる「正面」、「左」、「後ろ」、「右」の特徴量とを比較して、類似具合等に基づき、人方向毎の確率値を特定する。かかる人方向毎の確率値が、第１認識結果となる。なお、人方向範囲を直接示す情報を用いて学習した場合についても同様に確率値を特定し、人方向を示す角度値を学習した場合は認識結果の角度が含まれる人方向の確率を1とする事により確率値を特定する。また、複数の異なる学習データセットを用いて複数の識別器を作成しておき、それぞれの識別器を用いて認識した結果の多数決により人方向毎の確率値を特定しても良い。

図１０は、第１認識結果の一例を示す図である。ここでは一例として、第１認識結果１４２ａの確率値の大小を色の濃淡で表し、色が濃いほど、確率値が大きいことを示す。図１０に示す例では、人方向が９０°〜３００°の範囲に含まれる可能性があることを示す。例えば、第１認識結果１４２ａを数値で表したものが、図７の第１確率保持テーブル１３３ａとなる。

ここでは一例として、第１認識部１４２が、ＲＧＢ画像データ１１ａと、第１識別器１３１とを比較して、第１認識処理を実行する場合について説明したが、色情報を用いたルールベースに基づいて、人方向を判定しても良い。図１１は、ルールベースの一例を示す図である。図１１に示すように、ルールベース１５０は、ユニホームの前後、下半身の色の位置関係により、対象者６ａの人方向を判別するものである。

例えば、ユニホームの前後、下半身の色の位置関係が画像１５１に対応する場合には、人方向は「正面」となる。ユニホームの前後、下半身の色の位置関係が画像１５２に対応する場合には、人方向は「左」となる。ユニホームの前後、下半身の色の位置関係が画像１５３に対応する場合には、人方向は「後ろ」となる。ユニホームの前後、下半身の色の位置関係が画像１５４に対応する場合には、人方向は「右」となる。なお、ルールベース１５０は、画像１５１〜１５４以外のその他のバリエーションの画像があっても良く、他のバリエーションの画像と人方向とが対応付けられていても良い。

第２認識部１４３は、認識フェーズにおいて、距離センサ１０ｂから距離データ１１ｂを取得し、第２識別器１３２を基にして、対象者６ａの人方向を認識する処理部である。以下の説明において、第２認識部１４３が人方向を認識する処理を「第２認識処理」と表記する。第２認識部１４３は、第２認識処理の認識結果を、第２確率保持テーブル１３３ｂに保存する。第２認識処理の認識結果を「第２認識結果」と表記する。

第２認識処理の一例について説明する。第２認識部１４３は、距離データ１１ｂの特徴量と、第２識別器１３２に含まれる「正面」、「左」、「後ろ」、「右」の特徴量とを比較して、類似具合等に基づき、人方向毎の確率値を特定する。人方向範囲を直接示す情報を用いて学習した場合についても同様に確率値を特定し、人方向を示す角度値を学習した場合は認識結果の角度が含まれる人方向の確率を1とする事により確率値を特定する。また、複数の異なる学習データセットを用いて複数の識別器を作成しておき、それぞれの識別器を用いて認識した結果の多数決により人方向毎の確率値を特定しても良い。かかる人方向毎の確率値が、第２認識結果となる。距離データ１１ｂを用いた人方向の認識では、上記の第１識別処理と比較して、ある程度正確に人方向を認識することが可能である。

図１２は、第２認識結果の一例を示す図である。ここでは一例として、第２認識結果１４３ａの確率値の大小を色の濃淡で表し、色が濃いほど、確率値が大きいことを示す。図１２に示す例では、人方向が０°〜６０°の範囲に含まれる可能性があることを示す。例えば、第２認識結果１４３ａを数値で表したものが、図７の第２確率保持テーブル１３３ｂとなる。

ここで、人物の形状は、対角方向の３次元形状が類似しているため、人方向の認識が間違っている可能性がある。図１３は、間違えやすい人方向の一例を示す図である。図１３に示すように、正面（０°）と背中（１８０°）、右（２７０°）と左（９０°）の組は、３次元形状が類似しているため、第２認識処理による第２認識結果が誤っている可能性がある。

このため、第２認識部１４３は、第２認識処理を実行した後に、対角方向追加処理を実行する。図１４および図１５は、対角方向追加処理の一例を説明するための図である。第２認識部１４３は、第２認識結果１４３ａの対角線上の範囲にも同様の確率値を設定することで、第２認識結果１４３ｂを生成する。図１４に示すように、第２認識部１４３は、第２認識結果１４３ａの方向「６０°」、「３０°」、「０°」の確率値を、方向「２４０°」、「２１０°」、「１８０°」の確率値としてそれぞれ設定する。

すなわち、第２認識部１４３は、方向確率保持テーブル１３３にアクセスし、第２確率保持テーブル１３３ｂを更新する。例えば、図１５に示すように、第２認識部１４３は、方向「６０°」、「３０°」、「０°」の確率値を、方向「２４０°」、「２１０°」、「１８０°」の確率値としてそれぞれ設定する。これにより、第２確率保持テーブル１３３ｂは、第２確率保持テーブル１３３ｂ’に更新される。

図６の説明に戻る。移動推定部１４４は、人方向キュー１３４を基にして、移動方向および移動距離を推定する処理部である。移動推定部１４４は、推定結果を第３認識部１４５に出力する。

移動推定部１４４が、「移動方向」を推定する処理の一例について説明する。推定される移動方向は、右回転か左回転となる。移動推定部１４４は、人方向キュー１３４を参照し、連続２フレーム分の方向を読み出す。一例として、読み出した２フレーム分の方向のうち、古い方の方向を第１方向、新しい方の方向を第２方向とする。移動推定部１４４は、第１方向から第２方向への回転方向が右方向である場合には、移動方向を「右回転」と推定する。移動推定部１４４は、第１方向から第２方向への回転方向が左方向である場合には、移動方向を「左回転」と推定する。なお、移動推定部１４４は、上記処理を繰り返し実行し、多数決により、移動方向を推定しても良い。

移動推定部１４４が、「移動距離」を推定する処理の一例について説明する。ここでの移動距離は、連続２フレーム間で、人方向がどれほどの角度変化したのかを示す情報となる。人方向キュー１３４を参照し、連続２フレーム分の方向を読み出す。移動推定部１４４は、連続する２フレームの各方向の差分を、移動距離として推定する。なお、移動推定部１４４は、上記処理を繰り返し実行し、各移動距離の平均値を算出し、平均値を移動距離として推定しても良い。

第３認識部１４５は、方向確率保持テーブル１３３および移動推定部１４４の推定結果を基にして、最も確からしい対象者６ａの人方向を特定する。第３認識部１４５は、特定した人方向と骨格辞書データ１３５とを基にして、対象者６ａの骨格を認識する。例えば、第３認識部１４５は、フィルタリング処理、人方向認識処理、骨格認識処理を順に実行する。

第３認識部１４５が実行するフィルタリング処理の一例について説明する。図１６及び図１７は、フィルタリング処理の一例を説明するための図である。まず、第３認識部１４５は、前フレームの方向、移動方向、移動距離に基づき、フィルタリング範囲を設定する。第３認識部１４５は、「前フレームの方向を起点」として、「移動方向に移動距離＋３０°」、「移動方向とは逆方向に移動距離」に対応する範囲を、フィルタリング範囲とする。第３認識部１４５は、前フレームの方向の情報を、人方向キュー１３４から取得するものとする。

例えば、前フレームの方向を「０°」、移動方向を「右回転」とし、移動距離を「６０°」とすると、フィルタリング範囲は、図１６に示すフィルタリング範囲Ｆ１となる。

第３認識部１４５は、フィルタリング範囲を特定した後に、フィルタリング範囲Ｆ１と、第２確率保持テーブル１３３ｂとを比較して、フィルタリング範囲Ｆ１に含まれない方向の確率値を「０」に設定する。図１７を用いて説明する。例えば、前フレームの方向を「３００°」とし、移動方向を「右回転」とし、移動距離を「６０°」とすると、フィルタリング範囲はＦ２となる。このため、第３認識部１４５は、第２認識結果１３３ｂ’（第２認識結果１４３ｂ）の各方向のうち、「１８０°、２１０°」の確率値を０に設定することで、フィルタリング認識結果１４３ｃを得る。

第３認識部１４５が実行する人方向認識処理の一例について説明する。図１８は、人方向認識処理の一例を説明するための図である。第３認識部１４５は、第１認識結果１４２ａ（第１確率保持テーブル１３３ａ）と、フィルタリング認識結果１４３ｃとを比較する。

第３認識部１４５は、双方に確率値の存在する方向について、大きい方の確率値を残す。第３認識部１４５は、双方に確率値の存在しない方向の確率値を０に設定する。係る処理を実行することで、第３認識部１４５は、中間認識結果１４４ｄを生成する。図１８に示す例では、中間認識結果１４４ｄの方向０°および３０°の確率値が、フィルタリング認識結果１４３ｃの方向０°および３０°の確率値となり、他の方向の確率値は０となる。

第３認識部１４５は、中間認識結果１４４ｄの各方向の確率値を参照し、確率値が最大となる方向を、対象者６ａの人方向として特定する。例えば、図１８の特定結果１４４ｅに示す例では、人方向は「３０°」と特定する。

第３認識部１４５が実行する骨格認識処理の一例について説明する。図１９は、骨格認識処理の一例を説明するための図である。図１９に示すように、第３認識部１４５は、特定結果１４４ｅにより特定された人方向に対応する関節位置の情報を骨格辞書データ１３５から取得し、対象者６ａの関節位置推定を行うことで骨格位置６ｂを推定する。

第３認識部１４５は、骨格位置６ｂを基にして、対象者６ａのより正確な人方向を特定する。例えば、第３認識部１４５は、骨格位値６ｂに含まれる両肩、背骨中央の３点の３次元座標を取得し、３点により定まる法線ベクトルを算出する。第３認識部１４５は、法線ベクトルをＸＺ平面（床面）に射影した投影ベクトルを算出する。第３認識部１４５は、投影ベクトルと正面方向ベクトルとの角度を算出する。第３認識部１４５は、算出した角度と、認識単位とを比較して、最終的な人方向を特定する。図１９の最終結果１４４ｆに示す例では、人方向６０°を最終的な人方向としている。第３認識部１４５は、最終的な人方向の情報を、人方向キュー１３４に登録する。

認識フェーズにおいて、上記の第１認識部１４２、第２認識部１４３、移動推定部１４４、第３認識部１４５は、ＲＧＢカメラ１０ａおよび距離センサ１０ｂから、ＲＧＢ画像データ、距離データを取得する度に、上記処理を繰り返し実行する。

次に、本実施例１に係る認識装置１００の処理手順の一例について説明する。図２０は、本実施例１に係る認識装置の処理手順を示すフローチャートである。図２０に示すように、この認識装置１００の第１認識部１４２は、ＲＧＢカメラ１０ａからＲＧＢ画像データ１１ａを取得する（ステップＳ１０１ａ）。第１認識部１４１は、第１認識処理を実行する（ステップＳ１０２ａ）。第１認識部１４２は、第１認識結果を方向確率保持テーブル１３３に保存する（ステップＳ１０３ａ）。

一方、認識装置１００の第２認識部１４３は、距離センサ１０ｂから距離データ１１ｂを取得する（ステップＳ１０１ｂ）。第２認識部１４３は、第２認識処理を実行する（ステップＳ１０２ｂ）。第２認識部１４３は、対角方向追加処理を実行する（ステップＳ１０３ｂ）。認識装置１００の移動推定部１４４は、移動方向算出処理を実行する（ステップＳ１０４ｂ）。認識装置１００の第３認識部１４５は、フィルタリング処理を実行する（ステップＳ１０５ｂ）。

第３認識部１４５は、第１認識結果およびフィルタリング処理された第２認識結果に基づいて、人方向を決定する（ステップＳ１０６）。第３認識部１４５は、決定した人方向と骨格辞書データとを基にして、関節位置を推定する（ステップＳ１０７）。

第３認識部１４５は、関節位置を出力し（ステップＳ１０８）、人方向算出処理を実行する（ステップＳ１０９）。第３認識部１４５は、人方向を人方向キュー１３４に保存する（ステップＳ１１０）。認識装置１００は、処理を継続する場合には（ステップＳ１１１，Ｙｅｓ）、ステップＳ１０１ａ、１０１ｂに移行する。認識装置１００は、処理を継続しない場合には（ステップＳ１１１，Ｎｏ）、処理を終了する。

図２０のステップＳ１０３ｂに示した対角方向追加処理の一例について説明する。図２１は、対角方向追加処理の処理手順を示すフローチャートである。図２１に示すように、認識装置１００の第２認識部１４３は、方向確率保持テーブル１３３（第２確率保持テーブル１３３ｂ）を読み出し（ステップＳ２０１）、未選択の方向を選択する（ステップＳ２０２）。

第２認識部１４３は、選択した方向の確率値が０である場合には（ステップＳ２０３，Ｙｅｓ）、ステップＳ２０５に移行する。一方、第２認識部１４３は、選択した方向の確率値が０でない場合には（ステップＳ２０３，Ｎｏ）、一時保存テーブルの対角方向に確率値を保存する（ステップＳ２０４）。

第２認識部１４３は、全ての方向の確認を完了していない場合には（ステップＳ２０５，Ｎｏ）、ステップＳ２０２に移行する。一方、第２認識部１４３は、全ての方向の確認を完了した場合には、一時保存テーブルの確率値を、方向確率保持テーブル１３３（第２確率保持テーブル１３３ｂ）に加算することで、方向確率保持テーブル１３３を更新する（ステップＳ２０６）。

図２０のステップＳ１０４ｂに示した移動方向算出処理の一例について説明する。図２２は、移動方向算出処理の処理手順を示すフローチャートである。図２２に示すように、認識装置１００の移動推定部１４４は、方向変数を０に初期化する（ステップＳ３０１）。移動推定部１４４は、人方向キュー１３４から連続２フレーム分の人方向を読み出す（ステップＳ３０２）。

移動推定部１４４は、角度から回転方向を検出する（ステップＳ３０３）。移動推定部１４４は、右回転である場合には（ステップＳ３０４，Ｙｅｓ）、「方向変数−差分／３０」により、方向変数を更新する（ステップＳ３０６）。ここで、差分は、連続するフレームの人方向の差分に対応する。

移動推定部１４４は、右方向でない場合には（ステップＳ３０４，Ｎｏ）、「方向変数＋差分／３０」により、方向変数を更新する（ステップＳ３０５）。

移動推定部１４４は、人方向キュー１３４の全ての値を確認完了したかを判定する（ステップＳ３０７）。移動推定部１４４は、人方向キュー１３４の全ての値を確認完了していない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３０２に移行する。

一方、移動推定部１４４は、人方向キュー１３４の全ての値を確認完了した場合には（ステップＳ３０８，Ｙｅｓ）、ステップＳ３０９に移行する。移動推定部１４４は、方向変数がプラスの場合は右回転として出力し、方向変数がマイナスの場合は左回転として出力する（ステップＳ３０９）。

図２０のステップＳ１０５ｂに示したフィルタリング処理の一例について説明する。図２３は、フィルタリング処理の処理手順を示すフローチャートである。図２３に示すように、第３認識部１４５は、人方向キュー１３４から前フレームの人方向を読み出す（ステップＳ４０１）。

第３認識部１４５は、別途求めた移動方向と前フレームからフィルタリング範囲を決定する（ステップＳ４０２）。第３認識部１４５は、方向確率保持テーブル１３３（第２確率保持テーブル１３３ｂ’）の１要素を確認する（ステップＳ４０３）。

第３認識部１４５は、方向がフィルタリング範囲内である場合には（ステップＳ４０４，Ｙｅｓ）、ステップＳ４０６に移行する。第３認識部１４５は、方向がフィルタリング範囲内でない場合には（ステップＳ４０４，Ｎｏ）、該当方向の確率値を０に設定する（ステップＳ４０５）。

第３認識部１４５は、全ての方向の確認を完了していない場合には（ステップＳ４０６，Ｎｏ）、ステップＳ４０３に移行する。一方、第３認識部１４５は、全ての方向の確認を完了した場合には（ステップＳ４０６，Ｙｅｓ）、フィルタリング処理を終了する。

図２０のステップＳ１０９に示した人方向算出処理の一例について説明する。図２４は、人方向算出処理の処理手順を示すフローチャートである。図２４に示すように、第３認識部１４５は、骨格推定結果から両肩、背骨中央の３点の３次元座標を取得する（ステップＳ５０１）。

第３認識部１４５は、３点により決まる平面の法線ベクトルを算出する（ステップＳ５０２）。第３認識部１４５は、法線ベクトルをＸＺ平面（床面）に射影する（ステップＳ５０３）。第３認識部１４５は、射影したベクトルと正面方向ベクトルとの角度を算出する（ステップＳ５０４）。第３認識部１４５は、角度を基にして、人方向を判定する（ステップＳ５０５）。

次に、本実施例１に係る認識装置１００の効果について説明する。認識装置１００は、ＲＧＢ画像データに基づく人方向の範囲と、距離データに基づく人方向の範囲とを基にして、より確からしい人方向を特定し、特定した人方向に基づいて、骨格認識を実行するため、人体の骨格認識の精度を向上させることができる。例えば、距離データだけでなく、ＲＧＢ画像データによる認識結果を用いる事により、距離画像では似た形状となり判断が難しい、対角方向の角度について、色情報、顔検出等の技術により高い確率で方向を認識できる。

例えば、単に従来技術１を、従来の骨格認識システムに適用した場合には、人方向に基づいて、該当する関節位置データを利用し、骨格認識をする参考技術が考えられる。かかる参考技術は、人方向を精度良く判定することが前提となっており、人方向の判定を正しく行えないと、骨格認識の精度が低下してしまう。例えば、対象者６ａの人方向が「正面」である場合には、人方向「正面」に対応する関節位置を用いて、骨格認識を行うことが望ましい。しかし、人物の正面および後ろ、右および左は、間違えやすいため、誤って、人方向を「後ろ」と判定してしまうと、人方向「後ろ」に対応する関節位置を用いて、骨格認識を行うことになり、正しい結果を得ることができない。

これに対して、本実施例１に係る認識装置１００は、距離データに基づく人方向の範囲に、第２識別器１３２に基づく人方向の範囲の他に、対角方向の範囲を追加して、最終的な人方向の判定を行う。このように、対角方向の候補を追加することにより、最初の方向認識で方向を誤った場合でも正しい結果を得られる可能性が高くなるという効果が得られる。特に体操競技のように前後左右、上下も含め様々な方向を向くような場合、誤りが発生しやすくなるため効果が得られやすい。

また、本実施例１に係る認識装置１００は、過去の人方向の履歴に基づき、対象者６ａの移動方向および移動距離を特定して、対象者６ａの移動範囲となるフィルタリング範囲を設定し、フィルタリング範囲に含まれない人方向を除外する。このため、人方向をより精度良く判定することができる。すなわち、最終的な骨格認識結果から求めた方向をフィードバックする事により移動方向・距離によるフィルタリングの起点となる前フレーム位置の精度が向上し、結果的としてフィルタリング結果の精度も向上するという効果が得られる。これは、すべての方向のデータを用いて学習する必要がある距離画像、ＲＧＢを使った方向認識と比べ、骨格推定では、狭い範囲の学習データにより学習された結果を用いているため、骨格の位置とそこから求める方向の精度が高くなるためである。

また、認識装置１００は、認識単位を狭くし、認識範囲を広くすることにより、方向の認識が多少間違っても広い範囲の学習結果が使われることになるため、狭い範囲でそれぞれの学習を行った場合と比べ、精度を向上させることができる。

なお、本実施例１では、一例として、第２認識部１４３が、対角方向追加処理を実行して、第２認識結果を修正したが、対角方向追加処理をスキップすることで、処理負荷を軽減させても良い。

次に、本実施例２として、認識装置１００のその他の処理について説明する。上述した実施例１では、認識装置１００は、人方向を判定する場合に、倒立方向を更に追加しても良い。例えば、倒立方向は、水平方向を軸とした対象者の回転方向に対応するものである。

図２５は、倒立方向の分割定義例を示す図である。図２５に示すように、対象者の頭が上で直立している状態を「０°」とし、真下を向いている状態を「９０°」とする。また、対象者が倒立して頭が下となる状態を「１８０°」とし、真上を向いている状態を「２７０°」とする。

図２６および図２７は、本実施例２で扱う方向の認識単位、認識範囲、学習範囲の一例を示す図である。図２６に示すように、認識装置１００は、倒立方向についても、認識単位、認識範囲、学習範囲を設定する。例えば、認識単位を３０°単位とし、１８０°単位で２分割した単位（認識範囲Ｂ１）毎に方向を認識する。また、認識装置１００は、骨格認識時の精度低下を防止するために、学習範囲Ｂ２のデータを用いて学習を行う。例えば、学習範囲Ｂ２は、認識範囲Ｂ１に対して上方向に３０°広い２１０°の範囲とする。

図２７に示すように、認識装置１００は、人物の頭が上となるグループＧ５と、人物の頭が下となるグループＧ６のいずれかに確定する。

第１識別器１３１は、図３等で説明した人方向「正面」、「左」、「後ろ」、「右」に加えて、倒立方向「上向き」、「下向き」を追加した人方向と、ＲＧＢ画像データの人物の特徴量とを対応付ける。第１認識部１４２は、ＲＧＢ画像データ１１ａと、第１識別器１３１とを比較して、人方向「正面」、「左」、「後ろ」、「右」と、人物の倒立方向「上向き」、「下向き」とを識別する。

第２識別器１３２は、図３等で説明した人方向「正面」、「左」、「後ろ」、「右」に加えて、倒立方向「上向き」、「下向き」を追加した人方向と、距離データの人物の特徴量とを対応付ける。第２認識部１４３は、距離データ１１ｂと、第２識別器１３２とを比較して、人方向「正面」、「左」、「後ろ」、「右」と、人物の倒立方向「上向き」、「下向き」とを認識する。また、第２識別器１３２は、人物の倒立方向「上向き」、「下向き」の認識結果に対して、対角方向追加処理を実行する。

移動推定部１４４は、人方向「正面」、「左」、「後ろ」、「右」の移動方向、移動距離を求める処理と同様にして、倒立方向の移動方向、移動距離を推定する。

第３認識部１４５は、人物の倒立方向について、フィルタリング処理、人方向認識処理を実行し、最終的な人物の倒立方向を特定する。第３認識部１４５は、最終的に決定した人方向、人物の倒立方向に対応する関節位置の情報を、骨格辞書データ１３５から取得し、対象者６ａの骨格を認識する。骨格辞書データ１３５は、人方向「正面」、「左」、「後ろ」、「右」と、人物の倒立方向「上向き」、「下向き」との組み合わせに対応する関節位置の情報を保持しておくものとする。

上記のように、認識装置１００は、人方向を判定する場合に、倒立方向を更に追加して処理することで、複雑な動きをするものについて、より精度良く骨格認識を行うことができる。

続いて、本実施例１、２に示した利用システム例について説明する。例えば、認識装置１００の出力結果となる骨格認識結果について下記の様に利用することができる。例えば、骨格（３次元関節座標）を用いて、フレーム単位で各関節の角度を算出する事により、審判の採点支援を行うことができる。関節座標で決まる手足の位置を用いてリアルタイムに何の技を行っているかを認識して放送等でリアルタイムに表示を行うことができる。トレーニング時に関節角度や動きを数値化することにより、トレーニングの支援を行う等の事ができる。

次に、上記実施例に示した認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２８は、認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図２８に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、有線または無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。例えば、インターフェース装置３０５は、ＲＧＢカメラ１０ａ、距離センサ１０ｂ等に接続される。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、第１認識プログラム３０７ａ、第２認識プログラム３０７ｂ、移動推定プログラム３０７ｃ、第３認識プログラム３０７ｄを有する。ＣＰＵ３０１は、第１認識プログラム３０７ａ、第２認識プログラム３０７ｂ、移動推定プログラム３０７ｃ、第３認識プログラム３０７ｄを読み出してＲＡＭ３０６に展開する。

第１認識プログラム３０７ａは、第１認識プロセス３０６ａとして機能する。第２認識プログラム３０７ｂは、第２認識プロセス３０６ｂとして機能する。移動推定プログラム３０７ｃは、移動推定プロセス３０６ｃとして機能する。第３認識プログラム３０７ｄは、第３認識プロセス３０６ｄとして機能する。

第１認識プロセス３０６ａの処理は、第１認識部１４２の処理に対応する。第２認識プロセス３０６ｂの処理は、第２認識部１４３の処理に対応する。移動推定プロセス３０６ｃの処理は、移動推定部１４４の処理に対応する。第３認識プロセス３０６ｄの処理は、第３認識部１４５ｄの処理に対応する。

なお、各プログラム３０６ａ〜３０７ｄについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０６ａ〜３０７ｄを読み出して実行するようにしても良い。

１０ａ ＲＧＢカメラ
１０ｂ 距離センサ
１００ 認識装置

Claims (13)

1. 画像情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第１範囲とを特徴毎に対応付けた第１識別器と、距離情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第２範囲とを特徴毎に対応付けた第２識別器と、人物の体が向いている方向と人物の関節位置とを対応付けた関節位置辞書とを記憶する記憶部と、
   対象者の画像情報を取得し、前記画像情報の特徴と前記第１識別器とを基にして、前記対象者の画像情報に対する第１範囲を特定する第１認識部と、
   前記対象者の距離情報を取得し、前記距離情報の特徴と前記第２識別器とを基にして、前記対象者の距離情報に対する第２範囲を特定する第２認識部と、
   前記第１認識部に特定された第１範囲と前記第２認識部に特定された第２範囲とを基にして、対象者の体が向いている方向を特定し、特定した方向と前記関節位置辞書とを基にして、前記対象者の骨格を認識する第３認識部と
   を有することを特徴とする認識装置。
2. 過去に特定された前記対象者の体が向いている方向の情報を保持するキューを基にして、前記対象者の体の移動方向および移動距離を推定する移動推定部を更に有し、前記第３認識部は、特定した第２範囲の対角方向の範囲を、前記第２範囲に加え、前記第３認識部は、前記移動方向、前記移動距離、前記第１範囲、前記第２範囲を基にして、前記対象者の体が向いている方向を特定することを特徴とする請求項１に記載の認識装置。
3. 前記第３認識部は、前記対象者の骨格を認識する度に、前記対象者の骨格から前記対象者の体が向いている方向を特定し、特定した結果を前記キューに保存することを特徴とする請求項２に記載の認識装置。
4. 前記人物の体の方向は、鉛直方向を軸とした回転方向または水平方向を軸とした回転方向であることを特徴とする請求項１、２または３に記載の認識装置。
5. 撮像装置と、距離センサと、認識装置とを有する認識システムであって、
   前記撮像装置は、対象者の画像情報を前記認識装置に出力し、
   前記距離センサは、対象者までの距離情報を前記認識装置に出力し、
   前記認識装置は、
   画像情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第１範囲とを特徴毎に対応付けた第１識別器と、前記距離情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第２範囲とを特徴毎に対応付けた第２識別器と、人物の体が向いている方向と人物の関節位置とを対応付けた関節位置辞書とを記憶する記憶部と、
   前記撮像装置から、画像情報を取得し、前記画像情報の特徴と前記第１識別器とを基にして、前記対象者の画像情報に対する第１範囲を特定する第１認識部と、
   前記距離センサから対象者の距離情報を取得し、前記距離情報の特徴と前記第２識別器とを基にして、前記対象者の距離情報に対する第２範囲を特定する第２認識部と、
   前記第１認識部に特定された第１範囲と前記第２認識部に特定された第２範囲とを基にして、対象者の体が向いている方向を特定し、特定した方向と前記関節位置辞書とを基にして、前記対象者の骨格を認識する第３認識部とを有する
   ことを特徴とする認識システム。
6. コンピュータが実行する認識方法であって、
   前記コンピュータは、画像情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第１範囲とを特徴毎に対応付けた第１識別器と、距離情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第２範囲とを特徴毎に対応付けた第２識別器と、人物の体が向いている方向と人物の関節位置とを対応付けた関節位置辞書とを記憶する記憶装置を有し、
   対象者の画像情報を取得し、前記画像情報の特徴と前記第１識別器とを基にして、前記対象者の画像情報に対する第１範囲を特定し、
   前記対象者の距離情報を取得し、前記距離情報の特徴と前記第２識別器とを基にして、前記対象者の距離情報に対する第２範囲を特定し、
   前記第１範囲と前記第２範囲とを基にして、対象者の体が向いている方向を特定し、特定した方向と前記関節位置辞書とを基にして、前記対象者の骨格を認識する
   処理を実行することを特徴とする認識方法。
7. 過去に特定された前記対象者の体が向いている方向の情報を保持するキューを基にして、前記対象者の体の移動方向および移動距離を推定する処理を更に実行し、前記骨格を認識し、第２範囲の対角方向の範囲を、前記第２範囲に加え、前記移動方向、前記移動距離、前記第１範囲、前記第２範囲を基にして、前記対象者の体が向いている方向を特定する処理を更に実行することを特徴とする請求項６に記載の認識方法。
8. 前記骨格を認識する処理は、前記対象者の骨格を認識する度に、前記対象者の骨格から前記対象者の体が向いている方向を特定し、特定した結果を前記キューに保存することを特徴とする請求項７に記載の認識方法。
9. 前記人物の体の方向は、鉛直方向を軸とした回転方向または水平方向を軸とした回転方向であることを特徴とする請求項６、７または８に記載の認識方法。
10. 画像情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第１範囲とを特徴毎に対応付けた第１識別器と、距離情報に含まれる人物の特徴と、前記人物の体が向いている可能性のある方向の範囲を示す第２範囲とを特徴毎に対応付けた第２識別器と、人物の体が向いている方向と人物の関節位置とを対応付けた関節位置辞書とを記憶する記憶装置を有するコンピュータに、
    対象者の画像情報を取得し、前記画像情報の特徴と前記第１識別器とを基にして、前記対象者の画像情報に対する第１範囲を特定し、
    前記対象者の距離情報を取得し、前記距離情報の特徴と前記第２識別器とを基にして、前記対象者の距離情報に対する第２範囲を特定し、
    前記第１範囲と前記第２範囲とを基にして、対象者の体が向いている方向を特定し、特定した方向と前記関節位置辞書とを基にして、前記対象者の骨格を認識する
    処理を実行させることを特徴とする認識プログラム。
11. 過去に特定された前記対象者の体が向いている方向の情報を保持するキューを基にして、前記対象者の体の移動方向および移動距離を推定する処理を更に実行し、前記骨格を認識し、第２範囲の対角方向の範囲を、前記第２範囲に加え、前記移動方向、前記移動距離、前記第１範囲、前記第２範囲を基にして、前記対象者の体が向いている方向を特定する処理を更に実行することを特徴とする請求項１０に記載の認識プログラム。
12. 前記骨格を認識する処理は、前記対象者の骨格を認識する度に、前記対象者の骨格から前記対象者の体が向いている方向を特定し、特定した結果を前記キューに保存することを特徴とする請求項１１に記載の認識プログラム。
13. 前記人物の体の方向は、鉛直方向を軸とした回転方向または水平方向を軸とした回転方向であることを特徴とする請求項１０、１１または１２に記載の認識プログラム。

Images