JP5877135B2 - 画像認識装置及びエレベータ装置 - Google Patents

Description

本発明は画像中の人物の動作を認識して人物の挙動を把握する画像認識装置及びこの画像認識装置を備えたエレベータ装置に関するものである。

例えば、エレベータ装置の乗りかごに搭乗している乗客の安全を確保するために、従来では乗りかご内に設置した監視カメラの撮影画像を監視員が目視により監視して乗りかご内の安全を確認していた。しかしながら、監視員によって常時撮影画像を目視することは監視員にとってかなりの身体的な負担となり、この負担を軽減することが要請されている。

そして、この身体的負担を軽減するために最近では監視エリアのカメラ画像中の人物の挙動を把握する監視システムが普及しつつある。監視システムの代表的な機能として、カメラ画像中の人物の動作を画像認識で把握して事故の発生や事故に至るような人物の異常挙動を検知することが求められている。

このような監視システムとしては、距離画像センサで取得した距離画像を使った画像認識技術を適用することが有効である。距離画像センサとは、カメラ画像と同様の２次元の撮像を取得すると共に、各画素における距離値を計測するセンサである。距離画像センサの距離値は、外光や影の影響を受けにくいので、カメラ画像を使うよりも人物の動作をより精度良く認識できる長所を有している。

例えば、特開２０１０−６７０７９号公報（特許文献１）では、店舗内の棚の上から斜め下に向けて取り付けた距離画像センサによって、人物が棚から物品を取り出す挙動を認識する技術が開示されている。

特開２０１０−６７０７９号公報

ところで、この特許文献１に記載の技術を用いて監視エリア全体の人物の挙動を把握しようとすると次のような不具合を生じる。

つまり、この距離画像センサは視野角が狭いために、人物の身体の一部が距離画像センサの視野角の外にはみ出ていると画像認識が困難になるという課題がある。

この理由は、身体の一部が視野角からはみ出た場合では視野角の外の身体から人物の動作特徴量が計算できないからである。このため、全身が視野角の内部に納まった人物の動作特徴量と身体の一部が視野角の外にはみ出た人物の動作特徴量が乖離するので、両者が同じ動作を行っても同一の動作と認識することが困難である。一般的に距離画像センサの光学系は距離値を計測する機構を有する分だけ、監視カメラと比べて視野角が狭いためにこの課題は顕著である。

また、監視エリアが広くなると、人物がさまざまな方向を向いて種々の動作を行なうために、人物の方向によって動作特徴量がばらついてしまい動作認識の精度が低下するという課題もある。

特許文献１に記載の技術では、距離画像センサを取り付けた棚の方向を向いて動作をすることを前提としていたのでこのような課題は発生しなかったが、広い視野角内の人物の動作を対象としようとするとこれらの課題の影響は大きくなる。

本発明の主たる目的は、距離画像センサによって撮像された視野角内の人物の動作を高い精度で認識することができる画像認識装置及びこの画像認識装置を備えたエレベータ装置を提供することにある。

本発明の第１の特徴は、身体の一部が視野角からはみ出た距離画像からはみ出し状態の動作特徴量を抽出すると共に、このはみ出し状態の動作特徴量と視野角からの身体のはみ出し量とから身体が視野角からはみ出さない状態の動作特徴量を推定する、ところにある。

本発明の第２の特徴は、はみ出し部分を取り除くフィルタ部により、例えば人物を複数の領域に分割し、分割された各領域が距離画像の視野角からはみ出る割合を求め、はみ出る割合の多い領域の特徴量の評価を行なわない、或いは特徴量を小さく評価して、人物の動作特徴量を推定する、ところにある。

本発明の第３の特徴は、周囲構造物を対象とした動作の場合に、人物の動作方向を予め定められた基準方向に揃えるように人物の座標変換を行ない、この座標変換された状態で人物の動作特徴量を推定する、ところにある。

本発明の第１の特徴によれば、距離画像の視野角から人物の身体の一部がはみ出たときでも人物の身体が距離画像の視野角からはみ出さない場合の動作特徴量に近づけることができ、画像認識の信頼性を向上することができる。

本発明の第２の特徴によれば、距離画像内に全身が存在する人物と身体の一部がはみ出した人物との何れに対しても、視野角に入る割合が多い領域の特徴量を使用しているので、両者の特徴量は近似しているため画像認識の信頼性が向上できるものである。

本発明の第３の特徴によれば、周囲構造物を対象とした動作の場合に、人物の動作方向を予め定められた基準方向に揃えることでほぼ近似した動作特徴量を抽出することができ、画像認識の信頼性を向上できるものである。

本発明の第１の実施形態における概略の構成図である。 第１の実施形態における機能ブロック図である。 第１の実施形態における距離画像中で動作する人物の一つの例を示す説明図である。 第１の実施形態における距離画像中で動作する人物の他の例を示す説明図である。 第１の実施形態におけるはみ出し量計算部の信号処理を説明する説明図である。 第１の実施形態における動作特徴量補正部の制御フローを示すフローチャート図である。 第１の実施形態における動作特徴量補正部の回帰推定パラメータのテーブル内容の一例を示した図である。 本発明の第２の実施形態における機能ブロック図である。 第２の実施形態における人物の領域をフィルタした一つの例を示す説明図である。 第２の実施形態における人物の領域をフィルタした他の例を示す説明図である。 第３の実施形態における機能ブロック図である。 第３の実施形態における仮想的な視点から見た距離画像の一つの例を示す説明図である。 第３の実施形態における仮想的な視点から見た距離画像の他の例を示す説明図である。 距離画像中の画素と対応点５０の関係を説明する説明図である。

以下、本発明の実施形態について図面を用いて詳細に説明するが、本発明は以下の実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。

以下に示す第１の実施形態になる画像認識装置は、距離画像センサの視野角から人物の身体の一部がはみ出た場合でも、撮像された視野角内の人物の動作を高い精度で認識することができるようにしたものである。

図１において、参照番号５１はエレベータ装置の乗りかごであり、参照番号５２は乗りかご５１内に取り付けた距離画像センサであり、参照番号５３乗りかご５１に設けたドアであり、参照番号５４は乗りかご５１の外側上部に載置した処理装置である。

乗りかご５１には、原点O及び座標軸（Ｘ, Ｙ, Ｚ）を有する座標系５９が定義されている。そして、座標系５９の原点Oは距離画像センサ５２の直下にあるように設定されている。また、距離画像センサ５２は、俯角θ、方位角φ、ロール角ρ の設置角度で取り付けられている。尚、俯角θと方位角φは、カメラがZ軸方向を見るときに共に0°であり、このとき俯角θ、方位角φ、ロール角ρの回転軸はそれぞれＸ軸、Ｙ軸、Ｚ軸と一致する。

処理装置５４は、本実施例になる画像認識処理を実行するのに必要な信号処理を行う計算装置であって、任意の計算機を適用できる。図1には、処理装置５４を1台の計算機としたが、処理装置５４は２つ以上の計算機から構成しても良い。また、距離画像センサ５２等の内部に設けた処理装置を用いて処理装置５４としても良い。このように、処理装置５４は適用される製品の形態に応じて適切に設けられる。

距離画像センサ５２は、内部に近赤外領域の光を出力する発光体を有し、近赤外光を発光してから、その近赤外光が視野角内の物体に反射してから戻ってくるまでの時間を計測することで、距離画像センサ５２から物体までの距離を計測する。

距離画像センサ５２は監視カメラと同様の画像の撮像面を有しており、撮像面中の各画素において距離計測を行うことで画素毎に距離値を取得する。このようにして画像中の各画素の距離値を計測した画像を以下では距離画像と呼ぶ。距離画像センサ５２は、この距離画像を監視カメラと同程度の周期で取得する。

以上の説明で述べた距離画像の取得の方式はTime Of Flight方式と呼ばれる。距離画像センサ５２はTime Of Flight方式以外にも、画像中の各画素の距離値を計測できる方式を適用できる。ステレオカメラやレーザレーダがその一例である。

次に、第１の実施形態になる画像認識装置の処理装置５４の処理機能を図２に示す機能ブロックで説明する。

まず各機能ブロックの概要を説明すると、距離画像取得部２は距離画像センサ５２から所定の時間間隔で距離画像を取得する。

人物抽出部３は距離画像取得部２の距離画像から乗りかご５１内の人物に該当する部分を抽出する。

はみ出し量計算部４は人物抽出部３が抽出した人物の全身の中でどの部分が距離画像センサ５２の画角外にはみ出ているかを計算する。この計算には幾何データ保持部１に保持された幾何データが使用される。この幾何データ保持部１には少なくとも距離画像センサ５２の視野角、設置位置、設置角度が記憶されている。はみ出し量計算部４は、人物の身体が距離画像センサ５２の視野角からはみ出してしまうはみ出し量を求める。

動作特徴量抽出部５は人物抽出部３によって抽出された人物画像から乗りかご５１内の人物の動作特徴量を抽出する。

動作特徴量補正部６は人物抽出部３が抽出した人物の身体の一部が距離画像センサ５２の画角外にはみ出ているときに、はみ出し量計算部４が計算したはみ出し量に応じて、動作特徴量抽出部５の動作特徴量を補正する。

この補正演算は距離画像センサ５２の視野外に身体の一部がはみ出た人物の動作特徴量を、距離画像センサ５２の視野内に身体が全て映っている人物の動作特徴量に近付けるものである。

動作認識部７は動作特徴量補正部６の動作特徴量から、人物の動作を類推する。より具体的には、動作認識部７は動作特徴量補正部６の動作特徴量から、乗り乗りかご５１内の人物が事前にカテゴリを定義した動作の中でどの動作を行っているか認識するものである。

制御部８は動作認識部７が認識した動作に応じて、乗りかご５１内の映像や距離画像の記録、乗りかご５１内への警報の出力、乗りかご５１の運行制御やドア５３の開閉の少なくとも１つ以上の動作を実行するものである。

次に各機能ブロックの詳細を説明する。幾何データ保持部１は距離画像センサ５２の視野角、設置位置、設置角度を記憶、保持している。これらの情報は作業員が距離画像センサ５２の取付け時に処理装置５４に入力しておくことで記憶、保持される。

或いは距離画像センサ５２の設置後に距離画像センサ５２で取得した距離画像を対象にして、監視カメラ用のキャリブレーションの方法を適用することで計算して記憶、保持することもできる。

更に、幾何データ保持部１内のデータと視野角が一致する距離画像センサ５２を選択し、作業員が幾何データ保持部１内の設置位置と設置角度で距離画像センサ５２を取り付けてもよい。

いずれにしても、幾何データ保持部１には上記したいずれかの方法で距離画像センサ５２の視野角、設置位置、設置角度が記憶、保持されている。

距離画像取得部２は所定の時間間隔で距離画像センサ５２から距離画像を取得する。図３に距離画像取得部２の取得した距離画像の例を示しており、この距離画像では人物が壁を蹴る異常な動作をしているものである。

図３において、参照番号１５１は距離画像、参照番号１５０は距離画像１５１中の各画素、参照番号１３０ａは人物、参照番号１５４ａはドア５３がある側の壁である。図３には図示を略しているが、距離画像１５１は多くの画素１５０で格子状に分割されている。画素１５０はそれぞれ乗りかご５１内における距離画像センサ５２までの距離値を保持している。

ここで、画素１５０の距離値は、幾何データ保持部１の記憶内容（距離画像センサ５２の視野角、設置位置、設置角度等）を参考にして座標系５９の座標値に変換できる。この変換は２段階のステップを経て実行されるもので、順に距離画像センサ５２を基準とした座標系への変換のステップ、このステップの後に座標系５９への変換のステップが行われる。

以下、２つのステップを順に説明するが、まず距離画像センサ５２を基準とした座標系への変換のステップを図１４を用いて説明する。

図１４において、参照番号６９は距離画像センサ５２を基準とした座標系であり、参照番号５０は画素１５０の乗り乗りかご５１内の対応点であり、i(u,v)は画素１５０の距離画像１５１上の座標であり、I_S(X_S,Y_S,Z_S)は対応点５０の座標系６９の座標である。

座標系６９の原点O_Sは距離画像センサ５２の投影の中心であり、座標軸X_S、Y_S、Z_Sは距離画像センサ５２から見て左、上、奥にあたる。ここで、座標系６９の座標I_Sの中で画素１５０の距離値はZ_Sに等しい。距離画像センサ５２の投影モデルをピンホールモデルで近似すると、I_Sの中で残るX_S、Y_Sは順に以下の式（１）と式（２）で計算できる。

式（１）及び式（２）の中でλは距離画像センサ５２の焦点距離であって、幾何データ保持部１内に存在するデータを使用するものである。

次に、座標系５９への変換のステップは、一般的な回転と平行移動の座標変換によって、以下の式（３）よって行うものである。

式（３）においてI（Ｘ, Ｙ, Ｚ）は対応点５０の座標系５９での座標値である。また、位置(X_C,Y_C,Z_C)は座標系５９における距離画像センサ５２の設置位置であり、角度(θ, φ, ρ)は図１の通り座標系５９における設置角度であり、これらのデータは幾何データ保持部１内に存在するデータを使用する。

次に、人物抽出部３は距離画像１５１から人物１３０ａの部分を抽出する。この人物１３０ａの抽出は、例えば、乗客（人物１３０a）がいない時に取得した乗りかご５１内の背景だけの距離画像と、人物１３０aが撮影された距離画像１５１の各画素の距離を引き算して、距離が変化した部分を抽出することで実現できる。

つまり、乗りかご５１内で人物１３０ａは距離画像センサ５２から見て、乗りかご５１の壁や床やドアよりも手前にあるために、距離画像１５１中に人物１３０ａが進入すると、人物１３０ａの身体がある部分は乗りかご５１の背景の距離画像よりも距離が短くなるため人物が抽出できるものである。

人物抽出部３はこの方法以外にも、距離画像１５１から人物１３０ａを抽出できる他の方法を適用してもよい。例えば人物１３０ａの形状のパターンをあらかじめ学習しておき、学習したパターンに適合する場所を人物１３０ａとして抽出する方法を取っても良い。

動作特徴量抽出部５は距離画像取得部２の距離画像の時系列的な変化からカメラ画像と同様の動作特徴量を抽出する。本実施例ではこの動作特徴量の抽出には高次立体局所自己相関を適用している。この高次立体局所自己相関による動作特徴量の抽出方法は、例えば「南里卓也、大津展之、“複数人動画像からの異常動作検出”、“コンピュータビジョンとイメージメディア”、Ｐ．４３−５０、２００５年１０月」に示されている。

そして、この高次立体局所自己相関の抽出では、まず２時刻の距離画像１５１の各画素の距離値の変化量を求める。図３に示す距離画像１５１の場合、この変化量は距離画像１５１中で乗客１３０ａが動いた部分で大きくなる。

特に、人物１３０ａは壁１５４ａを蹴っているので、脚部を中心に距離値の変化量が大きくなる。

更に、人物１３０ａの身体の中で、脚部の動きにつれて副次的に動く部分での距離値の変化量は大きくなる。つまり、脚部が蹴る時にバランスを取るために振る腕や、壁１５４ａを蹴った反動で揺れる上体がその一例である。

次に、高次立体局所自己相関の抽出では距離値の変化量が所定のしきい値を超えた部分を動作の２値画素として抽出し、更に続いて連続した３時刻における動作の２値画素から動作の成分を求める。

この高次立体局所自己相関での各々の動作の成分は、距離画像１５１中における動作している部分の動作の方向や、動作している部分の形状を反映する。ここで、動作の方向とは画像中において動く方向（右、右上、上、左上など）であり、動作している部分の形状とは、動作している部分の輪郭の向き（右、右上、上、左上など）である。

そして、動作特徴量は以下の式（４）のfで表すことができる。式（４）の中のNは動作特徴量の次元（見え方と動きのパターン）であって、高次立体局所自己相関では次元Nは２５１が一般的であるが、これに限らないものである。

はみ出し量計算部４は人物抽出部３が抽出した人物１３０ａが距離画像センサ５２の視野角からどの程度はみ出しているかを示すはみ出し量を計算する。図４では、図３と異なって、人物１３０ｂはドア５３とは反対側の方向を向いている。図４は人物の一部が距離画像センサ５２の視野角からはみ出た例であって、人物１３０ｂの脚部の大半が距離画像センサ５２の視野角から外れている。したがって、図３と異なって、距離画像センサ５２は人物１３０ｂの全体像を把握することができない。

人物１３０ｂはドア５３の反対側の壁１５４ｂを蹴っているが、脚部の大半が距離画像センサ２の視野角からはみ出ているために、距離画像１５１上において人物１３０ｂの脚部の動きは僅かしか映っていない。はみ出し量計算部４は人物１３０ｂの身体が定量的にどの程度はみ出ているかを計算する。

図５を用いてはみ出し量計算部４の演算処理を説明する。図５は乗りかご５１内における人物Ａ３０と人物Ｂ３０’の垂直断面を示している。

図５において、Y_Cは距離画像センサ５２の設置高さであり、θは距離画像センサ５２の俯角であり、ωは距離画像センサ５２の垂直方向の視野角であり、αは距離画像センサ５２の視野の下限と鉛直方向が成す角度であり、L及びL’は人物Ａ３０及び人物Ｂ３０’と距離画像センサ５２の床面上の距離であり、Pは人物Ａ３０のはみ出し量であり、参照番号４０は人物Ａ３０の中で距離画像センサ５２の視野角からはみ出たはみ出し部分である。

尚、距離Ｌは人物３０の重心点の座標値(Ｘ,Ｙ,Ｚ)の平面上における原点Oからの距離（Ｘ^２+Ｙ^２）^１/２で計算する。

人物Ａ３０の重心点は以下のような方法で求めることができる。まず距離画像１５１中の人物Ａ３０の重心点及びその重心点の距離値を求め、次にこの重心点の距離値と幾何データ保持部１に記憶されている距離画像センサ５２の設置位置と設置角度から重心点の座標系５９での座標値(X,Y,Z)を計算することで求められる。

尚、人物Ａ３０の重心点は人物Ａ３０の代表点を求めた一例であって、人物Ａ３０から他の代表点を求めても良い。例えば人物Ａ３０の頭頂部を代表点として抽出する方法を取っても良いものである。

図５において、距離Ｌに応じて人物Ａ３０のはみ出し量Ｐは以下の式（５）で計算できる。ここで、式（５）中のmax(,)は最大値をとる関数である。

式（５）において、距離Ｌが大きいほどmax(,)関数の第２項は小さくなり、距離Ｌが所定の値より大きくなるとはみ出し量Ｐは０となる。式（５）でＰ＝０のとき人物Ａ３０のはみ出しは無く、距離画像１５１内で人物Ａ３０の全身が映っている。例えば、図５において距離L’が大きい人物Ｂ３０’のはみ出し量を計算すると０であってはみ出しは無いことがわかる。

動作特徴量補正部６は図６のフローチャートを実行し、はみ出し量計算部４で計算したはみ出し量に応じて、距離画像センサ５２の視野角からはみ出た人物の動作特徴量が距離画像センサ５２の視野角に全身が入っている人物の動作特徴量に近づくように補正するものである。ここで、この補正の手法としては以下に説明する統計学的な推定方法を使用する。本実施例では回帰推定により補正を行なうようにしている。

図６のフローチャートにおいて、ステップ１（以下、ステップを“Ｓ”と省略して表記する）でははみ出し量が無いかを判定して、はみ出し量が無ければＳ４に進んで動作特徴量を補正しないという処理を実行する。この場合は人物Ｂ３０’の全身が距離画像１５１に存在しているので、人物の全身像から動作特徴量を求めることができる。

Ｓ１ではみ出し量が有ると判定された場合はＳ２に進んで、人物Ａ３０の身体の一部が距離画像センサ５２からはみ出た時の動作特徴量から人物Ａ３０の全身が距離画像センサ５２の視野内に入っている場合の動作特徴量を回帰推定するために、はみ出し量の値に応じて回帰推定のパラメータ（回帰係数）を選択する。

ここで回帰推定とは、事前にサンプルを収集した２群の変数の目的変数と説明変数が与えられたときに、目的変数と説明変数の統計的な相関を利用して、説明変数の値に対して最小２乗の意味で統計的に最適な目的変数の値を計算する手法である。

回帰係数とは、この回帰推定に用いるパラメータである。一般に、説明変数をx=[x₁,x₂…x_N]とし、目的変数をyとし、説明変数及び目的変数の平均値をμ_x =[μ_x1,μ_x2…μ_xN]、及びμ_yとし_、回帰係数a=[a₁,a₂…a_N]としたとき、目的変数yの回帰推定値y’は式（６）で計算できる。

Ｓ２では、図７に示すはみ出し量毎の回帰推定のパラメータのテーブルT1のデータを参照しながら、はみ出し量が無い時（人物の全身が映っている時）の動作特徴量を目的変数とし、はみ出し量が有る時の動作特徴量を説明変数として回帰推定を行う。Ｓ２でははみ出し量がＰのとき、テーブルT1において、Pに最も近いはみ出し量P_kを選択する。このテーブルは一つの例であって、これ以外も多くの変数を取り扱うことができる。

Ｓ２で回帰係数の選択が完了するとＳ３に進んで、はみ出し量が無い時の動作特徴量の第j成分の回帰推定値f_j’を以下の式（７）で演算する。尚、式（７）においてμ_fjは動作特徴量の第j成分の事前のサンプルの平均値であり、事前に計算しておく。動作特徴量補正部６では式（７）を全成分で演算することによって、はみ出し量が有る時の動作特徴量[x₁,x₂…x_N]から、はみ出し量が無い時の動作特徴量の回帰推定値f’=[f₁',f₂'…f_N']を演算することができる。

動作特徴量補正部６はこの回帰推定値f’をもってはみ出し量を補正した補正動作特徴量として出力する。テーブルT1の回帰推定のパラメータは、事前に所定のはみ出し量[P₁,P₂…P_Ｍ]の人物Ａ３０、及びはみ出し量が無い人物Ｂ３０’の夫々のサンプルの動作特徴量から計算しておくようになっている。

この回帰推定値f’には、以下の様な性質がある。今、図４の壁１５４ｂを蹴る人物１３０ｂのはみ出し量をＰとして、動作特徴量補正部６が動作特徴量の回帰推定値f’を推定するケースを考える。

この場合、図３のはみ出し量が無い人物１３０ａのように壁１５４ａを蹴る動作、あるいは乗りかご５１のいずれかの壁を蹴る動作の動作特徴量を含めたサンプルからテーブルT1の回帰推定のパラメータが適切に計算されていることを前提とする。

図３と図４を比べると、人物１３０ｂは脚部がほとんど映っていないために、人物１３０ｂの動作特徴量f_bは脚部の動きが欠落している分だけ、人物１３０ａの動作特徴量f_aよりも脚部の動きや形状を捉える成分の値が小さくなる。

ただし、人物１３０ｂには動作特徴量抽出部５の説明で述べた通り、脚部で壁１５４ｂを蹴ることに伴う腕の振りや上体の揺れの動作があるために、これらの動作ははみ出し量が無いときの動作特徴量の脚部で蹴る動きに応じた成分と相関を持って、式（７）においてはみ出し量が無い時の動作特徴量f’を推定することが可能となる。

動作認識部７は動作特徴量補正部６が出力した動作特徴量を入力として、事前に登録された動作特徴量に関連したカテゴリの中から最も適切な動作を類推して認識する。

これらのカテゴリには、図３のような壁を蹴る動作の他、乗りかご５１内で想定される幾つかの動作を含めておく。この動作の例としては、壁を殴る動作、他の人物を襲う動作といった異常挙動や、乗りかご５１を人物が通常に乗車するときの乗りかご５１の中で歩く動作、髪を整える動作といった正常挙動が挙げられる。この動作特徴量に関連したカテゴリはこれ以外にも多くの動作を含ませることができる。

また、動作認識部７の認識処理の確からしさを高めるためにはニューラルネットワーク技術を適用することが有効である。事前にカテゴリ毎の動作特徴量の学習サンプルから、ニューラルネットワークの荷重係数を学習しておけば実現できるようになる。この学習に用いる動作特徴量ははみ出し量が無いものを適用する。

更に、動作認識部７の認識機能はニューラルネットワーク以外にも、複数のカテゴリを扱うことができる識別器を適用して実現できる。例えば、SVM(Support Vector Machine)や学習ベクトル量子化といった識別器を用いることによって動作認識部７での認識処理を実現できる。

制御部８は動作認識部７が認識した動作に応じて以下のような異常対応制御を実行するが、どのような制御を行なうかは事業者の要望に沿うように決定されれば良いものである。

例えば、制御部８は、動作認識部７によって人物の異常挙動を認識すると、図１において乗りかご５１内の図示しない記録装置に向けて距離画像センサ５２の距離画像、もしくは乗りかご５１内の図示しないカメラの映像、すなわち、異常挙動を記録する制御、あるいは、図示しないスピーカやモニタといった警報装置に向けて警報を出力する制御、あるいは、乗りかご５１の行先階の変更などの乗りかごの階床停止制御やドアの開閉を行うドア制御のうち、少なくとも一つ以上の制御を実行するとよいものである。

例えば、図３のような壁を蹴る動作といった異常挙動を動作認識部７が認識した時、制御部８に設けられた異常対応制御部は乗りかご５１内の記録装置に向けて、その証拠となる距離画像もしくはカメラの映像を記録する。この時、どの様な異常挙動に対して記録を行ったかが容易にわかるように、距離画像もしくはカメラの映像に上述した動作のカテゴリを付加してもよい。

或いは、制御部８に設けられた異常対応制御部はスピーカやモニタに向けて、異常挙動している人物に向けてその挙動を制止するように警報を出力する、或いは、制御部８に設けられた異常対応制御部は乗りかご５１を最寄りの階に停止させて開閉ドアを開け、異常挙動している人物に降車するように促してもよい。また、異常挙動を行なっている人物に対して周囲の乗客の安全を確保するため、中央管理センタに連絡して警備員を呼ぶような対応をしても良い。

以上に説明した第１の実施形態によれば、距離画像センサ５２に身体の一部がはみ出た人物の動作であっても、高い精度で人物の動作を認識することが可能となる。また、その認識した動作を利用して、記録装置での記録、スピーカやモニタでの警報、乗りかご５１の制御が可能となるものである。

第１の実施形態の説明では、人物の下部分が距離画像センサ５２の視野角からはみ出るケースを例に挙げて説明したが、人物の上部分が距離画像センサ５２の視野角からはみ出る場合も同様にして扱えるものである。

このとき、はみ出し量計算部４は人物の位置に応じて距離画像センサ５２の上側の視野角の上限よりも上側にあるはみ出し量を計算する。また、動作特徴量補正部６には、事前に人物の上側のはみ出し量毎にテーブルT1と同様の回帰推定のパラメータのテーブルを用意しておき、はみ出し量計算部４が計算した上側のはみ出し量に応じて回帰推定のパラメータを選択する。人物の左側や右側がはみ出す場合も同様に扱えるものである。

第１の実施形態の説明では、動作特徴量補正部６は回帰推定を使って動作特徴量を補正したが、連続値を推定可能な他の統計的な推定方法を使っても良い。例えば、動作特徴量fの２次以上の項（f₁ ²,f₂ ²,f₁f₂等）を持った重回帰分析を適用することができる。また、ファジー推論を用いても良いものである。

動作特徴量補正部６に回帰推定以外の推定方法を適用する場合、適用した推定方法に応じて式（７）の補正式を変更する。また、適用した推定方法に応じてテーブルT1中のデータを変更しておくことが必要である。

第１の実施形態において、テーブルT1のデータを作成するためには、はみ出し量毎に人物が動作をしている距離画像１５１のサンプルを集めてから動作特徴量を抽出する必要がある。

距離画像１５１のサンプルは、動作認識部７のカテゴリをカバーするように多くのカテゴリの動作から抽出する必要がある。距離画像１５１のサンプルは、実際に人物を捉えた距離画像１５１を撮影する代わりに、コンピュータグラフィックスで合成した人物で代用しても良い。

コンピュータグラフィックスの人物は、実際の人物と同様の大きさを持ち、また同様の関節を持つものが望ましい。コンピュータグラフィックスの人物の動作は、その関節を制御することで作成することができる。

コンピュータグラフィックスの人物の距離画像は、幾何データ保持部１の視野角や設置角度や設置位置に応じた仮想の撮像系をコンピュータグラフィックスに設けて、コンピュータグラフィックスにおいてコンピュータグラフィックスの人物と仮想の撮像系の距離値を画素毎に計算することで求める。

この様にコンピュータグラフィックスを利用して距離画像１５１のサンプルを合成すると、実際に人物を捉えた距離画像１５１を撮影するよりも少ない工数で前記距離画像１５１のサンプルを収集できて効率化が図れる。

コンピュータグラフィックスの人物には、身長、体形、服装にバリエーションを持たせてもよく、距離画像１５１の人物等の身長、体形、服装が多様な場合も、その多様さをカバーするようにテーブルT1のデータを作成しておけば良いものである。

次に本発明の第２の実施形態になる画像認識装置について説明する、以下に示す第２の実施形態になる画像認識装置は、第１の実施形態と同様に距離画像センサの視野角から人物の身体の一部がはみ出た場合でも、撮像された視野角内の人物の動作を高い精度で認識することができるようにしたものである。

第２の実施形態において、全体的な画像認識装置の構成は図１に示したものと同様である。そして、第１の実施形態である図２に示す機能ブロックと異なるのは、はみ出し量計算部４と動作特徴量補正部６であり、その他の機能ブロックは同様の機能ブロックである。

先に説明した第１の実施形態に対して第２の実施形態では、はみ出し量計算部４と動作特徴量補正部６を人物領域フィルタ部９に置き換えている。この人物領域フィルタ部９の考え方は人物を複数の領域（例えば、頭、腕、胴、足等の部位領域や床面からの高さで複数に分割した高さ領域等）に分割し、分割された各領域が人物の動作、挙動に対応して距離画像１５１の視野角からはみ出る割合を求め、はみ出る割合の多い領域の特徴量の評価を行なわない、或いははみ出る割合の多い領域の特徴量を小さくする、といったフィルタ機能を付与したものである。

したがって、全身が存在する人物と身体の一部がはみ出した人物であっても視野角に入る割合が多い領域の特徴量を使用しているので、特徴量としては両者は近似しているため精度の高い認識が可能となり、画像認識の信頼性が向上できるものである。

このためには、この人物領域フィルタ部９は人物抽出部３が抽出した距離画像１５１の人物の部分の中で、乗りかご５１内の人物がどこに居ても映る部分を抽出する。換言すれば、人物領域フィルタ部９は、人物抽出部３が抽出した距離画像中の人物から、人物が想定された範囲のどこに移動しても常に人物の身体が映る部分以外のはみ出し部分を取り除く。

この結果、動作特徴量抽出部５は人物の乗りかご５１内の位置に拘わらず、動作特徴量が近似してくることで動作認識部７での動作の認識が容易となるものである。

人物領域フィルタ部９の処理を図９と図１０を用いて説明する。図９及び図１０において、人物１３１ａ及び人物１３１ｂはそれぞれ壁１５４ａ及び壁１５４ｂを殴る動作をしている。

参照番号１４１ａ及び参照番号１４１ｂは人物１３１ａ及び人物１３１ｂを構成する画素の中で、高さが所定値Ｐ_Ｆ以下の領域を示している。高さＰ_Ｆは人物１３１ａ及び人物１３１ｂが乗りかご５１内の移動想定範囲内で隈なく移動したときに、図２に示したはみ出し量計算部４で計算するはみ出し量が最も大きな値をとるときの高さである。

よって、乗りかご５１内の移動想定範囲内で人物１３１ａ及び人物１３１ｂがどこに移動しても、人物１３１ａ及び人物１３１ｂの人物内の画素の中で高さＰ_Ｆを超過する部分は常に距離画像１５１中に映っている。尚、人物１３１ａから高さＰ_Ｆ以下の領域１４１ａを抽出することは、人物１３１ａの内部の画素を式（１）、式（２）及び式（３）によって座標系５９の座標値に変換したときのＹ座標を参照することで可能である。人物１３１ｂから領域１４１ｂを抽出することも同様の手順で可能である。

図１０において、人物１３１ｂの脚部の多くの領域は距離画像センサ５２の視野角からはみ出しているために、人物１３１ａ及び人物１３１ｂが壁を殴る動作の中で、踏み込むような脚部の動きを伴った時の動作では、人物１３１ａ及び人物１３１ｂの全身から動作特徴量を抽出すると距離画像１５１中に映る脚部の範囲の違いによって動作特徴量が異なってしまうようになる。

一方で、実施例２の動作特徴量抽出部５では、人物領域フィルタ部９によって領域１４１ａ及び領域１４１ｂを除外した人物１３１ａ及び人物１３１ｂの画像から動作特徴量を抽出することによって、人物１３１ａ及び人物１３１ｂの見えている範囲がほぼ同様となって人物１３１ａ及び人物１３１ｂの動作特徴量が近似するようになるものである。

第２の実施形態によれば、全身が存在する人物と身体の一部がはみ出した人物との何れに対しても、視野角に入る割合が多い領域の特徴量を使用してので、人物の距離画像内の撮影位置に拘わらず特徴量としては近似しているため精度の高い認識が可能となり画像認識の信頼性が向上できるものである。

ここで、本実施例では人物領域フィルタ部９でフィルタされる領域を脚部としたが、これ以外に適宜フィルタされる領域を決めることができる。また、フィルタされる領域を複数としても差し支えないものである。

以下に示す第３の実施形態になる画像認識装置は、人物の方向によって動作特徴量がばらつく場合でも、撮像された視野角内の人物の動作を高い精度で認識することができるようにしたものである。

第３の実施形態において、全体的な画像認識装置の構成は図１に示したものと同様である。そして、第１の実施形態である図２に示す機能ブロックと異なるのは、幾何データ保持部１、はみ出し量計算部４、及び動作特徴量補正部６であり、その他の機能ブロックは同様の機能ブロックである。

第３の実施形態では、第１の実施形態で用いていた幾何データ保持部１、はみ出し量計算部４、及び動作特徴量補正部６の代わりに、新たに記憶情報を追加した幾何データ保持部１１、周囲構造物認識部１２、及び人物座標変換部１３に置き換えたものである。

図１１において、周囲構造物認識部１２は距離画像センサ５２の距離画像において人物の周辺の構造物（周囲構造物）を抽出する機能を備えている。

また、幾何データ保持部１１は、第１の実施形態で使用した幾何データ保持部１のデータ（距離画像センサ５２の視野角や設置角度や設置位置）に加えて、周囲構造物認識部１２が参照する構造物に関するデータを記憶、保持している。

人物座標変換部１３は人物抽出部３が抽出した距離画像１５１の人物１３０ａ及び１３０ｂ等の動作が周囲構造物を対象とした動作である場合に、距離画像１５１上における人物の動作の方向が、人物の位置に寄らず予め定められた基準方向に揃うように、人物の距離画像の座標変換を行う機能を備えている。

つまり、乗りかごの壁を表す線分２５４a乃至線分２５４ｄのどの線分に対して、例えば人物が殴るといった動作を行なっているかを判断し、上方（望ましくは真上）から見た距離画像上における人物の動作の方向（この場合は人物が殴る対象となっている線分に向かう方向）を予め定められた基準方向（例えば距離画像上で上方向）に揃うように人物の距離画像を座標変換することで人物の動作方向を揃えるものである。

ここで、図１２において人物２３１aは線分２５４ａに対して殴る動作を行ない（動作方向は上方向）、図１３において人物２３１ｂは線分２５４ｂに対して殴る動作を行なっている（動作方向は下方向）。もちろん、線分２５４ｃ及び線分２５４ｄに対しても殴る動作を行なう場合がある。何れの場合も、動作方向が基準方向である上方向になるように座標変換を行って人物の動作方向を特定の基準方向にそろえるようにしてから特徴量を抽出することで、人物の動作方向による特徴量のばらつきを抑制できるようになる。

次に、幾何データ保持部１１、周囲構造物認識部１２、及び人物座標変換部１３の詳細機能を説明する。

幾何データ保持部１１の構造物のデータは、乗りかご５１の壁に関する情報を保持している。乗りかご５１内の四方に壁があること、各壁が床面に垂直であること、隣り合う各壁が直交することを情報として記憶、保持されている。

周囲構造物認識部１２は、まず距離画像１５１の各画素の距離値を式（１）、及び式（２）によって、座標系５９の座標値(X,Y,Z)に変換する。次に、この座標値を仮想的に真上から見た距離画像を合成する。

図１２は乗りかご５１を真上から見た距離画像の一例であって、参照番号２５１は真上から見た距離画像、参照番号２５４ａ，２５４ｂ，２５４ｃ，２５４ｄは距離画像の線分であり、乗りかご５１の壁を表している。また、参照番号２３１ａは線分２５４ａの方向を向いて殴る動作をする人物である。

座標値を仮想的に真上から見た距離画像の距離値は、図１４と同様に距離画像１５１の画素１５０の対応点５０から仮想視点までの距離である。周囲構造物認識部１２は、幾何データ保持部１１の乗りかご５１内の壁の条件（４方に壁があること、各壁が床面に垂直であること、隣り合う各壁が直交すること）、及び線分２５４ａ，２５４ｂ，２５４ｃ，２５４ｄが乗りかご５１内の壁であることを認識する。尚、線分２５４ａ，２５４ｂ，２５４ｃ，２５４ｄは、距離画像２５１にハフ変換等による直線抽出アルゴリズムを適用して求めても良い。

人物座標変換部１３は周囲構造部物認識部１２が認識した周囲構造物のうち、どの周囲構造物が人物の動作の対象になっているか、および、真上から見た距離画像２５１上での人物の動作方向を判断し、人物の動作方向が基準方向に揃うように人物を座標変換することで、人物の動作の方向を揃える。

図１２と図１３の真上から見た距離画像２５１には、それぞれ壁（線分）２５４ａ及び２５４ｂに向かって殴る動作をする人物２３１ａ及び人物２３１ｂがいる。そして、人物がどの壁に対して殴る動作を行なっているかを相互の距離によって推定している。

図１２においては、人物座標変換部１３は人物２３１ａには人物２３１ａに最も近い線分２５４ａを基準とした座標系２０１ａを設定する。この場合は線分２５４ａで表された壁に進入する方向をＸ’軸、このＸ’軸を−９０°回転した方向をＺ’軸とする座標系を設定する。

同様に、図１３においても、人物座標変換部１３は人物２３１ｂには人物２３１ｂに最も近い線分２５４ｂを基準とした座標系２０１ｂを設定する。この場合も線分２５４ｂで表された壁に進入する方向をＸ’軸、このＸ’軸を−９０°回転した方向をＺ’軸とする座標系を設定する。

人物座標変換部１３は、人物２３１ａ及び２３１ｂを夫々座標系２０１ａ及び２０１ｂが乗りかご５１の座標系２００と一致するように回転座標変換を実行する。この場合、人物２３１ａの回転量は０°であり、人物２３１ｂの回転量は１８０°となる。したがって、図１３の場合は回転されて図１２に近い距離画像となり、人物２３１ｂの動作方向は基準方向である上方向となる。

第３の実施形態の動作特徴量抽出部７では、人物座標変換部１３が座標変換した後の距離画像の人物２３１ａ及び人物２３１ｂから、第１の実施形態と同様に動作特徴量を抽出する。

このように、第３の実施形態の画像認識装置では乗りかご５１内において、乗りかご５１内で壁を向いた人物の動作からほぼ近似した動作特徴量を抽出することが可能となる。この近似した動作特徴量は動作認識部７における画像認識の信頼性を向上する効果を奏することができる。

以上述べた第３の実施形態によれば、人物座標変換部１３は仮想的に乗りかご５１を真上から見た人物２３１ａ等を扱っていたが、これ以外にも真下や真横からなどの他の仮想的な視点から見た距離画像を用いても良いものである。

例えば、真横から見た仮想視点の場合、乗りかご５１内の壁が右側（或いは左側）に来るように人物の座標値を座標変換する。このように仮想視点を真横にすると、横方向から見た動きが大きな動作（屈んだり、倒れたりする動作）の認識が容易になる。

また、第３の実施形態によれば、構造物を乗りかご５１の内壁としたが、これは一例であって、例えば、距離画像センサ５２を駐車場に設置し、構造物として自動車を認識する構成とし、この自動車を対象に動作する人物を座標変換することによって、自動車に乗り降りする人物の動作を認識したり、自動車の窓ガラスを割るような不審な人物の動作を認識するような応用も可能である。

以上に説明した第１の実施形態乃至第３に実施形態に代表される本発明の認識装置は典型的にはエレベータ装置の乗りかご内の人物の挙動を認識するのに利用される。

しかしながら、冒頭でも述べたように本発明は説明した実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。

例えば、距離画像センサを使って人物の動作を認識するシステム一般に広く適用できる。例えば、エレベータ・ホールの監視や、エスカレータ付近の事故の監視、また人物の動作を使って計算機に所定に指示を与えるジェスチャ入力装置等にも適用できるものである。

また、これらの実施例においては画像認識装置をエレベータ装置の乗りかごに搭載した制御装置内に構築したが、これの応用展開として画像認識装置を管理センタに設け、距離画像だけを管理センタに送って管理センタ内の制御装置で画像認識を行なうようにすることも可能である

１…幾何データ、２…距離画像取得部、３…人物抽出部、４…はみ出し量計算部、５…動作特徴量抽出部、６…動作特徴量補正部、７…動作認識部、８…制御部。

Claims (14)

1. 人物を含めた距離画像を距離画像センサから取得する距離画像取得部と、前記距離画像から前記人物を抽出する人物抽出部と、前記人物の動作特徴量を抽出する動作特徴量抽出部と、前記人物の動作特徴量から前記人物の動作を類推する動作認識部を少なくとも備えた画像認識装置において、
   前記人物の身体が前記距離画像センサの視野角からはみ出してしまうはみ出し量を求めるはみ出し量計算部と、前記人物の身体が前記距離画像センサの視野角からはみ出した時の前記動作特徴量と前記はみ出し量に基づいて前記人物の全身の動作特徴量を推定する動作特徴量補正部とを備え、前記動作特徴量補正部の動作特徴量から前記動作認識部で前記人物の動作を類推することを特徴とする画像認識装置。
2. 請求項１に記載の画像認識装置において、
   前記距離画像取得部は、前記距離画像センサの少なくとも視野角、設置位置、及び設置角度が記憶された幾何データ保持部からの情報に基づいて距離画像を演算することを特徴とする画像認識装置。
3. 請求項１乃至請求項２のいずれか１項に記載の画像認識装置において、
   前記はみ出し量計算部は前記人物の上部、或いは下部が前記距離画像センサの視野角からはみ出した量を計算することを特徴とする画像認識装置。
4. 請求項１乃至請求項３のいずれか１項に記載の画像認識装置において、
   前記動作特徴量補正部は、事前に収集したはみ出し量に応じて求めた統計的な最適値を記憶した記憶部を有し、この最適値を用いた統計的演算によって前記人物の全身の動作特徴量を推定することを特徴とする画像認識装置。
5. 請求項４に記載の画像認識装置において、
   前記動作特徴量補正部による前記統計的演算は、はみ出し量が無い前記人物の全身が映っている時の動作特徴量を目的変数とし、はみ出し量が有る時の動作特徴量を説明変数とし、前記記憶部に記憶されたはみ出し量に応じた係数、前記目的変数、及び前記説明変数の統計的な相関によって最適な目的変数の値を計算する回帰推定によって前記人物の全身の動作特徴量を推定することを特徴とする画像認識装置。
6. 請求項５に記載の画像認識装置において、
   前記動作特徴量補正部の動作特徴量の推定に使用される前記はみ出し量に応じた係数はコンピュータグラフィックスで作成した人物を用いて求められることを特徴とする画像認識装置。
7. 請求項１乃至請求項６のいずれか１項に記載の画像認識装置において、
   前記動作認識部は、前記動作特徴量補正部の動作特徴量から少なくとも前記人物の異常挙動を認識することを特徴とする画像認識装置。
8. 請求項７に記載の画像認識装置において、
   前記動作認識部は、前記人物の正常挙動と異常挙動を認識、判定するための認識情報が記憶されていることを特徴とする画像認識装置。
9. 請求項１乃至請求項８のいずれか１項に記載の画像認識装置と、乗りかごと、前記乗りかご内に設置された前記距離画像センサとを備えたエレベータ装置において、
   前記動作認識部によって前記人物の異常挙動を認識すると、前記異常挙動を記録する制御、或いは警報を発する制御、或いは乗りかごのドア制御、或いは乗りかごの階床停止制御の少なくとも一つの制御を実行する制御部を備えたことを特徴とするエレベータ装置。
10. 人物を含めた距離画像を距離画像センサから取得する距離画像取得部と、前記距離画像から前記人物を抽出する人物抽出部と、前記人物の動作特徴量を抽出する動作特徴量抽出部と、前記人物の動作特徴量から前記人物の動作を類推する動作認識部を少なくとも備えた画像認識装置において、
    前記人物抽出部が抽出した距離画像中の人物から、前記人物が想定された範囲のどこに移動しても常に前記人物の身体が映る部分以外のはみ出し部分を取り除く人物領域フィルタ部を設け、前記人物領域フィルタ部で得られた距離画像の前記人物から前記動作特徴量抽出部で前記人物の動作特徴量を抽出し、この動作特徴量から前記動作認識部で前記人物の動作を類推することを特徴とする画像認識装置。
11. 請求項１０に記載の画像認識装置において、
    前記距離画像取得部は、前記距離画像センサの少なくとも視野角、設置位置、及び設置角度が記憶された幾何データ保持部からの情報に基づいて距離画像を演算することを特徴とする画像認識装置。
12. 請求項１０乃至請求項１１のいずれか１項に記載の画像認識装置において、
    前記人物領域フィルタ部は、はみ出し量が最も大きな値をとった時のはみ出し部分を取り除くことを特徴とする画像認識装置。
13. 請求項１０乃至請求項１２のいずれか１項に記載の画像認識装置において、
    前記動作認識部は、前記人物の正常挙動と異常挙動を認識、判定するための認識情報が記憶されていることを特徴とする画像認識装置。
14. 請求項１０乃至請求項１３のいずれか１項に記載の画像認識装置と、乗りかごと、前記乗りかご内に設置された前記距離画像センサとを備えたエレベータ装置において、
    前記動作認識部によって前記人物の異常挙動を認識すると、前記異常挙動を記録する制御、或いは警報を発する制御、或いは乗りかごのドア制御、或いは乗りかごの階床停止制御の少なくとも一つの制御を実行する制御部を備えたことを特徴とするエレベータ装置。

Images