JP6046559B2

JP6046559B2 - 特定動作検出装置

Info

Publication number: JP6046559B2
Application number: JP2013111144A
Authority: JP
Inventors: 円井上; 梅崎　太造; 太造梅崎
Original assignee: Aiphone Co Ltd
Current assignee: Aiphone Co Ltd
Priority date: 2013-05-27
Filing date: 2013-05-27
Publication date: 2016-12-14
Anticipated expiration: 2033-05-27
Also published as: JP2014229266A

Description

本発明は、未知の映像データから特定の動きと形状情報を定量化し、事前情報として保持している特定の物体の特定の動作情報と比較して類似度を判定する特定動作検出装置に関する。

映像から人物の行動を推定するには、ある時刻に撮影された画像から人物の特徴を抽出し、その情報が時間の経過に伴いどのように変化していくかを観察し、その画像特徴の時系列変化と、予め蓄積した特定の動作に関する画像の特徴データとを比較し、その類似度を算出して行動が推定される。
近年、このような動作を識別する方法としてＣＨＬＡＣ（例えば、特許文献１参照）特徴が知られている。ＣＨＬＡＣ特徴は単純な特徴記述であるだけでなく、シーン中へ侵入する物体の位置に関わらず同じ記述が可能であるし、複数の同時動作に対応する特徴量の和による表現が可能であるため、広く採用されている。

一方で、老人ホームや高齢者施設では、被介護者等の施設居住者が転倒により骨折等の深刻な怪我をする事例が増えてきている。この場合、最も怪我をするのがトイレに行くためにベッドから起き上がって立ち上がる際に発生するとされている。このような怪我を防ぐ対策としてカメラを使用したものは、例えば非特許文献１に開示された技術がある。これは、カメラにより人物を撮像して、その頭部を追跡して３軸方向の加速度の変化から転倒を見分けるものであった。

特開２００６−０７９２７２号公報特開２００８−２６９０６３号公報

C. Rougier, J. Meunier, A. Saint-Arnaud, and J. Rousseau, "Monocular 3D head tracking to detect falls of elderly people," In Proc. of 28th AC. Rougier, J. Meunier, A. Saint-Arnaud, and J. Rousseau, "Monocular 3D head tracking to detect falls of elderly people," In Proc. of 28th Annual International Confer-ence of the IEEE Engineering in Medicine and Biology Society, pp. 6384-6387 , 2006.

しかしながら、ＣＨＬＡＣ特徴は定常動作以外の行動に対して一定の反応を示すが、モデルフリーな特性を持つために行為自体を識別することが難しかった。また、ＣＨＬＡＣを応用した手法として例えば特許文献２の技術があるが、特許文献２では多重分割した画像を用いて人物の動作を分解するため、ＣＨＬＡＣの特徴である位置不変性が生かされなかったし、計算量が多く実装コストが高くなっていた。
また、非特許文献１の技術は、転倒を検出するアプローチであり、転倒そのものを防止できる技術ではなかった。

そこで、本発明はこのような問題点に鑑み、動きと形状の両者の特性を併せ持つ特徴量を少ない計算量で算出して特定の動作を検出できる特定動作検出装置、そして人がベッドから立ち上がる前の起き上がる動作を少ない計算量で算出して検出できる特定動作検出装置を提供することを目的としている。

上記課題を解決する為に、請求項１の発明に係る特定動作検出装置は、撮像映像を連続する画像フレームで出力する撮像手段と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、複数の時系列画像フレームに対して求めた輝度勾配の差分を抽出する輝度勾配差分算出部と、輝度勾配差分から動き特徴を抽出するために、抽出した輝度勾配の差分情報から時間変化を抽出して勾配強度の自己相関特徴を算出する時系列特徴算出部と、事前に特定物体の行動特徴を数値化したデータと時系列特徴算出手段の算出結果とを比較して類似度を判定する判定部と、判定結果を出力する結果出力部とを有することを特徴とする。
この構成によれば、画像フレーム間の輝度勾配差分を求めることで動く物体の輪郭を把握でき、輝度勾配差分から算出した自己相関から動き特徴を抽出して行動を判定できる。よって、動きと形状の両者の特性を併せ持つ特徴量を比較的少ない計算量で算出することができ、人物の特定の動作や特徴ある動作を安価な装置で判別することが可能となる。

請求項２の発明は、請求項１に記載の構成において、撮像手段が、ベッド上の人物を撮像するカメラであると共に、事前に特定物体の行動特徴を数値化したデータがベッド上で起床動作する人物のデータであり、判定部が、カメラの撮像映像から人物の起床動作を判定することを特徴とする。
この構成によれば、カメラの撮像映像を基にベッド上に伏している患者等の人物が起き上がる動作を判別するため、安価な装置で判別できる。そして、監視対象の人物の動作が危険な状態に至る前に介護者等の関係者に通知でき、事故の防止に役立つ。

本発明によれば、画像フレーム間の輝度勾配差分を求めることで動く物体の輪郭を把握でき、輝度勾配差分から算出した自己相関から動き特徴を抽出して行動を判定できる。よって、動きと形状の両者の特性を併せ持つ特徴量を比較的少ない計算量で算出することができ、人物の特定の動作や特徴ある動作を安価な装置で判別することが可能となる。
そして、事前に特定物体の行動特徴を数値化したデータをベッド上で起床動作する人物のデータとすることで、ベッド上での人物の起き上がり動作を安価な装置で判別することが可能となる。

本発明に係る特定動作検出装置の一例を示すブロック図である。時系列情報算出部での特徴量抽出の概要を示す図である。画像から特定動作を判定する流れを示す説明図であり、（ａ）は判別するカメラ撮像画像の時系列画像フレーム、（ｂ）は各画像フレームの輝度勾配ヒストグラム、（ｃ）は輝度勾配の画像フレーム間差分を抽出した図、（ｄ）は輝度勾配のフレーム間差分から自己相関特徴を算出したヒストグラム図である。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定動作検出装置の一例を示すブロック図であり、１は監視対象を撮像するためのカメラ、２はカメラ１が撮像した映像データから輝度勾配データを算出する輝度勾配算出部、３は輝度勾配の画像フレーム間差分を抽出する輝度勾配差分算出部、４は自己相関を算出する時系列情報算出部、５はアダブーストによるカスケード型識別器を用いて動作を識別する判定部、６は結果出力部である。
尚、輝度勾配抽出部２、輝度勾配差分抽出部３、時系列情報算出部４、及び判定部５は、所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成される。また、ここで検出する特定の動作は、具体的にはベッドに伏している患者等の人物が起き上がる動作の場合であり、監視対象人物の起き上がる動作を検出したら報知する構成について説明する。

カメラ１は、ベッドの上方であって、ベッド上の人物の少なくとも頭部を良好に撮像できる位置に設置され、例えば０．０３秒毎に画像フレーム（静止画）を生成して出力する。

輝度勾配算出部２は、輝度勾配強度、勾配方向を算出する。具体的には、先ず入力される画像フレーム毎に予め定義したパッチサイズにダウンサンプリングし、各ピクセルの輝度から勾配強度ｍと勾配方向θを次式（数１、数２）により算出し、近隣画素でＮ次ヒストグラム（輝度勾配ヒストグラム）を生成する。

ｄｘ（ｘ，ｙ）、ｄｙ（ｘ，ｙ）は輝度差であり、次式（数３）で算出される。

尚、Ｉ（ｘ，ｙ）は、（ｘ，ｙ）座標上の輝度である。

輝度勾配差分算出部３は、輝度勾配算出部２によって算出された輝度勾配データに対して、時系列で隣接する画像フレーム間の輝度勾配の差分を算出し、輝度勾配方向θをビン数Ｋに畳み込む。具体的に、Ｓ×Ｓピクセル領域における近似画素の角度情報をビン数Ｋとする勾配ヒストグラムに畳み込む。
畳み込んだ各ビンのスコアである輝度勾配ヒストグラムｈｋ（ｘ，ｙ）は数４で表される。

θ’（ｘ，ｙ）は、角度方向θ（ｘ，ｙ）をビン数Ｋに畳み込んだ値、δはクロネッカーのデルタであり、ｋがθ’（ｘ、ｙ）と等しければ１を、それ以外ならば０を返す。
最後に、数４で求めた隣接フレーム間の輝度勾配ヒストグラムｈｋ（ｘ、ｙ）の差分を求める。時刻ｔにおける輝度勾配強度ヒストグラム差分ｈＫｓｕｂ（ｘ，ｙ）は数５により得られる。

時系列情報算出部４では、輝度勾配差分特徴である輝度勾配の時間変化量から自己相関を算出する。輝度勾配の画像フレーム間差分情報に対して、隣接セルで構成した所定のマスクパターンを使用して勾配強度の自己相関を算出する。ここでは、座標位置、時刻、並びに輝度勾配方向の組合せによる４次元情報の自己相関を取得する。
図２は特徴抽出の概要を示し、画像フレームＦＬはＸＹ平面上に配置（セル位置をＸＹ平面で定義）され、時系列情報はｔ軸上で定義される。
尚、ＣＬはセルを示し、画像フレームＦＬを複数に分割したピクセルの集合体（例えば５×５ピクセルで構成される）である。また輝度勾配方向は、ヒストグラムのセル毎のビン数により定義され、勾配強度はこれら座標位置、時刻、並びに輝度勾配方向から成る４次元ベクトルとなる。

ここでマスクパターンについて説明する。Ｎ次元マスクパターンは、Ｎ×Ｎ×Ｎセルで定義されたマスクブロック内の３次元ベクトル（ｘ，ｙ，ｔ）から得られる。例えば、マスクパターンの次元数を３とした場合、マスクブロック内には８１（＝９×１×９）のマスクパターンが定義される。この際、基点となる時刻のセル位置は１点に固定され、抽出される特徴の総数は、セル領域サイズに分割した画像に対してマスクブロックを１セルずつずらして走査したマスクブロック数となる。例えば、１画像にＨ×Ｗ個のセルが存在する場合、１画像あたり（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）個のマスクブロックが得られる。更に角度方向を組み合わせて、合計すると（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）×Ｋ個の特徴が得られる。
一方、セル位置（ｘ，ｙ）を位置ベクトルｒとし、輝度勾配差分をｆ（ｒ，ｋ）とすると、時系列情報算出部４が算出するＮ次の自己相関特徴Ｘは数６によって得ることができる。

ａｎは変位ベクトル、ｋならびにｋｎは勾配方向、Ｎは自己相関の次数、αは畳み込まれた角度情報の差分、Ｇ（・）はガウスカーネル、Ｃはマスクブロック数である。
このように、本発明の幾何学特徴は、マスクパターンを使用して勾配強度の自己相関を算出するが、事前に複雑なマスクパターンを定義する必要がないため、従来のＣＨＬＡＣより演算を簡略化でき実装が容易となる。

判定部５は、人物と背景によってクラス分けされた学習サンプルと、算出した上記特徴量を用いて学習された強識別器によって構成され、周知のアダブーストによるカスケード型識別器を用いて統計特徴量を算出して類似度を判別する。

結果出力部６は、警報等を報音する報音部、検出した映像を表示する表示部、外部に通報する通報部等を備え、判定部５が類似する評価を下したら報音通知し、カメラの撮像映像を表示する。

次に、上述した特定動作検出装置の検知動作、具体的にベッドに伏している人が起き上がる起床動作を検出する動作を説明する。図３は、画像から人物の起床動作を検出する流れを示す説明図であり、図３を参照して説明する。図３（ａ）はカメラ１が出力する時系列画像フレーム、（ｂ）はカメラ１が出力した各画像フレームから抽出された輝度勾配ヒストグラム（ＨＯＧ）、（ｃ）は抽出された輝度勾配ヒストグラムの画像フレーム間差分情報、（ｄ）は輝度勾配ヒストグラムのフレーム間差分から自己相関特徴を算出した結果をそれぞれ示している。

図３（ｂ）に示すように、輝度勾配算出部２によりカメラ１が出力する例えば２秒単位で抽出した４フレームの画像の個々のピクセルの輝度から勾配強度ｍと勾配方向θとを算出し、輝度勾配ヒストグラムを生成する。
次に、輝度勾配差分算出部３が、輝度勾配算出部２が出力する輝度勾配データを基に、時系列で隣接する画像フレーム間の輝度勾配ヒストグラムの差分を算出する。この算出により、図３（ｃ）に示すように変動した部位の輪郭が抽出される。
そして、時系列情報算出部４が、算出された輝度勾配差分特徴から自己相関を算出する。この結果、照明変動や移動方向の異なる他の物体の動作など無相関の変位を排除して着目物体の変位だけを抽出することができる。
こうして、フレーム間差分を算出して更に自己相関を求めて２段階の特徴抽出過程を経ることで、最終結果としての統計特徴量を得る。

最後に、判定部５において連続３フレームの自己相関特徴から図３（ｄ）のようにアダブーストを用いた統計特徴量を得て、起床動作であるか判定される。こうして起床動作と判定されたら、結果出力部６において警報の報音等通知動作が成され、モニタを備えている場合はカメラ１の撮像映像の表示が行われる。

このように、輝度勾配のフレーム間差分を求めることで動く物体の輪郭を把握でき、フレーム間差分の時間変化を抽出して行動推定できる。よって、動きと形状の両者の特性を併せ持つ特徴量を比較的少ない計算量で算出することができ、人の特定の動作や、特徴ある動作を安価な装置で判別することが可能となる。
また、エッジの勾配強度と勾配方向から得られた自己相関特徴を基に物体の特定動作を検出するため、少ない計算量で特定動作を検出できる。
そして、ベッドの上方に配置したカメラ１の撮像映像を基に、ベッド上に伏している人が起き上がる動作を検知することが可能であり、安価な装置で起き上がりを判別できる。よって、監視対象の人物の動作が危険な状態に至る前に介護者等の関係者に通知でき、事故の防止に役立つし、監視対象者に対して音や光を発しないので、監視対象者に負担になるようなこともない。

上記実施形態は、ベッドに伏している人が起き上がる動作を検出する動作に関して説明したが、本発明の特定動作検出装置は、検出する動作を限定するものではない。判定部５において比較する学習サンプルの内容に応じて特定動作を幅広く変更でき、起き上がりの延長線上で考えれば、起床動作は反応せずにベッドから離れようとする動作を検出して通知するよう動作させても良い。
また、防犯設備に組み込み不審者を検出したい場合は、学習サンプルとして窓を覗き込む動作の学習サンプルを蓄積させることで、不審者の検出に利用できる。
更に、検出対象を人物に限定しなくとも良く、学習サンプルの内容を変更することにより幅広く動く物体を判別することが可能となる。

１・・カメラ（撮像手段）、２・・輝度勾配算出部、３・・輝度勾配差分算出部、４・・時系列情報算出部、５・・判定部、６・・結果出力部。

Claims

撮像映像を連続する画像フレームで出力する撮像手段と、
前記画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、
複数の時系列画像フレームに対して求めた前記輝度勾配の差分を抽出する輝度勾配差分算出部と、
前記輝度勾配差分から動き特徴を抽出するために、抽出した前記輝度勾配の差分情報から時間変化を抽出して勾配強度の自己相関特徴を算出する時系列特徴算出部と、
事前に特定物体の行動特徴を数値化したデータと前記時系列特徴算出手段の算出結果とを比較して類似度を判定する判定部と、
判定結果を出力する結果出力部とを有することを特徴とする特定動作検出装置。
前記撮像手段が、ベッド上の人物を撮像するカメラであると共に、事前に特定物体の行動特徴を数値化したデータがベッド上で起床動作する人物のデータであり、前記判定部が、前記カメラの撮像映像から人物の起床動作を判定することを特徴とする請求項１記載の特定動作検出装置。