JP6214425B2

JP6214425B2 - 特定動作検出装置

Info

Publication number: JP6214425B2
Application number: JP2014030872A
Authority: JP
Inventors: 円井上; 梅崎　太造; 太造梅崎
Original assignee: Aiphone Co Ltd
Current assignee: Aiphone Co Ltd
Priority date: 2014-02-20
Filing date: 2014-02-20
Publication date: 2017-10-18
Anticipated expiration: 2034-02-20
Also published as: JP2015156128A

Description

本発明は、事前情報として入力動画像から人物等の特定の物体の特定の行動を定量化した数値データを保持し、未知の入力データに対して、保持している事前情報との比較によって類似度を推定して動きを判定する特定動作検出装置に関する。

映像から例えば人物の行動を推定するには、ある時刻に撮影された画像から人物の特徴を抽出し、その情報が時間の経過に伴いどのように変化していくかを観察し、その画像特徴の時系列変化と、予め蓄積した特定の動作に関する画像の特徴データとを比較し、その類似度を算出して行動を推定する方法としてＣＨＬＡＣ特徴が知られている（例えば、特許文献１参照）。
ＣＨＬＡＣ特徴は、単純な特徴記述であるだけでなく、シーン中へ侵入する物体の位置に関わらず同じ記述が可能であるし、複数の同時動作に対応する特徴量の和による表現が可能であるため、広く採用されている。

ところで、老人ホームや高齢者施設では、被介護者等の施設居住者が転倒により骨折等の深刻な怪我をする事例が増えてきている。この場合、最も怪我をするのがトイレに行くためにベッドから起き上がって立ち上がる際に発生するとされている。このような怪我を防ぐ対策としてカメラを使用したものは、例えば非特許文献１に開示された技術がある。これは、カメラにより人物を撮像して、その頭部を追跡して３軸方向の加速度の変化から転倒を見分けるものであった。

一方で、振動の変化などの信号の相関を計る手法としてコヒーレンスがあり、このコヒーレンス手法を活用して周波数領域での事象の比較により動作認証を行う手法が提案されている（例えば、非特許文献２参照）。

特開２００６−０７９２７２号公報

C. Rougier, J. Meunier, A. Saint-Arnaud, and J. Rousseau, "Monocular 3D head tracking to detect falls of elderly people," In Proc. of 28th AC. Rougier, J. Meunier, A. Saint-Arnaud, and J. Rousseau, "Monocular 3D head tracking to detect falls of elderly people," In Proc. of 28th Annual International Confer-ence of the IEEE Engineering in Medicine and Biology Society, pp. 6384-6387 , 2006. 行方エリキ、石原進、水野忠則、"携帯端末の動きによる個人認証：コヒーレンスに基づく評価（セキュリティ・管理）．"情報処理学会研究報告．Vol.28,pp.37-44,2005.

しかしながら、ＣＨＬＡＣ特徴はマスクパターンと呼ばれる画像変化の組み合わせを明示的に記述する必要があり、大規模なマスクパターンを実装することが困難であった。
また、非特許文献１の技術は、転倒を検出するアプローチであり、転倒そのものを防止できる技術ではなかった。

そこで、本発明はこのような問題点に鑑み、シーケンシャルなマスクパターンの定義を用いて、動きと形状の両者の特性を併せ持つ特徴量を周波数領域で比較するコヒーレンス手法に着目することで、特定の動作を高い精度で検出できる特定動作検出装置を提供することを目的としている。

本発明の特定動作検出装置は、撮像映像を連続する画像フレームで出力する撮像手段と、
画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、複数の時系列画像フレームに対して求めた輝度勾配の差分を抽出する輝度勾配差分算出部と、輝度勾配差分から動き特徴を抽出するために、抽出した輝度勾配差分情報から時間変化を抽出して輝度勾配差分自己相関特徴を算出する輝度勾配差分自己相関算出部と、算出した輝度勾配差分自己相関特徴に対して特徴空間から周波数空間へ変換する周波数変換部と、変換して得られた周波数特徴と、事前に算出した特定物体の特定動作に対する周波数特徴とのコヒーレンスを算出して類似度を判定する判定部と、判定結果を出力する結果出力部とを有することを特徴とする。
この構成によれば、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を抽出し、抽出した輝度勾配差分の時間変化から自己相関特徴を算出することで動きの特性を比較的少ない計算量で算出することができる。そして、自己相関特徴を周波数変換して求めた周波数特徴を事前に計測した特定物体の周波数特徴と比較して類似度を判定することで、特定の動きの検出精度の向上を図ることができる。

請求項２の発明は、請求項１に記載の構成において、輝度勾配差分自己相関算出部は、セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配ヒストグラム差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、勾配方向をｋ、自己相関の次数をＮ、係数をα、ガウスカーネルをＧ（・）、Ｃをブロック数とすると、Ｎ次の輝度勾配差分自己相関特徴を次式で算出することを特徴とする。

この構成によれば、ガウスカーネルを用いることで、隣接する勾配方向の強度のみが重みづけされ、勾配方向の異なる勾配で構成されるマスクパターンの影響が低減され、特定の動きの検出精度が向上する。

請求項３の発明は、請求項１又は２に記載の構成において、前記輝度勾配差分自己相関算出部が算出するマスクパターン数は、次数をＮ、マスクパターンを構成するブロックサイズをＨ×Ｗとすると、次式で算出される数であることを特徴とする。

この構成によれば、輝度勾配差分自己相関特徴を算出する際、例えば次数２（Ｎ＝２）とすると、従来は重複パターンを除いても２５１パターンあった組合せを８１パターンに削減でき、演算を簡素化できる。更に、重複パターンを取り除くといった不規則な削減が無くなるため、特徴を抽出し易い。

請求項４の発明は、請求項１乃至３の何れかに記載の構成において、撮像手段が、ベッド上の人物を撮像するカメラであり、事前に計測した特定物体の行動特徴を数値化したデータがベッド上で起床動作する人物のデータであり、判定部がカメラの撮像映像から人物の起床動作を判定することを特徴とする。
この構成によれば、ベッド上の患者の起き上がり動作を判別でき、監視対象の患者が危険な体勢を取る前に介護者等の関係者が認識でき、事故の防止に役立つ。

本発明によれば、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を抽出し、抽出した輝度勾配差分の時間変化から自己相関特徴を算出することで動きの特性を比較的少ない計算量で算出することができる。そして、自己相関特徴を周波数変換して求めた周波数特徴を事前に計測した特定物体の周波数特徴と比較して類似度を判定することで、特定の動きの検出精度の向上を図ることができる。

本発明に係る特定動作検出装置の一例を示すブロック図である。ら周波数空間へ変換した図を示している。輝度勾配差分自己相関特徴抽出の概要説明図である。次数２の場合のマスクパターンの組合せ説明図である。画像から特定動作を判定する流れを示す概念説明図であり、（ａ）はカメラが撮像した時系列画像フレーム、（ｂ）は個々の画像の輝度勾配ヒストグラム、（ｃ）は輝度勾配の画像フレーム間差分を抽出した図、（ｄ）は算出した輝度勾配差分自己相関特徴を示している。輝度勾配差分自己相関算出部の出力とその周波数変換データを示し、（ａ）は検出対象である人物の起き上がり動作を検出したデータ、（ｂ）は人物の歩行動作から算出したデータである。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定動作検出装置の一例を示すブロック図であり、１は監視対象を撮像するためのカメラ、２はカメラ１が撮像した映像データから輝度勾配データを算出する輝度勾配算出部、３は輝度勾配の画像フレーム間差分を抽出する輝度勾配差分算出部、４は輝度勾配差分から動きの特徴を抽出するために、抽出した輝度勾配差分情報から時間変化を抽出して勾配強度の自己相関特徴を算出する輝度勾配差分自己相関算出部、５は輝度勾配差分自己相関特徴を周波数に変換する周波数変換部、６は事前に特定物体の行動特徴を数値化したデータと時系列特徴算出手段の結果とを比較して類似度を判定する判定部、７は判定結果を出力する結果出力部である。

尚、輝度勾配抽出部２、輝度勾配差分算出部３、輝度勾配差分自己相関算出部４、周波数変換部５、及び判定部６は、所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成される。

以下各部の動作を順に説明する。但し、ここで検出する特定の動作は、ベッドに伏している患者等の人物が起き上がる動作であり、監視対象人物の起き上がる動作を検出したら報知する構成について説明する。
カメラ１は図示しないベッド上方であって、ベッド上の人物の少なくとも頭部を良好に撮像できる位置に設置され、例えば０．０３秒毎に画像フレーム（以下、単に「フレーム」と称する。）を生成して出力する。

輝度勾配算出部２は、入力画像をあらかじめ定義したパッチサイズにダウンサンプリングし、各ピクセルの輝度から勾配強度ｍと勾配方向（角度方向）θを次式より算出し、近隣画素でＮ次ヒストグラム（輝度勾配ヒストグラム）を生成する。

数５において、θ（ｘ，ｙ）は角度方向、ｍ（ｘ，ｙ）は勾配強度を表し、ｄｘ（ｘ，ｙ）、ｄｙ（ｘ，ｙ）は次式で表される輝度差である。

数６において、Ｉ（ｘ，ｙ）は，（ｘ，ｙ）座標上の輝度を表している。
続いて、角度方向θをビン数Ｋの勾配ヒストグラムｈ_Ｋ（ｘ，ｙ）に畳み込む。輝度勾配ヒストグラムｈ_ＫはＳ×Ｓピクセル領域内の全ての画素の角度情報θを集計して得られる。
輝度勾配ヒストグラムｈ_Ｋのビンのインデックスをｋとすると、各ビンのスコアｈ_ｋ（ｘ，ｙ）は、次式で表される。

数７において、θ′（ｘ，ｙ）は、角度方向θ（ｘ，ｙ）をｋビンに畳み込んだ値、δ［・］はクロネッカーのデルタであり、仮にｋとθ′（ｘ，ｙ）が等しければ１を返し、それ以外ならば０を返す。

輝度勾配差分算出部３では、時系列で隣接するフレーム間で輝度勾配算出部２によって算出された輝度勾配の差分を抽出することで、輝度勾配の時間変化量を抽出する。ここで、時刻ｔにおける輝度勾配強度ヒストグラムをｈ_ｋ（ｘ，ｙ，ｔ）とおくと、輝度勾配ヒストグラム差分Ｓ_ｋ（ｘ，ｙ）は、次式より得られる。

尚、遅い動きや詳細な動きに対してはフレーム間隔を大きくすることで耐性を持たせることができ、起き上がりを検出する場合は、例えば２秒間隔で抽出した画像フレームに対して演算を実施すると良い。

輝度勾配差分自己相関算出部４では、セルの座標位置、時刻の３次元ベクトルで構成されたマスクパターンに，輝度角度方向の情報を加えた４次元空間上における勾配強度の自己相関を算出して輝度勾配差分自己相関特徴を算出する。
図２は輝度勾配差分自己相関特徴抽出の概要を示している。セルの座標位置はＸＹ平面で定義され、時系列情報はｔ軸で定義される。更に、輝度勾配方向は、セル毎のビン数により定義され、これらの４次元ベクトルを用いて任意の輝度勾配強度が表される。

ここで，マスクパターンの構成について説明する。図２に示すように、マスクパターンはＮ×Ｎ×Ｎセルで定義されたマスクブロック内の３次元ベクトル（ｘ，ｙ，ｔ）から得られるブロックの組み合わせパターンである。
例として，次数２のマスクパターンを考える。なお、ここで用いる次数とはＣＨＬＡＣ特徴の次数同様に着目する変位の数であり，着目変位の数が基準点を除いて２点あることを示している。

ＣＨＬＡＣでは、着目する変位の位置（変位点）は、マスクブロックの全てのセルに設定される可能性があるが、本発明の手法では変位点の位置は各フレームで１つに限定する。更に、基準点が設定されたフレームには変位点を設定しない。つまり、計算対象となるセルは常にフレームに１つだけ存在することになる。

図３は、これらの制約を用いた場合の次数２のマスクパターン組み合わせ概要を示し、基準フレームとその前後の連続するフレームの局所エリアを示している。図３に示すように、マスクパターンの組み合わせは、起点の置かれたフレーム（ｆｒａｍｅ２）を除いた残りの前後２フレーム（直前のｆｒａｍｅ１及び直後のｆｒａｍｅ３）から各一点ずつを抽出することになり、それぞれのフレームの９セルを組み合わせてマスクパターンが作成される。つまり、次数２の場合、マスクブロック内には８１ (＝９×１×９)のマスクパターンが定義される。
こうして次数Ｎの場合のマスクパターン数を考えると、次式のように表すことができる。ただし、マスクパターンを構成するブロックサイズをＨ×Ｗとしている。

入力画像全体で抽出される輝度勾配差分自己相関特徴の総数は、セル領域サイズに分割した画像に対して、マスクブロックを１セルずつずらして走査したマスクブロック数となる。
１画像にＨ×Ｗ個のセルが存在する場合、１画像あたり（Ｗ−Ｎ＋１）×（Ｈ−Ｎ＋１）個のマスクブロックが得られる。更に勾配方向を組み合わせて（Ｗ−Ｎ＋１）×（Ｗ−Ｎ＋１）×ｋ個の特徴が得られる。ここで、セル位置（ｘ，ｙ）を位置ベクトルｒとし、輝度勾配ヒストグラム差分Ｓ_ｋ（ｘ，ｙ）をｆ（ｒ，ｋ）と置くと，Ｎ次の輝度勾配差分自己相関特徴は次式により得られる。

数１０において、ａ_Ｎは変位ベクトル、ｋ並びにｋ_Ｎは勾配方向、Ｎは自己相関の次数，αは係数、Ｇ（・）はガウスカーネル、そしてＣはマスクブロック数を表す。ガウスカーネルを用いることで隣接する勾配方向の強度のみが重みづけされ、勾配方向の異なる勾配で構成されるマスクパターンの影響が低減される。

周波数変換部５は、輝度勾配差分自己相関の算出により得られた特徴ベクトルについて、特徴空間から周波数空間への変換を行う。周波数変換はフーリエ変換により行われ、次式により実施される。

数１１において、ｆ（ｘ）は入力信号、ｆ（Ｘ）は出力周波数の振幅、ｘは時間、Ｘは周波数とする。

図４は画像から特定動作を判定する上記演算の流れを示す説明図であり、（ａ）はカメラが撮像した時系列画像フレーム、（ｂ）は個々の画像の輝度勾配ヒストグラム、（ｃ）は輝度勾配の画像フレーム間差分を抽出した図、（ｄ）は算出した輝度勾配差分自己相関特徴を示している。
また図５は、輝度勾配差分自己相関を周波数変換したデータの一例を示している。図５（ａ）は、検出対象である起き上がり動作から算出したデータ（Ｐｏｓデータ）であり、（ｂ）は歩行動作から算出したデータ（Ｎｅｇデータ）を示している。尚、図示左側データは、輝度勾配差分自己相関算出部４の出力値である。
図５に示すように、起き上がり動作及び歩行動作の何れも周波数特性データから周期性があることを認識できるが、周波数に変換したデータからその特性には大きな違いがあることが見て取れる。本願発明はこの周波数特性の差異から類似度を判定するものである。

判定部６では、周波数変換部５が算出した周波数空間での特徴ベクトル（特徴量）からコヒーレンスを求めるコヒーレンス演算部６ａ、及び予め保持した人の起き上がり動作の周波数空間での特徴ベクトルから求めたコヒーレンスと、カメラ１の撮像映像から算出したコヒーレンスを比較して類似度を求める比較部６ｂを有している。
ここでコヒーレンスについて説明する。特徴量を周波数領域で解析すると、それぞれの周波数領域におけるパワースペクトルを得ることができる。しかし、パワースペクトルのみの解析では、各周波数帯における波の位相情報を失うことになる。そこで、コヒーレンスを使用することで、周波数領域にてパワースペクトルとその位相情報を含めた解析を行うことが可能となる。
そこでコヒーレンス演算部６ａでは、２つの時系列信号のクロススペクトルの二乗と、それぞれのパワースペクトルの商により、次式を用いてコヒーレンスを算出する。

数１２において、Ｃ_ｍｓ（ｆ）は、周波数ｆにおける２つの時系列信号のコヒーレンス、Ｐ_ｍｍ，Ｐ_ｓｓはｍ（ｔ），ｓ（ｔ）それぞれのパワースペクトル、Ｐ_ｍｓはｍ（ｔ），ｓ（ｔ）のクロススペクトルを表している。クロススペクトルとは、２信号に含まれる共通のパワー成分関数である。
コヒーレンスの特性として、２つの入力信号が同一のものであれば、全ての周波数帯においてコヒーレンスは１になる。逆に、２つの入力信号に全く相関が無く、２つの信号が独立していれば全ての周波数においてコヒーレンスは０になる。また、相関の無い２つの信号で周波数成分が類似していたとしても、コヒーレンスの位相情報を含めた解析により、２つの信号の相関が低いことを示し、この特性により動作認証を実施できる。

比較部６ｂは、得られた周波数特徴を、予め記憶している周波数特徴と比較して類似度を求める。具体的に、ここではベッドから起き上がる人の画像から輝度勾配自己相関特徴を抽出して周波数変換して学習サンプルとして予め記憶しておき、カメラ１の撮像映像から算出した周波数特徴と記憶している学習サンプルのコヒーレンスを算出する。即ち、カメラ１の撮像映像が人の起き上がり動作か否かの識別を算出したコヒーレンスで実施し、人の起き上がり動作であると判別したら、結果出力部に起き上がり検知信号を出力する。

結果出力部７は、警報等を報音する報音部、検出した映像を表示する表示部、外部に通報する通報部等を備え、起き上がり検知信号を受けて報音部を報音動作させ、カメラ１の撮像映像を表示部に表示させる。

このように、画像フレーム間の輝度勾配差分を求めて動く物体の輪郭を抽出し、抽出した輝度勾配差分の時間変化から自己相関特徴を算出することで、動きの特性を比較的少ない計算量で算出することができる。そして、特徴量を周波数変換して求めた周波数特徴を事前に計測した特定物体の周波数特徴と比較してコヒーレンスを求めて類似度を判定することで、特定の動きの検出精度の向上を図ることができる。
また、輝度勾配差分自己相関特徴を算出する際、例えば次数２（Ｎ＝２）の場合、従来は重複パターンを除いても２５１パターンあった組合せを８１パターンに削減でき、演算を簡素化できる。そして、重複パターンを取り除くといった不規則な削減が無いため、特徴を抽出し易い。
そして、ベッド上の患者の起き上がり動作を判別でき、監視対象の患者が危険な体勢を取る前に介護者等の関係者が認識でき、事故の防止に役立つ。

上記実施形態は、ベッドに伏している人が起き上がる動作を検出する動作に関して説明したが、本発明の特定動作検出装置は、検出する動作を限定するものではない。判定部６において比較する学習サンプルの内容に応じて特定動作を幅広く変更でき、起き上がりの延長線上で考えれば、起床動作は反応せずにベッドから離れようとする動作を検出して通知するよう動作させても良いし、他に転倒やしゃがみ込み動作を検出することも可能である。
また、防犯設備に組み込み不審者を検出したい場合は、学習サンプルとして窓を覗き込む動作の学習サンプルを蓄積させることで、不審者の検出に利用できる。
更に、検出対象を人物に限定しなくとも良く、学習サンプルの内容を変更することにより幅広く動く物体を判別することが可能となる。

１・・カメラ（撮像手段）、２・・輝度勾配算出部、３・・輝度勾配差分算出部、４・・輝度勾配差分自己相関算出部、５・・周波数変換部、６・・判定部、６ａ・・コヒーレンス演算部、６ｂ・・比較部、７・・結果出力部。

Claims

撮像映像を連続する画像フレームで出力する撮像手段と、
前記画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、
複数の時系列画像フレームに対して求めた前記輝度勾配の差分を抽出する輝度勾配差分算出部と、
前記輝度勾配差分から動き特徴を抽出するために、抽出した前記輝度勾配差分情報から時間変化を抽出して輝度勾配差分自己相関特徴を算出する輝度勾配差分自己相関算出部と、
算出した輝度勾配差分自己相関特徴に対して特徴空間から周波数空間へ変換する周波数変換部と、
変換して得られた周波数特徴と、事前に算出した特定物体の特定動作に対する周波数特徴とのコヒーレンスを算出して類似度を判定する判定部と、
判定結果を出力する結果出力部とを有することを特徴とする特定動作検出装置。
前記輝度勾配差分自己相関算出部は、セル位置（ｘ，ｙ）の位置ベクトルをｒ、輝度勾配ヒストグラム差分をｆ（ｒ，ｋ）、変位ベクトルをａ_Ｎ、勾配方向をｋ、自己相関の次数をＮ、係数をα、ガウスカーネルをＧ（・）、Ｃをブロック数とすると、Ｎ次の輝度勾配差分自己相関特徴を次式で算出することを特徴とする請求項１記載の特定動作検出装置。
前記輝度勾配差分自己相関算出部が算出するマスクパターン数は、次数をＮ、マスクパターンを構成するブロックサイズをＨ×Ｗとすると、次式で算出される数であることを特徴とする請求項１又は２記載の特定動作検出装置。
前記撮像手段が、ベッド上の人物を撮像するカメラであり、事前に計測した特定物体の行動特徴を数値化したコヒーレンスデータがベッド上で起床動作する人物のデータであり、前記判定部が前記カメラの撮像映像から人物の起床動作を判定することを特徴とする請求項１乃至３の何れかに記載の特定動作検出装置。