JP5864231B2

JP5864231B2 - 移動方向識別装置

Info

Publication number: JP5864231B2
Application number: JP2011262380A
Authority: JP
Inventors: 円井上
Original assignee: Aiphone Co Ltd
Current assignee: Aiphone Co Ltd
Priority date: 2011-11-30
Filing date: 2011-11-30
Publication date: 2016-02-17
Anticipated expiration: 2031-11-30
Also published as: JP2013114583A

Description

本発明は、カメラの撮像映像から人物の移動方向を識別する移動方向識別装置に関する。

近年、映像から人物を検出する技術が発達しており、局所領域内の画素の輝度変化をヒストグラム化した特徴量を基に識別を行う手法として、輝度の勾配方向ヒストグラム化した特徴ベクトルであるＨＯＧを用いた非特許文献１に開示された手法や、複数画像フレームにおける時間軸上の輝度変化に基づいてピクセル状態分析（ＰＳＡ）を行って特徴量として用いた特許文献１に開示された手法が提案されている。

特開２００９−３０１１０４号公報

N.Dalal and B.Triggs, "Histograms of Oriented Gradients for Human Detection", IEEE Computer Vision and Pattern Recognitio, pp. 886-893, 2005年

しかしながら、カメラを使用してカメラに近づいてくる人物、或いは特定の方向に移動している人物だけを監視したくても、実際には移動方向は関係なくカメラの前を横切る人物であれば誰でも検出してしまう問題があった。

そこで、本発明はこのような問題点に鑑み、検出した人物の移動方向を推定し、移動方向から監視対象外の人物に対する検出を棄却することで、監視効率を向上させることができる移動方向識別装置を提供することを目的としている。

上記課題を解決する為に、請求項１の発明に係る物体検出装置は、カメラの撮像映像を基に時間軸上で連続する複数の画像で構成される画像フレーム群を生成する画像フレーム群生成手段と、個々の画像を複数領域に分割して、分割した領域毎に領域内の輝度変化量を状態変化量として算出する状態変化量算出手段と、生成した個々の画像フレーム群において、算出した状態変化量の連続する画像間の差分を移動領域として算出する移動領域算出手段と、算出された移動領域の重心を算出する重心算出手段と、連続する画像フレーム群の間で重心位置を比較して重心の移動量を特徴量として算出する特徴量算出手段と、映像内の人物の存在を判断する人物検出部と、人物の移動方向を判定する移動方向判定部とを有し、移動方向判定部は、方向別にクラス分けされた学習サンプルから算出された特徴量を記憶するサンプル記憶部を具備して、アダブーストによるカスケード型の強識別器によって構成され、人物検出部が人物の存在を判断したら、サンプル記憶部に記憶された特徴量と算出した個々の領域の特徴量とを比較して検出した人物の移動方向を判定することを特徴とする。
この構成によれば、時間軸上で連続する複数の画像間で輝度の変化する領域から人物の存在を判断して移動方向を識別する。そのため、撮像されている人物を把握しても監視対象外の動きをする人物であれば無視することができ、監視効率を向上させることができる。

請求項２の発明は、請求項１に記載の構成において、人物検出部は、人物の有無にクラス分けされた学習サンプルから算出された特徴量を記憶するサンプル記憶部を具備して、アダブーストによるカスケード型の強識別器によって構成され、サンプル記憶部に記憶された特徴量と算出した個々の領域の特徴量とを比較して人物の存在を判定することを特徴とする。
この構成によれば、柱や植栽等を人物と判断することが無いし、明るさの急激な変化も人物と判断することを防止でき、人物の検出精度が向上する。

本発明によれば、カメラの撮像映像から撮像されている人物を把握しても、監視対象外の動きをする人物は無視することができ、監視効率を向上させることができる。

本発明に係る移動方向識別装置の一例を示す構成図である。画像と画像フレーム群の時系列関係を示す説明図である。物体を抽出する流れを示す概念説明図である。

以下、本発明を具体化した実施の形態を図面を参照して詳細に説明する。図１は本発明に係る移動方向識別装置の構成図を示し、画像入力部１、時間変化抽出部２、動きベクトル抽出部３、人物検出部４、移動方向判定部５、結果出力部６を備えている。尚、時間変化抽出部２、動きベクトル抽出部３、人物検出部４、移動方向判定部５は所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成される。

画像入力部１は、検出対象である人物を撮像するためのカメラを備え、デジタル映像信号を出力する。この映像信号は、例えば２５６階調のカラー映像である。

時間変化抽出部２は、画像入力部１が出力する映像信号から一定の時間間隔で画像（画像フレーム）を順次取り出し、所定数の画像毎にグループ分けして画像フレーム群を生成する。図２は取り出した画像と画像フレーム群の時系列関係を示し、３フレームの画像で１つの画像フレーム群が構成された場合を示している。
また時間変化抽出部２は、個々の画像を複数の領域に分割し、分割した個々の領域毎の画素の輝度情報から領域内の輝度変化を状態変化量として算出する。

動きベクトル抽出部３は、時間軸上で隣接する画像の同一領域同士で状態変化量を比較し、差分を演算する。そして、画像フレーム群毎に求めた差分の重心位置を求め、隣接する画像フレーム群間の重心の移動量を特徴量として算出する。

人物検出部４は、人物と背景によってクラス分けされた学習サンプルと動きベクトル抽出部３で抽出した特徴量を用いて、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて人物の存在を判定する。４ａは学習サンプルの特徴量を記憶するサンプル記憶部を示している。
尚、人物の存在の判定は、上記非特許文献１の技術によりカメラ撮像映像から人物を検出して判定しても良い。

移動方向判定部５は、人物と背景によってクラス分けされた学習サンプルと動きベクトル抽出部３で抽出した特徴量を用いて、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて人物の移動方向を判定する。５ａは学習サンプルの特徴量を記憶するサンプル記憶部を示している。

結果出力部６は、報音するためのスピーカ或いはブザー等の音響出力部、映像を表示する表示部等を備え、移動方向判定部５が予め設定された特定の方向へ移動する人物を検出したら、それを報音通知し、撮像映像を表示する。

このように構成した移動方向識別装置の動作を、以下具体的に説明する。図３は人物の検出及び移動方向を判定する流れを示す概念説明図であり、この図３を参照しながら説明する。尚、ここでは人物検出部４の人物検出、及び移動方向判定部５の人物の移動方向の判定は後述する学習サンプルが異なるだけで同一の流れで判定動作する。

画像入力部１のカメラ撮像映像から、まず時間変化抽出部２が例えば１００ｍｓ間隔の連続する画像（画像フレーム）Ｐ１，Ｐ２・・Ｐｎが取り出され、図２に示すように所定の個数でグループ分けした画像フレーム群が生成される。尚、前後する画像フレーム群同士は共通する画像を有しても良い。

時間変化抽出部２において、更に個々の画像が予め設定した複数の領域に分割され、分割された個々の領域毎に、画素の輝度情報から領域内の状態変化量が算出される。図３（ａ）は個々の画像を複数領域に分割した様子を示し、１画像を１２の領域に分割した状態を示している。そして、図３（ｂ）は状態変化量の説明図であり、ここでは１例として図３（ａ）のＥで示す分割された領域の変化を示している。実際には全ての領域において状態変化量が算出される。
尚、ここでは説明の都合上２フレームの画像で個々の画像フレーム群が構成された場合を示している。また、図３（ａ）のＦは画像入力部１のカメラの撮像範囲に入り込んだ人物を示している。

次に、動きベクトル抽出部３において、時間軸上で隣接する画像の同一領域同士で状態変化量の差分が移動領域として算出され、画像フレーム群毎に個々の分割領域の移動領域の重心が求められる。図３（ｃ）は、こうして画像フレーム群毎に求めた領域Ｅの重心Ｇを示している。
更に、隣接する画像フレーム群間の重心の位置が比較され、その移動量が特徴量として算出される。図３（ｄ）は算出された特徴量を示し、特徴量はベクトルＶとして算出される。

個々の領域の特徴量が算出されたら、まず人物検出部４において求めた特徴量とサンプル記憶部４ａに記憶している学習サンプルの特徴量とが比較される。このとき、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて人物の検出が行われる。
このとき使用される学習サンプルは、人物の有無でクラス分けされたデータが使用される。具体的に１つは様々な姿勢あるいは動きの人を例えば数百枚撮影して、その画像から結果として人の傾向を示す特徴量が算出されて、その確率密度関数が生成されて記憶される。また別クラスとして、人以外を撮影した例えば数百枚の撮影画像から、結果として人以外の傾向を示す特徴量を算出しその確率密度関数が生成され記憶される。
生成した確率密度関数を学習サンプルとして、画像入力部１から入力された画像から算出した特徴量を学習サンプルと比較して人物の検出が行われる。

人物検出部４が人物を検出したら、次に移動方向判定部５が検出した人物の移動方向を判定する。この判定においても、強識別器によって構成される周知のアダブーストによるカスケード型識別器が使用され、学習サンプルの特徴量と比較して判定される。
このとき使用される学習サンプルは、人の移動方向でクラス分けされたデータが使用される。具体的に、カメラに近づいてくる方向に移動している人物を検出したい場合は、１つのクラスとして近づいてくる人物を撮影した例えば数百枚の画像から特徴量を算出して、その確率密度関数が生成されて記憶される。また、近づいてくる動作以外の例えば左右方向や遠ざかる方向に移動する人物を撮影した例えば数百枚撮影画像から、結果として近づいてくる方向以外の方向傾向を示す特徴量を算出しその確率密度関数が生成され別クラスとして記憶される。
生成した確立密度関数を学習サンプルとして、画像入力部１から入力された画像から算出した特徴量を学習サンプルと比較して移動方向の判定が行われる。

こうして判定された結果、近づいてくる人物がいると判断したら、結果出力部６が警報音を発してカメラの撮像映像を表示する。

このように、時間軸上で連続する複数の画像から算出した特徴量を方向別にクラス別けされた学習サンプルと比較して移動方向の判定するため、撮像されている人物を把握しても監視対象外の動きをする人物であれば無視するよう設定でき、監視効率を向上させることができる。
また、人物を検出するに際しても、時間軸上で連続する複数の画像から算出した特徴量を学習サンプルと比較して移動方向の判定することで、柱や植栽等を人物と判断することが無いし、明るさの急激な変化も人物と判断することを防止でき、人物の検出精度が向上する。

尚、上記実施形態において、算出する輝度の変化量（状態変化量）は、色の変化、テクスチャーの変化、エッジの変化を含む。

１・・画像入力部、２・・時間変化抽出部（画像フレーム群生成手段、状態変化量算出手段）、３・・動きベクトル抽出部（移動領域算出手段、重心算出手段、特徴量算出手段）、４・・人物検出部、４ａ・・サンプル記憶部、５・・移動方向判定部、５ａ・・サンプル記憶部、６・・結果出力部。

Claims

カメラの撮像映像を基に時間軸上で連続する複数の画像で構成される画像フレーム群を生成する画像フレーム群生成手段と、
個々の画像を複数領域に分割して、分割した領域毎に領域内の輝度変化量を状態変化量として算出する状態変化量算出手段と、
生成した個々の前記画像フレーム群において、算出した前記状態変化量の連続する画像間の差分を移動領域として算出する移動領域算出手段と、
算出された移動領域の重心を算出する重心算出手段と、
連続する画像フレーム群の間で前記重心位置を比較して重心の移動量を特徴量として算出する特徴量算出手段と、
映像内の人物の存在を判断する人物検出部と、
人物の移動方向を判定する移動方向判定部とを有し、
前記移動方向判定部は、方向別にクラス分けされた学習サンプルから算出された前記特徴量を記憶するサンプル記憶部を具備して、アダブーストによるカスケード型の強識別器によって構成され、前記人物検出部が人物の存在を判断したら、前記サンプル記憶部に記憶された特徴量と算出した前記個々の領域の特徴量とを比較して検出した人物の移動方向を判定することを特徴とする移動方向識別装置。
前記人物検出部は、人物の有無にクラス分けされた学習サンプルから算出された前記特徴量を記憶するサンプル記憶部を具備して、アダブーストによるカスケード型の強識別器によって構成され、前記サンプル記憶部に記憶された特徴量と算出した前記個々の領域の特徴量とを比較して人物の存在を判定することを特徴とする請求項１記載の移動方向識別装置。