JP7188934B2

JP7188934B2 - 画像処理装置

Info

Publication number: JP7188934B2
Application number: JP2018152258A
Authority: JP
Inventors: 庸平澤井; 全史大津; 純山口
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2018-08-13
Filing date: 2018-08-13
Publication date: 2022-12-13
Anticipated expiration: 2038-08-13
Also published as: JP2020027462A

Description

本発明は、画像内から人物に相当する画像領域（人領域）を検出する画像処理装置に関する。

従来、監視領域をカメラにて撮影して取得される撮影画像と、基準画像とを比較することで、両画像間において変化のある領域である変化領域を求め、変化領域の大きさあるいは形状などの画像特徴を求め、予め記憶した人物らしい画像特徴との比較により「人物らしさ」を判定して、撮影画像内から侵入者などの検出対象を検出する画像処理装置がある（例えば、特許文献１）。

特開２００２－２７９４２９号公報

ところで、人領域を検出する対象となる撮影画像を取得するために、全方位カメラが用いられる場合がある。全方位カメラとは、一般に魚眼レンズを備えるカメラであり、３６０度（すなわち全方位）を撮影領域とすることができるカメラである。

天井などに設置され、撮影領域を下方とし、略鉛直下方向を光学中心とする全方位カメラで取得された撮影画像においては、単一方向性のカメラとは異なり人領域がかなり大きくなる（長く伸びた形状となる）場合があり、また人領域の形状が歪んだ形状となる。したがって、単一方向性のカメラに比べて全方位カメラで取得された撮像画像では、変化領域について歪補正をすることなく人物らしい画像特徴と比較することが困難であり、全方位カメラで取得された撮影画像から人領域を検出することが困難であった。

本発明の目的は、全方位カメラで取得された撮影画像において、歪補正をすることなく撮影画像から人領域を検出することにある。

本発明は、全方位カメラが撮影した撮影画像を取得し、当該撮影画像における人物に相当する画像領域を示す人領域を求める画像処理装置であって、基準画像、及び、前記人物の参照サイズを予め記憶した記憶手段と、前記撮影画像と前記基準画像とを比較して前記撮影画像における前記基準画像から変化した変化領域を抽出する抽出手段と、前記全方位カメラの光学中心に相当する前記撮影画像の画像位置を原点とした極座標において、当該極座標の各方位角に対する前記変化領域の画素数を計数し、前記方位角と前記画素数とからなるヒストグラムを求めるヒストグラム算出手段と、前記ヒストグラムにおける山の頂上の方位角を頭頂部角度として求め、前記参照サイズを用いて、当該頭頂部角度における前記原点から最も離れた前記変化領域の画像位置である最遠端位置に前記人物の頭頂部が存在するとみなした場合における前記人物に相当する画像範囲を求め、当該画像範囲を用いて前記変化領域を複数の部分変化領域に分離し、前記部分変化領域に相当する前記撮影画像の画像領域の画像特徴に応じて前記部分変化領域が前記人領域であるか否かを判定して前記人領域を求める人領域検出手段と、を備え、前記人領域検出手段は、前記ヒストグラムから複数の前記頭頂部角度を検出した場合、当該ヒストグラムにおいて前記頭頂部角度における前記画素数が大きい山から順に前記部分変化領域に分離する、ことを特徴とする画像処理装置である。

望ましくは、前記人領域検出手段は、前記頭頂部角度における前記画素数が閾値よりも小さい場合、当該頭頂部角度に前記人物の頭頂部が存在するとみなさない、ことを特徴とする。

望ましくは、前記ヒストグラム算出手段は、前記変化領域の画素数が最も小さい値となる方位角を０度として前記ヒストグラムを求める、ことを特徴とする。

本発明によれば、全方位カメラで取得された撮影画像において、歪補正をすることなく撮影画像から人領域を検出することができる。

本実施形態に係る警備システムの構成概略図である。本実施形態に係る画像センサの構成概略図である。撮影画像（ａ）、基準画像（ｂ）、及び、変化領域画像（ｃ）を示す図である。撮影画像における方位角を示す図である。各方位角に対する変化領域の画素数を示すヒストグラムである。撮影画像において最遠端位置及び分離枠が設定された様子を示す図である。スイープされた分離枠を示す図である。ヒストグラムにおいて方位角の０度が補正される様子を示す図である。ラベル分離処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る警備システム１０の構成概略図である。警備システム１０は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した監視画像に基づいて監視対象物件１２の異常を検出するための１以上の画像処理装置としての画像センサ２２、及び、画像センサ２２により撮影された監視画像を記録する録画装置２４を含んで構成される。画像センサ２２及び録画装置２４は警備装置１４と通信可能に接続される。

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像センサ２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像センサ２２と通信するための通信インターフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の監視画像又は録画装置２４に記録されている監視画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から監視画像を受信すると、利用者装置２０は要求された監視画像を表示装置に表示する。

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像センサ２２が撮影した監視画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

図２は、画像センサ２２の構成概略図である。

通信部３０は、画像センサ２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット（登録商標）などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の信号処理部４２によって侵入者が検出された場合に、侵入者を検出したことを示すアラーム信号を警備装置１４に出力する。

撮影部３２は、ＣＣＤなどの、可視光などに感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部３２は、監視領域を撮影することによって撮影画像を取得する。本実施形態では撮影部３２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行うが、撮影部３２の撮影方法はこれには限られない。取得された撮影画像は記憶部３４に記憶される。

撮影部３２は魚眼レンズを含んで構成され、すなわち、撮影部３２は全方位（３６０度）を撮影領域（監視領域）とすることができる全方位カメラである。当該全方位カメラは、例えば監視対象物件１２の天井などに設置され、監視領域を下方とし、略鉛直下方向を光学中心としている。

なお、全方位カメラである撮影部３２で撮像された撮影画像は全方位画像であり、全体として円形の像となっており、円形の中心が光学中心に対応する位置となっている。そして、撮影画像においては、監視領域の鉛直上方向が、撮影画像の径方向であって光学中心から外側へ向かう方向となり、監視領域の水平方向が撮影画像の周方向となる。

監視領域に侵入者が存在する場合、撮影部３２が取得した撮影画像には、当該侵入者（人物）に相当する人領域が含まれることとなる。また、撮影画像に人物の影が写っている場合があり、その場合には、撮影画像には、影に相当する影領域が含まれることとなる。

記憶部３４は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される、記憶手段である。記憶部３４には、画像センサ２２の各部を動作させるための画像処理プログラムが記憶される。また、図２に示される通り、記憶部３４には、撮影部３２が取得した撮影画像３６、基準画像３８、及び参照情報４０が記憶される。

基準画像３８は、監視領域内に人物が存在していないときの撮影画像３６に基づいて信号処理部４２により作成される。基準画像３８は１枚であってもよいが、複数枚の基準画像３８が作成されてもよい。例えば、信号処理部４２は、撮影部３２が順次取得した撮影画像３６のフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。そして、信号処理部４２は、その平均値が所定の基準よりも小さい撮影画像３６を基準画像３８として記憶部３４に記憶させる。また、基準画像３８は、照明状態の変動、太陽の日周変動などの監視領域の変動に対応するために、一定周期（例えば、１０分間隔）毎に更新されるのが好適である。

参照情報４０は、検出対象となる人物の実空間におけるサイズ（例えば高さ１８０ｃｍ、幅６０ｃｍ）を示す参照サイズを含んで構成される。

信号処理部４２は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２２の各種信号処理を実行する。図２に示されるように、信号処理部４２は、抽出手段４４、ラベル整形手段４６、追跡手段４８、及び判定手段５０の機能を発揮する。信号処理部４２がこれらの手段を発揮することで、撮影画像３６において、人物に相当する画像領域である人領域が検出される。特に、本実施形態においては、撮影画像３６において、人物に相当する人領域と当該人物の影に相当する影領域とを適切に分離した上で、撮影画像３６から人領域が検出される。以下、信号処理部４２が有する各手段について説明する。

抽出手段４４は、撮影画像３６と、記憶部３４に予め記憶された基準画像３８とを比較して、両画像間で相違する画素を抽出し、抽出された画素と抽出されない画素とからなる二値画像（変化領域画像）を求める処理を行う。ここで「両画像間で相違する画素」とは、撮影画像３６と基準画像３８との間で輝度値又は色成分の差が所定値以上である撮影画像３６の画素を意味し、当該画素を抽出画素と呼ぶ。

図３には、撮影画像３６（ａ）、基準画像３８（ｂ）、及び変化領域画像３９（ｃ）の例が示されている。図３（ａ）の例のように、撮影画像３６に人領域６０及び影領域６２が含まれている場合には、人領域６０に対応する画素及び影領域６２に対応する画素の両方が抽出画素となる。

また、抽出手段４４は、各抽出画素に対して識別子（ラベル）を付与するラベリング処理を行う。ラベルとしては、例えば当該変化領域画像３９内でユニークな数値を用いることができる。ラベリング処理では、ある抽出画素に注目したとき、当該抽出画素に隣接している他の抽出画素からなる一塊の抽出画素群を１つの変化領域６４（図３（ｃ）参照）とみなす。なお、抽出画素に隣接する画素とは、抽出画素の上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。その上で、各変化領域６４に対して異なるラベルを付与し、変化領域画像３９の画素値として記憶する処理を行う。以下、ラベルが付与された変化領域６４のことをラベル領域６６と呼ぶ。これにより、撮影画像３６において、基準画像３８から変化した領域である１又は複数の変化領域６４（ラベル領域６６）が抽出される。当該ラベル領域６６を示す画像が変化領域画像３９である。

ラベル整形手段４６は、抽出手段４４により抽出された各ラベル領域６６から人領域を求めるために、ラベル領域６６を整形する処理を実行する。本実施形態では、人領域及び影領域を含んで抽出された一つの大きいラベル領域６６から人領域に相当する大きさに切り出すことで複数のラベル領域に分離するラベル分離処理を実行する。ラベル分離処理の詳細については後述する。なお、ラベル整形手段４６は、複数のラベル領域６６を１つのラベル領域６６として統合するラベル統合処理や、ラベル領域６６を削除するラベル削除処理を行ってもよい。

例えば、ラベル統合処理は、所定範囲内にある複数のラベル領域６６を、統合した場合に人物らしい大きさあるいは形状の領域となるかどうかなどの所定の条件に基づいて、複数のラベル領域６６を統合する処理である。ラベル統合処理によれば、例えば、同一人物の上半身と下半身とがそれぞれ異なるラベル領域６６として抽出された場合に、当該２つのラベル領域６６を統合して１人の人物に対応する１つのラベル領域６６とすることができる。ラベル削除処理は、明らかに人物でないと判断できるラベル領域６６を削除する処理である。例えば、参照サイズに対して大きすぎる、あるいは小さすぎるラベル領域６６を削除する。

また、ラベル整形手段４６は、ラベル分離処理によって分離されたラベル領域の画像特徴に基づいて人領域を検出する人領域判定処理を実行する。人領域判定処理の詳細については後述する。なお、図２に示す通り、ラベル整形手段４６は、ヒストグラム算出手段５２及び人領域検出手段５４を含むが、これらの手段によりラベル分離処理及び人領域判定処理が実現される。

追跡手段４８は、撮影部３２が順次取得した撮影画像３６のそれぞれから抽出され、ラベル整形手段４６にて整形されたラベル領域６６を時間的に追跡する処理を行う。具体的には、追跡手段４８は、今回取得された撮影画像３６から抽出されてラベル整形手段４６により整形された、人領域に対応する各ラベル領域６６と、過去に取得された撮影画像３６から抽出されて、記憶部３４に追跡用情報として記憶されているラベル領域６６（以下「追跡ラベル領域」と記載する）とを同定する処理（同一人物に対応する人領域であると判定する処理）を行う。ここで、追跡用情報は、追跡ラベル領域に関する、追跡ＩＤ、撮影画像３６上の位置、及び追跡用特徴量が関連付けられた情報である。追跡用特徴量は、追跡ラベル領域の実空間におけるサイズや形状、輝度ヒストグラム、テクスチャ情報などである。また、本実施形態では、撮影画像３６上の位置としては、追跡ラベル領域の略中央最下部の位置の座標としている。

追跡手段４８は、今回取得された撮影画像３６のラベル領域６６の追跡用特徴量及び位置と、追跡ラベル領域の追跡用特徴量及び位置とを比較する。例えば、追跡用特徴量が類似し、且つ、位置が近いもので同定する。そして、今回取得された撮影画像３６のラベル領域６６に対して、同定された追跡ラベル領域と同一の追跡ＩＤを付与し、時系列に従って、今回取得された撮影画像３６の当該ラベル領域６６の追跡ＩＤと、撮影画像３６上の位置などを関連付けた上で記憶部３４に追跡用情報として保存する。

なお、今回取得された撮影画像３６のラベル領域６６において、追跡ラベル領域と同定が得られなかったものについては、新規の人物が出現したものとして、当該ラベル領域６６の追跡特徴量に新規の追跡ＩＤを付与する。また、これまで追跡していた追跡ラベル領域のうち、今回取得された撮影画像３６のラベル領域６６と同定が得られなかったものがある場合、当該追跡ラベル領域に対応する人物が消失したものとして、当該追跡用情報を削除する。

判定手段５０は、追跡ラベル領域のそれぞれについて、侵入者か否かを判定する。本実施形態では、予め定めたフレーム数（例えば、５フレーム）以上、連続して人領域として追跡されている追跡ラベル領域を侵入者であると判定する。なお、追跡ラベル領域の推定移動速度などの特徴量を求め、求めた特徴量と予め記憶された人らしい特徴量（人らしい速度など）とを比較することにより、当該追跡ラベル領域が人らしいかを更に判定し、侵入者か否かを判定してもよい。

画像センサ２２の構成概要としては以上の通りである。以下、ラベル整形手段４６に含まれるヒストグラム算出手段５２及び人領域検出手段５４が実行するラベル分離処理及び人領域判定処理の詳細について説明する。なお、抽出手段４４において複数のラベル領域６６が抽出された場合、ヒストグラム算出手段５２及び人領域検出手段５４は、各ラベル領域６６に対して以下に説明する処理を実行するが、ここでは１つのラベル領域６６に注目して処理の内容を説明する。

まず、ラベル分離処理について説明する。図４には、ラベル領域６６が抽出された変化領域画像３９が示されている。ヒストグラム算出手段５２は、変化領域画像３９（撮影画像３６）の光学中心７０を原点とした極座標において、当該極座標の各方位角θに対するラベル領域６６の画素数を計数する。すなわち、ヒストグラム算出手段５２は、光学中心７０から撮影画像３６の径方向に延びる幅１画素分の直線７２を周方向に単位角度ずつずらしていきながら、直線７２上にあるラベル領域６６の画素数を計数していく。なお、本実施形態では単位角度を１度としているが、単位角度はこれには限られない。

次いで、ヒストグラム算出手段５２は、光学中心７０を原点とする極座標における方位角と、ラベル領域６６の画素数とからなるヒストグラム、すなわち、方位角毎のラベル領域６６の画素数を表すヒストグラムを求める。図５に、ヒストグラム算出手段５２が生成したヒストグラムの例が示されている。図５に示すヒストグラムにおいては、横軸が方位角を表し、縦軸がラベル領域６６の画素数を表している。

人領域検出手段５４は、ヒストグラム算出手段５２が求めたヒストグラムにおいて、山の頂上（極大値）を検出し、極大値を示す方位角を特定する。当該方位角を頭頂部角度と記載する。図５に示したヒストグラムにおいては、極大値が２つ存在するため、人領域検出手段５４は、２つの頭頂部角度ａ及びｂを特定する。

次いで、人領域検出手段５４は、特定した頭頂部角度において、光学中心７０から最も離れたラベル領域６６の画素位置（「最遠端位置」と記載する）を特定する。図６に、特定された最遠端位置８０が示されている。上述のように、図５及び図６の例では、２つの頭頂部角度ａ及びｂが特定されているため、図６に示すように、２つの最遠端位置８０ａ及びｂが特定されている。言うまでもないが、最遠端位置８０ａは頭頂部角度ａに対応するものであり、最遠端位置８０ｂは頭頂部角度ｂに対応するものである。最遠端位置８０は、人物の頭頂部が存在する候補となる。

なお、人領域検出手段５４は、ヒストグラムにおいて、頭頂部角度におけるラベル領域６６の画素数が画素数閾値よりも小さい場合、当該頭頂部角度に人物の頭頂部が存在するとみなさないようにしてもよい。画素数閾値は予め決められていてもよいが、当該頭頂部角度における光学中心７０から最遠端位置８０までの距離に基づいて決定されてもよい。具体的には、光学中心７０から最遠端位置８０までの距離が大きくなるほど、画素数閾値を小さくするようにしてもよい。

また、特定する頭頂部角度の数を制限するようにしてもよい。これは、多数の頭頂部角度が特定されると、１つのラベル領域６６が不要に多くの領域に分離されてしまうおそれがあるからである。

人領域検出手段５４は、特定した最遠端位置８０に人物の頭頂部が存在するとみなして撮影画像３６内において人領域を求める。人領域の求め方は種々の求め方を採用することができるが、本実施形態では、人領域検出手段５４は、画像範囲としての分離枠８２（図６参照）を用いて人領域を求める。

分離枠８２のサイズ及び形状は、参照情報４０及び最遠端位置８０に基づいて決定される。すなわち、分離枠８２は、参照情報４０の参照サイズにて規定される大きさの検出対象（人物）が丁度収まるように、分離枠８２のサイズ及び形状を決定される。ここで、最遠端位置８０を考慮するのは、全方位カメラで撮影された画像の特性上、同一サイズの人物であっても、撮影画像３６内の当該人物の位置に応じて（特に光学中心７０からの径方向における位置に応じて）人領域のサイズが変わるためである。

人領域検出手段５４は、最遠端位置８０に人物の頭頂部が存在するとみなした場合における参照サイズに相当するサイズ及び形状からなる分離枠８２を設定する。最遠端位置８０における分離枠８２のサイズは、撮影部３２の床面からの設置高さや焦点距離などの撮影条件情報を用いて参照サイズを逆透視変換することによって求めることができる。また、分離枠８２の形状は、全方位カメラを用いて撮影しているため、環状扇形（annular sector）として設定している。図６の例では、最遠端位置８０ａに対応する分離枠８２ａ、及び、最遠端位置８０ｂに対応する分離枠８２ｂが設定される。

なお、好ましくは、人領域検出手段５４は、設定した分離枠８２を撮影画像３６の周方向に移動（スイープ）させながら、分離枠８２内に含まれるラベル領域６６の画素の数を計数し、分離枠８２内のラベル領域６６の画素の数が最大となる位置に分離枠８２を設定する。なお、分離枠８２のスイープは、分離枠８２内に対応する最遠端位置８０が含まれる範囲内、あるいはヒストグラム（図５参照）における山に基づく一定の角度範囲内であってよい。図７には、スイープされた後の分離枠８２ａ及び８２ｂが示されている。

分離枠８２が設定されることで、１つのラベル領域６６が、分離枠８２内の部分と、それ以外の部分との複数の部分ラベル領域（部分変化領域）に分離されることとなる。図７の例では、１つのラベル領域６６が、分離枠８２ａ内の部分ラベル領域６６ａ、分離枠８２ｂ内の部分ラベル領域６６ｂ、分離枠８２ａ及び８２ｂ外の部分ラベル領域６６ｃの３つの部分ラベル領域に分離される。

ヒストグラム算出手段５２が求めたヒストグラムにおいて、山の頂上（極大値）が複数検出された場合、人領域検出手段５４は、頭頂部角度におけるラベル領域６６の画素数が大きい山であるほど人物に相当する部分である可能性が高いため、好適には、ヒストグラムにおいて画素数が大きい山から順に分離枠８２を設定し、部分ラベル領域に分離する。このように頭頂部角度におけるラベル領域６６の画素数が大きい山を優先して部分ラベル領域に分離することで、人物の像を含む可能性が高い部分ラベル領域を優先して分離することができる。これにより、複数の部分ラベル領域に分離する処理において、真の人領域が複数の部分ラベル領域に誤って分離されてしまう可能性が低減される。

続いて、人領域判定処理について説明する。人領域判定処理では、人領域検出手段５４は、各部分ラベル領域の実空間における推定サイズや各部分ラベル領域に相当する撮影画像３６の画像特徴に応じて、各部分ラベル領域が人領域であるか否かを判定する。具体的には、人領域検出手段５４は、各部分ラベル領域の実空間における推定サイズ（推定幅・推定高さ）を求め、求めた推定サイズと予め記憶された人らしいサイズとを比較することにより、当該部分ラベル領域が「人らしい」か否かを判定する。また、影領域は、輪郭部分のエッジ強度が弱いといった特徴や、基準画像３８のテクスチャが撮影画像３６にも保存されるといった特徴、部分ラベル領域が負の輝度変化を示す（部分ラベル領域内の画素の輝度値が、基準画像３８における対応領域中の画素の輝度値よりも低い）といった特徴などがある。したがって、部分ラベル領域のこれらの特徴量を算出し、予め設定された影らしい値と比較することにより、当該部分ラベル領域が「影らしい」か否かを判定する。

そして、人領域検出手段５４は、「人らしい」と判定され、且つ、「影らしくない」と判定された部分ラベル領域を人領域であると判定する。このようにラベル分離処理及び人領域判定処理を実行することにより、人領域及び影領域を含む１つのラベル領域６６から人領域が切り出され、撮影画像３６から人領域を検出することが可能となる。

なお、ヒストグラム算出手段５２が算出したヒストグラムにおいて、図８（ａ）に示すように、方位角０度（３６０度）に跨った山が形成される場合が考えられる。このような場合、方位角０度に跨った山は本来１つの山であるが、ヒストグラム上の表現に起因して、人領域検出手段５４が当該山を２つの山として認識してしまう。これにより、不適切な分離枠８２が設定されてしまい、適切な人領域の切り出しができなくなるおそれがある。

したがって、好適には、ヒストグラム算出手段５２は、各方位角のうち、ラベル領域６６の画素数が最も小さい値となる方位角を０度とした上で、ヒストグラムを求める。あるいは、ヒストグラムを求めた際に０度の方位角において画素数が０でない場合、当該ヒストグラムにおいて画素数が最も小さい値となる方位角を求め、当該方位角を０度となるようヒストグラムを補正（スライド）してもよい。この場合、頭頂部角度は補正分を考慮した値を使用する。これにより、例えば図８（ａ）のようなヒストグラムが生成されることが防止されて、図８（ｂ）に示すような、好適な、すなわち方位角０度に跨る山が存在しないヒストグラムを生成することができる。これにより、不適切な分離枠８２が設定されてしまい、適切な人領域の切り出しができなくなることが防止される。

なお、上述の実施形態では、人領域検出手段５４が分離枠８２を設定した上で人領域を求めていたが、人領域の求め方としてはその他の方法であってもよい。例えば、最遠端位置８０に人物の頭頂部が存在するとみなして、撮影画像３６自体から人領域を求めてもよい。具体的には、最遠端位置８０を基準として撮影画像３６から人物らしい形状や色などでパターンマッチングすることにより人領域を求めたり、最遠端位置８０を基準として識別器を用いて人領域を求めるようにしてもよい。例えば、最遠端位置８０に人物の頭頂部が存在しているとみなしたときに当該人物が存在しうる位置範囲内において撮影画像３６からパターンマッチングしたり、識別器を用いて検出したりしてもよい。又は、最遠端位置８０に人物の頭頂部が存在しているとみなしたときに当該人物が存在しうる方向範囲内において撮影画像３６からパターンマッチングしたり、識別器を用いて検出したりしてもよい。

以上説明した通り、本実施形態によれば、地面に立っている人物や歩行している人物などのように、地面から鉛直上方向に頭頂部が位置している姿勢にある人物を、鉛直下方向を光学中心とした全方位カメラにて撮像した場合、当該人物が存在する方位角においては、ヒストグラムにおけるラベル領域６６の画素数が大きくなることに鑑みて頭頂部角度を特定し、頭頂部角度における最遠端位置８０（すなわち人物の頭頂部に相当する位置）が特定される。その上で、最遠端位置８０に基づいて、１つのラベル領域６６から人領域が切り出される。これにより、全方位カメラで取得された撮影画像３６から、歪補正をすることなく人領域と影領域とを適切に分離した上で、人領域を検出することができる。

以下、図９に示すフローチャートに従って、ラベル分離処理の流れを説明する。図９に示された各ステップは、撮影画像３６から抽出されたラベル領域６６の数だけ繰り返し実行される。各ステップにおいて処理の対象となっているラベル領域６６を対象ラベル領域と記載する。

ステップＳ１０において変数ｎが０に初期化される。変数ｎは分離枠８２の設定数を表す変数である。

ステップＳ１２において、ラベル整形手段４６は、対象ラベル領域の実空間におけるサイズが検出対象となる参照サイズ以下であるか否かを判定する。参照サイズ以下である場合、それ以上のラベル分離は一人の人物に対応する人領域を誤って複数の部分ラベル領域に分離してしまう恐れがあり、不要なラベル分離であるため、対象ラベル領域に対する処理を終了し、次のラベル領域６６についての処理を実行する。対象ラベル領域のサイズが参照サイズ以下ではない場合、ステップＳ１４に進む。

ステップＳ１４において、ヒストグラム算出手段５２は、対象ラベル領域について、方位角毎のラベル領域６６の画素数を表すヒストグラムを求める。

ステップＳ１６において、人領域検出手段５４は、ステップＳ１４において求められたヒストグラムにおいて、未処理の山の中で最も高い山（すなわち最もラベル領域６６の画素が多く検出された方位角）を選択する。

ステップＳ１８において、人領域検出手段５４は、ステップＳ１６で選択した山の高さ（すなわち画素数）が画素数閾値以下であるか否かを判定する。選択した山の高さが画素数閾値以下である場合、当該ヒストグラムにはラベル分離の処理対象となる山は最早存在しないことになるので、対象ラベル領域に対する処理を終了し、次のラベル領域６６についての処理を実行する。選択した山の高さが画素数閾値より大きい場合、ステップＳ２０に進む。なお、ステップＳ１８において、上記の山の高さの判定に加えて、又は山の高さ判定に代えて、山の角度範囲であるΘ幅を求め、求めたΘ幅が予め定めた角度閾値以下の場合に、当該対象ラベル領域に対する処理を終了してもよい。

ステップＳ２０において、人領域検出手段５４は、ステップＳ１６で選択した山の頂上に対応する方位角を頭頂部角度として特定した上で、当該頭頂部角度において光学中心７０から最も離れたラベル領域６６の画素位置を最遠端位置８０として特定する。

ステップＳ２２において、人領域検出手段５４は、ステップＳ２０で特定した最遠端位置８０に人物の頭頂部が存在するとみなした場合における、当該人物に相当する分離枠８２を設定する。

ステップＳ２４において、人領域検出手段５４は、ステップＳ２２で設定した分離枠８２を撮影画像３６の周方向にスイープさせて、分離枠８２内のラベル領域６６の画素の数が最大となる位置に分離枠８２を移動させる。

ステップＳ２６において、人領域検出手段５４は、対象ラベル領域を、ステップＳ２４で移動された分離枠８２内の部分ラベル領域と、それ以外の部分ラベル領域とに分離する。

ステップＳ２８において、ラベル整形手段４６は、変数ｎを１インクリメントする。

ステップＳ３０において、人領域検出手段５４は、ステップＳ２６で分離された、分離枠８２外の部分ラベル領域のサイズが参照サイズ以下であるか否かを判定する。参照サイズ以下である場合、分離枠８２外の部分ラベル領域（すなわち次に処理対象となり得る領域）のそれ以上のラベル分離は不要であるため、対象ラベル領域に対する処理を終了し、次のラベル領域６６についての処理を実行する。参照サイズ以下ではない場合、ステップＳ３２に進む。

ステップＳ３２において、ラベル整形手段４６は、変数ｎが、ステップＳ１４で求めたヒストグラムが有する山の総数に達したか否かを判定する。本実施形態では、山の総数以上の数の部分ラベル領域の分離を行わないため、変数ｎが山の総数に達した場合、対象ラベル領域に対する処理を終了し、次のラベル領域６６についての処理を実行する。変数ｎが山の総数に達していない場合、ステップＳ３４に進む。

ステップＳ３４において、ラベル整形手段４６は、変数ｎが予め設定された回数閾値（例えば３）に達したか否かを判定する。上述のように、１つのラベル領域６６が不要に多くの領域に分離されてしまうのを防止するため、回数閾値を設定することが出来る。変数ｎが回数閾値に達した場合、対象ラベル領域に対する処理を終了し、次のラベル領域６６についての処理を実行する。変数ｎが回数閾値に達していない場合、ステップＳ１６に戻り、再度のステップＳ１６以降の処理において、人領域検出手段５４は、ステップＳ１４で求められたヒストグラムの中で次に高い山について処理を行う。

図９に示すフローチャートにより、ラベル領域６６が複数の部分ラベル領域に分離される。その後、上述のように、人領域検出手段５４により人領域判定処理が実行されることによって、分離された各部分ラベル領域が人領域であるか否かが判定される。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０警備システム、１２監視対象物件、１４警備装置、１６通信網、１８警備センタ装置、２０利用者装置、２２画像センサ、２４録画装置、３０通信部、３２撮影部、３４記憶部、３６撮影画像、３８基準画像、４０参照情報、４２信号処理部、４４抽出手段、４６ラベル整形手段、４８追跡手段、５０判定手段、５２ヒストグラム算出手段、５４人領域検出手段。

Claims

全方位カメラが撮影した撮影画像を取得し、当該撮影画像における人物に相当する画像領域を示す人領域を求める画像処理装置であって、
基準画像、及び、前記人物の参照サイズを予め記憶した記憶手段と、
前記撮影画像と前記基準画像とを比較して前記撮影画像における前記基準画像から変化した変化領域を抽出する抽出手段と、
前記全方位カメラの光学中心に相当する前記撮影画像の画像位置を原点とした極座標において、当該極座標の各方位角に対する前記変化領域の画素数を計数し、前記方位角と前記画素数とからなるヒストグラムを求めるヒストグラム算出手段と、
前記ヒストグラムにおける山の頂上の方位角を頭頂部角度として求め、前記参照サイズを用いて、当該頭頂部角度における前記原点から最も離れた前記変化領域の画像位置である最遠端位置に前記人物の頭頂部が存在するとみなした場合における前記人物に相当する画像範囲を求め、当該画像範囲を用いて前記変化領域を複数の部分変化領域に分離し、前記部分変化領域に相当する前記撮影画像の画像領域の画像特徴に応じて前記部分変化領域が前記人領域であるか否かを判定して前記人領域を求める人領域検出手段と、
を備え、
前記人領域検出手段は、前記ヒストグラムから複数の前記頭頂部角度を検出した場合、当該ヒストグラムにおいて前記頭頂部角度における前記画素数が大きい山から順に前記部分変化領域に分離する、
ことを特徴とする画像処理装置。
前記人領域検出手段は、前記頭頂部角度における前記画素数が閾値よりも小さい場合、当該頭頂部角度に前記人物の頭頂部が存在するとみなさない、
ことを特徴とする請求項１に記載の画像処理装置。
前記ヒストグラム算出手段は、前記変化領域の画素数が最も小さい値となる方位角を０度として前記ヒストグラムを求める、
ことを特徴とする請求項１又は２に記載の画像処理装置。