JP5626099B2 - 歩行者検出装置 - Google Patents

Description

本発明は、画像処理技術を用いて歩行者を検出する装置に関する。

従来、画像処理技術を用いて歩行者を検出する装置として、監視エリアをカメラで撮影して取得した動画像の最新のフレームと以前に取得したフレームとのフレーム間差分を求めることによって監視エリア内の移動物体を検出し、この移動物体が横方向に移動する場合に歩行者と判定するようにした歩行者検出装置がある（特許文献１参照）。

しかしながら、上記従来の歩行者検出装置では、フレーム間差分によって検出される移動物体が歩行者であるとは限らないため、歩行者以外の物体を誤って歩行者と判定してしまうおそれがある。

特開平７−２００９８６号公報

本発明は、このような問題を解決するためになされたものであり、その目的は、監視エリアを所定時間毎に撮影して取得した画像を処理して、監視エリア内の歩行者を検出するときの検出精度を高めることである。

本発明の歩行者検出装置は、監視エリアを所定時間毎に撮影して取得した撮影画像と、予め取得しておいた当該監視エリアの背景画像との差分である背景差分画像を基に、前記監視エリア内の異物に対応する異物画像を検出する異物画像検出部と、異なる時刻に取得した前記撮影画像間の差異を基に、前記監視エリア内の移動物体に対応する移動物体画像を検出する移動物体画像検出部と、前記異物画像と、前記移動物体画像との差分を基に、前記異物における静止領域に対応する静止領域画像を抽出する静止領域画像抽出部と、異なる時刻に抽出された隣り合う静止領域画像間の距離又は抽出時間差の少なくとも一方と、予め設定した歩幅又は歩行周期の少なくとも一方とに基づいて、前記監視エリア内の歩行者を検出する歩行者検出部とを有する歩行者検出装置である。

本発明によれば、監視エリアを所定時間毎に撮影して取得した画像を処理して、監視エリア内の歩行者を検出するときの検出精度を高めることができる。

本発明の実施形態の歩行者検出システムによる歩行者検出の概要を説明するための図である。 本発明の第１の実施形態の歩行者検出システムのブロック図である。 本発明の第１の実施形態の歩行者検出システムの動作を示すフローチャートである。 本発明の第２の実施形態の歩行者検出システムのブロック図である。 本発明の第２の実施形態の歩行者検出システムの動作を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
［歩行者検出処理の概要］
本発明の実施形態は、画像処理の内容が異なる第１の実施形態及び第２の実施形態からなる。まず二つの実施形態に共通な事項である歩行者検出処理の概要について、図１を用いて説明する。なお、本発明において、歩行者とは、徒歩により任意の速度で移動する人を意味する。即ち、歩く人だけでなく走る人も含む。

ここで、図１Ａは、監視エリア１００内を一人の歩行者１０１が矢印１０２に示す方向に移動している様子を示している。このとき、歩行者１０１の足の動きに注目すると、片足ずつ交互に動き、かつ交互に静止することが判る。図では、領域１０３、１０４、及び１０５が静止状態の足を含んでいる。歩行者が一定の歩幅かつ一定の歩行速度（歩行周期）で移動した場合、領域１０３、１０４、１０５内で静止している部分（以下、静止部分）の下端の中心間距離は歩幅に一致し、領域１０３、１０４、１０５内の静止部分の発生周期は歩行周期に一致することになる。

そこで、本発明の実施形態では、画像処理技術を用いて、領域１０３、１０４、１０５内の静止部分を検出し、さらに静止部分の下端の中心間距離及び静止部分の発生周期を算出し、それらを予め設定しておいた歩幅（例えば８０ｃｍ）又は歩行周期（例えば０．６秒）と比較し、例えばそれぞれが一致するか又は誤差が閾値以下の場合に、歩行者が存在すると判定することで、監視エリア１００内の歩行者を検出する。

領域１０３、１０４、１０５内の静止部分の検出は以下の手順により行う。
まず、監視エリア１００をカメラにより撮影して取得した撮影画像、及び予め取得しておいた監視エリア１００の背景画像との差分である背景差分画像を求める。ここで、撮影画像は、所定時間（１／１５秒、１／３０秒等）毎のフレーム画像からなる動画像である。これにより、図１Ｂに示すように、撮影画像２００内の異物画像２０１を検出することができる。なお、ここでは、便宜上、図１Ａにおける歩行者１０１が右端の位置のみの画像を異物画像として図示した。

次に、撮影画像間のフレーム間差分やオプティカルフローを算出することで、図１Ｃに示すように、移動物体画像２０２を検出する。ここで、検出された移動物体画像２０２は、異物画像２０１から、領域１０５内の静止部分に対応する画像を除いた画像である。

次いで、異物画像２０１から移動物体画像２０２を減算することで、異物画像２０１における静止領域に対応する静止領域画像を抽出する。これにより、図１Ｄに示すように、異物画像２０１における移動物体画像２０２に対応する部分の画像２０３が消え、領域１０５内の静止部分である足に対応する静止領域画像２０４が現れる。

以上、便宜上、図１Ａの領域１０５内の静止部分を検出する手順を説明した。領域１０３、１０４内の静止部分も同様に検出することができる。

［第１の実施形態の構成］
図２は、本発明の第１の実施形態の歩行者検出システムのブロック図である。
この歩行者検出システムは、監視エリアを撮影して画像を取得するカメラ１と、カメラ１で取得された画像を処理するとともに、処理結果を基に歩行者を検出する制御部２と、制御部２に接続された画像表示部３及び警報出力部４を備えている。制御部２が本発明に係る歩行者検出装置に対応する。

カメラ１は、監視エリアを撮影して、監視エリアの画像を取得する。監視エリアは、ユーザによる設定操作に基づいて制御部が設定する。画像のフレームレート（１秒当たりのフレーム数）は、検出対象となる歩行者の歩行速度に応じて設定する。普通の速度で歩く人が対象であれば例えば１５ｆｐｓ（frames per second）、走る人を対象に含めるのであれば例えば３０ｆｐｓ程度にする。また、画像は、カラー画像とすることも出来るが、本実施形態では可視光又は赤外線（夜間は赤外線のみ可）の輝度画像とした。

制御部２は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を内蔵しており、ＲＯＭに記憶されているプログラムやデータをＣＰＵがＲＡＭをワークエリアとして実行することにより実現される機能として、画像入力部２１、背景差分処理部２２、フレーム間差分処理部２３、静止領域抽出部２４、歩行者らしさ尤度演算部２５、及び歩行者判定部２６を備えている。また、ＲＯＭには、歩行者らしさ尤度演算部２５が尤度演算を行うときに参照するデータを記憶する尤度演算用データ記憶部２７、及び歩行者判定部２６が歩行者判定を行うときに参照するデータを記憶する歩行者判定用データ記憶部２８が設けられている。

画像入力部２１は、カメラ１で取得された監視エリアの撮影画像を、カメラ１のフレームレートで取り込む。これにより、制御部２内のＲＡＭ内の画像メモリエリアに、フレームレートで撮影画像が書き込まれる。

背景差分処理部２２は、画像入力部２１により取り込まれた撮影画像と、予め取り込んでおいた監視エリアの背景画像との差分を演算して、背景差分画像を生成する。これにより、背景画像と撮影画像との差異に対応する画像が異物画像として検出される。

フレーム間差分処理部２３は、画像入力部２１により取り込まれた撮影画像間のフレーム間差分、即ちフレームレートに対応する時間だけ異なる時刻に取得された撮影画像の差分を演算する。これにより、隣接フレームの撮影画像間で変化した部分が移動物体画像として検出される。

静止領域抽出部２４は、背景差分処理部２２で検出された異物画像と、フレーム間差分処理部２３で検出された移動物体画像との差分を演算する。これにより、背景差分処理部２２で検出された異物画像のうち、フレーム間差分処理部２３で検出された移動物体画像に含まれていない部分、換言すれば、異物画像のうち、静止している領域である静止領域画像が抽出される。

制御部２は、静止領域抽出部２４により抽出された静止領域画像の中心位置の座標データを生成し、制御部２内の図示しない時計部が生成した時刻情報に関連付けて、ＲＡＭに書き込む。ここで、静止領域画像の中心位置座標データについては、まず監視エリアの撮影画像の画像平面上のＸ−Ｙ座標データを算出し、次にＲＯＭに記憶しておいた位置座標変換テーブル（図示せず）を参照して監視エリアの実際の三次元位置座標データに変換し、変換後の位置座標データをＲＡＭに書き込む。

歩行者らしさ尤度演算部２５は、今回書き込まれた静止領域画像の中心位置座標データと、前回書き込まれた静止領域画像の中心位置座標データと、尤度演算用データ記憶部２７に記憶されているデータとを用いて、異物画像に対応する異物の歩行者らしさの尤度を演算する。

即ち、例えば、尤度演算用データ記憶部２７に、歩行者の歩幅データ、ゆっくり歩くから小走りの範囲の歩行周期データ、静止領域の中心位置の移動量と歩幅データの一致具合と静止領域の発生周期と歩行周期データの一致具合とを重み付ける係数データを記憶しておく。歩行者らしさ尤度演算部２５は、ＲＡＭに書き込まれた静止領域画像の中心位置座標データと歩幅データとの一致具合、静止領域画像の発生周期と歩行周期データの一致具合を算出し、それらを重み付けすることで、歩行者らしさの尤度を演算する。この尤度は、静止領域画像の中心位置座標データ及び発生時刻データが書き込まれる毎に算出される。

歩行者判定部２６は、歩行者らしさ尤度演算部２５により算出された歩行者らしさの尤度と、歩行者判定用データ記憶部２８に記憶されている規定値との差異が閾値以内の場合に、監視エリアに歩行者が存在するとの判定を行い、警報出力部４に対してアラーム信号を送出する。

画像表示部３は、液晶ディスプレイなどからなり、静止領域抽出部２４により抽出された静止領域画像を背景画像に重ねて表示する。警報出力部４は、歩行者判定部２６からのアラーム信号に基づいて、可聴音や可視光からなる警報を出力する。

［第１の実施形態の動作］
図３は、本発明の第１の実施形態の歩行者検出システムにおける制御部２の動作を示すフローチャートである。以下、図１乃至図３を用いて、本発明の第１の実施形態の歩行者検出システムの動作について説明する。

まず画像入力部２１がカメラ１により取得された監視エリアの画像を入力する（ステップＳ１）。次に背景差分処理部２２が、画像入力部２１により入力された画像と、予め取得しておいた監視エリアの背景画像との背景差分処理を行い（ステップＳ２）、さらに背景差分２値化処理を行う（ステップＳ３）。これにより、背景差分画像が生成される。

次に制御部２は、監視エリアに異物が有るか否かを判断する（ステップＳ４）。ここで、ステップＳ３で２値化処理された画像において、レベルが“１”となる領域（背景画像と撮影画像とに差がある領域）が有る場合、その領域を異物と判断する。図１Ａの監視エリア１００を撮影した画像を入力した場合、図１Ｂの異物画像２０１が検出され、異物が有ると判断される。

異物が有ると判断した場合は（ステップＳ４：Yes）、フレーム間差分処理部２３が、画像入力部２１により入力された画像に対して、フレーム間差分処理を行い（ステップＳ６）、さらにフレーム間差分２値化処理を行う（ステップＳ７）。これにより、図１Ｃの移動物体画像２０２が検出される。

次に、静止領域抽出部２４が、背景差分処理部２２で検出された異物画像（ステップＳ３の背景差分２値化の結果）と、フレーム間差分処理部２３で検出された移動物体画像（ステップＳ７のフレーム間差分２値化の結果）との差分を基に、異物における静止領域に対する静止領域画像を抽出する（ステップＳ８）。これにより、図１Ｄの静止領域画像２０４が抽出される。

次に制御部２は、ステップＳ８で抽出された静止領域画像が新たな静止領域に対応するか否かを判断する（ステップＳ９）。ここで、新たな静止領域に対応するか否かは、今回抽出した静止領域画像と、前回抽出した静止領域画像の画像平面上のＸ−Ｙ座標データが一致していなければ新たな静止領域に対応すると判断し、一致していれば新たな静止領域に対応しないと判断する。新たな静止領域に対応すると判断した場合は（ステップＳ９：Yes）、静止領域画像の中心位置座標データ及び現在時刻データをＲＡＭに書き込み、保存する（ステップＳ１０）。

次いで歩行者らしさ尤度演算部２５は、ＲＡＭに保存されている静止領域画像の中心位置座標データと、尤度演算用データ部２７に記憶されている尤度演算用データを用いて、歩行者らしさの尤度を演算する（ステップＳ１１）。

次に歩行者判定部２６は、歩行者らしさ尤度演算部２５で算出された歩行者らしさの尤度と、歩行者判定用データ記憶部２８に記憶されているデータを用いて、背景差分処理部２２で検出された異物画像に対応する異物が歩行者か否かを判断する（ステップＳ１２）。そして、歩行者であると判断した場合は（ステップＳ１２：Yes）、警報出力部４に対してアラーム信号を送出する（ステップＳ１３）。

一方、歩行者ではないと判断した場合は（ステップＳ１２：No）、ステップＳ１に移行して、次のフレームの画像を入力する。また、ステップＳ９で、静止領域画像が新たな静止領域に対応するものではないと判断した場合も（ステップＳ９：No）、ステップＳ１に移行して、次のフレームの画像を入力する。ステップＳ４で、監視エリアに異物が無いと判断した場合は（ステップＳ４：No）、入力画像により背景画像を更新してから（ステップＳ５）、ステップＳ１に移行して、次のフレームの画像を入力する。

このように本発明の第１の実施形態の歩行者検出システムによれば、監視エリアの背景差分画像を基に検出した異物画像と、フレーム間差分画像を基に検出した移動物体画像との差分を基に異物画像中の静止領域画像を抽出し、異なる時刻に抽出された隣り合う静止領域画像の下端の中心間の距離及び抽出時間差と、予め設定した歩幅及び歩行周期とに基づいて、監視エリア内の歩行者を検出する。従って、歩行者以外の移動物体を誤って歩行者として検出する可能性が低くなり、検出精度が高くなる。このため、警報出力部４から誤報が出力される可能性を低減することができる。また、異物の無いときの入力画像により背景画像を更新するので、監視エリアの明るさなどの変化に対して、自動的に背景画像を追随させることができる。

［第２の実施形態の構成］
図４は、本発明の第２の実施形態の歩行者検出システムのブロック図である。この図において、図２（第１の実施形態）と同一又は対応するブロックには図２と同じ参照符号を付した。

第２の実施形態は、第１の実施形態におけるフレーム間差分処理部２３に代えてオプティカルフロー処理部２９を設け、オプティカルフロー処理部２９により移動物体画像を検出することが特徴であり、その他の部分の構成と機能は第１の実施形態と同じである。そこで、以下の第２の実施形態に関する説明は、主としてオプティカルフロー処理部２９に関して行う。

オプティカルフロー処理部２９は、画像入力部２１により入力された画像のオプティカルフローを求めることで、監視エリアの移動物体画像を検出し、その結果を静止領域抽出部２４に送出する。

オプティカルフローとは、フレーム画像、即ち時間的に連続する画像列における画像内の各点（画素）の速度ベクトルの分布である。速度ベクトルとは、単位時間当たりの移動ベクトル（移動方向、移動距離）である。

フレーム画像中の各点の移動ベクトルを求める方法には、大別して、フレーム画像間で対応点を探索して求める照合法と、各点の輝度の空間的及び時間的な勾配の関係を用いる時空間勾配法がある。これらの詳細については、例えば「末松良一、山田宏尚著『画像処理工学』、pp.190-193、（株）コロナ社、2000年10月26日発行」に記載されているように周知であるため、ここでは説明しない。

オプティカルフローにより移動物体画像の検出は、フレーム間差分法では検出が困難な人通りの多い場所を監視エリアとした場合でも、ある程度正確な検出結果が得られる。

［第２の実施形態の動作］
図５は、本発明の第２の実施形態の歩行者検出システムにおける制御部２の動作を示すフローチャートである。この図において、図３（第１の実施形態）と同じステップには図３と同じ参照符号（ステップ番号）を付した。

以下、図１、図４及び図５を用いて、本発明の第２の実施形態の歩行者検出システムの動作について、主として、第１の実施形態と異なる部分であるオプティカルフローに関して説明する。

図５に示すように、画像入力部２１がカメラ１から画像を入力するステップ（ステップＳ１）から監視エリアに異物が無いとの判断結果（ステップＳ４：No）に応じて、背景画像を更新するステップ（ステップＳ５）までは第１の実施形態と同じである。

監視エリアに異物が有ると判断した場合は（ステップＳ４：Yes）、オプティカルフロー処理部２９がオプティカルフロー処理を実行して、監視エリア内に存在する移動物体に対応する移動物体画像を検出する（ステップＳ６１）。

次に、静止領域抽出部２４が、背景差分処理部２２で検出された異物画像（ステップＳ３の背景差分２値化の結果）と、オプティカルフロー処理部２９で検出された移動物体画像との差分を基に、異物における静止領域に対応する画像を抽出する（ステップＳ７１）。以後のステップは第１の実施形態と同じである。

このように本発明の第２の実施形態の歩行者検出システムによれば、オプティカルフローを検出することで移動物体画像を検出するので、人通りの多い場所を監視エリアとした場合の歩行者検出精度を高めることができる。

なお、本発明について例えば下記（１）〜（２）のような変形が可能である。
（１）領域１０３、１０４、１０５内の静止部分の下端の中心間距離又は静止部分の発生周期のいずれか一方と、歩行者の歩幅データ又は歩行周期のいずれか一方を基に、歩行者であるか否かの判定を行う。
（２）異物全体の移動量、例えば図１Ｃの移動物体画像２０２の重心の移動量を算出し、その値が歩幅の半分程度に対応する場合、二人連れの歩行と判定する。同様にして、大凡の人数把握を行う。

１…カメラ、２…制御部、３…画像表示部、４…警報出力部、２１…画像入力部、２２…背景差分処理部、２３…フレーム間差分処理部、２４…静止領域抽出部、２５…歩行者らしさ尤度演算部、２６…歩行者判定部、２７…尤度演算用データ記憶部、２８…歩行者判定用データ記憶部、２９…オプティカルフロー処理部、２０１…異物画像、２０２…移動物体画像、２０４…静止領域画像。

Claims (3)

1. 監視エリアを所定時間毎に撮影して取得した撮影画像と、予め取得しておいた当該監視エリアの背景画像との差分である背景差分画像を基に、前記監視エリア内の異物に対応する異物画像を検出する異物画像検出部と、
   異なる時刻に取得した前記撮影画像間の差異を基に、前記監視エリア内の移動物体に対応する移動物体画像を検出する移動物体画像検出部と、
   前記異物画像と、前記移動物体画像との差分を基に、前記異物における静止領域に対応する静止領域画像を抽出する静止領域画像抽出部と、
   異なる時刻に抽出された隣り合う静止領域画像間の距離又は抽出時間差の少なくとも一方と、予め設定した歩幅又は歩行周期の少なくとも一方とに基づいて、前記監視エリア内の歩行者を検出する歩行者検出部と
   を有する歩行者検出装置。
2. 請求項１に記載された歩行者検出装置において、
   前記異物画像検出部は、異物画像を検出していないときの前記撮影画像により、前記背景画像を更新する背景画像更新部を有し、
   前記歩行者検出部は、前記静止領域画像の撮影画像平面上の位置を算出する位置算出部と、異なる時刻に抽出された隣り合う静止領域画像に対応する前記監視エリアの実空間内の静止領域の間の距離を、予め取得しておいた撮影画像平面上の位置と前記実空間内の位置との対応関係を示す情報を用いて算出する距離算出部と、前記算出された距離が予め設定された歩幅と対応するか否かに基づいて、前記監視エリア内の歩行者の存否を判定する歩行者判定部と
   を有する歩行者検出装置。
3. 請求項２に記載された歩行者検出装置において、
   前記歩行者判定部は、異なる時刻に抽出された隣り合う静止領域画像間の抽出時間差が予め設定された歩行周期に対応するか否かを併用して、前記監視エリア内の歩行者の存否を判定する歩行者検出装置。

Images