JP6072092B2 - 画像処理装置 - Google Patents

Description

本発明の一側面は、複数のフレームを含む動画像を処理する画像処理装置に関する。

従来、立ち入り禁止箇所等に設置された防犯カメラの映像を画像解析することにより、立ち入り禁止箇所等への侵入者を検知する侵入者検知装置が知られている（下記特許文献１参照）。この装置は、防犯カメラの映像を適当な小領域に分割し、小領域のそれぞれについて、予め取得しておいた背景画像との相関計算を行い、相関値の時間変化に基づいて映像中における侵入者の位置を特定する。

特開２００６−２５２２４８号公報

しかしながら、上記装置では、防犯カメラの映像を分割して得られる小領域の全てについて相関計算等の処理を実行する必要がある。すなわち、上記装置では、防犯カメラの映像全体についての画像処理を繰り返し実行する必要がある。このため、上記装置による処理を実行するためには、比較的高速な処理を実行可能なコンピュータが必要となる。そこで、監視場所への移動物体の出入りをより簡易な処理によって検知することができる仕組みが要請されている。

本発明の一側面に係る画像処理装置は、２次元画像であるフレームを複数含む動画像を処理する画像処理装置であって、処理対象の複数のフレームのそれぞれについて、第１のライン及び第２のラインを設定し、第１のライン上の画素の画素値からなる第１の１次元情報と第２のライン上の画素の画素値からなる第２の１次元情報とを生成する１次元情報生成部と、第１のフレームにおける第１の１次元情報と第１のフレームよりも後の第２のフレームにおける第１の１次元情報との間における画素毎の画素値の差分を示す第１の差分情報と、第１のフレームにおける第２の１次元情報と第２のフレームにおける第２の１次元情報との間における画素毎の画素値の差分を示す第２の差分情報と、を生成する差分情報生成部と、第１の差分情報及び第２の差分情報に基づいて、第１のライン及び第２のラインにおける画素値の差分に基づく状態値を有する状態情報を生成する状態情報生成部と、複数世代における状態情報を比較することにより、第１のライン及び第２のラインを横切る移動物体の移動方向を検知する検知部と、を備える。

本発明の一側面に係る画像処理方法は、２次元画像であるフレームを複数含む動画像を処理する画像処理方法であって、処理対象の複数のフレームのそれぞれについて、第１のライン及び第２のラインを設定し、第１のライン上の画素の画素値からなる第１の１次元情報と第２のライン上の画素の画素値からなる第２の１次元情報とを生成する１次元情報生成ステップと、第１のフレームにおける第１の１次元情報と第１のフレームよりも後の第２のフレームにおける第１の１次元情報との間における画素毎の画素値の差分を示す第１の差分情報と、第１のフレームにおける第２の１次元情報と第２のフレームにおける第２の１次元情報との間における画素毎の画素値の差分を示す第２の差分情報と、を生成する差分情報生成ステップと、第１の差分情報及び第２の差分情報に基づいて、第１のライン及び第２のラインにおける画素値の差分に基づく状態値を有する状態情報を生成する状態情報生成ステップと、複数世代における状態情報を比較することにより、第１のライン及び第２のラインを横切る移動物体の移動方向を検知する検知ステップと、を含む。

上記画像処理装置又は画像処理方法では、１次元情報生成部が、各ラインについての１次元情報を生成する。そして、差分情報生成部が、時間的に前後する第１のフレーム及び第２のフレームにおける各ラインについての１次元情報から、各画素の画素値の差分を示す差分情報を生成する。さらに、状態情報生成部１３が、各ラインの差分情報に示される画素毎の画素値の差分に基づく状態値を有する状態情報を生成する。そして、検知部が、このようにして生成された複数世代の状態情報を比較することにより、各ラインを横切る移動物体の移動方向を検知する。上記画像処理装置又は画像処理方法によれば、処理対象のフレーム全体を対象とした画像処理を実行することなく、各ライン上の１次元情報を対象とした画像処理を実行することで、移動物体の移動方向を検知することができる。従って、第１のライン側又は第２のライン側への移動物体の出入りをより簡易な処理によって検知することができる。

上記画像処理装置では、差分情報生成部は、第１の差分情報及び第２の差分情報が示す画素値の差分を、該差分が予め定めた閾値以上か否かによって、差分があることを示す第１の値又は差分がないことを示す第２の値に変換してもよい。

上記画像処理装置によれば、閾値以下の画素値の差分を第２の値に変換することにより、当該差分を無視することができる。これにより、例えばランダムノイズ等による画面の揺らぎ等によって意図しない極小の画素値の変動が生じた場合に、当該画素値の変動の影響を排除した上で、画素値の差分の有無（すなわち、移動物体の有無）を適切に示す差分情報を得ることができる。

上記画像処理装置では、１次元情報生成部は、第１のライン及び第２のラインが互いに平行となり且つフレーム内における検知対象の移動物体の幅に応じた間隔だけ離間するように、第１のライン及び第２のラインを設定し、検知部は、第１のライン及び第２のラインの両方に同時にかかる移動物体を検知してもよい。

上記画像処理装置によれば、検知対象の移動物体のみを精度よく検知することが可能となる。例えば、フレーム内における検知対象の移動物体（例えば人）の平均的な幅よりも第１のライン及び第２のラインの間隔を小さくすることで、第１のライン及び第２のラインの両方に同時にかかる移動物体を適切に検知することができる。上記の場合において、さらに、フレーム内における検知対象でない移動物体（例えば鳥）の平均的な幅よりも第１のライン及び第２のラインの間隔を大きくすることで、第１のライン及び第２のラインの両方に同時にかかることのない移動物体については検知しないようにすることができる。このように、第１のライン及び第２のラインを互いに平行とし且つ検知対象の移動物体の幅に応じた間隔だけ離間させ、第１のライン及び第２のラインの両方に同時にかかる移動物体を検知することで、検知対象の移動物体を精度良く検知することが可能となる。

上記画像処理装置では、検知部は、複数世代における状態情報から状態値の遷移パターンを抽出し、抽出された遷移パターンが予め定めた検知対象の遷移パターンに該当するか否かを判定することにより、検知対象の遷移パターンで移動する移動物体を検知してもよい。

上記画像処理装置によれば、複数世代における状態情報に示される状態値の遷移パターンに基づいて、予め定めた特定の遷移パターン（例えば第１のライン側から第２のライン側へ移動するパターン）で移動する移動物体のみを適切に検知することができる。

上記画像処理装置では、検知部は、検知対象の遷移パターンで移動する移動物体を検知した場合に、移動物体の検知を示すアラートを出力してもよい。

上記画像処理装置によれば、検知対象の遷移パターンで移動する移動物体を検知した際にアラートを出力することで、移動物体の検知をオペレータ等に把握させることが可能となる。

本発明の一側面によれば、移動物体の出入りをより簡易な処理によって検知することができる。

一実施形態に係る画像処理装置の機能構成を示すブロック図である。 一実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 １次元情報の生成に関する説明図である。 差分情報及び状態情報の生成に関する説明図である。 状態値と移動物体の位置との対応関係を示す図である。 一実施形態に係る画像処理装置の動作を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、一実施形態に係る画像処理装置の機能構成を示すブロック図である。図１に示す画像処理装置１は、２次元画像であるフレームを複数含む動画像を処理する装置である。画像処理装置１は、例えば監視カメラ等により監視対象エリアを撮影することで得られた動画像を処理することにより、監視対象エリアへの移動物体の出入りを検知する用途で用いられる。監視対象エリアとは、移動物体の出入りを監視する対象として設定されたエリアのことである。監視対象エリアの例としては、例えば部外者の出入りが禁止される工事現場等が挙げられる。また、移動物体とは、フレーム内に映る物体であり、時間変化によってフレーム内における位置が変化する物体である。移動物体の例としては、例えば人、動物、車両等が挙げられる。図１に示すように、画像処理装置１は、機能要素として、１次元情報生成部１１と、差分情報生成部１２と、状態情報生成部１３と、検知部１４と、を備える。

図２は、画像処理装置１のハードウェア構成の一例を示すブロック図である。図２に示すように、画像処理装置１は、一以上のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３、例えば監視カメラ等の外部装置とのデータ通信を行うための通信モジュール１０４、並びにハードディスク等の補助記憶装置１０５等のハードウェアを備えるコンピュータシステムとして構成される。画像処理装置１は、物理的に１台の装置として構成されてもよいし、互いに協調して動作する複数の装置として構成されてもよい。画像処理装置１の各機能要素は、例えば、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４を動作させ、ＲＡＭ１０２、ＲＯＭ１０３及び補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。

１次元情報生成部１１は、上述のように監視カメラ等により監視対象エリアを撮影することで得られた動画像を取得し、動画像に含まれる複数のフレームのうち処理対象の複数のフレームのそれぞれについて、第１のライン及び第２のラインを設定し、第１のライン上の画素の画素値からなる第１の１次元情報と第２のライン上の画素の画素値からなる第２の１次元情報とを生成する機能要素である。ここで、ラインとは、フレーム上の特定の２つの座標同士を結んだ仮想的な線分である。ラインは、例えば監視対象エリアへの移動物体の出入りを検知するために、監視対象エリアの周囲又は監視対象エリアの出入り口に設定される監視ラインとして機能する。また、１次元情報とは、フレーム内の画素のうちライン上の画素の画素値を１次元に配列した情報である。

１次元情報生成部１１の処理対象となるフレームは、例えば動画像に含まれる複数のフレームから所定フレーム間隔で抽出される複数のフレームである。例えば、動画像が１秒間に６０個のフレームを含み、動画像を１秒間隔で監視したい場合には、１次元情報生成部１１は、動画像に含まれる複数のフレームから６０フレーム間隔で抽出される各フレームについて処理を実行すればよい。

図３を用いて、１次元情報生成部１１による第１及び第２の１次元情報の生成について説明する。図３の例では、１次元情報生成部１１は、１８×１８画素からなる処理対象の各フレームＸについて、監視対象エリアＡを包囲する外側の囲いを形成する第１のラインＬ１と、監視対象エリアＡを包囲する内側の囲いを形成する第２のラインＬ２とを設定する。ここで、監視対象エリアＡは、移動物体の出入りを監視する対象のエリアとしてオペレータ等により予め設定されたエリアである。本実施形態では一例として、各フレームＸは、例えば工事現場等の監視対象エリアＡの上方に固定された監視カメラにより監視対象エリアＡを俯瞰的に撮影することで得られる動画像に含まれるフレームであり、監視対象エリアＡは四角形状である。また、ラインＬ１及びラインＬ２は、四角形状の監視対象エリアＡの４辺に対応して４本ずつ設定される。ただし、監視対象エリアＡの形状は四角形状以外の任意の形状であってよく、設定されるラインＬ１及びラインＬ２の本数も監視対象エリアＡの形状に応じて任意に定めてよい。

１次元情報生成部１１は、例えば監視対象エリアＡの隅に設置された複数（図３の例では４つ）の目印となる対象物（例えばパイロン等）を画像認識することにより、複数の対象物のそれぞれの位置を示す座標Ｐ１を取得し、隣接する座標Ｐ１同士を結ぶことにより、ラインＬ１を設定する。続いて、１次元情報生成部１１は、複数のラインＬ１により包囲される領域をフレームＸにおける縦方向に縮小した領域の隅の座標Ｐ２を取得し、フレームＸにおける横方向に隣接する座標Ｐ２同士を結ぶことにより、ラインＬ２を設定する。同様に、１次元情報生成部１１は、複数のラインＬ１により包囲される領域をフレームＸにおける横方向に縮小した領域の隅に対応する複数の座標Ｐ２を取得し、フレームＸにおける縦方向に隣接する座標Ｐ２同士を結ぶことにより、ラインＬ２を設定する。

ただし、ラインＬ１，Ｌ２の設定手順は上記手順に限定されない。例えば、１次元情報生成部１１は、先に内側のラインＬ２を設定した後に外側のラインＬ１を設定してもよい。具体的には、１次元情報生成部１１は、例えば複数のラインＬ２を先に設定した後に、複数のラインＬ２により包囲される領域をフレームＸにおける縦方向又は横方向に拡大した各領域の隅に対応する複数の座標を取得し、フレームＸにおける横方向又は縦方向に隣接する座標同士を結ぶことにより、ラインＬ１を設定してもよい。また、１次元情報生成部１１は、オペレータの操作等により、ラインＬ１，Ｌ２を設定してもよい。

また、１次元情報生成部１１は、ラインＬ１及びラインＬ２が互いに平行となり且つフレームＸ内における検知対象の移動物体の幅に応じた間隔だけ離間するように、ラインＬ１及びラインＬ２を設定してもよい。検知対象の移動物体とは、ラインＬ１及びラインＬ２を横切った際に検知する対象として予めオペレータ等により定められた移動物体である。具体的には、１次元情報生成部１１は、オペレータの操作等により、上述のように調整されたラインＬ１及びラインＬ２を設定してもよい。或いは、１次元情報生成部１１は、例えばオペレータ等により入力された検知対象の移動物体の幅に応じた間隔をパラメータとして取得し、上述のようにラインＬ１を設定した後に複数のラインＬ１により包囲される領域を上記パラメータに応じた縮小率で縮小し、縮小された領域の隅の座標Ｐ２に基づいてラインＬ２を設定してもよい。

ここで、検知対象の移動物体の幅に応じた間隔とは、例えば、検知対象の移動物体（例えば人）がフレームＸ内においてラインＬ１及びラインＬ２を横切る際に、当該移動物体がラインＬ１及びラインＬ２の両方に同時にかかる状態が生じるような間隔のことである。言い換えると、検知対象の移動物体の幅に応じた間隔とは、例えば、フレームＸ内における移動物体の平均的な幅よりも小さい間隔のことである。一方、１次元情報生成部１１は、検知対象の移動物体よりも小さい移動物体（例えば鳥）がフレームＸ内においてラインＬ１及びラインＬ２を横切る際に、当該移動物体がラインＬ１及びラインＬ２の両方に同時にかかる状態が生じないようにラインＬ１及びラインＬ２の間隔を設定してもよい。すなわち、１次元情報生成部１１は、フレームＸ内において、検知対象の移動物体の平均的な幅よりも小さく、且つ検知対象の移動物体よりも小さい移動物体の平均的な幅よりも大きい間隔を、検知対象の移動物体の幅に応じた間隔として、ラインＬ１及びラインＬ２を設定してもよい。このようにラインＬ１及びラインＬ２を設定することで、後述する検知部１４は、ラインＬ１及びラインＬ２に同時にかかる状態が生じた移動物体を検知することにより、検知対象の移動物体を精度良く検知することが可能となる。

図３に示すように、１次元情報生成部１１は、各フレームＸについて、ラインＬ１上の画素の画素値からなる第１の１次元情報Ｑ１とラインＬ２上の画素の画素値からなる第２の１次元情報Ｑ２とを生成する。具体的には、１次元情報生成部１１は、ラインＬ１，Ｌ２上の画素の画素値を、それぞれラインＬ１，Ｌ２の一端側から他端側へと並べることで、ラインＬ１，Ｌ２上の各画素の画素値が１次元的に配列された１次元情報Ｑ１，Ｑ２を生成する。図３では、監視対象エリアＡの上辺側に位置する一対のラインＬ１及びラインＬ２に対応する１次元情報Ｑ１，Ｑ２を例示している。この例では、１次元情報Ｑ１，Ｑ２は、それぞれ１３個の画素値からなる。

差分情報生成部１２は、第１のフレームＸにおける１次元情報Ｑ１と第１のフレームＸよりも後の第２のフレームＸにおける１次元情報Ｑ１との間における画素毎の画素値の差分を示す第１の差分情報Ｄ１を生成する機能要素である。また、差分情報生成部１２は、第１のフレームＸにおける１次元情報Ｑ２と第２のフレームＸにおける１次元情報Ｑ２との間における画素毎の画素値の差分を示す第２の差分情報Ｄ２を生成する機能要素でもある。ここで、差分とは、画素値の差の絶対値である。また、第１のフレームＸ及び第２のフレームＸは、１次元情報生成部１１の処理対象となる複数のフレームのうち時間的に隣接する２つのフレームである。例えば、差分情報生成部１２は、所定のフレーム間隔で抽出された処理対象の各フレームについて１次元情報生成部１１により生成される１次元情報Ｑ１，Ｑ２を順次入力し、入力された１次元情報Ｑ１，Ｑ２と１つ前の時点に入力された１次元情報Ｑ１，Ｑ２とに基づいて差分情報Ｄ１，Ｄ２を順次生成する。

図４に示すように、差分情報生成部１２は、第１のフレームＸにおける１次元情報Ｑ１，Ｑ２により示される各画素の画素値と第２のフレームＸにおける１次元情報Ｑ１，Ｑ２により示される各画素の画素値との差の絶対値を差分として示す差分情報Ｄ１，Ｄ２を生成する。具体的には、第１のフレームＸにおける１次元情報Ｑ１，Ｑ２により示されるｉ番目（図４の例では、ｉは１から１３までの整数）の画素の画素値をＶ１［ｉ］とし、第２のフレームＸにおける１次元情報Ｑ１，Ｑ２により示されるｉ番目の画素の画素値をＶ２［ｉ］とすると、差分情報Ｄ１，Ｄ２により示されるｉ番目の画素の画素値の差分Ｖ３［ｉ］は、下記式（１）により算出される。
Ｖ３［ｉ］＝｜Ｖ１［ｉ］−Ｖ２［ｉ］｜ ・・・（１）

さらに、差分情報生成部１２は、差分情報Ｄ１，Ｄ２のそれぞれが示す画素値の差分を、該差分が予め定めた閾値以上か否かによって、差分があることを示す第１の値又は差分がないことを示す第２の値に変換してもよい。具体的には、差分情報生成部１２は、差分情報Ｄ１，Ｄ２により示される各画素の画素値の差分について、差分が閾値以上の場合（或いは閾値より大きい場合）には、差分を「１」（第１の値）に変換し、差分が閾値未満の場合（或いは閾値以下の場合）には、差分を「０」（第２の値）に変換してもよい。より具体的には、差分情報生成部１２は、上記式（１）により算出されたｉ番目の画素の画素値の差分Ｖ３［ｉ］に対して、下記式（２），（３）による変換処理を実行することにより、各画素の画素値の差分を２値変換することができる。下記式（２），（３）において、ＴＨは閾値を示し、Ｖ４［ｉ］はｉ番目の画素の画素値の差分の２値変換後の値を示す。
ＩＦ（ＴＨ＜Ｖ３［ｉ］） Ｖ４［ｉ］＝１ ・・・（２）
ＥＬＳＥ ＩＦ（Ｖ３［ｉ］≦ＴＨ） Ｖ４［ｉ］＝０ ・・・（３）

図４に示す２値変換後の差分情報Ｄ１，Ｄ２は、上記式（１）により算出された差分情報Ｄ１，Ｄ２の各画素の画素値の差分Ｖ３［ｉ］に対して、閾値ＴＨを１５として上記式（２），（３）による変換処理を実行することで得られたものである。このようにして得られた２値変換後の差分情報Ｄ１，Ｄ２において、差分が「１」に変換された画素は、当該画素に対応する領域において、時間的に前後する２つの時点（第１のフレームＸが撮影された時点と第２のフレームＸが撮影された時点）の間で差分があること、すなわち当該画素に対応する領域において移動物体があることを示す。一方、差分情報Ｄ１，Ｄ２において、差分が「０」に変換された画素は、当該画素に対応する領域において、時間的に前後する２つの時点の間で差分がないこと、すなわち当該画素に対応する領域において移動物体がないことを示す。

上述のように、差分を２値変換することにより、以下の効果が奏される。すなわち、閾値ＴＨ以下の画素値の差分を「０」に変換することにより、当該差分を無視することができる。これにより、例えばランダムノイズ等による画面の揺らぎ等によって意図しない極小の画素値の変動が生じた場合に、当該画素値の変動の影響を排除した上で、画素値の差分の有無（すなわち、移動物体の有無）を適切に示す２値変換後の差分情報Ｄ１，Ｄ２を得ることができる。また、差分情報Ｄ１，Ｄ２における各画素の差分を２値で表すことにより、後述する状態情報生成部１３による処理を単純化することができる。以下の状態情報生成部１３についての説明において、差分情報Ｄ１，Ｄ２は、特にことわりのない限り、２値変換後の差分情報Ｄ１，Ｄ２を指す。

状態情報生成部１３は、差分情報Ｄ１及び差分情報Ｄ２に基づいて、ラインＬ１及びラインＬ２における各画素の画素値の差分に基づく状態値を有する状態情報を生成する機能要素である。具体的には、状態情報生成部１３は、ラインＬ１上の各画素の画素値の差分（差分情報Ｄ１が示す各画素の画素値の差分）と、ラインＬ１の各画素に対応するラインＬ２上の各画素の画素値の差分（差分情報Ｄ２が示す各画素の画素値の差分）との組み合わせに応じた状態値を有する状態情報Ｓを生成する。ここで、ラインＬ１上の画素に対応するラインＬ２上の画素とは、ラインＬ１，Ｌ２に略垂直な方向においてラインＬ１上の画素と対向する位置にあるラインＬ２上の画素のことを指す。本実施形態では、ラインＬ１，Ｌ２を互いに平行且つ対向するように設定しているため、１次元情報Ｑ１のｉ番目の要素（画素値）に対応する画素と１次元情報Ｑ２のｉ番目の要素（画素値）に対応する画素とが互いに対応する。よって、本実施形態では、状態情報生成部１３は、差分情報Ｄ１が示すｉ番目の画素の画素値の差分と差分情報Ｄ２が示すｉ番目の画素の画素値の差分との組み合わせに応じた状態値をｉ番目の要素とする状態情報Ｓを生成する。

状態情報生成部１３は、例えば以下のルールに基づいて、状態情報Ｓの各要素の状態値を設定する。状態情報生成部１３は、差分情報Ｄ１が示すｉ番目の画素の画素値の差分が「０」であり、差分情報Ｄ２が示すｉ番目の画素の画素値の差分が「０」である場合に、状態値として「０」を設定する。状態情報生成部１３は、差分情報Ｄ１が示すｉ番目の画素の画素値の差分が「１」であり、差分情報Ｄ２が示すｉ番目の画素の画素値の差分が「０」である場合に、状態値として「１」を設定する。状態情報生成部１３は、差分情報Ｄ１が示すｉ番目の画素の画素値の差分が「１」であり、差分情報Ｄ２が示すｉ番目の画素の画素値の差分が「１」である場合に、状態値として「２」を設定する。状態情報生成部１３は、差分情報Ｄ１が示すｉ番目の画素の画素値の差分が「０」であり、差分情報Ｄ２が示すｉ番目の画素の画素値の差分が「１」である場合に、状態値として「３」を設定する。差分情報Ｄ１が示すｉ番目の画素の画素値の差分と差分情報Ｄ２が示すｉ番目の画素の画素値の差分とは、いずれも「０」又は「１」の２通りの値を取るため、上述のように、状態値は４値（０，１，２，３）により表すことができる。

図４に示すように、状態情報生成部１３は、差分情報Ｄ１及び差分情報Ｄ２に基づいて、各要素の値が４値のいずれかで表される状態情報Ｓを生成する。

図５を用いて、状態情報Ｓの状態値と移動物体Ｙの位置との対応関係について説明する。状態情報Ｓのｉ番目の状態値が「０」であることは、ラインＬ１，Ｌ２上のｉ番目の画素の画素値に差分がないことを示す。すなわち、図５の（ａ）又は（ｅ）に示すように、ラインＬ１，Ｌ２上のｉ番目の画素に対応する領域において移動物体Ｙがないことを示す。つまり、状態値「０」は、フレームＸにおいて、ラインＬ１，Ｌ２にかかっている移動物体Ｙが存在しないことを示す。

状態情報Ｓのｉ番目の状態値が「１」であることは、ラインＬ１上のｉ番目の画素の画素値には差分がある一方でラインＬ２上のｉ番目の画素の画素値には差分がないことを示す。すなわち、図５の（ｂ）に示すように、ラインＬ１上のｉ番目の画素に対応する領域には移動物体Ｙがある一方でラインＬ２上のｉ番目の画素に対応する領域には移動物体Ｙがないことを示す。つまり、状態値「１」は、フレームＸにおいて、移動物体ＹがラインＬ１，Ｌ２のうちラインＬ１のみにかかっている状態を示す。

状態情報Ｓのｉ番目の状態値が「２」であることは、ラインＬ１，Ｌ２上のｉ番目の画素の画素値に差分があることを示す。すなわち、図５の（ｃ）に示すように、ラインＬ１，Ｌ２上のｉ番目の画素に対応する領域において移動物体Ｙがあることを示す。つまり、状態値「２」は、フレームＸにおいて、ラインＬ１，Ｌ２に同時にかかっている移動物体Ｙが存在することを示す。

状態情報Ｓのｉ番目の状態値が「３」であることは、ラインＬ２上のｉ番目の画素の画素値には差分がある一方でラインＬ１上のｉ番目の画素の画素値には差分がないことを示す。すなわち、図５の（ｄ）に示すように、ラインＬ２上のｉ番目の画素に対応する領域には移動物体Ｙがある一方でラインＬ１上のｉ番目の画素に対応する領域には移動物体Ｙがないことを示す。つまり、状態値「３」は、フレームＸにおいて、移動物体ＹがラインＬ１，Ｌ２のうちラインＬ２のみにかかっている状態を示す。

検知部１４は、複数世代における状態情報Ｓを比較することにより、第１のラインＬ１又は第２のラインＬ２を横切る移動物体Ｙの移動方向を検知する機能要素である。ここで、検知部１４は、状態情報生成部１３により順次生成される状態情報Ｓを取得及び蓄積することにより、複数世代における状態情報Ｓを取得する。図５を用いて説明した通り、１つの状態情報Ｓの各要素に対応する状態値から、移動物体ＹがラインＬ１，Ｌ２に対してどのような位置に存在するかを把握することができる。しかし、１つの状態情報Ｓから把握できるのは、あくまで一時点において移動物体ＹがラインＬ１又はラインＬ２上に存在するか否かであり、移動物体Ｙの移動方向を把握することはできない。そこで、検知部１４は、複数世代における状態情報Ｓを比較することにより、ラインＬ１及びラインＬ２を横切る移動物体の移動方向を検知する。

例えば、検知部１４は、複数世代における状態情報Ｓから状態値の遷移パターンを抽出し、抽出された遷移パターンが予め定めた検知対象の遷移パターンに該当するか否かを判定することにより、検知対象の遷移パターンで移動する移動物体Ｙを検知してもよい。ここで、遷移パターンとは、状態情報Ｓの各要素に対応する状態値がどのように変化するかを示すパターンである。例えば、移動物体ＹがラインＬ１側からラインＬ１，Ｌ２を横切る場合（すなわち、図５の（ａ）、（ｂ）、（ｃ）の順にラインＬ１，Ｌ２に対する移動物体Ｙの位置が変化する場合）には、状態値は、「０」、「１」、「２」の順に遷移する。遷移パターンとは、このように状態値が遷移する順序を示す情報である。よって、検知部１４は、ラインＬ１側からラインＬ１，Ｌ２を横切る移動物体Ｙを検知したい場合には、状態値が「０」、「１」、「２」の順に遷移する遷移パターンを検知対象の遷移パターンとして設定すればよい。

ここで、１次元情報生成部１１が動画像に含まれる複数のフレームを抽出するフレーム間隔が小さい場合には、移動物体ＹがラインＬ１側からラインＬ１，Ｌ２を横切る動作をしたとしても、上述のように予め定めた検知対象の遷移パターン（状態値が「０」、「１」、「２」の順に変化するパターン）が抽出されないおそれがある。具体的には、複数世代における状態情報Ｓの各要素に対応する状態値の遷移パターンは、「０」、「０」、「１」、「１」、「１」、「２」、「２」のように同じ状態値を何度か繰り返した後に、異なる状態値に遷移する可能性がある。そこで、検知部１４は、状態値が異なる値に遷移する前後の状態値のみを抽出することによって状態値の遷移パターンを抽出してもよい。このようにすれば、検知部１４は、実際には状態値が「０」、「０」、「１」、「１」、「１」、「２」、「２」のように遷移する場合であっても、状態値が「０」、「１」、「２」の順に遷移する遷移パターンを抽出することができ、当該遷移パターンが検知対象の遷移パターンと一致するとの判定を行うことができる。以下の説明においては、検知部１４により抽出される遷移パターンは、上述のように同じ状態値の繰り返しを考慮した上で抽出される遷移パターンを示す。

以下、検知部１４による移動物体Ｙの検知について具体的に説明する。検知部１４は、上述のように複数世代における状態情報Ｓを参照し、状態情報Ｓの状態値の遷移パターンを状態情報Ｓの要素毎に抽出する。そして、検知部１４は、抽出された要素毎の遷移パターンについて、検知対象の遷移パターンに該当するか否かを判定する。抽出された要素毎の遷移パターンのうちに検知対象の遷移パターンに該当する遷移パターンがある場合には、検知部１４は、当該遷移パターンが抽出された状態情報Ｓの要素に対応する画素の領域において、検知対象の遷移パターンで移動する移動物体Ｙがあることを検知する。このように複数世代における状態情報Ｓに示される状態値の遷移パターンに基づく検知を実行することにより、予め定めた特定の遷移パターン（例えば第１のライン側から第２のライン側へ移動するパターン）で移動する移動物体Ｙを適切に検知することができる。

また、検知部１４は、ラインＬ１及びラインＬ２の両方に同時にかかる移動物体Ｙを検知してもよい。例えば、検知部１４は、検知対象の遷移パターンの中にラインＬ１及びラインＬ２に同時にかかる状態（状態値が「２」の状態）を含めることにより、ラインＬ１及びラインＬ２の両方に同時にかかる移動物体Ｙを検知することができる。例えば、フレームＸ内における検知対象の移動物体Ｙ（例えば人）の平均的な幅よりもラインＬ１及びラインＬ２の間隔を小さくすることで、ラインＬ１及びラインＬ２の両方に同時にかかる移動物体を検知することができる。上記の場合において、さらに、検知対象でない移動物体（例えば鳥）の平均的な幅よりもラインＬ１及びラインＬ２の間隔を大きくすることで、ラインＬ１及びラインＬ２の両方に同時にかかる状態とならない移動物体については検知しないようにすることができる。このように、１次元情報生成部１１が、ラインＬ１及びラインＬ２を互いに平行とし且つ検知対象の移動物体Ｙの幅に応じた間隔だけ離間させ、検知部１４が、ラインＬ１及びラインＬ２の両方に同時にかかる移動物体Ｙを検知することで、検知対象の移動物体Ｙを精度良く検知することが可能となる。

また、検知部１４は、検知対象の遷移パターンで移動する移動物体Ｙを検知した場合に、移動物体Ｙの検知を示すアラートを出力してもよい。アラートの出力方法は何でもよく、画像処理装置１に接続されたディスプレイ上に表示してもよいし、スピーカ等により音声出力してもよい。また、アラートに関する情報を外部装置に送信したり、ログとして補助記憶装置１０５等に記憶したりしてもよい。このように、検知部１４が検知対象の遷移パターンで移動する移動物体Ｙを検知した際にアラートを出力することで、移動物体Ｙの検知をオペレータ等に把握させることが可能となる。

次に、図６を用いて、一実施形態に係る画像処理方法を含む画像処理装置１の動作について説明する。まず、１次元情報生成部１１が、動画像に含まれる複数のフレームから所定フレーム間隔で抽出した処理対象のフレームＸのそれぞれについて、ラインＬ１及びラインＬ２を設定し、ラインＬ１上の画素の画素値からなる１次元情報Ｑ１とラインＬ２上の画素の画素値からなる１次元情報Ｑ２とを生成する（ステップＳ１、１次元情報生成ステップ）。

続いて、差分情報生成部１２が、第１のフレームＸにおける１次元情報Ｑ１と第１のフレームＸよりも後の第２のフレームＸにおける１次元情報Ｑ１との間における画素毎の画素値の差分を示す差分情報Ｄ１と、第１のフレームＸにおける１次元情報Ｑ２と第２のフレームＸにおける１次元情報Ｑ２との間における画素毎の画素値の差分を示す差分情報Ｄ２とを生成する（ステップＳ２、差分情報生成ステップ）。図４に示したように、差分情報生成部１２は、１次元情報生成部１１により生成された１次元情報Ｑ１，Ｑ２を順次入力し、入力された１次元情報Ｑ１，Ｑ２と１つ前の時点に入力された１次元情報Ｑ１，Ｑ２とに基づいて差分情報Ｄ１，Ｄ２を順次生成する。

続いて、状態情報生成部１３が、差分情報Ｄ１及び差分情報Ｄ２に基づいて、ラインＬ１及びラインＬ２における画素値の差分に基づく状態値を有する状態情報Ｓを生成する（ステップＳ３、状態情報生成ステップ）。図４に示したように、状態情報生成部１３は、差分情報生成部１２により生成された差分情報Ｄ１，Ｄ２を順次入力し、入力された差分情報Ｄ１，Ｄ２に基づいて状態情報Ｓを順次生成する。

続いて、検知部１４が、上述したような方法で、複数世代における状態情報Ｓを比較し、ラインＬ１及びラインＬ２を横切る移動物体Ｙの移動方向を検知する（ステップＳ４、検知ステップ）。

以上述べた画像処理装置１又は画像処理方法では、１次元情報生成部１１が、各ラインＬ１，Ｌ２についての１次元情報Ｑ１，Ｑ２を生成する。そして、差分情報生成部１２が、時間的に前後する第１のフレームＸ及び第２のフレームＸにおける各ラインＬ１，Ｌ２についての１次元情報Ｑ１，Ｑ２から、各画素の画素値の差分を示す差分情報Ｄ１，Ｄ２を生成する。さらに、状態情報生成部１３が、各ラインＬ１，Ｌ２の差分情報Ｄ１，Ｄ２に示される画素毎の画素値の差分に基づく状態値を有する状態情報Ｓを生成する。そして、検知部１４が、このようにして生成された複数世代の状態情報Ｓを比較することにより、ラインＬ１，Ｌ２を横切る移動物体Ｙの移動方向を検知する。上記画像処理装置１又は画像処理方法によれば、処理対象のフレームＸ全体を対象とした画像処理を実行することなく、ラインＬ１，Ｌ２上の１次元情報Ｑ１，Ｑ２を対象とした画像処理を実行することで、移動物体Ｙの移動方向を検知することができる。従って、ラインＬ１側又はラインＬ２側への移動物体Ｙの出入りをより簡易な処理によって検知することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。例えば、検知部１４は、複数世代における状態情報Ｓを参照することにより、移動物体ＹがラインＬ１及びラインＬ２の一方のラインを横切ってから他方のラインを横切るまでの時間を取得し、当該時間とラインＬ１，Ｌ２の間隔とに基づいて、移動物体Ｙの推定速度を算出してもよい。

また、上記実施形態では、動画像の例として、工事現場等の監視対象エリアＡを上方から俯瞰的に撮影することで得られる動画像について説明したが、画像処理装置１による処理対象となる動画像は、上記動画像に限定されない。例えば、画像処理装置１は、特定の場所のゲートを横方向から撮影した動画像を処理することにより、ゲートを出入りする移動物体を検知する用途に用いられてもよい。

１…画像処理装置、１１…１次元情報生成部、１２…差分情報生成部、１３…状態情報生成部、１４…検知部、Ａ…監視対象エリア、Ｄ１，Ｄ２…差分情報、Ｌ１，Ｌ２…ライン、Ｑ１，Ｑ２…１次元情報、Ｓ…状態情報、ＴＨ…閾値、Ｘ…フレーム、Ｙ…移動物体。

Claims (5)

1. ２次元画像であるフレームを複数含む動画像を処理する画像処理装置であって、
   処理対象の複数のフレームのそれぞれについて、第１のライン及び第２のラインを設定し、前記第１のライン上の画素の画素値からなる第１の１次元情報と前記第２のライン上の画素の画素値からなる第２の１次元情報とを生成する１次元情報生成部と、
   第１のフレームにおける前記第１の１次元情報と前記第１のフレームよりも後の第２のフレームにおける前記第１の１次元情報との間における画素毎の画素値の差分を示す第１の差分情報と、前記第１のフレームにおける前記第２の１次元情報と前記第２のフレームにおける前記第２の１次元情報との間における画素毎の画素値の差分を示す第２の差分情報と、を生成する差分情報生成部と、
   前記第１の差分情報及び前記第２の差分情報に基づいて、前記第１のライン及び前記第２のラインにおける画素値の差分に基づく状態値を有する状態情報を生成する状態情報生成部と、
   複数世代における前記状態情報を比較することにより、前記第１のライン及び前記第２のラインを横切る移動物体の移動方向を検知する検知部と、
   を備える画像処理装置。
2. 前記差分情報生成部は、前記第１の差分情報及び前記第２の差分情報が示す前記画素値の差分を、該差分が予め定めた閾値以上か否かによって、差分があることを示す第１の値又は差分がないことを示す第２の値に変換する、
   請求項１に記載の画像処理装置。
3. 前記１次元情報生成部は、前記第１のライン及び前記第２のラインが互いに平行となり且つ前記フレーム内における検知対象の移動物体の幅に応じた間隔だけ離間するように、前記第１のライン及び前記第２のラインを設定し、
   前記検知部は、前記第１のライン及び前記第２のラインの両方に同時にかかる移動物体を検知する、
   請求項１又は２に記載の画像処理装置。
4. 前記検知部は、複数世代における前記状態情報から前記状態値の遷移パターンを抽出し、抽出された遷移パターンが予め定めた検知対象の遷移パターンに該当するか否かを判定することにより、前記検知対象の遷移パターンで移動する移動物体を検知する、
   請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記検知部は、前記検知対象の遷移パターンで移動する移動物体を検知した場合に、前記移動物体の検知を示すアラートを出力する、
   請求項４に記載の画像処理装置。

Images