JP5644097B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

監視カメラ等の撮像装置を用いて不審者などを監視する場合、常にモニターを注視して不審者を探すことは監視者に多大な負担をかける。そこで、監視カメラ等を使用した監視において、画像処理技術の一つである、映像内の動いている物体（以下、「動体」ともいう。）を検出する動体検知の技術が用いられる。

動体検知処理においては、外乱による誤検知を軽減し、対象とする物体の通過を確実に検知する必要がある。物体検知に関する技術には、例えば特許文献１〜３がある。特許文献１では、オプティカルフローを用いて、外乱を除去する。特許文献２では、ゆらぎを移動物体と区別するため動きのある画像領域を検出し、検出された画像領域のトラッキングを行う。特許文献３では、移動物体を精度良く検出するため、動きベクトルの乱雑度を利用する。

特開２００４−１３６１５号公報 特開２０００−３２２５８１号公報 特開２００６−２６００４９号公報

従来、動体が検知されたという情報に基づいて、移動物体が予め指定した領域を通過したか否かの判断を行う技術があった。また、画素の輝度変化を用いた動体検知において、外乱を除去するために、過去の統計的な輝度変化の情報を利用して、外乱が発生している外乱領域を検知しないように制御する方法があった。しかし、木々の揺れ等の外乱は、常に発生しているというわけではなく、誤検知が発生する可能性があった。また、物体の動きを実際に検知する方法もあり、ある程度の誤検知を軽減できる。しかし、局所的に誤検知を行うという問題もあり、十分ではなかった。

特許文献１の技術は、短い区間の情報のみを対象としているため、木々の揺れ等の外乱に対する対策としては不十分である。また、特許文献２や特許文献３では、一つ一つの画素を対象として、通過物体の検知を行っているため、小さい物体も検知してしまい、誤検知が生じるという問題がある。また、画面全体で一様に動体を検出する場合、動体検知処理のための処理量が爆発的に増加するという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理量を低減しつつ、外乱による誤検知を低減し、対象とする物体のみを精度良く検知することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、過去画像を参照して画像内のオプティカルフローを算出するオプティカルフロー算出部と、画像の一部の領域内に複数の基準点を設定し、基準点にオプティカルフローが発生したか否かを検出するオプティカルフロー検出部と、基準点にオプティカルフローが発生したとき、オプティカルフローを発生させた画素データの集合を特徴点として保存する特徴点データ保存部と、特徴点の移動位置を追跡する特徴点追跡部と、特徴点の移動位置の変化に応じて、追跡する特徴点を削除する特徴点削除部と、削除されずに残存した複数の特徴点に基づいて、画像内における物体の通過の有無を判断する通過判断部とを備える画像処理装置が提供される。

上記通過判断部は、オプティカルフローが発生したときに同時に発生した複数の特徴点のうち削除されずに残存した複数の特徴点の数に基づいて、画像内における物体の通過の有無を判断してもよい。

上記通過判断部は、削除されずに残存した複数の特徴点の相互の距離及び移動方向に基づいて、画像内における物体の通過の有無を判断してもよい。

上記特徴点削除部は、特徴点の移動方向に基づいて、追跡する特徴点を削除してもよい。

上記特徴点削除部は、特徴点の移動速度に基づいて、追跡する特徴点を削除してもよい。

上記特徴点削除部は、一つの特徴点とその他の特徴点との関係に基づいて、追跡する特徴点を削除してもよい。

上記特徴点削除部は、特徴点の追跡経過時間に基づいて、追跡する特徴点を削除してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、オプティカルフロー算出部が、過去画像を参照して画像内のオプティカルフローを算出するステップと、オプティカルフロー検出部が、画像の一部の領域内に複数の基準点を設定し、基準点にオプティカルフローが発生したか否かを検出するステップと、特徴点データ保存部が、基準点にオプティカルフローが発生したとき、オプティカルフローを発生させた画素データの集合を特徴点として保存するステップと、特徴点追跡部が、特徴点の移動位置を追跡するステップと、特徴点削除部が、特徴点の移動位置の変化に応じて、追跡する特徴点を削除するステップと、通過判断部が、削除されずに残存した複数の特徴点に基づいて、画像内における物体の通過の有無を判断するステップとを備える画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、過去画像を参照して画像内のオプティカルフローを算出する手段、画像の一部の領域内に複数の基準点を設定し、基準点にオプティカルフローが発生したか否かを検出する手段、基準点にオプティカルフローが発生したとき、オプティカルフローを発生させた画素データの集合を特徴点として特徴点データ保存部に保存する手段、特徴点の移動位置を追跡する手段、特徴点の移動位置の変化に応じて、追跡する特徴点を削除する手段、削除されずに残存した複数の特徴点に基づいて、画像内における物体の通過の有無を判断する手段としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本発明によれば、処理量を低減しつつ、外乱による誤検知を低減し、対象とする物体のみを精度良く検知することができる。

本発明の一実施形態に係る撮像装置１００を示すブロック図である。 同実施形態に係る画像処理部１１０を示すブロック図である。 同実施形態に係る画像処理部１１０の動作を示すフローチャートである。 基準点１３２が設定された画像１３０の一例を示す説明図である。 追跡処理の概念を示す説明図である。 追跡処理の概念を示す説明図である。 特徴点の移動を示す説明図である。 特徴点の移動を示す説明図である。 同実施形態に係る通過判断部１２２の動作を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作

＜１．一実施形態の構成＞
［撮像装置１００］
まず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。
撮像装置１００は、例えば監視カメラ等であり、ある場所に固定されて、撮像範囲内を通過する人や車両等の監視対象を撮影する。撮像装置１００は、撮影して得られた画像データを、モニターを有する監視盤などに伝送する。本実施形態によれば、監視者が常にモニターを注視することなく、監視対象とする物体を精度良く検知できる。

撮像装置１００は、撮像部１０２と、撮像信号処理部１０４と、撮像データ処理部１０６と、伝送部１０８と、画像処理部１１０などからなる。

撮像部１０２は、例えばレンズ等の光学系と、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子などからなる。撮像部１０２は、被写体からの光を受けて、光を電気信号に変換する。撮像部１０２は、生成した電気信号を撮像信号処理部１０４に送る。

撮像信号処理部１０４は、撮像部１０２から受けた信号をカラー画像等の映像信号に変更したり、映像信号に対してノイズ除去処理などをしたりする。撮像信号処理部１０４は、処理済みの映像信号を撮像データ処理部１０６や画像処理部１１０に送る。

撮像データ処理部１０６は、撮像信号処理部１０４で処理された映像信号を圧縮処理などして、伝送部１０８から映像信号を伝送できるような形式に変更する。

伝送部１０８は、撮像データ処理部１０６から受けた映像信号と、画像処理部１１０から受けたメタデータを関連付けて外部に送る。伝送部１０８からの映像信号やメタデータの出力先は、例えばネットワークであり、更にネットワークに接続された監視盤などである。

画像処理部１１０は、撮像信号処理部１０４で処理された映像信号を受けて、映像信号を画像処理してメタデータを生成する。本実施形態では、メタデータは、監視対象とする物体が撮像範囲内又は画像の一部の領域を通過したという情報であり、例えばアラーム信号などである。

なお、本実施形態では、伝送部１０８が映像信号とメタデータの両者を外部に送るとしたが、本発明はこの例に限定されない。例えば、伝送部１０８は、映像信号を出力せず、アラーム等のメタデータのみを外部に出力するとしてもよい。

また、上述の説明では、撮像部１０２を有する監視カメラ等の撮像装置１００について説明したが、本発明は、撮像部１０２を有さない信号変換装置でもよい。信号変換装置は、撮像部１０２の代わりにアナログ映像信号を出力するカメラと接続可能な入力部を有する。信号処理装置は、アナログ映像信号に基づいてメタデータを生成し、外部にメタデータを出力する。

更に、上述の説明では、撮像データ処理部１０６を有する撮像装置１００について説明したが、本発明は、画像処理専用装置でもよい。画像処理専用装置は、例えばパーソナルコンピュータ、サーバー等である。画像処理専用装置は、映像信号を受けてメタデータを生成する画像処理部１１０を有する。生成されたメタデータは、外部に出力されてもよいし、画像処理専用装置に接続されたモニターや警告灯などに出力されてもよい。

［画像処理部１１０］
次に、図２を参照して、本実施形態に係る画像処理部１１０について説明する。図２は、本実施形態に係る画像処理部１１０を示すブロック図である。
画像処理部１１０は、例えば新規フロー発生部１１２と、特徴点データ保存部１１４と、特徴点追跡部１１６と、特徴点削除部１１８と、通過判断部１２２などからなる。

本実施形態は、画面の特定の箇所から発生する複数のオプティカルフローに基づく特徴点を追跡することによって、画面内に通過物体があるか否かを判断する。具体的には、木々や波などの自然界のゆらぎの振動に近い動きや、１フレーム後に急激に速度を変更する動きなど、監視対象とする人や車両等の通常の侵入物では起こりえない動きを行っている異常な特徴点を抽出する。そして、異常な特徴点を追跡の対象から削除し、残存した複数の特徴点が一群となってまとまって同じ方向に移動しているか否かを判定する。残存した一定数以上の複数の特徴点がグループ化されて移動している場合は、監視対象とする人や車両等の侵入物であるとして、通過物体を検知する。本実施形態の通過物体の検知は、外乱を確実に除去できるため、外乱に対して強い検知となる。

新規フロー発生部１１２は、例えばオプティカルフロー算出部と、オプティカルフロー検出部からなる。オプティカルフロー算出部は、過去画像を参照して画像内のオプティカルフローを算出する。オプティカルフロー検出部は、図４に示すような画像１３０の一部の領域１３４内に複数の基準点１３２を設定し、基準点１３２にオプティカルフローが発生したか否かを検出する。図４は、基準点１３２が設定された画像１３０の一例を示す説明図である。基準点１３２は、例えば９点が設定される。また、基準点１３２は、画像１３０内に局所的に存在する。なお、基準点１３２が存在する領域１３４は、画像１３０の中央でもよいし、画像１３０の端のほうでもよい。また、領域１３４は、１箇所の場合に限定されず、複数の箇所に設定されてもよい。

オプティカルフローを算出する際に、参照する過去画像は予め指定した時間前、例えば１フレーム前の画像である。オプティカルフロー算出部は、常にオプティカルフローを算出しておく。そして、オプティカルフローの発生が基準点１３２において検出される度に、オプティカルフローを発生させた画素データの集合を、追跡すべき特徴点として特徴点データ保存部１１４に登録していく。従って、時間差で新たにオプティカルフローが基準点１３２に発生したときも、その時の特徴点を新たに特徴点データ保存部１１４に登録する。よって、画像内に二人の人がずれて侵入したときも、それぞれの人の通過を個別に判断できる。

オプティカルフローの算出は、通常の技術を適用でき、様々な種類がある。例えば、複数の画素から構成されるブロック単位でテンプレートマッチングをすることによって、オプティカルフローを算出する方法がある。また、あるブロック内の輝度分布の時間変化に基づいた勾配法によって、オプティカルフローを算出してもよい。

特徴点データ保存部１１４は、基準点１３２にオプティカルフローが発生したとき、オプティカルフローを発生させた画素データの集合を特徴点として保存する。特徴点データ保存部１１４は、次フレームからの追跡で特徴点を使用できるように、特徴点データを特徴点追跡部１１６に出力する。なお、オプティカルフローが非常に小さい場合は、静止物体又は背景等である可能性が高いため、特徴点を特徴点データ保存部１１４に保存しない。

特徴点追跡部１１６は、特徴点データ保存部１１４に保存されている特徴点を、例えばフレーム毎に追跡する。追跡処理は、現在のフレーム画像において、どの位置に特徴点が移動しているのかを求める処理である。追跡処理は、新規フロー発生部１１２におけるオプティカルフローの算出と同様に、テンプレートマッチング又は勾配法を用いて行われる。

図５及び図６は、追跡処理の概念を示す説明図である。図５は、図４に示した画像１３０内の９点の基準点１３２のうち、人が通過することによってオプティカルフローが発生した基準点がＰ１〜Ｐ５の５点である場合を示す。また、図６は、図４に示した画像１３０内の９点の基準点１３２のうち、葉が通過することによってオプティカルフローが発生した基準点がＰ１、Ｐ２の２点である場合を示す。ｔ−２の時点で検出され保存された特徴点を、ｔ−１の時点、ｔの時点とフレーム毎に追跡する。

特徴点削除部１１８は、特徴点の位置を表す座標情報に基づいて、追跡された特徴点の移動方向、移動速度などを算出し、以下の条件に該当する特徴点を追跡の対象から削除する。削除条件としては、例えば、図７（Ａ）に示すように、フレーム間において特徴点の移動方向が急激に変化する場合がある。このような移動方向の変化は、人や車両等の監視対象の移動として起こりえないためである。図７は、特徴点の移動を示す説明図である。

なお、図８（Ａ）に示すように、連続する２フレーム間のベクトルのなす角度Ａが、予め決めておいた角度以上であるとき、特徴点を削除するべき移動方向であると判断する。または、図８（Ｂ）に示すように、複数フレーム後のベクトルとのなす角度Ａが、予め決めておいた角度以上であるとき、特徴点を削除するべき移動方向であると判断してもよい。図８は、特徴点の移動を示す説明図である。

また、削除条件としては、図７（Ｂ）に示すように、フレーム間において特徴点の移動速度が急激に変化する場合がある。移動速度の変化は、人や車両等の監視対象の移動として起こりえない速度を設定しておく。

図７（Ｃ）に示すように、複数の特徴点が一定範囲内に収まっており、かつ同一方向に進む場合は、外乱ではなく通過物体である可能性が高い。一方、図７（Ｄ）に示すように、一定範囲内に同一方向に進んでいる他の特徴点が存在せず単独に一方向に移動している場合は、外乱である可能性が高い。そこで、一定範囲内に同一方向に進んでいる他の特徴点が存在しない場合、その特徴点は追跡の対象から削除する。

また、長時間の追跡が不要である場合は、長時間にわたって追跡された特徴点についても削除の対象としてもよい。例えば最大２０フレームまで追跡するというアルゴリズムに設定しておく。

通過判断部１２２は、削除処理を行った後、削除されずに残存した複数の特徴点データを参照して、画面内の物体の通過の有無を判断する。例えば、外乱などが原因ではない、図５に示すような人等の通過である場合は、複数の点が互いに近い位置にあり、かつ同一の方向に特徴点が移動する。このとき、外乱ではなく人等であると確実に判断するには、複数の特徴点の数は、予め決められた一定数以上であるという条件も設定しておく。

従って、オプティカルフローが発生したときに同時に発生した複数の特徴点のうち削除されずに残存した複数の特徴点の数が、予め決められた数以上であるかを判断する。また、図９のフローチャートに示すように、残存した複数の特徴点の距離と移動方向を判断する（ステップＳ１１１、Ｓ１１２）。図９は、本実施形態に係る通過判断部１２２の動作を示すフローチャートである。そして、一定数以上の特徴点が残存し、特徴点が互いに決められた距離以内に存在しつつ、同一方向に進んでいる場合は、通過判断部１２２は、物体の通過があったと判断する（ステップＳ１１３）。

例えば、９点でオプティカルフローが発生して、そのうち例えば４点以上が残存しており、４点以上の特徴点が互いに決められた距離以内に存在しつつ、同一方向に進んでいる場合に、物体の通過があったと判断するように設定しておく。

一方、一定数以上の特徴点が残存しない場合、特徴点が互いに決められた距離以内に存在しない場合、又は特徴点が同一方向に進んでいない場合は、物体の通過がないと判断する（ステップＳ１１４）。例えば、図６に示すように、人や車両でない外乱（例えば葉など）であるときに監視対象物体の非通過と判断される。

＜２．一実施形態の動作＞
以上、本実施形態によれば、図３に示すように、画像処理部１１０が動作する。図３は、本実施形態に係る画像処理部１１０の動作を示すフローチャートである。まず、ある特定領域で新規のオプティカルフローが発生するか否かを判断する（ステップＳ１０１）。そして、例えば特定領域に含まれる基準点においてオプティカルフローを発生させた画素データの集合を特徴点として追跡をする（ステップＳ１０２）。

追跡する特徴点のうち、明らかに異常な動きをした特徴点は、削除する（ステップＳ１０３）。最終的に、一定数以上の特徴点がまとまって同じ方向に移動していれば、物体の通過と判断する（ステップＳ１０４）。以上より、本実施形態では、まとまって同じ方向に移動している特徴点が残存していくことになる。このように、特徴点をグループ化しつつ、グループ化できない特徴点を削除していくことによって、一定以上の大きさを有する移動物体を確実に検知でき、反対に外乱になるような小さなもの除外できる。一方、従来は、特徴点をグループ化することがない上、特徴点の個数をカウントすることもなかった。

また、本実施形態では、特定の領域、局在する複数の基準点をオプティカルフローの発生領域として限定している。これにより、任意の領域において、複数の特徴点が同じ方向に同様の動きをしているか、又は外乱とは性質の異なる動きをしているか判断すればよい。従って、従来のように画面全体で一様にオプティカルフローを算出する場合に比べて、追跡に必要な計算量を低減できる。よって、本実施形態は、処理量を低減しつつ、外乱による誤検知を低減し、対象とする物体のみを精度良く検知できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、９点の基準点が画像内に設定されるとしたが、本発明はかかる例に限定されない。基準点の数は、監視対象とする物体や機器に応じて可変である。そして、基準点のおおよそ半数以上の特徴点が残存しているときに、通過判断部が物体の通過があったと判断するように設定しておく。例えば基準点が２０点である場合は、通過判断部は１０点以上の特徴点が残存しているときに、物体の通過があったと判断するように設定しておく。

何点以上残存しているときに、物体の通過があったと判断するかという設定は、外乱に対する強度と関係してくる。例えば、外乱に対して強くするときは、特徴点の数を多く設定する。一方、特徴点の数を減らすと、外乱にも反応し易くなるデメリットがあるが、人等の通過物体を検知し易くすることができる。

１００ 撮像装置
１０２ 撮像部
１０４ 撮像信号処理部
１０６ 撮像データ処理部
１０８ 伝送部
１１０ 画像処理部
１１２ 新規フロー発生部
１１４ 特徴点データ保存部
１１６ 特徴点追跡部
１１８ 特徴点削除部
１２２ 通過判断部

Claims (8)

1. 過去画像を参照して画像内のオプティカルフローを算出するオプティカルフロー算出部と、
   前記画像の一部の領域内に複数の基準点を設定し、前記基準点にオプティカルフローが発生したか否かを検出するオプティカルフロー検出部と、
   前記基準点にオプティカルフローが発生したとき、前記オプティカルフローを発生させた画素データの集合を特徴点として保存する特徴点データ保存部と、
   前記特徴点の移動位置を追跡する特徴点追跡部と、
   前記特徴点の移動位置の変化に応じて、追跡する前記特徴点を削除する特徴点削除部と、
   削除されずに残存した複数の前記特徴点の相互の距離及び移動方向に基づいて、前記画像内における物体の通過の有無を判断する通過判断部と
   を備え、
   前記特徴点削除部は、連続する２フレーム間のベクトルのなす角度が所定の角度以上であれば、追跡する前記特徴点を削除する、画像処理装置。
2. 前記通過判断部は、前記オプティカルフローが発生したときに同時に発生した複数の前記特徴点のうち削除されずに残存した複数の前記特徴点の数に基づいて、前記画像内における物体の通過の有無を判断する、請求項１に記載の画像処理装置。
3. 前記特徴点削除部は、前記特徴点の移動速度に基づいて、追跡する前記特徴点を削除する、請求項１または２に記載の画像処理装置。
4. 前記特徴点削除部は、一つの前記特徴点とその他の前記特徴点との関係に基づいて、追跡する前記特徴点を削除する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記特徴点削除部は、前記特徴点の追跡経過時間に基づいて、追跡する前記特徴点を削除する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記画像処理装置は、監視システムで使用される装置である、請求項１〜５のいずれか１項に記載の画像処理装置。
7. オプティカルフロー算出部が、過去画像を参照して画像内のオプティカルフローを算出するステップと、
   オプティカルフロー検出部が、前記画像の一部の領域内に複数の基準点を設定し、前記基準点にオプティカルフローが発生したか否かを検出するステップと、
   特徴点データ保存部が、前記基準点にオプティカルフローが発生したとき、前記オプティカルフローを発生させた画素データの集合を特徴点として保存するステップと、
   特徴点追跡部が、前記特徴点の移動位置を追跡するステップと、
   特徴点削除部が、前記特徴点の移動位置の変化に応じて、追跡する前記特徴点を削除するステップと、
   通過判断部が、削除されずに残存した複数の前記特徴点の相互の距離及び移動方向に基づいて、前記画像内における物体の通過の有無を判断するステップと
   を備え、
   前記特徴点を削除するステップでは、連続する２フレーム間のベクトルのなす角度が所定の角度以上であれば、追跡する前記特徴点を削除する、画像処理方法。
8. 過去画像を参照して画像内のオプティカルフローを算出する手段、
   前記画像の一部の領域内に複数の基準点を設定し、前記基準点にオプティカルフローが発生したか否かを検出する手段、
   前記基準点にオプティカルフローが発生したとき、前記オプティカルフローを発生させた画素データの集合を特徴点として特徴点データ保存部に保存する手段、
   前記特徴点の移動位置を追跡する手段、
   前記特徴点の移動位置の変化に応じて、追跡する前記特徴点を削除する手段、
   削除されずに残存した複数の前記特徴点の相互の距離及び移動方向に基づいて、前記画像内における物体の通過の有無を判断する手段
   としてコンピュータを機能させ、
   前記特徴点を削除する手段では、連続する２フレーム間のベクトルのなす角度が所定の角度以上であれば、追跡する前記特徴点を削除するためのプログラム。
   

Images