JP5911227B2 - 判定装置、判定方法及びプログラム - Google Patents

Description

本発明は、動きのある人等と動きが静止した物とを判断するための技術である。

従来、空港、駅等において、設置された監視カメラの映像を利用して置き去られた荷物を検知するための置き去り検知システムが知られている。置き去り検知システムにおいては、主に、セキュリティの面から置き去られた危険物体を検知することが目的である。しかしながら、置き去り検知システムは、背景差分方式やフレーム間差分方式による動体検知技術を利用して不動体を検出しているため、人が一定時間静止している場合も置き去り物体として検知されることがあった。そのため、置き去り検知システムで検出された結果が人であるか物であるかを判断するためには、置き去り検知結果を目視により人手で確認したり、人物認識技術を利用したりする必要があった（特許文献１、２参照）。

特許第０２６９７６７６号公報 特許第０３０８８８８０号公報

しかしながら、目視による人手での確認は手間がかかり、監視対象が増加すると困難であった。一方、特許文献１に開示される人物認識技術においては、人を識別するためのセンサを追加する必要があり、コストアップにつながる。また、特許文献２に開示される人物認識技術においては、顔を認識するためのエリアを抽出する必要があったり、顔の特徴を判別するためのデータが必要であったりした。特に監視カメラにおいては、様々な角度で顔が検出されるため、人物認識技術で認識が難しい真上からの画角等も含めて常に高い精度で実施することは困難であった。

そこで、本発明の目的は、動きのある人等と動きが静止した物とを容易に判断することにある。

本発明の判定装置は、撮像手段により撮像された画像において動体領域として検出された領域に対して、一定時間変化が見られない領域を不動体領域として検出する検出手段と、前記検出手段により検出された前記不動体領域を前記撮像手段に備えられた光学ズーム手段を用いて拡大する拡大手段と、前記拡大手段により拡大された前記不動体領域の画像を用いて前記不動体領域に対して動体又は不動体を判定する判定手段とを有することを特徴とする。

本発明によれば、動きのある人等と動きが静止した物とを容易に判断することが可能となる。

本発明の第１の実施形態に係る置き去り検知システムの構成を示す図である。 本発明の第１の実施形態に係る置き去り検知システムの制御部の処理を示すフローチャートである。 本発明の第１の実施形態に係る置き去り検知システムを説明するための状況の一例を示す図である。 本発明の第２の実施形態に係る置き去り検知システムの構成を示す図である。 本発明の第２の実施形態に係る置き去り検知システムの制御部４０４の処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る置き去り検知システムの構成を示す図である。図１に示すように、第１の実施形態に係る置き去り検知システム１０１は、撮影（撮像）部１０２、制御部１０４、メモリ部１０５、動体・不動体検出部１０６及び不動体拡大映像供給部１０９を備える。また、撮影部１０２は、光学ズーム部１０３を備えており、動体・不動体検出部１０６は、背景差分検出部１０７及びフレーム間差分検出部１０８を備えている。

撮影部１０２は、制御部１０４からの指示に応じて、レンズから入射される被写体像を撮影し、被写体像の画像データをメモリ部１０５に記録する。また撮影部１０２は、制御部１０４からの指示に応じて、撮影する被写体像の拡大及び縮小処理（光学ズーム処理）を光学ズーム部１０３に指示する。さらに撮影部１０２は、撮影範囲を変更するためのパン及びチルト制御も行う。なお、光学ズーム部１０３における光学ズーム処理の際には、ブレ補正技術によって精度が向上される。

メモリ部１０５には、撮影部１０２によって撮影された被写体像の画像データ、及び、動体・不動体検出部１０６において検出された動体領域及び不動体領域が記録される。また、メモリ部１０５には、背景差分検出部１０７が背景差分をとる際に必要な背景画像データ、及び、フレーム間差分検出部１０８がフレーム間差分をとる際に必要なフレーム画像データが記録される。なお、本実施形態においては、メモリ部１０５を一つ備えた構成としているが、複数のメモリ部を備えた構成としてもよいし、動体・不動体検出部１０６及び不動体拡大映像供給部１０９の夫々の内部にメモリ部を個別に備えた構成としてもよい。

動体・不動体検出部１０６は、背景差分検出部１０７及びフレーム間差分検出部１０８を用いて動体及び不動体を判別する。背景差分検出部１０７は、撮影部１０２によって撮影された被写体像の画像データと予め記録されている背景画像データとを比較する背景差分法により差分領域を検出する。検出された差分領域は動体領域としてメモリ部１０５に記録される。なお、動体領域には、例えば当該動体領域の位置や大きさ等を示す情報が含まれる。

フレーム間差分検出部１０８は、背景差分検出部１０７によって検出された動体領域に対してフレーム間差分をとり、一定時間変化が見られない動体領域を検出する。検出された動体領域は不動体領域としてメモリ部１０５に記録される。また、フレーム間差分検出部１０８は、不動体領域を検出した旨の通知を不動体拡大映像供給部１０９に対して出力する。

不動体拡大映像供給部１０９は、フレーム間差分検出部１０８から不動体領域を検出した旨の通知を受けると、メモリ部１０５に記録された不動体領域から不動体拡大情報を決定する。不動体拡大情報には、例えば不動体領域を拡大するための、撮影範囲、拡大率及び拡大時間等を示す情報が含まれる。例えば、光学ズーム部１０３において不動体領域の拡大率を可能な限り高くする一方で、拡大時間を短くすることにより、短時間で容易に人か物かを判定することができる。なお、複数の不動体領域が検出された場合、各不動体領域を順次拡大して人か物かを判定してもよいし、不動体領域が近接している場合、まとめて拡大してもよい。

次に、第１の実施形態に係る置き去り検知システムの動作について説明する。図２は、第１の実施形態に係る置き去り検知システムの制御部１０４の処理を示すフローチャートである。図３は、第１の実施形態に係る置き去り検知システムを説明するための状況の一例を示す図である。ここでは、図３の３０２に示すように、複数の人が移動する広場を監視している場合を想定している。

ステップＳ２０１において、制御部１０４は、撮影部１０２に対して撮影開始を指示する。撮影部１０２は、制御部１０４からの指示に応じて撮影を開始する。ステップＳ２０２において、制御部１０４は、撮影部１０２によって撮影された被写体像の画像データをメモリ部１０５に記録する。ステップＳ２０３において、制御部１０４は、動体・不動体検出部１０６に対して動体領域及び不動体領域の検出を指示する。背景差分検出部１０７は、撮影部１０２によって撮影された被写体像の画像データと、背景画像データとを比較し、差分領域を動体領域として検出する。例えば、図３の３０１に示す背景画像データと、図３の３０２に示す、撮影部１０２によって撮影された被写体像の画像データ（動体領域の検出時における画像データ）とを比較することにより、動体領域３０４〜３０７が検出される。ここで、図３の３０１に示す背景画像データは、置き去り検知システム１０１が製造されたときに登録しておくことや、ユーザが目視により背景と認識した画像データを登録すること等が考えられる。

フレーム間差分検出部１０８は、背景差分検出部１０７において検出された動体領域３０４〜３０７に対してフレーム間差分をとり、不動体領域を検出する。即ち、フレーム間差分検出部１０８は、図３の３０２に示す被写体像の画像データ（動体領域の検出時における画像データ）と、図３の３０３に示す被写体像の画像データ（不動体領域の検出時における画像データ）とのフレーム間差分をとる。その結果、動体領域３０４、３０６と領域３０８、３１０とは変化がないため、動体・不動体検出部１０６は領域３０８、３１０を不動体領域として認識する。一方、動体領域３０５、３０７と領域３０９、３１１とは変化しているため、動体・不動体検出部１０６は領域３０９、３１１を動体領域として認識する。

ステップＳ２０４において、制御部１０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けたか否かを判定する。不動体拡大要求を受け付けた場合、処理はステップＳ２０５に移行する。一方、不動体拡大要求を受け付けていない場合、処理はステップＳ２０４に戻り、不動体拡大要求を待つ。

ステップＳ２０５において、制御部１０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けると、不動体拡大映像供給部１０９において決定された不動体拡大情報を撮影部１０２に対して出力することにより、不動体領域の拡大を指示する。撮影部１０２は、不動体拡大情報に基づいて、不動体領域３０８、３１０を光学ズーム部１０３により拡大する。ステップＳ２０６において、制御部１０４は、拡大された不動体領域３０８、３１０をメモリ部１０５に記録する。上述した不動体領域の拡大処理は、後述のステップＳ２０８において終了が指示されるまで継続的に行われる。

ステップＳ２０７において、制御部１０４は、動体・不動体検出部１０６に対して、拡大された不動体領域３０８、３１０における動体及び不動体の検出処理の開始を指示する。フレーム間差分検出部１０８は、拡大された不動体領域３０８、３１０に対してフレーム間差分をとる。その結果、不動体領域３０８は拡大していっても置き去られた鞄であるため、フレーム間差分はない。従って、動体・不動体検出部１０６は、不動体領域３０８を置き去り物として認識する。一方、不動体領域３１０は人であるため完全に静止することはできない。従って、不動体領域３１０は拡大されることにより微小な動きであってもフレーム間差分が発生する。よって、動体・不動体検出部１０６は、不動体領域３１０を置き去り物ではないと認識する。このアルゴリズムによると、人以外の例えば動物等、完全に静止することができない物体を置き去り物でないと判定する。また、拡大された不動体領域に対してフレーム間差分をとる時間を長くすることにより、精度をさらに向上させることが可能である。

ステップＳ２０８において、制御部１０４は、撮影部１０２に対して、不動体領域の拡大処理の終了を指示する。この指示を受けて、撮影部１０２は不動体領域の拡大処理を終了し、不動体領域の拡大処理前の範囲及び拡大率で撮影を開始する。

以上のように、第１の実施形態によれば、動きのある人等と動きが静止した物とを容易に判断することが可能となり、高精度に置き去り物体を検知することができる。

次に、本発明の第２の実施形態について説明する。図４は、第２の実施形態に係る置き去り検知システムの構成を示す図である。

図４に示すように、第２の実施形態に係る置き去り検知システムは、撮影部４０２、制御部４０４、メモリ部１０５、動体・不動体検出部１０６、不動体拡大映像供給部１０９、解像度変換部４１０及び出力部４１１を備える。なお、図４におけるメモリ部１０５、動体・不動体検出部１０６及び不動体拡大映像供給部１０９は、図１に示す同一符号の構成と同様である。

解像度変換部４１０は、制御部４０４の指示に応じて、撮影部４０２によって撮影された被写体像の画像データの解像度が大きい場合、出力部４１１において出力される画像データの解像度に合わせるように当該画像データの解像度変換を行う。本実施形態において、解像度変換を行う際は、元となる画像データをメモリ部１０５に一定時間残しておくことを想定している。なお、出力部４１１の具体的な構成としては、ディスプレイ等の表示機器又はネットワーク等の画像データの出力先が挙げられる。

次に、第２の実施形態に係る置き去り検知システムの動作について説明する。図５は、第２の実施形態に係る置き去り検知システムの制御部４０４の処理を示すフローチャートである。

ステップＳ５０１において、制御部４０４は、撮影部４０２に対して撮影開始を指示する。撮影部４０２は、制御部４０４からの指示に応じて撮影を開始する。ステップＳ５０２において、制御部４０４は、撮影部４０２によって撮影された被写体像の画像データをメモリ部１０５に記録する。ステップＳ５０３において、制御部４０４は、解像度変換部４１０に対して、被写体像の画像データの解像度を出力部４１１で必要な解像度に合わせるように解像度変換することを指示する。ここでは、撮影部４０２で撮影された画像データの解像度が大きく、出力部４１１で必要な解像度に合わせて当該画像データの解像度が縮小されることを想定している。上記指示を受けた解像度変換部４１０は、被写体像の画像データの解像度を縮小し、解像度が縮小された後の画像データ（以下、縮小画像データと称す）をメモリ部１０５に記録する。出力部４１１は、縮小画像データをメモリ部１０５から読み出して出力する。

ステップＳ５０４において、制御部１０４は、動体・不動体検出部１０６に対して、メモリ部１０５に記録された縮小画像データにおける動体領域及び不動体領域の検出処理の開始を指示する。背景差分検出部１０７は、メモリ部１０５に記録された縮小画像データと背景画像データとを比較し、差分領域を動体領域として検出する。例えば、図３の３０１に示す背景画像データと、３０２に示す縮小画像データ（動体領域の検出時の画像データ）とを比較することにより、動体領域３０４〜３０７が検出される。

フレーム間差分検出部１０８は、背景差分検出部１０７において検出された動体領域３０４〜３０７に対してフレーム間差分をとり、不動体領域を検出する。即ち、フレーム間差分検出部１０８は、図３の３０２に示す縮小画像データ（動体領域の検出時の画像データ）と、図３の３０３に示す縮小画像データ（不動体領域の検出時の画像データ）とのフレーム間差分をとる。その結果、動体領域３０４、３０６と領域３０８、３１０とは変化がないため、動体・不動体検出部１０６は領域３０８、３１０を不動体領域として認識する。一方、動体領域３０５、３０７と領域３０９、３１１とは変化しているため、動体・不動体検出部１０６は領域３０９、３１１を動体領域として認識する。

ステップＳ５０５において、制御部４０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けたか否かを判定する。不動体拡大要求を受け付けた場合、処理はステップＳ５０６に移行する。一方、不動体拡大要求を受け付けていない場合、処理はステップＳ５０５に戻り、不動体拡大要求を待つ。

ステップＳ５０６において、制御部４０４は、不動体拡大映像供給部１０９から不動体拡大要求を受け付けると、不動体拡大映像供給部１０９において決定された不動体拡大情報を解像度変換部４１０に対して出力することより、不動体領域の拡大を指示する。解像度変換部４１０は、不動体拡大情報に基づいて、縮小画像データ内における不動体領域３０８、３１０を拡大する。ここでは、不動体拡大情報において、解像度変換部４１０によって縮小処理される前の高い解像度とすることで不動体領域を拡大させるための情報が示されているものとする。

ステップＳ５０７において、制御部４０４は、動体・不動体検出部１０６に対して、拡大された不動体領域における動体及び不動体の検出処理の開始を指示する。フレーム間差分検出部１０８は、拡大された不動体領域３０８、３１０に対してフレーム間差分をとる。その結果、不動体領域３０８は拡大していっても置き去られた鞄であるため、フレーム間の差分はない。従って、動体・不動体検出部１０６は、不動体領域３０８を置き去り物として認識する。一方、不動体領域３１０は人であるため完全に静止することはできない。従って、不動体領域３１０は拡大されることにより微小な動きであってもフレーム間差分が発生する。よって、動体・不動体検出部１０６は、不動体領域３１０を置き去り物ではないと認識する。このアルゴリズムによると、人以外の例えば動物等、完全に静止することができない物体を置き去り物でないと判定する。また、拡大された不動体領域に対してフレーム間差分をとる時間を長くすることにより、精度をさらに向上させることが可能である。

以上のように、第２の実施形態によれば、動きのある人等と動きが静止した物とを容易に判断することが可能となり、高精度に置き去り物体を検知することができる。また、第２の実施形態においては、不動体に対して、人か物かの判断を行っている間も撮影映像に変化はないため、監視目的に影響を与えずに簡易的に置き去り物体の検知精度を向上させることが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：置き去り検知システム、１０２：撮影部、１０３：光学ズーム部、１０４：制御部１０４、１０５：メモリ部、１０６：動体・不動体検出部、１０７：背景差分検出部、１０８：フレーム間差分検出部、１０９：不動体拡大映像供給部

Claims (12)

1. 撮像手段により撮像された画像において動体領域として検出された領域に対して、一定時間変化が見られない領域を不動体領域として検出する検出手段と、
   前記検出手段により検出された前記不動体領域を前記撮像手段に備えられた光学ズーム手段を用いて拡大する拡大手段と、
   前記拡大手段により拡大された前記不動体領域の画像を用いて前記不動体領域に対して動体又は不動体を判定する判定手段とを有することを特徴とする判定装置。
2. 前記検出手段は、前記撮像手段により撮像された被写体像の画像と背景画像とを比較し、差分領域を前記動体領域として検出することを特徴とする請求項１に記載の判定装置。
3. 前記検出手段は、前記動体領域に対してフレーム間差分をとり、一定時間変化が見られない領域を前記不動体領域として検出することを特徴とする請求項１又は２に記載の判定装置。
4. 前記判定手段は、前記拡大手段により拡大された前記不動体領域の画像に対してフレーム間差分をとり、動体又は不動体を判定することを特徴とする請求項１乃至３のいずれか１項に記載の判定装置。
5. 判定装置が実行する判定方法であって、
   撮像手段により撮像された画像において動体領域として検出された領域に対して、一定時間変化が見られない領域を不動体領域として検出する検出ステップと、
   前記検出ステップにより検出された前記不動体領域を前記撮像手段に備えられた光学ズーム手段を用いて拡大する拡大ステップと、
   前記拡大ステップにより拡大された前記不動体領域の画像を用いて前記不動体領域に対して動体又は不動体を判定する判定ステップとを含むことを特徴とする判定方法。
6. 前記検出ステップでは、前記撮像手段により撮像された被写体像の画像と背景画像とを比較し、差分領域を前記動体領域として検出することを特徴とする請求項５に記載の判定方法。
7. 前記検出ステップでは、前記動体領域に対してフレーム間差分をとり、一定時間変化が見られない領域を前記不動体領域として検出することを特徴とする請求項５又は６に記載の判定方法。
8. 前記判定ステップでは、前記拡大ステップにより拡大された前記不動体領域の画像に対してフレーム間差分をとり、動体又は不動体を判定することを特徴とする請求項５乃至７のいずれか１項に記載の判定方法。
9. 撮像手段により撮像された画像において動体領域として検出された領域に対して、一定時間変化が見られない領域を不動体領域として検出する検出ステップと、
   前記検出ステップにより検出された前記不動体領域を前記撮像手段に備えられた光学ズーム手段を用いて拡大する拡大ステップと、
   前記拡大ステップにより拡大された前記不動体領域の画像を用いて前記不動体領域に対して動体又は不動体を判定する判定ステップとをコンピュータに実行させるためのプログラム。
10. 前記検出ステップでは、前記撮像手段により撮像された被写体像の画像と背景画像とを比較し、差分領域を前記動体領域として検出することを特徴とする請求項９に記載のプログラム。
11. 前記検出ステップでは、前記動体領域に対してフレーム間差分をとり、一定時間変化が見られない領域を前記不動体領域として検出することを特徴とする請求項９又は１０に記載のプログラム。
12. 前記判定ステップでは、前記拡大ステップにより拡大された前記不動体領域の画像に対してフレーム間差分をとり、動体又は不動体を判定することを特徴とする請求項９乃至１１のいずれか１項に記載のプログラム。

Images