JP4614778B2

JP4614778B2 - 移動物体抽出用画像作成方法

Info

Publication number: JP4614778B2
Application number: JP2005012355A
Authority: JP
Inventors: 佳明伊藤
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2005-01-20
Filing date: 2005-01-20
Publication date: 2011-01-19
Anticipated expiration: 2025-01-20
Also published as: JP2006203500A

Description

本発明は、無人警備などで使用される監視用テレビカメラにおいて、カメラより得られる画像信号から移動物体を検出するときに使用する画像を作成する方法に関するものである。

監視テレビカメラを使用した移動物体の検出方法について、例えば特許文献１がある。当該特許文献１には、図６に示すように、現時点の画像信号（例えばＢ）と所定時間前の画像信号（例えばＡ）を比較して輝度差分信号（Ｐ）として取り出し、輝度差分信号を閾値と比較して二値化し（Ｑ）、検出対象外領域の画素をマスク（Ｒ）して無効とし、閾値以上の画素をエラー画素をカウントし、エラー画素が所定数以上の時にアラーム信号を出力する技術が開示されている。

また、特許文献２には、移動物体検出が所定回数以上連続したときに外部へアラーム信号を出力する技術が開示されている。
なお、一般的な公知技術として、差分などの画像処理を行う前処理として平滑化を行い、微小な変化を無視するようにしている技術がある。

特許第２９２３６５３号公報特許第２９２３６５２号公報

前記特許文献１では、差分の絶対値を固定の閾値で二値化しているため、照明環境が安定した屋内では有効であるが、屋外では影などの輝度変化や木の葉のゆれなどの変化に反応してしまうので、使用範囲が限定されてしまう。詳述すると、影などにより照明環境が変化したとき、閾値が固定なので、図５に示すように変化点が影に埋もれ、閾値に達しなくなる場合がある。また、逆に影がなくなったときは、そのあたり一面が明るくなり広い範囲での固定の閾値に達してしまうことがある。この輝度変化がそのままアラームとなってしまうため屋外での使用が困難である。

また、木の葉のゆれなどは差分を取った時に残り、その後の二値化をしたときに孤立点として発生する。差分を取る画面が前画面だけなので、チラチラした部分の差は毎回の差分で発生し、消えることはない。一般的には、差分を取る前に画面を平滑化して緩和するが、画面を平滑化するということは移動体も平滑化されてしまい移動物を感知する目的に対しては逆効果である。

その孤立点除去の解決方法として、画面上で誤報しやすい部分はそのエリアを図６の符号Ｒで示すようにマスクして、アラームの範囲から除外している。ただし、この方法は固定された１画面に対しマスクを設定するので、一般的には固定カメラのみの使用という制限がある。

本発明は、上述した問題点を鑑みて、屋外の使用にも耐え、さらにマスク領域の設定を不要とする移動物体抽出用画像の作成方法を提供することを目的としている。

請求項１記載の発明は、監視用テレビカメラから得られる画像から動く物体を検出するときの移動物体抽出用画像作成方法であって、前記監視カメラからの画像を時系列に所定の時間間隔で複数枚記憶し、基準となる画像と該基準となる画像よりも前に記憶された画像とを所定の時間間隔毎に複数枚の差分画像を算出し、該複数枚の差分画像の論理積画像を得て、該論理積画像を所定閾値で二値化処理して二値化処理画像を得て、該二値化処理画像を多数決処理して移動物体を抽出するための画像を作成することを特徴としている。

請求項２記載の発明は、請求項１記載の移動物体抽出用画像作成方法において、前記多数決処理は、ヒステリシス特性を持つ多数決フィルタにより処理することを特徴としている。

請求項３の発明は、請求項２に記載の移動物体抽出用画像作成方法において、前記多数決フィルタの処理は、水平及び垂直方向の２回行うことを特徴としている。

請求項４記載の発明は、請求項２又は３に記載の移動物体抽出用画像作成方法において、前記多数決フィルタは、３×３フィルタの内５ポイントで処理を行うフィルタとすることを特徴としている。

請求項１に記載の発明によれば、屋外の使用でも移動物体の抽出が可能となる。また、マスク領域の設定が不要なため、監視システムでの使用において固定カメラに限定されることがない。さらに、今までかなりの制約のあったパンチルトに乗せたカメラでも適当なところを巡回静止後アラームを検知し、移動物がなければ次の場所へ巡回するなどという今までにない移動物体検出も可能である。

さらに、論理積画像を二値化することにより、孤立点が極端に少なくなることで、孤立点の数が評価対象となり、輝度変化に対して更に安定した二値化画像が得られる。すなわち、孤立点は移動物に関係なく存在するので二値化した画像を用いて孤立点の数で自動的に感度を変化させることも可能である。

請求項２に記載の発明によれば、多数決フィルタを使用することにより、縮小フィルタと拡大フィルタを同時に行った効果がある。さらに、ヒステリシス特性を持たせることで多数決フィルタの効果を水平方向に増大させる効果を有する。

請求項3に記載の発明によれば、ヒステリシスを持つ多数決フィルタを2回行
うことで1回目の水平方向の効果が垂直方向にも及ぶ効果を有する。

請求項4に記載の発明によれば、ポイント数を減じることにより、処理速度を向上させることができる。

本発明の実施の形態を図１および図２を用いて説明する。
実施の形態として最新画像と過去４枚の画像より移動物体を抽出する画像を作成する方法について説明する。

図１は本発明を実施したときの処理画面の遷移を示したものであり、移動物体抽出用画像から移動体を抽出してアラームを発生するところまで開示する。
図２は図１の処理画面を作成する上でのフローチャートである。ステップＳ１では、画像取得用リングバッファ（５枚分）へ１画像を記憶する。ステップＳ２では、そのときの画像取得ポインタが５かどうか判断する。画像取得ポインタが５でなければステップＳ３でそのときの画像ポインタを１増加する。画像取得ポインタが５であればステップＳ４で画像取得用ポインタを１に設定し、次のステップへ進む。

図１では静止物、葉、移動物および影で分けた５種類からなる画像を５枚記憶する。ステップＳ５では差分ポインタを１に設定する。ステップＳ６では画像取得用リングバッファへ記憶している５枚分（最新画像と過去４枚分）の画像から、最新画像と過去４枚分の差分の絶対値を算出した画像を、差分用ポインタを１増加しながら差分用メモリへ記憶する。

図１では（１）の差分の絶対値がこれに相当する。ステップＳ７では差分用メモリの全画面の論理積（ＡＮＤ）を取りＡＮＤ用メモリへ記憶する。図１では（２）がこれに相当する。ステップＳ８ではメモリへ記憶した画像を二値化する。図１では（３）が相当する。ステップＳ９では二値化した画像より多数決フィルタにより処理を行い、二値化用メモリに記憶する。ステップＳ１０では二値化用メモリに記憶した画像に対して再び多数決フィルタにより処理を行う。図１では（４）の多数決フィルタが相当する。多数決フィルタを通したものを多数決メモリに記憶して移動物体抽出用画像を作成しＣＰＵへ出力する。

このステップＳ１からステップＳ１０までの処理を繰り返して移動物体抽出用画像を複数枚作成する。複数枚の移動物体抽出用画像から図１に示すように変化点が何回か連続したときにアラーム信号として出力する。図１に示すように、電源投入後、５画像得られるまでは不感時間帯となる。

次に、各処理について詳細に説明する。
ステップＳ６の差分の絶対値については不動物(静止物)の除去ができる。同じ位置で撮像すると静止している物体は常に同じ位置で撮像されるため、差分を取ると削除される。絶対値により暗から明への変化、明から暗への変化が数値化される。画面の明暗に関わらず、画面の中の変化量だけを抽出する。よって比較評価は画面全体の明るさに依存するのではなく、明るさの変化量に依存する。

ステップＳ７の画面の論理積（ＡＮＤ）については孤立点除去のために使用する。イメージ的には４枚の画像をＡＮＤ処理すると、４枚すべて白の部分（図では黒）だけ白（図では黒）になる。つまり４枚とも同じ位置にある変化点だけ残るため、チラチラしたものはＡＮＤ処理を行えば行うほどなくなる。逆に対象画面中の移動物は全ての画面で同じ位置にいるため、原理的に何回ＡＮＤしてもなくならない。

検知対象画像とそれぞれの画像の差分を取ったのだから、当然、検出したい移動物Ｍは対象画面ａｂｃｄに存在し、しかも当然同じ位置にある。また、過去にMが移動した軌跡は差分画面毎に違う場所にある。木の葉などチラチラしているものは、画面毎にその位置が微妙に変化する。この差分画面ａｂｃｄのＡＮＤを取ると移動物の軌跡は消去され、チラチラしているものは次の確率で消去される。４枚の多値画像をＡＮＤすると全画像中の同じ位置の同じ輝度成分の白だけが残るので、チラチラ(孤立点)の輝度成分が残る確率は１／２^４（＝１／１６）になる。またＭの輝度成分は、各過去画面でわずかな輝度変化があるので全く同じ輝度成分ではないが、全ての画像の同じ場所に存在するので、高い確率で残る。

次に、ＡＮＤ処理（ステップＳ７)と二値化処理(ステップＳ８)の順序について説明する。ＡＮＤ処理を先に行い４枚の画像を１枚にして、二値化を行うことにより、処理の簡略化が図れる。一方、先に二値化を行うと、二値化されたデータをＡＮＤすることになるので極端に情報量が減ってしまう。多値データのｂｉｔ単位でＡＮＤを行えば、少しでも輝度変化がありｂｉｔパターンが変わればＡＮＤすることによりｂｉｔがなくなりチラチラの輝度は激減する。よって低い閾値で二値化をしても孤立点は出にくくなる。よって影の中などの低い輝度変化に対しても有効となる。

次にステップＳ８では、ＡＮＤ画像を二値化するが、実際はＡＮＤを行ってもある程度の孤立点は発生する。そこで、閾値を感度というパラメータで表し、調整することで、図３に示すように、孤立点の発生を抑えつつも、図５に示すよりも低い閾値で二値化することができる。

実際のＡＮＤ画像は、チラチラがかなり削除されるが分散した輝度の孤立点として存在する。移動物もそのままの形を取り出せるわけではなく密集した点の固まりになりやすい。そのために最初に平滑化すると移動物の点も無くなる傾向になるので、あえて平滑化はしない。
そこで、低い閾値で二値化したために発生した孤立点を、次のステップＳ９の多数決によって除去する。孤立点をさらに除去するため３×３多数決(スムージング)フィルタを用いる。幅広い照明環境に対応して同じ感度で検知することができる。

次にステップＳ９の多数決について説明する。
多数決フィルタは、例えば図４に示すように、３×３＝９個の範囲を決めてその９個の範囲に含まれる白点（図では黒点）の数が図４（ａ）に示すように４個以下の場合は、その範囲には白点はないものみなし、図４（ｂ）に示すように５個以上の場合には白点が存在するものとして処理するものである。
多数決の原理なので分散していれば孤立点は消去され、密集していれば点がない場所でも点があると判断され、縮小フィルタと拡大フィルタを同時に行った効果がある。

多数決の評価を、その後のアラーム判定や重心の測定の試料として用いるため、分散しているところは多数決の通りになくなり、密集しているところは、より白点（二値化しているため閾値より大きい点は白点となる）を多くしたい。
そこでヒステリシスを持つ多数決フィルタにより解決する。ヒステリシス多数決フィルタは、最初は過半数で比較し、白点がないときはそのままとし、白点があると判断した時は隣の３×３のエリアを評価する時に判断基準を極端に下げ、半強制的に白点にする。実際の回路では比較値を１に下げるか、過半数−１のキャリーを足すということによりヒステリシスを実現する。すると３×３のエリアに１つでも白点があれば白と評価される。そして３×３のエリアに１つも白点がなくなったら判断基準を元に戻す。

次にステップＳ１０で、ヒステリシスを持つ多数決フィルタを使用すると、その効果は水平方向に横筋として表れ、垂直方向には効果がない。そこでさらに、もう一度多数決フィルタを使用すると３×３のエリアで多数決するため横筋の効果が縦方向にも及ぶ。また、多数決が行われるため、わずかに残る孤立点の除去も同時に行える。このように多数決フィルタは２度行うことは、多大なる効果を得る。

さらに、３×３の多数決フィルタをスピード化・簡略化するため、角の４点と真ん中の１点の５ポイントで行う多数決フィルタを採用する。元々の映像での中点は両角の平均と近似できるので、上記５ポイントでも多数決が可能であり３ポイント以上を白点とする。このように処理することにより、通常の３×３多数決
フィルタより速く処理することができる。

次に移動物体抽出画像からアラームを判定する場合について説明する。得られた移動物体抽出用画像から変化したポイント(白)数(変化量)を縦横のヒストグラムとして集計し、人の大きさや重心を検知し、一定以上の変化点が連続して感知されるとアラームと判定する。つまり時間経過とともにベクトル成分があったと判定しアラームとする。

本発明の実施には、５画像分の記憶容量を持つメモリと画像処理するためのＣＰＵ等があれば実施可能である。すなわち、ステップＳ６，７，８，９，１０において表した各メモリは同一メモリで兼用出来ることになる。

本発明は、主に監視テレビカメラを使用した侵入監視装置において有効であり、また移動物を追跡する追尾システムにおいても有効である。

本発明の処理画面の遷移を表したものである。本発明の処理フローチャートである。本発明の二値化処理の効果の説明図である。多数決フィルタの説明図である。従来の二値化処理の効果の説明図である。従来の処理画面の遷移を表したものである。

Claims

監視用テレビカメラから得られる画像から動く物体を検出するときの移動物体抽出用画像作成方法であって、
前記監視カメラからの画像を時系列に所定の時間間隔で複数枚記憶し、
基準となる画像と該基準となる画像よりも前に記憶された画像とを所定の時間間隔毎に複数枚の差分画像を算出し、
該複数枚の差分画像の論理積画像を得て、
該論理積画像を所定閾値で二値化処理して二値化処理画像を得て、
該二値化処理画像を多数決処理して移動物体を抽出するための画像を作成することを特徴とする移動物体抽出用画像作成方法。
請求項１に記載の移動物体抽出用画像作成方法において、
前記多数決処理は、ヒステリシス特性を持つ多数決フィルタにより処理することを特徴とする移動物体抽出用画像作成方法。
請求項２に記載の移動物体抽出用画像作成方法において、
前記多数決フィルタの処理は、水平及び垂直方向の２回行うことを特徴とする移動物体抽出用画像作成方法。
請求項２又は３に記載の移動物体抽出用画像作成方法において、
前記多数決フィルタは、３×３フィルタの内５ポイントで処理を行うフィルタとすることを特徴とする移動物体抽出用画像作成方法。