JP3956843B2 - 移動物体検出装置及びプログラム - Google Patents
移動物体検出装置及びプログラム Download PDFInfo
- Publication number
- JP3956843B2 JP3956843B2 JP2002366934A JP2002366934A JP3956843B2 JP 3956843 B2 JP3956843 B2 JP 3956843B2 JP 2002366934 A JP2002366934 A JP 2002366934A JP 2002366934 A JP2002366934 A JP 2002366934A JP 3956843 B2 JP3956843 B2 JP 3956843B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- object detection
- difference
- determination processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像に様々な処理を加えることによって移動物体を検出する移動物体検出装置及びプログラムに関する。
【０００２】
【従来の技術】
従来、様々な防犯システムがあるが、その１つに移動物体検出装置が画像を用いて侵入物体を検出し、その検出結果に基づいて報知を行う防犯システムがある。この移動物体検出装置は、移動物体が存在しない画像を背景画像として予め記憶しておき、新たに撮影した画像と予め記憶しておいた背景画像との差異を算出して移動物体を認識するようになっていることが一般的である。具体的には、まず撮影された撮影画像と背景画像との差分を求め、画素毎に得られる差分値に対して閾値処理を行って２値画像を作成し、その２値画像に対してノイズ除去やラベリング処理を行って侵入物体を抽出する。そして、このような処理を撮影された撮影画像に対して順次行って侵入物体を追跡し、侵入物体が報知すべき物体であるか否かを判定する（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１６０１４６号公報
【０００４】
【発明が解決しようとする課題】
ところが、上述した方法を用いる移動物体検出装置では、撮影画像が十分なコントラストを有していない場合や、撮影画像にノイズが多く含まれているような場合には、小さな移動物体のように背景に埋もれてしまう恐れのある移動物体を検出できないことがあった。
【０００５】
本発明は、このような問題に鑑みなされたものであり、撮影画像が十分なコントラストを有していない場合や、撮影画像にノイズが多く含まれているような場合でも、小さな移動物体のように背景に埋もれてしまう恐れのある移動物体を精度良く検出することができる移動物体検出装置及びプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１に記載の移動物体検出装置は、画像取得手段が時間的に連続する同一監視範囲の静止画像を取得し、判定処理手段が、画像取得手段から静止画像を受け取り、画素毎に最も高い輝度値が保持されるように静止画像を順に合成して合成画像を生成し、合成に用いられた静止画像の数が所定の数に達すると合成画像内に移動物体があるか否かを判定する判定処理を実行する。尚、画像取得手段は、カメラ等の撮影可能な装置によって実現されていてもよいし、移動物体検出装置とは別の装置によって撮影された画像を取得するだけのインターフェース装置であってもよい。また、ここで言う輝度値というのは、画像がモノクロであれば単純な明度であり、画像がカラーであればＲＧＢの各色独立の輝度値であってもよいし、３色足し合わせた輝度値であってもよい。
【０００７】
従来は、移動物体が写っていない背景画像と撮影した静止画像とを一枚ごとに比較して移動物体らしき物体を検出し、この処理を複数の静止画像に対して行うと共に移動物体らしき物体の静止画像内での検出位置を追跡することによって移動物体であるか否かを認識していた。このため、従来の移動物体検出装置では、移動物体が静止画像全体に比較して小さい場合、検出漏れを起こす場合があった。しかし、本発明の移動物体検出装置は、判定処理手段が物体の検出に先立って画素毎に最も高い輝度値が保持されるように静止画像を合成し、この合成画像１枚から移動物体を検出する。この合成画像には物体の移動軌跡が現れており、本来の移動物体の大きさよりも大きく移動物体が現れている。したがって、本発明の移動物体検出装置は、従来に比べ、小さい移動物体のように背景に埋もれてしまう恐れのある移動物体に対する検出精度が非常に高い。
【０００８】
ところで、移動物体が背景に比べて輝度の低いものであった場合は複数の静止画像を合成することにより移動物体が背景でつぶれてしまう場合がある。例えば、モノクロ画像について考えてみた場合、背景の輝度値が高く移動物体の輝度値が低い場合は、ある画素に移動物体が存在したとしてもその移動物体が移動すると背景の輝度値が優位となってしまい、結果的に移動物体が消えてしまうことがありえる。したがって、そのような状況で移動物体を検出する場合には、請求項２に記載のような移動物体検出装置を用いるとよい。すなわち、判定処理手段が、画像取得手段から静止画像を受け取り、画像取得手段から受け取った静止画像と予め記憶しておいた背景画像との間の輝度値の差の絶対値を画素毎に算出して差分画像を生成し、その差分画像を用いて画素毎に最も高い前記絶対値が保持されるように順に合成して合成画像を生成し、合成に用いられた差分画像の数が所定の数に達すると合成画像内に移動物体が存在するか否かを判定する判定処理を実行するように構成された移動物体検出装置を用いるとよい。尚、ここで言う背景画像というのは、移動物体が存在しない画像のことである。
【０００９】
このような差分画像は、画像取得手段から受け取った静止画像と予め記憶しておいた背景画像との輝度値の差の絶対値を算出して生成したものであるためどちらの画像の輝度値が高いかということではなく、輝度値の差がどれだけあるかということを表した画像である。したがって、上述したような背景の輝度値が高いことによって移動物体がつぶれてしまうことがなくなる。したがって、精度よく移動物体を検出できる。
【００１０】
次に、判定処理の実行タイミングについて考える。
まず、請求項３に記載の移動物体検出装置のように、特にタイミングを考慮せずに単純に繰り返し実行することが考えられる。この場合は、簡易な構成によって実現できる上、撮影した全ての静止画像が破棄されることなく利用することが可能であるため移動物体の検出の信頼性が向上する。
【００１１】
また、請求項４に記載のように、更に、予め記憶しておいた背景画像と画像取得手段が取得した静止画像とを所定の領域について比較し、輝度値が不一致である画素の数が所定量以上あるか否かの予備判定を実行する予備判定処理手段を備えるようにし、判定処理手段が、予備判定処理手段の予備判定の結果が、輝度値が不一致である画素の数が所定量以上あるという判定結果である間のみ、判定処理を実行するようにしてもよい。尚、ここでいう所定の領域とは、予め定めておいた画像中の特定領域のことである。
【００１２】
このことを、車両における侵入検出装置として移動物体検出装置を利用する場合を例に挙げて説明する。車室内からドア部分とドアの窓部分を撮影した静止画像を得られるように画像取得手段を設定する。また、静止画像中の窓部分を予備判定処理手段が予備判定を行う所定の領域とする。そして、予備判定処理手段は、予め記憶しておいた背景画像の窓部分と画像取得手段が取得した静止画像の窓部分とを比較し、人が存在する程度の差異が両画像に存在するか否かを継続して判定する。そして、判定処理手段は、予備判定処理手段によって「人が存在する程度の差異が存在する」という判定がなされている間のみ、一連の判定処理を実行する。
【００１３】
このようになっていると、窓部分に人が写った場合、すなわち車両の外側のドアの付近に人がいる場合のみ、判定処理手段が上述した一連の判定処理を実行する。したがって、必要時のみ判定処理が実行されるため、予備判定処理手段が予備判定に消費する単位時間当たりの電力より判定処理手段が判定処理に消費する単位時間当たりの電力のほうが大きければ、常に判定処理手段が判定処理を実行する場合に比べて単位時間当たりの消費電力を低減させることができる。
【００１４】
ところで、判定処理手段は画像取得手段から受け取った静止画像をすべて用いて合成を行うようになっていてもよいが、請求項５に記載のように、判定処理手段は、画像取得手段から静止画像を受け取った際に、規則的に間引いて選択する方法、又は、時間的に連続する静止画像同士に差が見られる場合にのみ選択する方法のいずれかの方法によって静止画像を選択し、選択した場合のみ判定処理を続行するようになっていてもよい。この選択方法としては、例えば規則的に間引いて静止画像を選択する方法や、時間的に連続する静止画像同士に差異が見られる場合のみ選択する方法等が考えられる。
【００１５】
このようになっていると、判定処理手段は、画像取得手段が取得する静止画像の単位時間当たりの枚数レートに左右されず、効率的に判定を行うことができる。
尚、判定処理手段が合成画像内に移動物体があるか否かの判定を具体的にどのように行うかについては、次のように行うとよい。すなわち、合成画像を２値化し、ラベリングし、その結果得られた画素集合の面積及び形状に基づいて移動物体があるか否かを判定するとよい。ここでいう「画素集合の面積及び形状に基づいて」というのは、例えばまず画素集合の面積によってふるいにかけ、ある面積以上の画素集合を選択する。そして、選択した画素集合がどの方向に長い形状を有しているかによって移動方向を推定し、最終的に移動物体であるか否かを判定する。
【００１６】
このようになっていれば、画像取得手段が取得した画像中に存在するノイズによる影響を抑え、移動物体があるか否かを精度良く検出することが可能になる。
また、ラベリングを行う際にカウンタを用いて画素集合の面積も同時に算出するようになっているとよい。
【００１７】
このようになっていると、合成画像内に移動物体があるか否かの判定をより効率的に行うことができる。
ところで、報知手段は移動物体があると判定したことを外部の他の装置に伝達するようになっていてもよいが、請求項６に記載のように、更に、利用者に移動物体の存在を知らせる報知手段を備えるようにし、判定処理手段が監視範囲に移動物体を検出すると利用者に移動物体の存在を知らせるように報知手段に指令するようになっていてもよい。
【００１８】
このようになっていると、移動物体検出装置単独で移動物体の存在を利用者に報知することができるようになる。
また、請求項７に記載のように、移動物体検出装置は、車両に搭載されて盗難防止装置に用いられるようになっているとよい。車両保管時は、消費可能な電力が限られているため十分な光源を配置することが難しく、十分なコントラストを有する静止画像を得ることが難しい場合がある。そのような場合でも、本発明の移動物体検出装置であれば精度良く認識することができるため、利用価値が高い。
【００１９】
また、請求項８に記載のような移動物体検出装置の判定処理手段として機能させるプログラムを、移動物体検出装置が内蔵するコンピュータに実行させれば、請求項１〜請求項７の何れかに記載の移動物体検出装置の判定処理手段を実現することができる。そして、このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータが読みとり可能な記録媒体に記録し、必用に応じてコンピュータにロードして起動することにより用いることができる。また、ネットワークを介してロードして起動することにより用いることもできる。
【００２０】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【００２１】
［第１実施例］
図１は本実施例の移動物体検出装置１１の内部構成を示すブロック図である。移動物体検出装置１１は車両に搭載されて盗難防止装置として機能する。移動物体検出装置１１は、図１に示すごとく、カメラ１３と、画像記憶制御部１５と、差分演算部２１と、画像合成部２５と、画像処理部２９と、認識部３１と、制御部３７と、背景画像用メモリ１７と、現画像用メモリ１９と、差分画像用メモリ２３と、画像合成用メモリ２７と、画像処理用メモリ３０と、スピーカー３５とを備える。このうち、画像記憶制御部１５、差分演算部２１、画像合成部２５、画像処理部２９、認識部３１及び制御部３７は、各々がＣＰＵやＲＯＭやＲＡＭ等によって構成された電子回路である。また、背景画像用メモリ１７、現画像用メモリ１９、差分画像用メモリ２３、画像合成用メモリ２７及び画像処理用メモリ３０は、ＤＲＡＭやＳＤＲＡＭ等の半導体メモリから構成されている。尚、それぞれが個別に半導体メモリによって構成されていてもよいし、すべてが１又は数個の半導体メモリによって実現されていてもよい。
【００２２】
カメラ１３は、車室の天井の中心部に取り付けられ、運転席ドア付近を撮影するようになっている。カメラ１３はモノクロの静止画像を１秒あたり３０フレーム撮影することが可能な性能を有する。
画像記憶制御部１５は、カメラ１３から静止画像を取得して背景画像用メモリ１７や現画像用メモリ１９に記憶させる機能を有する。
【００２３】
差分演算部２１は、背景画像用メモリ１７と現画像用メモリ１９とから画像を読み出して差分画像を生成し、その差分画像を差分画像用メモリ２３に記憶させる機能を有する。
画像合成部２５は、差分画像用メモリ２３から差分画像を読み出して画像合成用メモリ２７に記憶されている合成画像と更に合成し、合成した合成画像を画像合成用メモリ２７に記憶させる機能を有する。
【００２４】
画像処理部２９は、画像合成用メモリ２７に記憶された合成画像を読み出し、様々な画像処理を施した後にその画像を画像処理用メモリ３０に記憶させる機能を有する。
認識部３１は、画像処理用メモリ３０に記憶された画像内に移動物体が存在するか否かを認識する機能を有する。
【００２５】
スピーカー３５は、警報音を出力する機能を有する。
背景画像用メモリ１７は、検出対象である移動物体が含まれていない画像（背景画像）を記憶するためのメモリである。この背景画像は、移動物体検出装置１１の電源が投入された直後にカメラ１３によって撮影された画像であってもよいし、電源投入後にカメラ１３によって撮影された画像のうち、時系列的に変化が見られない画像を定期的に選択したものであってもよい。また、事前に利用者の操作によって取り込まれた画像であってもよい。
【００２６】
現画像用メモリ１９は、現在の画像（現画像）を記憶するためのメモリである。差分画像用メモリ２３は、差分画像を記憶するためのメモリである。画像合成用メモリ２７は、合成画像を記憶するためのメモリである。画像処理用メモリ３０は、画像処理を行った画像を記憶するためのメモリである。
【００２７】
制御部３７は、画像記憶制御部１５、差分演算部２１、画像合成部２５、画像処理部２９及び認識部３１を統括的に制御する機能を有する。
本実施例では、カメラ１３が特許請求の範囲に記載の画像取得手段に相当し、画像記憶制御部１５、差分演算部２１、画像合成部２５、画像処理部２９、認識部３１及び制御部３７が判定処理手段に相当し、スピーカー３５が報知手段に相当する。
【００２８】
次に、制御部３７で実行される判定処理について、図２のフローチャートを用いて説明する。尚、この判定処理は、移動物体検出装置１１の電源が投入されると実行が開始される。
まず、Ｓ１１０（ステップ１１０の意）では、画像記憶制御部１５に現画像用メモリ１９を初期化するように指示する。この指示を受け取った画像記憶制御部１５は、現画像用メモリ１９を初期化する。画像記憶制御部１５は、初期化が完了すると完了した旨を制御部３７に返答し、その返答を受け取ると制御部３７は次のステップを処理する。以下のステップでは記載を省略するが、本ステップと同様に、種々の指令を受け取った各部（画像記憶制御部１５等）はその指令を完了すると完了した旨を制御部３７に返答し、その返答を受け取ると制御部３７は次のステップを処理する。
【００２９】
続くＳ１１５では、画像記憶制御部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶するように指示する。この指示を受け取った画像記憶制御部１５は、カメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶させる。
【００３０】
続くＳ１２０では、差分演算部２１に差分画像を生成するように指示する。この指示を受け取った差分演算部２１は、背景画像用メモリ１７に記憶されている背景画像と、現画像用メモリ１９に記憶されている静止画像との間の輝度値の差の絶対値を画素毎に算出し、その値を画素値として差分画像を生成し、その生成した差分画像を差分画像用メモリ２３に記憶させる。
【００３１】
続くＳ１２３では、画像合成部２５に画像合成用メモリ２７を初期化するように指示する。この指示を受け取った画像合成部２５は、画像合成用メモリ２７を初期化する。
続くＳ１２５では、差分画像を画像合成用メモリ２７に移送するように画像合成部２５に指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像を読み出して画像合成用メモリ２７に合成画像として記憶させる。この合成画像は、差分画像となんら変わらない。
【００３２】
続くＳ１３０では、画像記憶制御部１５に現画像用メモリ１９を初期化するように指示する。このステップの処理は上述したＳ１１０と同じである。
続くＳ１３５では、画像記憶制御部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶するように指示する。このステップの処理は上述したＳ１１５と同じである。
【００３３】
続くＳ１４０では、差分演算部２１に差分画像を生成するように指示する。このステップの処理は上述したＳ１２０と同じである。
続くＳ１４５では、後述するＳ１５０で行う判定に用いるカウンタの値を１だけ増やすと共に、画像合成部２５に画像合成を行うように指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像と画像合成用メモリ２７から合成画像を１画素ずつ読み出して画素値を比較する。差分画像の画素の画素値の方が高ければ、画像合成用メモリ２７に記憶されている画素値を差分画像の画素値によって更新し、差分画像の画素の画素値の方が低ければ何もしない。このような処理を全画素について行う。
【００３４】
続くＳ１５０では、Ｓ１４５で行った画像合成部２５に対する画像合成の指示を４回行っているか否かをカウンタの値に基づいて判定する。画像合成の指示を４回行っているのであればカウンタの値を０にすると共にＳ１５５に進み、画像合成の指示を４回行っていないのであればＳ１３０に戻る。
【００３５】
Ｓ１５５では、画像処理部２９に画像処理を行うように指示する。この指示を受け取った画像処理部２９は、画像合成用メモリ２７から合成画像を読み出して、２値化やラベリング等の従来から行われている画像認識の前段階に行われる様々な画像処理を施して画像処理用メモリ３０に記憶させる。
【００３６】
続くＳ１６０では、認識部３１に認識処理を行うように指示する。この指示を受け取った認識部３１は、画像処理用メモリ３０から画像を読み出してその画像中に移動物体が存在するか否かを判定し、その判定結果を制御部３７に返答する。尚、この判定は画素集合の形状や面積等を考慮して行う。
【００３７】
続くＳ１６５では、Ｓ１６０で認識部３１より受け取った判定結果に基づいて分岐する。移動物体が存在するという判定結果であればＳ１７０に進み、移動物体が存在しないという判定結果であればＳ１１０に戻る。
Ｓ１７０では、スピーカー３５に信号を送ってサイレンを一定時間（例えば１分間）鳴らさせる。一定時間経過すると、スピーカー３５に信号を送ることをやめ、Ｓ１１０に戻る。このようにして判定処理を、移動物体検出装置１１の電源が遮断されるまで繰り返す。
【００３８】
次に、上述した判定処理を、実例を用いて説明する。
図３（ａ）に並ぶ画像１０１〜１１０は、カメラ１３によって撮影された静止画像と背景画像とから生成した差分画像を示すものである。この差分画像は図中の左方から右方に向かって時間的に連続するように並べられている。また、図３（ｂ）は、画像１０１〜１１０の各々の画素Ａの画素値を示す表である。
【００３９】
まず、画像１０１〜１０５が順に合成されて合成画像が生成される（図２のＳ１１０〜Ｓ１５０参照）。この合成画像の生成は、画素毎に画素値を比較して高い方の画素値が選ばれるようにして順に行われる。具体的に画像１０１〜１０５の画素Ａについて見ると、この５つの画像から得られる合成画像の画素Ａの画素値は、画像１０４の「９８」という画素値が最も高いためこの画素値「９８」が選ばれることになる。
【００４０】
このようにして、画像１０１〜１０５が順に合成され、画像処理（図２のＳ１５５参照）や認識処理（図２のＳ１６０参照）が行われる。そして、これらの処理が終了すると、新たに画像１０６〜画像１１０が順に合成される。
次に図４〜図７に具体的な画像例を挙げる。
【００４１】
図４は、背景画像２０１であり運転席側のドア付近を示している。図５（ａ）は、ｎ番目の現画像２０３である。この図には、腕Ｂが車室内に侵入している様子が示されている。図５（ｂ）は、ｎ＋４番目の現画像２０５である。この図には、腕Ｂが更に車室内下方に侵入していることが示されている。図６（ａ）は、図４に示した背景画像２０１と図５（ａ）に示したｎ番目の現画像２０３とから生成された差分画像２０７である。この図には、背景画像２０１と輝度値が異なる画素集合Ｃが現れていることが示されている。図６（ｂ）は、図４に示した背景画像２０１と図５（ｂ）に示したｎ＋４番目の現画像２０５とから生成された差分画像２０９である。この図には、背景画像２０１と輝度値が異なる画素集合Ｄが現れていることが示されている。
【００４２】
図７は、図６（ａ）に示したｎ番目の差分画像２０７と、図示しなかったｎ＋１番目、ｎ＋２番目、ｎ＋３番目の差分画像と、図６（ｂ）に示したｎ＋４番目の差分画像２０９とを合成した合成画像２１１である。この図から、画素集合Ｅは、図６の画素集合Ｃ及び画素集合Ｄに比べて大きな面積を占めていることが確認できる。
【００４３】
このように移動物体検出装置１１は、物体の移動軌跡が現れている合成画像を用いて移動物体の存在を判定するため、従来に比べて小さい移動物体に対する検出精度が格段に高い。
また、カメラ１３が撮影した現画像と予め記憶しておいた背景画像との輝度値の差の絶対値を算出して差分画像を生成し、その差分画像を用いて合成画像を生成するため、移動物体が背景画像に比べて輝度の低いものであった場合でも、精度よく移動物体を検出できる。
【００４４】
［第２実施例］
次に第２実施例について説明する。第２実施例の移動物体検出装置４０１については、第１実施例の移動物体検出装置１１との相違点を中心に説明する。また、内部構成を示すブロック図は図１を代用する。
【００４５】
制御部４３７では、予備判定処理と判定処理が実行される。移動物体検出装置４０１の電源が投入されると予備判定処理が開始される。そして、予備判定処理の処理中で判定処理は起動される。
まず、予備判定処理について図８のフローチャートを用いて説明する。Ｓ２１０では、画像記憶制御部１５に現画像用メモリ１９を初期化するように指示する。この指示を受け取った画像記憶制御部１５は、現画像用メモリ１９を初期化する。画像記憶制御部１５は、初期化が完了すると完了した旨を制御部４３７に返答し、その返答を受け取ると制御部４３７は次のステップを処理する。以下のステップでは記載を省略するが、本ステップと同様に、種々の指令を受け取った各部（画像記憶制御部１５等）はその指令を完了すると完了した旨を制御部４３７に返答し、その返答を受け取ると制御部４３７は次のステップを処理する。
【００４６】
続くＳ２１５では、画像記憶制御部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶するように指示する。この指示を受け取った画像記憶制御部１５は、カメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶させる。
【００４７】
続くＳ２２０では、差分演算部２１に差分画像を生成するように指示する。この指示を受け取った差分演算部２１は、背景画像用メモリ１７に記憶されている背景画像と、現画像用メモリ１９に記憶されている静止画像との間の輝度値の差の絶対値を画素毎に算出し、その値を画素値として差分画像を生成し、その生成した差分画像を差分画像用メモリ２３に記憶させる。
【００４８】
続くＳ２２５では、差分画像に所定量の差があるか否かを差分演算部２１に判定するように指示する。この指示を受け取った差分演算部２１は、算出した差分画像のうち、窓部分に所定量の画素集合があるか否かを判定する。ここで言う所定量というのは、人がドアの付近に立った場合に現れる画素集合の大きさを意味する。所定量の画素集合があった場合はＳ２３０に進み、所定量の画素集合がなかった場合はＳ２４０に進む。
【００４９】
Ｓ２３０では、後述する判定処理が稼働中か否かによって分岐する。判定処理が稼働中であればＳ２１０に戻り、判定処理が稼働中でなければＳ２３５に進む。Ｓ２３５では、判定処理を起動し、起動が完了するとＳ２１０に戻る。
Ｓ２４０では、判定処理が稼働中か否かによって分岐する。判定処理が稼働中であればＳ２４５に進み、判定処理が稼働中でなければＳ２１０に戻る。Ｓ２４５では、判定処理を強制的に停止してＳ２１０に戻る。
【００５０】
次に、判定処理について図９のフローチャートを用いて説明する。
まずＳ３１０では、画像合成部２５に画像合成用メモリ２７を初期化するように指示する。この指示を受け取った画像合成部２５は、画像合成用メモリ２７を初期化する。
【００５１】
続くＳ３１５では、差分画像を画像合成用メモリ２７に移送するように画像合成部２５に指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像を読み出して画像合成用メモリ２７に合成画像として記憶させる。この合成画像は、差分画像となんら変わらない。
【００５２】
続くＳ３２０では、Ｓ３１５で移送させた差分画像より新しい差分画像が差分画像用メモリ２３に存在するか否かを調べるように差分演算部２１に指示する。この指示を受け取った差分演算部２１は、差分画像用メモリ２３に新しい差分画像が存在するか否かを判定してその結果を制御部４３７に返答する。差分画像用メモリ２３に新しい差分画像が存在するのであればＳ３２５に進み、存在しないのであれば差分画像用メモリ２３に新しい差分画像が記憶されるまで待機する。
【００５３】
Ｓ３２５では、後述するＳ３３０で行う判定に用いるカウンタの値を１だけ増やすと共に、画像合成部２５に画像合成を行うように指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像と画像合成用メモリ２７から合成画像を１画素ずつ読み出して画素値を比較する。差分画像の画素の画素値の方が高ければ、画像合成用メモリ２７に記憶されている比較した画素値を差分画像の画素値によって更新し、差分画像の画素の画素値の方が低ければ何もしない。このような処理を全画素について行う。
【００５４】
続くＳ３３０では、Ｓ３２５で行った画像合成部２５に対する画像合成の指示を４回行っているか否かをカウンタの値に基づいて判定する。画像合成の指示を４回行っているのであればカウンタの値を０にすると共にＳ３３５に進み、画像合成の指示を４回行っていないのであればＳ３２０に戻る。
【００５５】
Ｓ３３５では、画像処理部２９に画像処理を行うように指示する。この指示を受け取った画像処理部２９は、画像合成用メモリ２７から合成画像を読み出して、２値化やラベリング等の従来から行われている画像認識の前段階に行われる様々な画像処理を施して画像処理用メモリ３０に記憶させる。
【００５６】
続くＳ３４０では、認識部３１に認識処理を行うように指示する。この指示を受け取った認識部３１は、画像処理用メモリ３０から画像を読み出してその画像中に移動物体が存在するか否かを判定し、その判定結果を制御部３７に返答する。尚、この判定は画素集合の形状や面積等を考慮して行う。
【００５７】
続くＳ３４５では、Ｓ３４０で認識部３１より受け取った判定結果に基づいて分岐する。移動物体が存在するという判定結果であればＳ３５０に進み、移動物体が存在しないという判定結果であればＳ３５５に進む。
Ｓ３５０では、スピーカー３５に信号を送ってサイレンを一定時間（例えば１分間）鳴らさせる。一定時間経過すると、スピーカー３５に信号を送ることをやめ、Ｓ３５５に進む。
【００５８】
Ｓ３５５では、Ｓ３２０で合成させた差分画像より新しい差分画像が差分画像用メモリ２３に存在するか否かを調べるように差分演算部２１に指示する。この指示を受け取った差分演算部２１は、差分画像用メモリ２３に新しい差分画像が存在するか否かを判定してその結果を制御部４３７に返答する。差分画像用メモリ２３に新しい差分画像が存在するのであればＳ３１０に戻り、存在しないのであれば差分画像用メモリ２３に新しい差分画像が記憶されるまで待機する。このようにして判定処理を、移動物体検出装置４０１の電源が遮断されるか、あるいは予備判定処理によって停止させられるまで繰り返す。
【００５９】
尚、移動物体検出装置４０１においては、制御部４３７、画像記憶制御部１５、差分演算部２１が特許請求の範囲に記載の予備判定処理手段に相当し、制御部４３７、差分演算部２１，画像合成部２５、画像処理部２９及び認識部３１が判定処理手段に相当する。
【００６０】
このような移動物体検出装置４０１であれば、必要時のみ判定処理が実行されるため、予備判定処理に消費する単位時間当たりの電力より判定処理に消費する単位時間当たりの電力のほうが大きければ、常に判定処理を実行する場合に比べて単位時間当たりの消費電力を低減させることができる。
【００６１】
以下、他の実施例を説明する。
（１）上記第２実施例の移動物体検出装置４０１では、予備判定処理において差分画像を生成する際に、必用領域のみの差分画像を生成するようになっていてもよい。すなわち、窓部分のみの差分画像を生成するのである。このようになっていれば、より消費電力を低減させることができる。ただし、判定処理の中で改めて差分画像を生成する必用がある。
【００６２】
（２）上記実施例では、５枚の静止画像を基にして合成画像を生成していたが、この枚数はいくつであってもよい。カメラ１３が撮影可能なフレームレートや検出対象の移動物体の移動推定速度等の情報に基づいて決定すればよい。
（３）上記実施例では、カメラ１３が撮影した静止画像を全て利用することを想定していたが、選択する仕組みを設けてカメラ１３が撮影した静止画像を選択して用いるようになっていてもよい。この選択方法としては、例えば規則的に間引いて静止画像を選択する方法や、処理負荷に基づいて動的に選択数を変化させる方法が考えられる。このようになっていれば、単位時間当たりの処理能力が低いＣＰＵ等の処理装置を用いても本発明を実現させることが可能となる。
【００６３】
（４）上記実施例の画像処理部２９がラベリングを行う際に同時にカウンタを用いて画素集合の面積も同時に算出するようにし、その算出結果を認識部３１に渡すようになっていてもよい。このようになっていれば、認識部３１の処理負荷が軽減され、全体としての処理効率も向上する。
【００６４】
（５）上記実施例では、制御部３７，４３７や画像記憶制御部１５や差分演算部２１等の各部が、ＣＰＵやＲＯＭやＲＡＭ等によって別々に構成された電子回路であったが、１つのＣＰＵ及びそのＣＰＵで実行されるプログラムによって各部全てが実現されていてもよい。
【００６５】
（６）本願発明の効果を得ることができるのであれば、上記実施例の各ステップを並列実行させたり、順序を入れ替えて実行させたりしてもよい。
【図面の簡単な説明】
【図１】実施例の移動物体検出装置の内部構成を示すブロック図である。
【図２】第１実施例の判定処理を説明するためのフローチャートである。
【図３】判定処理を説明するための説明図である。
【図４】判定処理を説明するための背景画像である。
【図５】判定処理を説明するための現画像である。
【図６】判定処理を説明するための差分画像である。
【図７】判定処理を説明するための合成画像である。
【図８】第２実施例の予備判定処理を説明するためのフローチャートである。
【図９】第２実施例の判定処理を説明するためのフローチャートである。
【符号の説明】
１１…移動物体検出装置、１３…カメラ、１５…画像記憶制御部、１７…背景画像用メモリ、１９…現画像用メモリ、２１…差分演算部、２３…差分画像用メモリ、２５…画像合成部、２７…画像合成用メモリ、２９…画像処理部、３０…画像処理用メモリ、３１…認識部、３５…スピーカー、３７…制御部、４０１…移動物体検出装置、４３７…制御部
【発明の属する技術分野】
本発明は、撮影された画像に様々な処理を加えることによって移動物体を検出する移動物体検出装置及びプログラムに関する。
【０００２】
【従来の技術】
従来、様々な防犯システムがあるが、その１つに移動物体検出装置が画像を用いて侵入物体を検出し、その検出結果に基づいて報知を行う防犯システムがある。この移動物体検出装置は、移動物体が存在しない画像を背景画像として予め記憶しておき、新たに撮影した画像と予め記憶しておいた背景画像との差異を算出して移動物体を認識するようになっていることが一般的である。具体的には、まず撮影された撮影画像と背景画像との差分を求め、画素毎に得られる差分値に対して閾値処理を行って２値画像を作成し、その２値画像に対してノイズ除去やラベリング処理を行って侵入物体を抽出する。そして、このような処理を撮影された撮影画像に対して順次行って侵入物体を追跡し、侵入物体が報知すべき物体であるか否かを判定する（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１６０１４６号公報
【０００４】
【発明が解決しようとする課題】
ところが、上述した方法を用いる移動物体検出装置では、撮影画像が十分なコントラストを有していない場合や、撮影画像にノイズが多く含まれているような場合には、小さな移動物体のように背景に埋もれてしまう恐れのある移動物体を検出できないことがあった。
【０００５】
本発明は、このような問題に鑑みなされたものであり、撮影画像が十分なコントラストを有していない場合や、撮影画像にノイズが多く含まれているような場合でも、小さな移動物体のように背景に埋もれてしまう恐れのある移動物体を精度良く検出することができる移動物体検出装置及びプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１に記載の移動物体検出装置は、画像取得手段が時間的に連続する同一監視範囲の静止画像を取得し、判定処理手段が、画像取得手段から静止画像を受け取り、画素毎に最も高い輝度値が保持されるように静止画像を順に合成して合成画像を生成し、合成に用いられた静止画像の数が所定の数に達すると合成画像内に移動物体があるか否かを判定する判定処理を実行する。尚、画像取得手段は、カメラ等の撮影可能な装置によって実現されていてもよいし、移動物体検出装置とは別の装置によって撮影された画像を取得するだけのインターフェース装置であってもよい。また、ここで言う輝度値というのは、画像がモノクロであれば単純な明度であり、画像がカラーであればＲＧＢの各色独立の輝度値であってもよいし、３色足し合わせた輝度値であってもよい。
【０００７】
従来は、移動物体が写っていない背景画像と撮影した静止画像とを一枚ごとに比較して移動物体らしき物体を検出し、この処理を複数の静止画像に対して行うと共に移動物体らしき物体の静止画像内での検出位置を追跡することによって移動物体であるか否かを認識していた。このため、従来の移動物体検出装置では、移動物体が静止画像全体に比較して小さい場合、検出漏れを起こす場合があった。しかし、本発明の移動物体検出装置は、判定処理手段が物体の検出に先立って画素毎に最も高い輝度値が保持されるように静止画像を合成し、この合成画像１枚から移動物体を検出する。この合成画像には物体の移動軌跡が現れており、本来の移動物体の大きさよりも大きく移動物体が現れている。したがって、本発明の移動物体検出装置は、従来に比べ、小さい移動物体のように背景に埋もれてしまう恐れのある移動物体に対する検出精度が非常に高い。
【０００８】
ところで、移動物体が背景に比べて輝度の低いものであった場合は複数の静止画像を合成することにより移動物体が背景でつぶれてしまう場合がある。例えば、モノクロ画像について考えてみた場合、背景の輝度値が高く移動物体の輝度値が低い場合は、ある画素に移動物体が存在したとしてもその移動物体が移動すると背景の輝度値が優位となってしまい、結果的に移動物体が消えてしまうことがありえる。したがって、そのような状況で移動物体を検出する場合には、請求項２に記載のような移動物体検出装置を用いるとよい。すなわち、判定処理手段が、画像取得手段から静止画像を受け取り、画像取得手段から受け取った静止画像と予め記憶しておいた背景画像との間の輝度値の差の絶対値を画素毎に算出して差分画像を生成し、その差分画像を用いて画素毎に最も高い前記絶対値が保持されるように順に合成して合成画像を生成し、合成に用いられた差分画像の数が所定の数に達すると合成画像内に移動物体が存在するか否かを判定する判定処理を実行するように構成された移動物体検出装置を用いるとよい。尚、ここで言う背景画像というのは、移動物体が存在しない画像のことである。
【０００９】
このような差分画像は、画像取得手段から受け取った静止画像と予め記憶しておいた背景画像との輝度値の差の絶対値を算出して生成したものであるためどちらの画像の輝度値が高いかということではなく、輝度値の差がどれだけあるかということを表した画像である。したがって、上述したような背景の輝度値が高いことによって移動物体がつぶれてしまうことがなくなる。したがって、精度よく移動物体を検出できる。
【００１０】
次に、判定処理の実行タイミングについて考える。
まず、請求項３に記載の移動物体検出装置のように、特にタイミングを考慮せずに単純に繰り返し実行することが考えられる。この場合は、簡易な構成によって実現できる上、撮影した全ての静止画像が破棄されることなく利用することが可能であるため移動物体の検出の信頼性が向上する。
【００１１】
また、請求項４に記載のように、更に、予め記憶しておいた背景画像と画像取得手段が取得した静止画像とを所定の領域について比較し、輝度値が不一致である画素の数が所定量以上あるか否かの予備判定を実行する予備判定処理手段を備えるようにし、判定処理手段が、予備判定処理手段の予備判定の結果が、輝度値が不一致である画素の数が所定量以上あるという判定結果である間のみ、判定処理を実行するようにしてもよい。尚、ここでいう所定の領域とは、予め定めておいた画像中の特定領域のことである。
【００１２】
このことを、車両における侵入検出装置として移動物体検出装置を利用する場合を例に挙げて説明する。車室内からドア部分とドアの窓部分を撮影した静止画像を得られるように画像取得手段を設定する。また、静止画像中の窓部分を予備判定処理手段が予備判定を行う所定の領域とする。そして、予備判定処理手段は、予め記憶しておいた背景画像の窓部分と画像取得手段が取得した静止画像の窓部分とを比較し、人が存在する程度の差異が両画像に存在するか否かを継続して判定する。そして、判定処理手段は、予備判定処理手段によって「人が存在する程度の差異が存在する」という判定がなされている間のみ、一連の判定処理を実行する。
【００１３】
このようになっていると、窓部分に人が写った場合、すなわち車両の外側のドアの付近に人がいる場合のみ、判定処理手段が上述した一連の判定処理を実行する。したがって、必要時のみ判定処理が実行されるため、予備判定処理手段が予備判定に消費する単位時間当たりの電力より判定処理手段が判定処理に消費する単位時間当たりの電力のほうが大きければ、常に判定処理手段が判定処理を実行する場合に比べて単位時間当たりの消費電力を低減させることができる。
【００１４】
ところで、判定処理手段は画像取得手段から受け取った静止画像をすべて用いて合成を行うようになっていてもよいが、請求項５に記載のように、判定処理手段は、画像取得手段から静止画像を受け取った際に、規則的に間引いて選択する方法、又は、時間的に連続する静止画像同士に差が見られる場合にのみ選択する方法のいずれかの方法によって静止画像を選択し、選択した場合のみ判定処理を続行するようになっていてもよい。この選択方法としては、例えば規則的に間引いて静止画像を選択する方法や、時間的に連続する静止画像同士に差異が見られる場合のみ選択する方法等が考えられる。
【００１５】
このようになっていると、判定処理手段は、画像取得手段が取得する静止画像の単位時間当たりの枚数レートに左右されず、効率的に判定を行うことができる。
尚、判定処理手段が合成画像内に移動物体があるか否かの判定を具体的にどのように行うかについては、次のように行うとよい。すなわち、合成画像を２値化し、ラベリングし、その結果得られた画素集合の面積及び形状に基づいて移動物体があるか否かを判定するとよい。ここでいう「画素集合の面積及び形状に基づいて」というのは、例えばまず画素集合の面積によってふるいにかけ、ある面積以上の画素集合を選択する。そして、選択した画素集合がどの方向に長い形状を有しているかによって移動方向を推定し、最終的に移動物体であるか否かを判定する。
【００１６】
このようになっていれば、画像取得手段が取得した画像中に存在するノイズによる影響を抑え、移動物体があるか否かを精度良く検出することが可能になる。
また、ラベリングを行う際にカウンタを用いて画素集合の面積も同時に算出するようになっているとよい。
【００１７】
このようになっていると、合成画像内に移動物体があるか否かの判定をより効率的に行うことができる。
ところで、報知手段は移動物体があると判定したことを外部の他の装置に伝達するようになっていてもよいが、請求項６に記載のように、更に、利用者に移動物体の存在を知らせる報知手段を備えるようにし、判定処理手段が監視範囲に移動物体を検出すると利用者に移動物体の存在を知らせるように報知手段に指令するようになっていてもよい。
【００１８】
このようになっていると、移動物体検出装置単独で移動物体の存在を利用者に報知することができるようになる。
また、請求項７に記載のように、移動物体検出装置は、車両に搭載されて盗難防止装置に用いられるようになっているとよい。車両保管時は、消費可能な電力が限られているため十分な光源を配置することが難しく、十分なコントラストを有する静止画像を得ることが難しい場合がある。そのような場合でも、本発明の移動物体検出装置であれば精度良く認識することができるため、利用価値が高い。
【００１９】
また、請求項８に記載のような移動物体検出装置の判定処理手段として機能させるプログラムを、移動物体検出装置が内蔵するコンピュータに実行させれば、請求項１〜請求項７の何れかに記載の移動物体検出装置の判定処理手段を実現することができる。そして、このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータが読みとり可能な記録媒体に記録し、必用に応じてコンピュータにロードして起動することにより用いることができる。また、ネットワークを介してロードして起動することにより用いることもできる。
【００２０】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【００２１】
［第１実施例］
図１は本実施例の移動物体検出装置１１の内部構成を示すブロック図である。移動物体検出装置１１は車両に搭載されて盗難防止装置として機能する。移動物体検出装置１１は、図１に示すごとく、カメラ１３と、画像記憶制御部１５と、差分演算部２１と、画像合成部２５と、画像処理部２９と、認識部３１と、制御部３７と、背景画像用メモリ１７と、現画像用メモリ１９と、差分画像用メモリ２３と、画像合成用メモリ２７と、画像処理用メモリ３０と、スピーカー３５とを備える。このうち、画像記憶制御部１５、差分演算部２１、画像合成部２５、画像処理部２９、認識部３１及び制御部３７は、各々がＣＰＵやＲＯＭやＲＡＭ等によって構成された電子回路である。また、背景画像用メモリ１７、現画像用メモリ１９、差分画像用メモリ２３、画像合成用メモリ２７及び画像処理用メモリ３０は、ＤＲＡＭやＳＤＲＡＭ等の半導体メモリから構成されている。尚、それぞれが個別に半導体メモリによって構成されていてもよいし、すべてが１又は数個の半導体メモリによって実現されていてもよい。
【００２２】
カメラ１３は、車室の天井の中心部に取り付けられ、運転席ドア付近を撮影するようになっている。カメラ１３はモノクロの静止画像を１秒あたり３０フレーム撮影することが可能な性能を有する。
画像記憶制御部１５は、カメラ１３から静止画像を取得して背景画像用メモリ１７や現画像用メモリ１９に記憶させる機能を有する。
【００２３】
差分演算部２１は、背景画像用メモリ１７と現画像用メモリ１９とから画像を読み出して差分画像を生成し、その差分画像を差分画像用メモリ２３に記憶させる機能を有する。
画像合成部２５は、差分画像用メモリ２３から差分画像を読み出して画像合成用メモリ２７に記憶されている合成画像と更に合成し、合成した合成画像を画像合成用メモリ２７に記憶させる機能を有する。
【００２４】
画像処理部２９は、画像合成用メモリ２７に記憶された合成画像を読み出し、様々な画像処理を施した後にその画像を画像処理用メモリ３０に記憶させる機能を有する。
認識部３１は、画像処理用メモリ３０に記憶された画像内に移動物体が存在するか否かを認識する機能を有する。
【００２５】
スピーカー３５は、警報音を出力する機能を有する。
背景画像用メモリ１７は、検出対象である移動物体が含まれていない画像（背景画像）を記憶するためのメモリである。この背景画像は、移動物体検出装置１１の電源が投入された直後にカメラ１３によって撮影された画像であってもよいし、電源投入後にカメラ１３によって撮影された画像のうち、時系列的に変化が見られない画像を定期的に選択したものであってもよい。また、事前に利用者の操作によって取り込まれた画像であってもよい。
【００２６】
現画像用メモリ１９は、現在の画像（現画像）を記憶するためのメモリである。差分画像用メモリ２３は、差分画像を記憶するためのメモリである。画像合成用メモリ２７は、合成画像を記憶するためのメモリである。画像処理用メモリ３０は、画像処理を行った画像を記憶するためのメモリである。
【００２７】
制御部３７は、画像記憶制御部１５、差分演算部２１、画像合成部２５、画像処理部２９及び認識部３１を統括的に制御する機能を有する。
本実施例では、カメラ１３が特許請求の範囲に記載の画像取得手段に相当し、画像記憶制御部１５、差分演算部２１、画像合成部２５、画像処理部２９、認識部３１及び制御部３７が判定処理手段に相当し、スピーカー３５が報知手段に相当する。
【００２８】
次に、制御部３７で実行される判定処理について、図２のフローチャートを用いて説明する。尚、この判定処理は、移動物体検出装置１１の電源が投入されると実行が開始される。
まず、Ｓ１１０（ステップ１１０の意）では、画像記憶制御部１５に現画像用メモリ１９を初期化するように指示する。この指示を受け取った画像記憶制御部１５は、現画像用メモリ１９を初期化する。画像記憶制御部１５は、初期化が完了すると完了した旨を制御部３７に返答し、その返答を受け取ると制御部３７は次のステップを処理する。以下のステップでは記載を省略するが、本ステップと同様に、種々の指令を受け取った各部（画像記憶制御部１５等）はその指令を完了すると完了した旨を制御部３７に返答し、その返答を受け取ると制御部３７は次のステップを処理する。
【００２９】
続くＳ１１５では、画像記憶制御部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶するように指示する。この指示を受け取った画像記憶制御部１５は、カメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶させる。
【００３０】
続くＳ１２０では、差分演算部２１に差分画像を生成するように指示する。この指示を受け取った差分演算部２１は、背景画像用メモリ１７に記憶されている背景画像と、現画像用メモリ１９に記憶されている静止画像との間の輝度値の差の絶対値を画素毎に算出し、その値を画素値として差分画像を生成し、その生成した差分画像を差分画像用メモリ２３に記憶させる。
【００３１】
続くＳ１２３では、画像合成部２５に画像合成用メモリ２７を初期化するように指示する。この指示を受け取った画像合成部２５は、画像合成用メモリ２７を初期化する。
続くＳ１２５では、差分画像を画像合成用メモリ２７に移送するように画像合成部２５に指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像を読み出して画像合成用メモリ２７に合成画像として記憶させる。この合成画像は、差分画像となんら変わらない。
【００３２】
続くＳ１３０では、画像記憶制御部１５に現画像用メモリ１９を初期化するように指示する。このステップの処理は上述したＳ１１０と同じである。
続くＳ１３５では、画像記憶制御部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶するように指示する。このステップの処理は上述したＳ１１５と同じである。
【００３３】
続くＳ１４０では、差分演算部２１に差分画像を生成するように指示する。このステップの処理は上述したＳ１２０と同じである。
続くＳ１４５では、後述するＳ１５０で行う判定に用いるカウンタの値を１だけ増やすと共に、画像合成部２５に画像合成を行うように指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像と画像合成用メモリ２７から合成画像を１画素ずつ読み出して画素値を比較する。差分画像の画素の画素値の方が高ければ、画像合成用メモリ２７に記憶されている画素値を差分画像の画素値によって更新し、差分画像の画素の画素値の方が低ければ何もしない。このような処理を全画素について行う。
【００３４】
続くＳ１５０では、Ｓ１４５で行った画像合成部２５に対する画像合成の指示を４回行っているか否かをカウンタの値に基づいて判定する。画像合成の指示を４回行っているのであればカウンタの値を０にすると共にＳ１５５に進み、画像合成の指示を４回行っていないのであればＳ１３０に戻る。
【００３５】
Ｓ１５５では、画像処理部２９に画像処理を行うように指示する。この指示を受け取った画像処理部２９は、画像合成用メモリ２７から合成画像を読み出して、２値化やラベリング等の従来から行われている画像認識の前段階に行われる様々な画像処理を施して画像処理用メモリ３０に記憶させる。
【００３６】
続くＳ１６０では、認識部３１に認識処理を行うように指示する。この指示を受け取った認識部３１は、画像処理用メモリ３０から画像を読み出してその画像中に移動物体が存在するか否かを判定し、その判定結果を制御部３７に返答する。尚、この判定は画素集合の形状や面積等を考慮して行う。
【００３７】
続くＳ１６５では、Ｓ１６０で認識部３１より受け取った判定結果に基づいて分岐する。移動物体が存在するという判定結果であればＳ１７０に進み、移動物体が存在しないという判定結果であればＳ１１０に戻る。
Ｓ１７０では、スピーカー３５に信号を送ってサイレンを一定時間（例えば１分間）鳴らさせる。一定時間経過すると、スピーカー３５に信号を送ることをやめ、Ｓ１１０に戻る。このようにして判定処理を、移動物体検出装置１１の電源が遮断されるまで繰り返す。
【００３８】
次に、上述した判定処理を、実例を用いて説明する。
図３（ａ）に並ぶ画像１０１〜１１０は、カメラ１３によって撮影された静止画像と背景画像とから生成した差分画像を示すものである。この差分画像は図中の左方から右方に向かって時間的に連続するように並べられている。また、図３（ｂ）は、画像１０１〜１１０の各々の画素Ａの画素値を示す表である。
【００３９】
まず、画像１０１〜１０５が順に合成されて合成画像が生成される（図２のＳ１１０〜Ｓ１５０参照）。この合成画像の生成は、画素毎に画素値を比較して高い方の画素値が選ばれるようにして順に行われる。具体的に画像１０１〜１０５の画素Ａについて見ると、この５つの画像から得られる合成画像の画素Ａの画素値は、画像１０４の「９８」という画素値が最も高いためこの画素値「９８」が選ばれることになる。
【００４０】
このようにして、画像１０１〜１０５が順に合成され、画像処理（図２のＳ１５５参照）や認識処理（図２のＳ１６０参照）が行われる。そして、これらの処理が終了すると、新たに画像１０６〜画像１１０が順に合成される。
次に図４〜図７に具体的な画像例を挙げる。
【００４１】
図４は、背景画像２０１であり運転席側のドア付近を示している。図５（ａ）は、ｎ番目の現画像２０３である。この図には、腕Ｂが車室内に侵入している様子が示されている。図５（ｂ）は、ｎ＋４番目の現画像２０５である。この図には、腕Ｂが更に車室内下方に侵入していることが示されている。図６（ａ）は、図４に示した背景画像２０１と図５（ａ）に示したｎ番目の現画像２０３とから生成された差分画像２０７である。この図には、背景画像２０１と輝度値が異なる画素集合Ｃが現れていることが示されている。図６（ｂ）は、図４に示した背景画像２０１と図５（ｂ）に示したｎ＋４番目の現画像２０５とから生成された差分画像２０９である。この図には、背景画像２０１と輝度値が異なる画素集合Ｄが現れていることが示されている。
【００４２】
図７は、図６（ａ）に示したｎ番目の差分画像２０７と、図示しなかったｎ＋１番目、ｎ＋２番目、ｎ＋３番目の差分画像と、図６（ｂ）に示したｎ＋４番目の差分画像２０９とを合成した合成画像２１１である。この図から、画素集合Ｅは、図６の画素集合Ｃ及び画素集合Ｄに比べて大きな面積を占めていることが確認できる。
【００４３】
このように移動物体検出装置１１は、物体の移動軌跡が現れている合成画像を用いて移動物体の存在を判定するため、従来に比べて小さい移動物体に対する検出精度が格段に高い。
また、カメラ１３が撮影した現画像と予め記憶しておいた背景画像との輝度値の差の絶対値を算出して差分画像を生成し、その差分画像を用いて合成画像を生成するため、移動物体が背景画像に比べて輝度の低いものであった場合でも、精度よく移動物体を検出できる。
【００４４】
［第２実施例］
次に第２実施例について説明する。第２実施例の移動物体検出装置４０１については、第１実施例の移動物体検出装置１１との相違点を中心に説明する。また、内部構成を示すブロック図は図１を代用する。
【００４５】
制御部４３７では、予備判定処理と判定処理が実行される。移動物体検出装置４０１の電源が投入されると予備判定処理が開始される。そして、予備判定処理の処理中で判定処理は起動される。
まず、予備判定処理について図８のフローチャートを用いて説明する。Ｓ２１０では、画像記憶制御部１５に現画像用メモリ１９を初期化するように指示する。この指示を受け取った画像記憶制御部１５は、現画像用メモリ１９を初期化する。画像記憶制御部１５は、初期化が完了すると完了した旨を制御部４３７に返答し、その返答を受け取ると制御部４３７は次のステップを処理する。以下のステップでは記載を省略するが、本ステップと同様に、種々の指令を受け取った各部（画像記憶制御部１５等）はその指令を完了すると完了した旨を制御部４３７に返答し、その返答を受け取ると制御部４３７は次のステップを処理する。
【００４６】
続くＳ２１５では、画像記憶制御部１５にカメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶するように指示する。この指示を受け取った画像記憶制御部１５は、カメラ１３から静止画像を取り込んで現画像用メモリ１９に記憶させる。
【００４７】
続くＳ２２０では、差分演算部２１に差分画像を生成するように指示する。この指示を受け取った差分演算部２１は、背景画像用メモリ１７に記憶されている背景画像と、現画像用メモリ１９に記憶されている静止画像との間の輝度値の差の絶対値を画素毎に算出し、その値を画素値として差分画像を生成し、その生成した差分画像を差分画像用メモリ２３に記憶させる。
【００４８】
続くＳ２２５では、差分画像に所定量の差があるか否かを差分演算部２１に判定するように指示する。この指示を受け取った差分演算部２１は、算出した差分画像のうち、窓部分に所定量の画素集合があるか否かを判定する。ここで言う所定量というのは、人がドアの付近に立った場合に現れる画素集合の大きさを意味する。所定量の画素集合があった場合はＳ２３０に進み、所定量の画素集合がなかった場合はＳ２４０に進む。
【００４９】
Ｓ２３０では、後述する判定処理が稼働中か否かによって分岐する。判定処理が稼働中であればＳ２１０に戻り、判定処理が稼働中でなければＳ２３５に進む。Ｓ２３５では、判定処理を起動し、起動が完了するとＳ２１０に戻る。
Ｓ２４０では、判定処理が稼働中か否かによって分岐する。判定処理が稼働中であればＳ２４５に進み、判定処理が稼働中でなければＳ２１０に戻る。Ｓ２４５では、判定処理を強制的に停止してＳ２１０に戻る。
【００５０】
次に、判定処理について図９のフローチャートを用いて説明する。
まずＳ３１０では、画像合成部２５に画像合成用メモリ２７を初期化するように指示する。この指示を受け取った画像合成部２５は、画像合成用メモリ２７を初期化する。
【００５１】
続くＳ３１５では、差分画像を画像合成用メモリ２７に移送するように画像合成部２５に指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像を読み出して画像合成用メモリ２７に合成画像として記憶させる。この合成画像は、差分画像となんら変わらない。
【００５２】
続くＳ３２０では、Ｓ３１５で移送させた差分画像より新しい差分画像が差分画像用メモリ２３に存在するか否かを調べるように差分演算部２１に指示する。この指示を受け取った差分演算部２１は、差分画像用メモリ２３に新しい差分画像が存在するか否かを判定してその結果を制御部４３７に返答する。差分画像用メモリ２３に新しい差分画像が存在するのであればＳ３２５に進み、存在しないのであれば差分画像用メモリ２３に新しい差分画像が記憶されるまで待機する。
【００５３】
Ｓ３２５では、後述するＳ３３０で行う判定に用いるカウンタの値を１だけ増やすと共に、画像合成部２５に画像合成を行うように指示する。この指示を受け取った画像合成部２５は、差分画像用メモリ２３から差分画像と画像合成用メモリ２７から合成画像を１画素ずつ読み出して画素値を比較する。差分画像の画素の画素値の方が高ければ、画像合成用メモリ２７に記憶されている比較した画素値を差分画像の画素値によって更新し、差分画像の画素の画素値の方が低ければ何もしない。このような処理を全画素について行う。
【００５４】
続くＳ３３０では、Ｓ３２５で行った画像合成部２５に対する画像合成の指示を４回行っているか否かをカウンタの値に基づいて判定する。画像合成の指示を４回行っているのであればカウンタの値を０にすると共にＳ３３５に進み、画像合成の指示を４回行っていないのであればＳ３２０に戻る。
【００５５】
Ｓ３３５では、画像処理部２９に画像処理を行うように指示する。この指示を受け取った画像処理部２９は、画像合成用メモリ２７から合成画像を読み出して、２値化やラベリング等の従来から行われている画像認識の前段階に行われる様々な画像処理を施して画像処理用メモリ３０に記憶させる。
【００５６】
続くＳ３４０では、認識部３１に認識処理を行うように指示する。この指示を受け取った認識部３１は、画像処理用メモリ３０から画像を読み出してその画像中に移動物体が存在するか否かを判定し、その判定結果を制御部３７に返答する。尚、この判定は画素集合の形状や面積等を考慮して行う。
【００５７】
続くＳ３４５では、Ｓ３４０で認識部３１より受け取った判定結果に基づいて分岐する。移動物体が存在するという判定結果であればＳ３５０に進み、移動物体が存在しないという判定結果であればＳ３５５に進む。
Ｓ３５０では、スピーカー３５に信号を送ってサイレンを一定時間（例えば１分間）鳴らさせる。一定時間経過すると、スピーカー３５に信号を送ることをやめ、Ｓ３５５に進む。
【００５８】
Ｓ３５５では、Ｓ３２０で合成させた差分画像より新しい差分画像が差分画像用メモリ２３に存在するか否かを調べるように差分演算部２１に指示する。この指示を受け取った差分演算部２１は、差分画像用メモリ２３に新しい差分画像が存在するか否かを判定してその結果を制御部４３７に返答する。差分画像用メモリ２３に新しい差分画像が存在するのであればＳ３１０に戻り、存在しないのであれば差分画像用メモリ２３に新しい差分画像が記憶されるまで待機する。このようにして判定処理を、移動物体検出装置４０１の電源が遮断されるか、あるいは予備判定処理によって停止させられるまで繰り返す。
【００５９】
尚、移動物体検出装置４０１においては、制御部４３７、画像記憶制御部１５、差分演算部２１が特許請求の範囲に記載の予備判定処理手段に相当し、制御部４３７、差分演算部２１，画像合成部２５、画像処理部２９及び認識部３１が判定処理手段に相当する。
【００６０】
このような移動物体検出装置４０１であれば、必要時のみ判定処理が実行されるため、予備判定処理に消費する単位時間当たりの電力より判定処理に消費する単位時間当たりの電力のほうが大きければ、常に判定処理を実行する場合に比べて単位時間当たりの消費電力を低減させることができる。
【００６１】
以下、他の実施例を説明する。
（１）上記第２実施例の移動物体検出装置４０１では、予備判定処理において差分画像を生成する際に、必用領域のみの差分画像を生成するようになっていてもよい。すなわち、窓部分のみの差分画像を生成するのである。このようになっていれば、より消費電力を低減させることができる。ただし、判定処理の中で改めて差分画像を生成する必用がある。
【００６２】
（２）上記実施例では、５枚の静止画像を基にして合成画像を生成していたが、この枚数はいくつであってもよい。カメラ１３が撮影可能なフレームレートや検出対象の移動物体の移動推定速度等の情報に基づいて決定すればよい。
（３）上記実施例では、カメラ１３が撮影した静止画像を全て利用することを想定していたが、選択する仕組みを設けてカメラ１３が撮影した静止画像を選択して用いるようになっていてもよい。この選択方法としては、例えば規則的に間引いて静止画像を選択する方法や、処理負荷に基づいて動的に選択数を変化させる方法が考えられる。このようになっていれば、単位時間当たりの処理能力が低いＣＰＵ等の処理装置を用いても本発明を実現させることが可能となる。
【００６３】
（４）上記実施例の画像処理部２９がラベリングを行う際に同時にカウンタを用いて画素集合の面積も同時に算出するようにし、その算出結果を認識部３１に渡すようになっていてもよい。このようになっていれば、認識部３１の処理負荷が軽減され、全体としての処理効率も向上する。
【００６４】
（５）上記実施例では、制御部３７，４３７や画像記憶制御部１５や差分演算部２１等の各部が、ＣＰＵやＲＯＭやＲＡＭ等によって別々に構成された電子回路であったが、１つのＣＰＵ及びそのＣＰＵで実行されるプログラムによって各部全てが実現されていてもよい。
【００６５】
（６）本願発明の効果を得ることができるのであれば、上記実施例の各ステップを並列実行させたり、順序を入れ替えて実行させたりしてもよい。
【図面の簡単な説明】
【図１】実施例の移動物体検出装置の内部構成を示すブロック図である。
【図２】第１実施例の判定処理を説明するためのフローチャートである。
【図３】判定処理を説明するための説明図である。
【図４】判定処理を説明するための背景画像である。
【図５】判定処理を説明するための現画像である。
【図６】判定処理を説明するための差分画像である。
【図７】判定処理を説明するための合成画像である。
【図８】第２実施例の予備判定処理を説明するためのフローチャートである。
【図９】第２実施例の判定処理を説明するためのフローチャートである。
【符号の説明】
１１…移動物体検出装置、１３…カメラ、１５…画像記憶制御部、１７…背景画像用メモリ、１９…現画像用メモリ、２１…差分演算部、２３…差分画像用メモリ、２５…画像合成部、２７…画像合成用メモリ、２９…画像処理部、３０…画像処理用メモリ、３１…認識部、３５…スピーカー、３７…制御部、４０１…移動物体検出装置、４３７…制御部
Claims (8)
- 時間的に連続する同一監視範囲の静止画像を取得する画像取得手段と、
前記画像取得手段から静止画像を受け取り、画素毎に最も高い輝度値が保持されるように静止画像を順に合成して合成画像を生成し、合成に用いられた静止画像の数が所定の数に達すると合成画像内に移動物体が存在するか否かを判定する、判定処理を実行する判定処理手段と、
を備えることを特徴とする移動物体検出装置。 - 請求項１に記載の移動物体検出装置において、
前記判定処理手段は、前記画像取得手段から静止画像を受け取り、前記画像取得手段から受け取った静止画像と予め記憶しておいた背景画像との間の輝度値の差の絶対値を画素毎に算出して差分画像を生成し、その差分画像を用いて画素毎に最も高い前記絶対値が保持されるように順に合成して合成画像を生成し、合成に用いられた差分画像の数が所定の数に達すると合成画像内に移動物体が存在するか否かを判定する、判定処理を実行することを特徴とする移動物体検出装置。 - 請求項１又は請求項２に記載の移動物体検出装置において、
前記判定処理手段は、前記判定処理を繰り返し実行することを特徴とする移動物体検出装置。 - 請求項１〜請求項３の何れかに記載の移動物体検出装置において、
更に、予め記憶しておいた背景画像と前記画像取得手段から受け取った静止画像とを所定の領域について比較し、輝度値が不一致である画素の数が所定量以上あるか否かの予備判定を実行する予備判定処理手段を備え、
前記判定処理手段は、前記予備判定処理手段の予備判定の結果が、輝度値が不一致である画素の数が所定量以上あるという判定結果である間のみ、前記判定処理を実行することを特徴とする移動物体検出装置。 - 請求項１〜請求項４の何れかに記載の移動物体検出装置において、
前記判定処理手段は、前記画像取得手段から静止画像を受け取った際に、規則的に間引いて選択する方法、又は、時間的に連続する静止画像同士に差が見られる場合にのみ選択する方法のいずれかの方法によって前記静止画像を選択し、選択した場合のみ前記判定処理を続行することを特徴とする移動物体検出装置。 - 請求項１〜請求項５の何れかに記載の移動物体検出装置において、
更に、利用者に移動物体の存在を知らせる報知手段を備え、
前記判定処理手段は、監視範囲に移動物体が存在すると判定すると利用者に移動物体の存在を知らせるように前記報知手段に指令することを特徴とする移動物体検出装置。 - 請求項１〜請求項６の何れかに記載の移動物体検出装置は、車両に搭載されて盗難防止装置に用いられることを特徴とする移動物体検出装置。
- コンピュータを請求項１〜請求項７の何れかに記載の移動物体検出装置の判定処理手段として機能させるプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366934A JP3956843B2 (ja) | 2002-12-18 | 2002-12-18 | 移動物体検出装置及びプログラム |
| US10/662,401 US7433494B2 (en) | 2002-09-19 | 2003-09-16 | Moving body detecting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366934A JP3956843B2 (ja) | 2002-12-18 | 2002-12-18 | 移動物体検出装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004199378A JP2004199378A (ja) | 2004-07-15 |
| JP3956843B2 true JP3956843B2 (ja) | 2007-08-08 |
Family
ID=32763989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002366934A Expired - Fee Related JP3956843B2 (ja) | 2002-09-19 | 2002-12-18 | 移動物体検出装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3956843B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100904846B1 (ko) * | 2007-08-27 | 2009-06-25 | 아주대학교산학협력단 | 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법 |
| JP4415198B2 (ja) | 2007-08-30 | 2010-02-17 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
| JP6218208B2 (ja) * | 2012-10-26 | 2017-10-25 | 国立大学法人愛媛大学 | 細胞の評価方法およびその利用 |
| US9990690B2 (en) * | 2015-09-21 | 2018-06-05 | Qualcomm Incorporated | Efficient display processing with pre-fetching |
-
2002
- 2002-12-18 JP JP2002366934A patent/JP3956843B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004199378A (ja) | 2004-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200284575A1 (en) | Camera having two exposure modes and imaging system using the same | |
| US7489334B1 (en) | Method and system for reducing the cost of sampling a moving image | |
| US20110091079A1 (en) | Facial image recognition system for a driver of a vehicle | |
| JP7228826B2 (ja) | 映像記録装置 | |
| WO2011043030A1 (ja) | 車両用周囲監視装置 | |
| US10132913B2 (en) | Photographing apparatus, photographing method, template creation apparatus, template creation method, and program | |
| JP2013041483A (ja) | 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム | |
| JP5915923B2 (ja) | 画像処理装置及び運転支援システム | |
| JPWO2006087790A1 (ja) | 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム | |
| JP2015088794A (ja) | 車両周辺映像記録システム、ソナー制御装置 | |
| US10970582B2 (en) | Information processing method, information processing device, and recording medium | |
| JP3956843B2 (ja) | 移動物体検出装置及びプログラム | |
| JP7335424B2 (ja) | 管理装置、管理システム、監視システム、推定方法、およびプログラム | |
| US11336870B2 (en) | Smart motion detection device and related determining method | |
| CN111950339A (zh) | 视频处理 | |
| JP2002218309A (ja) | 撮影装置及び同装置のインターバル撮影方法 | |
| JP2012242991A (ja) | 移動体監視装置及び移動体の監視方法 | |
| JP2008128867A (ja) | タイヤ向き特定装置 | |
| JP4612522B2 (ja) | 変化領域計算方法、変化領域計算装置、変化領域計算プログラム | |
| JP2006030972A5 (ja) | ||
| EP3772019A1 (en) | Line-based feature generation for vision-based driver assistance systems and methods | |
| JP4645321B2 (ja) | 画像を用いた移動物体検知装置 | |
| JP4692006B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2021114745A (ja) | 記録制御装置、記録制御方法、およびプログラム | |
| JP2004072478A (ja) | 物体検知方法及び物体検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070430 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |