JP3857129B2 - Moving object detection method and moving object detection apparatus - Google Patents

Moving object detection method and moving object detection apparatus Download PDF

Info

Publication number
JP3857129B2
JP3857129B2 JP2001394755A JP2001394755A JP3857129B2 JP 3857129 B2 JP3857129 B2 JP 3857129B2 JP 2001394755 A JP2001394755 A JP 2001394755A JP 2001394755 A JP2001394755 A JP 2001394755A JP 3857129 B2 JP3857129 B2 JP 3857129B2
Authority
JP
Japan
Prior art keywords
image
moving body
difference
area
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001394755A
Other languages
Japanese (ja)
Other versions
JP2003196786A (en
Inventor
剛 熊澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sekisui Jushi Corp
Tietech Co Ltd
Original Assignee
Sekisui Jushi Corp
Tietech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sekisui Jushi Corp, Tietech Co Ltd filed Critical Sekisui Jushi Corp
Priority to JP2001394755A priority Critical patent/JP3857129B2/en
Publication of JP2003196786A publication Critical patent/JP2003196786A/en
Application granted granted Critical
Publication of JP3857129B2 publication Critical patent/JP3857129B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体の検出方法及び移動体検出装置に関する。
【０００２】
【従来の技術】
交通事故の抑制等を目的として、道路上を走行する移動体（車両等）の挙動を検出する技術が求められている。
例えば、特開平１０−１０５６８９号公報には、予め設定された検出領域を撮影し、背景画像（移動体（車両等）が存在しない時の道路の画像）と現在画像（現在、撮影した画像）との差分から移動体（車両等）を検出する移動体挙動検知装置が提案されている。
【０００３】
【発明が解決しようとする課題】
従来の移動体の検出方法では、背景画像と現在画像との差分から背景を除去して移動体のみを抽出している。
しかし、従来の移動体の検出方法では、夜間等の光量が少ない場合、夜間の背景画像と移動体画像との色彩あるいは明るさ（輝度）の差が小さくなり、背景と移動体の区別が困難になることで、移動体を精度よく検出できない可能性がある。検出領域を照らす照明を設けることができればよいが、広範囲を照射可能な大型の照明の設置、あるいは通常の照明を広範囲に複数設置することが必要であり、希望する検出領域に照明を設けることは費用及び場所等の制約により、非常に困難である。
本発明は、このような点に鑑みて創案されたものであり、光量が少ない夜間等であっても精度良く移動体（車両等）を検出できる移動体検出方法及び移動体検出装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明の移動体検出方法では、背景画像を用いることなく、移動体（車両等）が発光するライト及び当該ライト等に照射された領域を検出し、間接的に移動体を判定することで、光量が少ない夜間等であっても精度良く移動体（車両等）を検出できる。また、所定輝度以上の領域のかたまり（例えば、途切れることなく隣り合う領域が連続して所定輝度以上の部分）の面積が所定値以上である部分を移動体であると判定することで、細かなノイズ成分を除去することができる。
【０００５】
また、本発明の移動体検出方法では、背景画像を用いることなく、撮影画像［ｉ］から所定輝度以上の領域を抽出して撮影２値化画像［ｉ］を求め、求めた撮影２値化画像［ｉ］と撮影画像［ｉ］とに基づいて、移動体画像［ｉ］を求める。このため、移動体（車両等）が発光するライト及び当該ライト等に照射された領域を検出し、光量が少ない夜間等であっても、容易に、精度良く移動体（車両等）を検出できる。
【０００６】
上記課題を解決するための本発明の第１発明は、請求項１に記載されたとおりの移動体検出方法である。
請求項１に記載の移動体検出方法では、背景画像を用いることなく、撮影画像［ｉ−ｎ］と撮影画像［ｉ］と撮影画像［ｉ＋ｎ］を用い、移動体（車両等）が発光するライト及び当該ライト等に照射された領域を検出し、移動体を検出することで、光量が少ない夜間等であっても精度良く移動体（車両等）を検出できる。また、時間的に非常に接近した３つの撮影画像を用いることで、色彩あるいは明るさ（輝度）の変化に対してほとんど影響を受けることなく、背景を除去することができる。また、輝度の変化分が重畳して結果的に変化なしと判定された領域を含む可能性がある差分２値化画像と、所定輝度以上の領域を抽出した撮影２値化画像とに基づいて２値化画像を求めることで、２値化画像における移動体の情報量を増加させ、光量が少ない夜間等であっても、より精度良く移動体（車両等）を検出できる。
また、ｎは１以上の整数であり、例えば、検出した移動体（車両等）の挙動に応じて警報等を発生させる場合、警報等を発生させるために必要なサンプリング間隔（第１の所定時間間隔）を維持すると同時に、移動体の検出に最適なサンプリング間隔（ｎ＝２の場合は第１の所定時間間隔の２倍、ｎ＝３の場合は第１の所定時間間隔の３倍等）を設定することができる。
【０００７】
また、本発明の第２発明は、請求項２に記載されたとおりの移動体検出方法である。
請求項２に記載の移動体検出方法では、撮影画像の領域の輝度分布に基づいて閾値を適切に変更することで、効果的にノイズ成分を除去することができ、２つの撮影画像の差分に基づく差分２値化画像を容易に且つ適切に求めることができる。
【０００８】
また、本発明の第３発明は、請求項３に記載されたとおりの移動体検出方法である。
請求項３に記載の移動体検出方法では、例えば、移動体までの距離が遠い場合、あるいは移動体の速度が遅い場合等では、ｎの値を大きくして移動体を検出するサンプリング間隔を長くする。また、移動体までの距離が近い場合、あるいは移動体の速度が速い場合等では、ｎの値を小さくして、移動体を検出するサンプリング間隔を短くする。あるいは、移動体の位置と速度に応じてｎの値を適切な値に設定する。このように、状況に応じて移動体の検出に最適なサンプリング間隔を設定することができる。
【０００９】
また、本発明の移動体検出方法では、移動体を検出した場合は第１の所定時間間隔を短くし、移動体を検出しなかった場合は第１の所定時間間隔を長くすることで、不要な作動を抑制し、電源等の寿命を延長させることができる。
【００１０】
また、本発明の移動体検出装置を用いれば、光量が少ない夜間等であっても精度良く移動体（車両等）を検出できる移動体検出装置を実現できる。
【００１１】
また、本発明の移動体検出装置を用いれば、少なくとも２つの移動体画像に基づいて、検出した移動体の位置と移動方向を求め、所定地点（交差点等）に移動体（車両等）が接近している場合、警報を発生させることで、警報装置の近傍の人々に注意を促すことができる。
【００１２】
また、本発明の移動体検出装置を用いれば、適切な電源を用いて、移動体検出装置を動作させることができる。また、太陽電池を用いた場合は、移動体検出装置を動作させるためのエネルギーコストを低減させることができる。
【００１３】
また、本発明の車両接近警報装置を用いれば、検出した移動体の大きさに基づいて移動体が車両であるか否かを判定し、少なくとも２つの移動体画像に基づいて、判定した車両の位置と移動方向を求め、当該車両が所定地点（交差点等）に接近している場合、警報装置から警報を発生させることで、交通事故等を抑制させることが期待できる。
【００１４】
また、本発明の車両接近警報装置を用いれば、適切な電源を用いて、車両接近警報装置を動作させることができる。また、太陽電池を用いた場合は、車両接近警報装置を動作させるためのエネルギーコストを低減させることができる。
【００１５】
【発明の実施の形態】
以下に本発明の実施の形態を図面を用いて説明する。図１は、本発明の移動体検出方法を適用した移動体検出装置の一実施の形態の概略構成図を示している。
図１は、移動体Ｃが、見通しの悪い路地βから幹線道路αを横断しようとしている（直進しようとしている）例を示している。この例では、移動体Ｃの左側には障害物γがあり、移動体Ｃからの視界では、左側の幹線道路αが見えない状況にある。
通常の場合は、移動体Ｃの運転者は、徐行して交差点に近づき、（幹線道路αの）左右の交通状況を確認する。そして、幹線道路αを走行して交差点に向かって来る移動体（車両等）が存在しないことを確認した後に、幹線道路αを横断する。しかし、夕暮れ時等、薄暗い場合では、移動体Ｃの運転者が、幹線道路αを走行して交差点に向かって来る移動体Ａの存在を見落とし、交通事故につながる可能性がある。
【００１６】
撮影装置１は、第１の所定時間間隔で、（図１中の移動体Ａを含む）検出領域の画像を撮影する。
処理装置２は、第１の所定時間間隔で、撮影された画像を記憶装置３に記憶するとともに、記憶装置３に記憶されている撮影画像をプログラムに従って処理して移動体を検出する。そして、処理装置２は、幹線道路αを走行して交差点に向かって来る移動体Ａを検出すると、警報装置４に警報動作信号を送る。
警報装置４は、処理装置２から警報動作信号を受け取ると、音声あるいは光等（警報の方法は、種々の方法が可能である）で警報を発生する。移動体Ｃの運転者は、警報装置４から警報が発生していることにより、交差点に他の移動体（この場合は、移動体Ａ）が進入してくることを判別することができる。これにより、安全に幹線道路αを横断することができる。
なお、撮影装置１、処理装置２、記憶装置３、警報装置４は、各々個別の装置であってもよいし、いくつかをまとめた装置（図１の例では、処理装置２と記憶装置３をまとめている）であってもよい。また、処理装置２と警報装置４は、無線回線で接続してもよいし、有線回線で接続してもよい。また、設置場所も、種々変更が可能である。
また、各装置の駆動用電源としては、交流電源を用いてもよいし、太陽電池を用いてもよいし、交流電源あるいは太陽電池の双方を具備し、必要に応じて切り替えて用いてもよい。電源には、種々の電源を用いることができる。なお、太陽電池を備える場合は、例えば、電池パネルを撮影装置１の上部等に設ける。
【００１７】
◆［移動体の検出原理（光量が多い日中等（デイモード）の場合）］
次に、図２を用いて、光量が多い日中等（デイモード）の場合における移動体検出方法の検出原理を説明する。
本実施例で用いている画像は、全て、明るさ（輝度）をデジタル量（例えば、０〜２５５の数字で表され、「０」が最も暗く、「２５５」が最も明るい値）に変換した個々の画素が、整然と配列（例えば、縦方向：４８０画素、横方向：６４０画素）されて構成された、デジタル画像である。また、各図面において、各画像間を結ぶ矢印は、処理の流れを明確にするために、適宜、実線、点線、１点鎖線、２点鎖線等を用いている。
まず、撮影装置１にて、第１の所定時間間隔（例えば、１／８秒間隔）で検出領域を撮影し、処理装置２は撮影画像を記憶装置３に記憶する。図２の例では、時間［ｉ−１］、［ｉ］、［ｉ＋１］で、撮影画像［ｉ−１］、撮影画像［ｉ］、撮影画像［ｉ＋１］を得るとともに記憶装置３に記憶している。
時間［ｉ］の時点では、処理装置２は、撮影画像［ｉ］を得て記憶装置３に記憶し、更に、撮影画像［ｉ−１］と撮影画像［ｉ］との差分に基づいて２値化した差分２値化画像［ｉ−１、ｉ］を求め、記憶装置３に記憶する。この例では、差分２値化画像は、移動体が黒色で示され、移動体を除いた背景が白色で示されている（黒色と白色の２値で表現されている）。時間［ｉ−１］と時間［ｉ］が非常に近接した時間なので、天候等の変化による背景の明るさ等の変化がほとんどなく、適切に背景を除去することが可能である。
また、第１の所定時間間隔が短い場合、あるいは移動体の速度が遅い場合は、差分２値化画像において、移動体が重畳し、明るさ（輝度）の差が小さい部分は、差分を求めた場合に除去される。このため、図２において、重畳した部分の一部は除去され、背景と同様に白色になっている（以下、この状態を中抜け状態という）。なお、差分２値化画像の求め方の詳細については後述する。
【００１８】
時間［ｉ＋１］の時点では、処理装置２は、撮影画像［ｉ＋１］を得て記憶装置３に記憶し、撮影画像［ｉ］と撮影画像［ｉ＋１］との差分に基づいて２値化した差分２値化画像［ｉ、ｉ＋１］を求め、記憶装置３に記憶する。そして、差分２値化画像［ｉ−１、ｉ］と差分２値化画像［ｉ、ｉ＋１］との論理積から、マスク画像［ｉ］を求める。ここで、マスク画像は、２値で表現されており、時間［ｉ＋１］で得られるマスク画像は、時間［ｉ＋１］に対応するマスク画像でなく、時間［ｉ］に対応するマスク画像［ｉ］である。なお、マスク画像の求め方の詳細については後述する。
続いて、求めたマスク画像［ｉ］と、時間［ｉ］に対応する撮影画像［ｉ］とに基づいて、移動体画像［ｉ］を得る。撮影画像［ｉ］からマスク画像［ｉ］の黒色部分のみを抽出したものが移動体画像［ｉ］である。移動体画像は、撮影画像から移動体以外の背景が除去され、移動体のみが存在している。なお、移動体画像の求め方の詳細については後述する。
この例では、時間［ｉ］に撮影した撮影画像［ｉ］に対応する移動体画像［ｉ］は、時間［ｉ］でなく、時間［ｉ＋１］に抽出されるが、時間［ｉ］と時間［ｉ＋１］の間隔が短い（本実施例では、１／８秒）ので、移動体の検出及び警報の発生等に、ほとんど影響しない。
【００１９】
◆［第１の実施の形態（撮影画像の差分を用いて移動体を検出）］
第１の実施の形態では、「デイモード」の場合と同様に撮影画像の差分を用いて移動体画像を求める。ただし、「デイモード」と異なる方法で移動体画像を求めるので、以下に、その詳細を説明する。
【００２０】
◆［移動体の検出原理（光量が少ない夜間等（ナイトモード）の場合）］
図３を用いて、本発明の、光量が少ない夜間等（ナイトモード）の場合における移動体検出方法の検出原理を説明する。以下、図２との相違点について説明する。
時間［ｉ−１］の時点では、処理装置２は、撮影画像［ｉ−１］を得て記憶装置３に記憶する。更に、撮影画像［ｉ−１］の各領域（各画素）を所定輝度以上（例えば、輝度「２２０」以上）の領域と、所定輝度未満の２種類の領域に分類して２値化した（所定輝度以上の領域を黒色に、所定輝度未満の領域を白色の２値で表現した）撮影２値化画像［ｉ−１］を求める。この場合、移動体Ａのライト及び当該ライトで照射された領域と、移動体Ｂのライトに照射された領域と、街灯及び当該街灯近傍の領域が、所定輝度以上の領域として抽出されている。
【００２１】
時間［ｉ］の時点では、時間［ｉ−１］の時点と同様に、撮影２値化画像［ｉ］を求め、図２と同様に、差分２値化画像［ｉ−１、ｉ］を求める。差分２値化画像［ｉ−１、ｉ］は、図２と同様に、中抜け状態である。また、光量が少ない夜間では、背景と移動体自体の輝度の差が小さいので、移動体自体もほぼ除去される可能性が高い。しかし、ライト及び当該ライトで照射された領域（高輝度の領域）が差分として現れる。
また、図２と異なり、ライトで照射された領域は、移動体自体の領域に比較して、輝度の均一性が高い（輝度の値の差が小さい）ので、広範囲に渡って中抜け状態になる可能性が高い。そこで、差分２値化画像［ｉ−１、ｉ］に、撮影２値化画像［ｉ−１］と撮影２値化画像［ｉ］を論理和等を用いて加え、２値化画像［ｉ−１、ｉ］を求める。
【００２２】
時間［ｉ＋１］の時点では、時間［ｉ］の時点と同様に、撮影２値化画像［ｉ＋１］を求め、図２と同様に、差分２値化画像［ｉ、ｉ＋１］を求め、２値化画像［ｉ、ｉ＋１］を求める。
そして、２値化画像［ｉ−１、ｉ］と２値化画像［ｉ、ｉ＋１］との論理積から、マスク画像［ｉ］を求める。図２と同様に差分２値化画像［ｉ−１、ｉ］と差分２値化画像［ｉ、ｉ＋１］との論理積を求めた場合は、中抜け状態の部分が大きいことにより、図３中の論理積画像［ｉ］に示すように、僅かな情報しか残らず、移動体の検出に用いることが困難である。しかし、撮影２値化画像との論理和を求めて情報量を増加させることで、移動体を精度よく検出することができる程度の情報量を持つマスク画像［ｉ］を得ることができる。
【００２３】
続いて、求めたマスク画像［ｉ］と、時間［ｉ］に対応する撮影画像［ｉ］とに基づいて、移動体画像［ｉ］を得る。撮影画像［ｉ］からマスク画像［ｉ］の黒色部分のみを抽出したものが移動体画像［ｉ］である。移動体画像は、撮影画像から移動体以外の背景が除去され、移動体のみが存在している。ただし、この場合は、移動体（車両等）自身でなく、移動体（車両等）が発光するライト等に照射された領域と、移動していないが所定輝度以上である街灯が検出されている（以降、これらを高輝度体と記載する）。街灯等の移動体でないノイズ成分の除去方法については後述する。
なお、光量が多い日中等（デイモード）と、光量が少ない夜間等（ナイトモード）の判定は、例えば、撮影画像の輝度分布が図１１（Ａ）に近似している場合に日中（デイモード）と判定し、撮影画像の輝度分布が図１１（Ｂ）に近似している場合に夜間（ナイトモード）と判定する。この場合、近似の方法は、種々の方法が可能である。
また、以下の実施の形態は、本発明であるナイトモード（光量が少ない夜間等の場合）における移動体検出方法について説明する。
【００２４】
◆［移動体の検出原理（ナイトモードにおける連続撮影及び連続処理）］
図４は、上記で説明した図３の処理を、第１の所定時間間隔で、連続的に実行していく様子を示している。なお、図４では、撮影２値化画像と差分２値化画像を省略して記載しているが、図３と同様にして２値化画像を求めている。
例えば、時間［ｉ］の時点では、撮影画像［ｉ］を得て記憶し、撮影画像［ｉ−１］と撮影画像［ｉ］との差分に基づいて２値化した差分２値化画像［ｉ−１、ｉ］を求めて記憶し、撮影画像［ｉ］の所定輝度以上の領域を抽出した撮影２値化画像［ｉ］を求めて記憶する。そして、差分２値化画像［ｉ−１、ｉ］に、撮影２値化画像［ｉ−１］と撮影２値化画像［ｉ］を論理和等を用いて加え、２値化画像［ｉ−１、ｉ］を求めて記憶する。そして、２値化画像［ｉ−２、ｉ−１］と２値化画像［ｉ−１、ｉ］との論理積からマスク画像［ｉ−１］を求め、撮影画像［ｉ−１］からマスク画像［ｉ−１］の黒色部分を抽出して移動体画像［ｉ−１］を得ることができる。
同様にして、時間［ｉ＋１］では移動体画像［ｉ］を得ることができ、時間［ｉ＋２］では移動体画像［ｉ＋１］を得ることができる。
そして、第１の所定時間間隔毎の移動体画像［ｉ−１］、移動体画像［ｉ］、移動体画像［ｉ−１］に基づいて、移動体（高輝度体）の移動方向及び移動速度、あるいは移動体（高輝度体）までの距離等を求めることができる。移動体（高輝度体）までの距離は、各移動体画像における移動体（高輝度体）の位置で推定することが可能である（本実施例では、移動体（高輝度体）は地上を移動するため）。なお、移動体（高輝度体）の移動方向、移動速度、位置等の求め方は後述する。
【００２５】
◆［差分２値化画像の求め方］
次に、図５を用いて、２つの撮影画像の差分から差分２値化画像を求める方法について説明する。図５は、説明のために、撮影画像を８×８のブロック（Ｘ、Ｙ）に分割している。また、この例では、各ブロック（Ｘ、Ｙ）は、４×４の合計１６個の画素が整然と配列されて構成されており、各画素には明るさ（輝度）に基づく測定値が入っている。
例えば、各画素は明るさ（輝度）を測定する。図５に示すように、撮影画像［ｉ−１］のブロック（６、５）及びブロック（６、６）と、撮影画像［ｉ］のブロック（６、５）及びブロック（６、６）の各画素の値は、各画素で検出された明るさ（輝度）の量である（点線で示す部分は、移動体（この場合、ライト等に照射された領域）の外形部分を参考として示している）。また、各ブロック中に色彩を変更している部分は、参考として輝度の違いを示している。
【００２６】
ここで、撮影画像［ｉ−１］と撮影画像［ｉ］との差分を求めるには、撮影画像［ｉ］の各画素のデジタル量から、撮影画像［ｉ−１］の対応する画素のデジタル量を減算する。そして、求めた差分の絶対値を演算する。
例えば、撮影画像［ｉ］のブロック（６、６）の右上の画素のデジタル量（５０）から、撮影画像［ｉ−１］のブロック（６、６）の右上のデジタル量（１２０）を減算する。そして、各画素毎に差分の絶対値を演算（この場合「７０」）して、対応する画素の部分に、演算した値を格納する。
次に、差分の絶対値を２値化する。例えば、差分の絶対値が閾値以上（例えば、「６０」以上）である画素の部分を「１」に設定し、差分の絶対値が閾値未満（例えば、「６０」未満）である画素の部分を「０」に設定する。これにより、２つの撮影画像の差分から「１」と「０」の２値のみを有する差分２値化画像を得ることができる。例えば、「０」の画素の部分を白色に設定し、「１」の画素の部分を黒色に設定すると、図５に示す差分２値化画像［ｉ−１、ｉ］が得られる。
この方法によると、非常に短い時間間隔の２つの撮影画像の差分であるため、移動体以外の背景を精度良く除去することが可能である。
しかし、明るさ（輝度）の差が小さい画素を背景とみなして除去するため、移動体（高輝度体）の明るさ（輝度）がほぼ均一で、且つ移動体（高輝度体）の移動速度が低速、あるいは撮影の間隔（第１の所定時間間隔）が短い場合、撮影画像［ｉ−１］と撮影画像［ｉ］において、同一の移動体（高輝度体）が重畳した部分（図５中の「移動体重畳画素」）では、移動体（高輝度体）が存在しているにもかかわらず、背景として除去されてしまう場合がある。この対処方法については、既に説明したように、差分２値化画像と撮影２値化画像との論理和等を用いて、中抜け状態の部分を補正した２値化画像を求めることで対処できる。
【００２７】
◆［マスク画像の求め方］
次に、２つの２値化画像の論理積からマスク画像を求める方法について説明する。２値化画像は、各画素が「０」あるいは「１」のいずれかである。この各画素毎に、対応する画素との論理積を求める。
例えば、「デイモード」においては、図２に示す差分２値化画像［ｉ−１、ｉ］と差分２値化画像［ｉ、ｉ＋１］との論理積を求めた結果、例えば、「０」の画素の部分を白色に設定し、「１」の画素の部分を黒色に設定すると、図２に示すマスク画像［ｉ］が得られる。
また、例えば、「ナイトモード」においては、図３に示す２値化画像［ｉ−１、ｉ］と２値化画像［ｉ、ｉ＋１］との論理積を求めた結果、例えば、「０」の画素の部分を白色に設定し、「１」の画素の部分を黒色に設定すると、図３に示すマスク画像［ｉ］が得られる。
【００２８】
◆［移動体画像の求め方］
次に、撮影画像とマスク画像から移動体画像を得る方法について説明する。マスク画像は、上記に説明したように、各画素の部分が「０」あるいは「１」のいずれかである。例えば、図２あるいは図３において、マスク画像［ｉ］の画素が「０」の部分（この場合、マスク画像［ｉ］中の白色部分）に対応する撮影画像［ｉ］の画素の部分を「０」にする（この場合、白色にしている）。また、マスク画像［ｉ］の画素が「１」の部分（この場合、マスク画像［ｉ］中の黒色部分）に対応する撮影画像［ｉ］の画素は、そのままのデジタル量を保持させる。このように、移動体画像［ｉ］を得ることができる。
【００２９】
◆［第１の所定時間間隔の設定（１）（移動体が低速時）］
本実施の形態では、移動体が極低速の場合を想定しない。極低速の場合は、移動体（高輝度体）として検出して警報を発生させる必要がないからである。例えば、１５ｋｍ／ｈ以上程度の速度で移動する移動体（高輝度体）を検出することができればよい。
第１の所定時間間隔は、検出領域の道路における車両の速度等に影響されるが、１／４秒以上が好ましい。なお、この値は、検出領域の道路毎に設定を変更してもよい。
【００３０】
◆［第１の所定時間間隔の設定（２）（移動体が高速時）］
図６は、移動体（高輝度体）の移動速度が高速、あるいは撮影の間隔（第１の所定時間間隔）が長い場合であって、移動体（高輝度体）が存在する撮影画像が少ない例を示している。
例えば、図６に示すように、移動体（高輝度体）が撮影画像［ｉ］のみに存在する場合、移動体画像［ｉ−１］及び移動体画像［ｉ＋１］には移動体（高輝度体）が存在せず、移動体画像［ｉ］のみに移動体が存在する。（図６の例では、移動体画像［ｉ−１］、［ｉ＋１］には、移動していない高輝度体（街灯）が含まれているが、実際に移動している高輝度体（車両等）は含まれていない。）この場合、移動体画像［ｉ−１］、［ｉ］、［ｉ＋１］を用いても、移動体（高輝度体）の移動方向及び移動速度を求めることができない。よって、第１の所定時間間隔を、検出すべき移動体（高輝度体）が存在する撮影画像が多くなるように設定する。
第１の所定時間間隔は、検出領域の道路における車両の速度等に影響されるが、１／８秒以下が好ましい。なお、この値は、検出領域の道路毎に設定を変更してもよい。
【００３１】
◆［低速あるいは高速の移動体を検出する時間間隔の最適化］
以上の説明より、各撮影画像の差分を用いて低速の移動体（高輝度体）を精度よく検出するためには第１の所定時間間隔を１／４秒以上に設定することが好ましく、各撮影画像毎に高速の移動体（高輝度体）を精度よく検出するためには第１の所定時間間隔を１／８秒以下に設定することが好ましい。これを解決する方法を、図７を用いて説明する。
例えば、図７に示すように、各撮影画像を１／８秒毎に撮影する。ただし、２値化画像を１回過去の撮影画像でなく、ｎ回（ｎは、２以上の整数）過去の撮影画像から求める。同様に、マスク画像及び移動体画像も、ｎ回過去の画像から求める。
図７は、「ｎ＝２」に設定した場合の例（撮影画像は１／８秒毎に撮影した例）を示している。
例えば、時間［ｉ＋１］の時点では、撮影画像［ｉ＋１］を得て記憶し、（２回過去の）撮影画像［ｉ−１］と、（今回撮影した）撮影画像［ｉ＋１］との差分に基づいて２値化した差分２値化画像［ｉ−１、ｉ＋１］を求めて記憶し、更に、差分２値化画像［ｉ−１、ｉ＋１］と撮影２値化画像［ｉ−１］と撮影２値化画像［ｉ＋１］との論理和を求め、２値化画像［ｉ−１、ｉ＋１］を求めて記憶する。次に、求めた２値化画像［ｉ−１、ｉ＋１］と、２回過去の２値化画像［ｉ−３、ｉ−１］との論理積から、マスク画像［ｉ−１］を求める。そして、求めたマスク画像［ｉ−１］と撮影画像［ｉ−１］から、移動体画像［ｉ−１］を得ることができる。つまり、この場合、１／４秒毎の撮影画像の差分に基づいて移動体画像を求めていることになる。
この場合、時間［ｉ−１］に撮影した撮影画像［ｉ−１］に対応する移動体画像［ｉ−１］は、時間［ｉ−１］でなく、時間［ｉ＋１］に抽出されるが、時間［ｉ−１］と時間［ｉ＋１］の間隔が短い（この場合、１／４秒）ので、警報の発生等に、ほとんど影響を及ぼさない。
【００３２】
また、時間［ｉ＋２］の時点では、撮影画像［ｉ＋２］を得て記憶し、（２回過去の）撮影画像［ｉ］と、（今回撮影した）撮影画像［ｉ＋２］との差分に基づいて２値化した差分２値化画像［ｉ、ｉ＋２］を求めて記憶し、更に、差分２値化画像［ｉ、ｉ＋２］と撮影２値化画像［ｉ］と撮影２値化画像［ｉ＋２］との論理和を求め、２値化画像［ｉ、ｉ＋２］を求めて記憶する。次に、求めた２値化画像［ｉ、ｉ＋２］と、２回過去の２値化画像［ｉ−２、ｉ］との論理積から、マスク画像［ｉ］を求める。そして、求めたマスク画像［ｉ］と撮影画像［ｉ］から、移動体画像［ｉ］を得ることができる。
移動体画像を求める処理を撮影毎に実行するので、時間［ｉ＋１］と時間［ｉ＋２］の時間間隔は１／８秒である。このため、移動体画像［ｉ−１］、［ｉ］、［ｉ＋１］は、１／８秒毎の撮影画像中に存在する移動体を示している。
【００３３】
つまり、第１の所定時間間隔で撮影して撮影画像を得るとともに記憶し、時点［ｉ］における撮影画像［ｉ］と、撮影画像［ｉ］に対してｎ回過去の撮影画像［ｉ−ｎ］（ｎは、１以上の整数）と、撮影画像［ｉ］に対してｎ回未来の撮影画像［ｉ＋ｎ］とを用い、撮影画像［ｉ−ｎ］と撮影画像［ｉ］との差分に基づいて２値化した差分２値化画像［ｉ−ｎ、ｉ］と、撮影画像［ｉ］と撮影画像［ｉ＋ｎ］との差分に基づいて２値化した差分２値化画像［ｉ、ｉ＋ｎ］とを求め、撮影画像［ｉ−ｎ］、撮影画像［ｉ］及び撮影画像［ｉ＋ｎ］の各々に対して各領域を、所定輝度以上の領域と所定輝度未満の領域の２種類の領域に分類した撮影２値化画像［ｉ−ｎ］、撮影２値化画像［ｉ］及び撮影２値化画像［ｉ＋ｎ］を求め、求めた差分２値化画像［ｉ−ｎ、ｉ］と撮影２値化画像［ｉ−ｎ］と撮影２値化画像［ｉ］とに基づいた２値化画像［ｉ−ｎ、ｉ］と、求めた差分２値化画像［ｉ、ｉ＋ｎ］と撮影２値化画像［ｉ］と撮影２値化画像［ｉ＋ｎ］とに基づいた２値化画像［ｉ、ｉ＋ｎ］とを求め、求めた２値化画像［ｉ−ｎ、ｉ］と２値化画像［ｉ、ｉ＋ｎ］とに基づいて、時点［ｉ］に対応するマスク画像［ｉ］を求め、求めたマスク画像［ｉ］と撮影画像［ｉ］とに基づいて、時点［ｉ］に対応する移動体画像［ｉ］を求め、求めた移動体画像［ｉ］の情報に基づいて、移動体を検出する。
この例では、第１の所定時間間隔が１／８秒であり、ｎ＝２であるので、１／４秒毎の差分に基づいて、１／８秒毎に移動体を抽出する。これにより、低速及び高速の移動体を精度よく検出することができる。
【００３４】
◆［移動体の移動方向及び移動速度の求め方］
次に、図８を用いて、求めた移動体画像に基づいて移動体（高輝度体）の移動方向及び移動速度を求める方法について説明する。
例えば、図８に示すように、求めた移動体画像を８×８のブロック（Ｘ、Ｙ）に分割する。また、この例では、各ブロック（Ｘ、Ｙ）は、４×４の合計１６個の画素が整然と配列されて構成されており、各画素には明るさ（輝度）に基づく測定値が入っている。このブロック間のマッチングを用いて、移動体（高輝度体）が存在する各ブロック（Ｘ［ｉ］、Ｙ［ｉ］）の移動先ブロック（Ｘ［ｉ＋１］、Ｙ［ｉ＋１］）を検出し、当該ブロックの移動方向と移動距離（動きベクトル）を求める。なお、移動速度は、所定時間における移動距離から求めることができる。
【００３５】
図８を用いて、移動体画像［ｉ−１］と移動体画像［ｉ］から、動きベクトル平面［ｉ−１、ｉ］（時間［ｉ−１］から時間［ｉ］における、移動体（高輝度体）の動きベクトル）を求める方法を説明する。
例えば、移動体画像［ｉ−１］のブロック（６、５）内の各画素に入っているデジタル量が、図８に示す値とする。また、移動体画像［ｉ］のブロック（７、５）内の各画素に入っているデジタル量が、図８に示す値とする。（点線で示す部分は移動体（高輝度体）の外形を参考として示し、ブロック中の色彩を変更している部分は移動体（高輝度体）の一部であることを参考として示している。）この場合、移動体画像［ｉ−１］のブロック（６、５）と、移動体画像［ｉ］のブロック（７、５）がマッチしたと判定し、動きベクトル平面［ｉ−１、ｉ］上において、ブロック（６、５）からブロック（７、５）へ向かうベクトルが得られる。同様に、各ブロックにおける「（ブロック）動きベクトル」を求め、類似方向及び類似距離の「（ブロック）動きベクトル」を平均化して、「（移動体）動きベクトル」を求める。そして、「（移動体）動きベクトル」より、移動体（高輝度体）の移動方向及び移動距離を求めることができる。また、所定時間における移動距離から、移動体（高輝度体）の移動速度を求めることができる。
なお、ブロック間のマッチングを求める方法としては、従来技術の、（１）ブロック内画素の差分階調値の絶対値の和、（２）ブロック内画素の平均階調値の差の絶対値、（３）ブロック内画素の階調値の標準偏差の差の絶対値、（４）ブロック内画素の階調値の相互相関係数、（５）ブロック内画素の階調値のフーリエ係数による一致度、等種々の方法がある。本実施の形態では、（１）ブロック内画素の差分階調値の絶対値の和を用いたが、他の方法を用いてもよい。
【００３６】
◆［撮影タイミング（第１の所定時間間隔）、ｎ値（ｎ回過去及びｎ回未来の画像との差分を求める場合の「ｎ（ｎは、１以上の整数）」の値）の変更］
以上の説明では、第１の所定時間間隔を「１／８秒」に固定し、ｎを「２」に固定した例で説明したが、状況に応じて変更することも可能である。
［第１の所定時間間隔の変更］
例えば、移動体画像を求めた際に、移動体画像中に移動体（高輝度体）が存在しなかった場合、第１の所定時間間隔を長くしてもよい（例えば、１秒）。また、移動体画像中の移動体（高輝度体）の位置に基づいた移動体（高輝度体）までの距離が大きい（移動体が遠い）場合は、第１の所定時間間隔を長くしてもよい。また、所定時間における移動距離から求めた移動体（高輝度体）の移動速度が小さい場合は、第１の所定時間間隔を長くしてもよい。また、逆の場合は、第１の所定時間間隔を短くしてもよい。これにより、移動体（高輝度体）の検出に最適なサンプリング間隔を設定することができる。なお、第１の所定時間間隔を変更した場合は、第１の所定時間間隔の変更に伴い、移動速度の演算も変更する。
【００３７】
［ｎ値の変更］
また、例えば、移動体画像を求めた際に、移動体画像中の移動体（高輝度体）の位置に基づいた移動体（高輝度体）までの距離が大きい（移動体が遠い）場合は、ｎ値を大きくしてもよい（例えば、ｎ＝８）。あるいは、所定時間における移動距離から求めた移動体（高輝度体）の移動速度が小さい場合は、ｎ値を大きくしてもよい。また、逆の場合は、ｎ値を小さくしてもよい。あるいは、移動体（高輝度体）の位置と速度に応じてｎの値を適切に設定するようにしてもよい。これにより、移動体（高輝度体）の検出に最適なサンプリング間隔を設定することができる。なお、ｎ値を変更した場合は、ｎ値の変更に伴い、移動速度の演算も変更する。
【００３８】
◆［移動していない高輝度体（固定高輝度体）の除去］
次に、図９を用いて、街灯等、移動していないが移動体（高輝度体）として検出されてしまう物体（本説明では、固定高輝度体と記載する）の除去方法について説明する。なお、図９は、固定高輝度体の除去方法を判り易く説明するために、ｎ値を「１」に設定している。
本発明では、所定地点（例えば、図１に示す交差点）に接近する車両等の移動体（高輝度体）を検出し、警報を発生させるので、固定高輝度体は移動体として検出すべきでない。しかし、第１の所定時間間隔で撮影される各撮影画像中で「所定以上の輝度」があるため、移動体画像中に移動体（高輝度体）として抽出される。
例えば、図９に示すように、撮影画像中に固定高輝度体（この例では、街灯）が存在する場合、各撮影画像にて「所定以上の輝度」がある。このため、固定高輝度体は、各２値化画像中、各マスク画像中及び各移動体画像中にも存在する。固定高輝度体が移動体画像中に存在する場合、図８に示す「（ブロック）動きベクトル」により、固定高輝度体が存在するブロックの移動方向と移動距離が検出されることになる。（実際には固定高輝度体は移動していないので、「（ブロック）動きベクトル」なし、と検出されるが、処理装置２の処理負荷が増加するので好ましくない。）
そこで、「（ブロック）動きベクトル」を求める前に、「（ブロック）動きベクトル」を求めるべきブロックか、求めるべきでないブロックか、を区別する。
【００３９】
図９を用いて、「（ブロック）動きベクトル」を求めるべきブロックか、求めるべきでないブロックか、を区別する方法について説明する。
図９は、図８と同様に、求めた移動体画像を８×８のブロック（Ｘ、Ｙ）に分割する。そして、ブロックに分割された移動体画像から、加算マップを求める。加算マップでは、例えば、移動体（高輝度体）が存在するブロックには「＋２」が割り付けられ、移動体（高輝度体）が存在しないブロックには「−１」が割り付けられる。なお、加算マップ中で色彩を施した部分は、移動体（高輝度体）が存在する領域を参考として示している。
例えば、移動体画像［ｉ］から求めた加算マップ［ｉ］では、ブロック（１、２）、（２、１）〜（２、２）、（２、４）〜（２、５）、（３、３）〜（３、６）、（４、３）〜（４、４）、（５、４）〜（５、６）、（６、４）〜（６、６）、（７、４）〜（７、６）に移動体（高輝度体）が存在するので、当該ブロックに「＋２（第１の所定値）」を割り付け、その他のブロック（移動体が存在しないブロック）には「−１（第２の所定値）」を割り付ける。そして、累積マップに、各ブロック毎の累積値（判定値）を記憶する。
なお、累積マップ中で色彩を施した部分は、固定高輝度体と判定された領域を参考として示している。
【００４０】
ここで、「（ブロック）動きベクトル」を求めるべきブロックか、求めるべきでないブロックか、を区別する２つの方法について説明する。
［第１の方法］
第１の方法は、移動体画像を分割した各ブロックにおいて、各ブロック毎に移動体（高輝度体）が存在している継続時間を求める方法である。第１の方法では、加算マップと累積マップを省略してもよい。ただし、各ブロック毎に、移動体（高輝度体）が存在した継続時間を記憶するための継続時間マップ（図示せず）を必要とする。継続時間が第２の所定時間以上となったブロックを、移動体（高輝度体）の判定から除外する。
図９の例では、ブロック（１、２）とブロック（２、１）とブロック（２、２）の各ブロックに連続して移動体（高輝度体）が存在している。この各ブロックにおいて、第２の所定時間（例えば、５秒）以上、連続して移動体（高輝度体）が存在した場合、ブロック（１、２）とブロック（２、１）とブロック（２、２）を、「（ブロック）動きベクトル」を求めるべきでないブロックと判定する。当該ブロック以外のブロックで、移動体（高輝度体）が存在するブロックが、「（ブロック）動きベクトル」を求めるべきブロックである。
なお、第１の方法では、移動体（高輝度体）が存在しなくなった場合に、移動体（高輝度体）の判定除外から復帰（移動体の判定に戻す）する。
【００４１】
［第２の方法］
第２の方法は、移動体画像を分割した各ブロックにおいて、移動体（高輝度体）が存在した場合に第１の所定値を加算し、移動体が存在しない場合に第２の所定値を減算し、その累積値（判定値）を求める方法である。累積値（判定値）が第３の所定値以上となった場合に、当該ブロックを移動体の判定から除外する。
図９の例では、累積マップに各ブロックの累積値（判定値）が記憶されている。例えば、累積マップ［ｉ−１］の各ブロックの累積値（判定値）に、加算マップ［ｉ］の各ブロックの加算値（「＋２」あるいは「−１」）を加算すると、累積マップ［ｉ］が得られる。この累積マップにおいて、累積値（判定値）が第３の所定値（例えば、５０）以上となったブロックを、移動体の判定から除外する。また、移動体の判定除外からの復帰（移動体の判定に戻す）は、図９中の「ブロック毎グラフ」に示すように、ヒステリシスを設ける（この例では、５０以上で判定から除外（固定高輝度体と判定）し、３０以下で判定に戻すことを示している）ことが好ましい。
【００４２】
また、累積マップ中の累積値（判定値）は、適切な上下限値（例えば、上限値：１００、下限値：０）を設定することが好ましい。（図９は、下限：０を設定した例である。）
第２の方法を用いて、第１の所定値、第２の所定値、第３の所定値を適切に設定することで、点滅している固定高輝度体、及び振動している（風等で揺れている）固定高輝度体も移動体の判定から適切に除外することができる。
移動体の判定から除外されたブロックは、「（ブロック）動きベクトル」を求めるべきでないブロックと判定される。また、当該ブロック以外のブロックで、移動体が存在するブロックが、「（ブロック）動きベクトル」を求めるべきブロックである。
なお、第１の方法及び第２の方法ともに、第１〜第３の所定値を、状況に応じて変更することも可能である。例えば、固定高輝度体が存在する領域が多い場合（夕方あるいは雨天時等、乱反射が多い場合）は、第１の所定値を小さくしたり、第３の所定値を大きくして、固定高輝度体の判定領域を少なくするようにすることもできる。
【００４３】
◆［その他のノイズ成分の除去］
次に、図１０を用いて、その他のノイズ成分（所定輝度以上の領域の境界近傍または夕方、雨天時における乱反射等）の除去方法について説明する。
図１０は、夕方から徐々に暗くなり（時間［ｉ−２］）、夜間（時間［ｉ−１］及び［ｉ］）を経て、徐々に明るくなり（時間［ｉ＋１］）、朝を迎えた（時間［ｉ＋２］）様子を示している。よって、図１０においては、時間［ｉ−２］の時点では「デイモード」であり、時間［ｉ−１］及び時間［ｉ］の時点では「ナイトモード」であり、時間［ｉ＋１］及び時間［ｉ＋２］の時点では「デイモード」である。「デーモード」と「ナイトモード」の切替わりの判定方法は、例えば、撮影画像の輝度分布が図１１（Ａ）に近似している場合に日中（デイモード）と判定し、撮影画像の輝度分布が図１１（Ｂ）に近似している場合に夜間（ナイトモード）と判定する。
【００４４】
なお、図１０は、その他のノイズ成分の除去方法を判り易く説明するために、ｎ値を「１」に設定している。上記の固定高輝度体の除去と同様、その他のノイズ成分も移動体（高輝度体）として検出すべきでない。しかし、第１の所定時間間隔で撮影される各撮影画像中で「所定値以上の輝度」があるため、移動体画像中に移動体（高輝度体）として抽出される。
例えば、図１０に示すように、撮影画像中にその他のノイズ成分（所定輝度以上の領域の境界近傍または夕方、雨天時における乱反射等）が存在する場合、その他のノイズ成分は、撮影２値化画像（図示せず）、差分２値化画像（一部を図示せず）、２値化画像、マスク画像及び移動体画像にも存在する。
【００４５】
例えば、時間［ｉ−１］の時点は、「デイモード」から「ナイトモード」に切替わったところである。
この時点では、時間［ｉ−２］が「デイモード」であるため、図２に示すように、撮影２値化画像［ｉ−２］及び２値化画像［ｉ−３、ｉ−２］が存在しない。よって、２値化画像［ｉ−２、ｉ−１］は、例えば、差分２値化画像［ｉ−２、ｉ−１］と撮影２値化画像［ｉ−１］との論理和から求め、マスク画像［ｉ−２］は、例えば、差分２値化画像［ｉ−３、ｉ−２］と２値化画像［ｉ−２、ｉ−１］との論理積から求める。
また、差分２値化画像［ｉ−２、ｉ−１］を求める場合、２値に判定する閾値は、「デイモード」と「ナイトモード」で切替える。例えば、当該閾値を、「デイモード」では輝度「３０」程度に設定し、「ナイトモード」では輝度「６０」程度に増加させる。「ナイトモード」の方が、明暗の差が大きいため、閾値を上げないと差分２値化画像にノイズが多く発生するためである。
【００４６】
図１０に示す例では、時間［ｉ］、時間［ｉ＋１］、時間［ｉ＋２］の時点において、移動体画像等にノイズが混在している様子を示している。
その他のノイズ成分が移動体画像中に存在する場合、図８に示す「（ブロック）動きベクトル」により、その他のノイズ成分が存在するブロックの移動方向と移動距離が検出されることになる。
そこで、移動体画像を求める前に、その他のノイズ成分を除去する。
【００４７】
ここで、移動体画像を求める前に、その他のノイズ成分を除去する２つの方法について説明する。
［第１の方法］
第１の方法は、移動体画像中において、孤立した微小な移動体（高輝度体）をノイズとみなす方法である。
既に説明したように、本実施例で用いている画像は、全て、明るさ（輝度）を測定する個々の画素が整然と配列されて構成された、デジタル画像である。また、移動体画像［ｉ］は、マスク画像［ｉ］の画素が「０」の部分（この場合、マスク画像［ｉ］中の白色部分）に対応する撮影画像［ｉ］の画素の部分を「０」にして（この場合、白色にして）、移動体画像［ｉ］を得ることができる。
これより、移動体画像中において、孤立した移動体（高輝度体）であることの判定は、画素が「０」の部分で囲まれていることを判定すればよい。また、微小な移動体（高輝度体）であることの判定は、孤立した移動体（高輝度体）を構成する画素の数を計数し、所定の数（例えば、６）以下であることを判定すればよい。
上記の方法により、移動体画像中から、孤立した微小な移動体（その他のノイズ成分）を除去することができる。
【００４８】
［第２の方法］
第２の方法は、差分２値化画像を得る処理において、差分の絶対値から「１」あるいは「０」の２値に判定するための閾値を適切に変更し、差分２値化画像からその他のノイズ成分を除去する方法である。
閾値を、差分２値化画像中の差分の絶対値が閾値以上である領域（画素）の合計面積（「１」の画素の数等）と、２値化画像の全面積（構成する全画素の数等）との比に応じて変更する。
なお、差分２値化画像中の差分の絶対値が閾値以上である領域（画素）の合計面積と、閾値未満である領域（画素）の合計面積との比に応じて閾値を変更してもよい。差分２値化画像中の差分の絶対値が閾値以上である領域（画素）の面積に基づいて閾値を変更する方法は、種々の方法が可能である。
【００４９】
例えば、図１０において、時間［ｉ−１］における差分２値化画像［ｉ−２、ｉ−１］では、閾値が「６０」である。この例では、差分２値化画像［ｉ−２、ｉ−１］にノイズ成分が残ったため、２値化画像［ｉ−２、ｉ−１］にノイズ成分が残っている。例えば、全面積に対して、差分２値化画像中の差分の絶対値が閾値以上である領域（画素）の合計面積の割合が第１の所定割合以上になった場合、閾値を「７０」に増加させ、次回の差分２値化画像を得る処理で用いる。
また、逆に、例えば、全面積に対して、差分２値化画像中の差分の絶対値が閾値以上である領域（画素）の合計面積の割合が第２の所定割合未満（第１の所定割合＞第２の所定割合）になった場合、閾値を「６０」に減少させ、次回の差分２値化画像を得る処理で用いる。
このように、高輝度領域の量に応じて閾値を変更することで、ノイズ量を低減させることが可能である。
【００５０】
◆［第２の実施の形態（差分を用いず、輝度情報のみから移動体を検出）］
次に、図１２を用いて、「ナイトモード」における、第２の実施の形態について説明する。
第２の実施の形態では、検出領域を第１の所定時間間隔で撮影し、撮影画像を得るとともに記憶する。また、撮影画像は複数の領域で構成されており、各領域は当該領域毎の輝度データを有し、撮影画像における所定輝度以上の領域のかたまり（例えば、途切れることなく隣り合う領域が連続して所定輝度以上の部分）の面積が所定値以上である部分を移動体であると検出する。
例えば、時間［ｉ］の時点では、処理装置２は、撮影画像［ｉ］を得て記憶装置３に記憶し、撮影画像［ｉ］において所定輝度以上（例えば、輝度「２２０」以上）の領域を「１（黒色）」に設定し、所定輝度未満の領域を「０（白色）」に設定した撮影２値化画像［ｉ］を求める。そして、撮影画像［ｉ］から、撮影２値化画像［ｉ］の「１（黒色）」部分のみを抽出した移動体画像［ｉ］を求める。そして、孤立した部分で且つ所定面積以上（例えば、画素数「１００」以上）の領域（かたまりの部分）を移動体と判定する。なお、ノイズ成分、固定高輝度体の除去、「動きベクトル」等の処理方法は、同様であるので省略する。このように、第２の実施の形態では、第１の実施の形態と比較して、より容易に移動体画像を得ることができる。
【００５１】
なお、この場合は、時間［ｉ］に撮影した撮影画像［ｉ］に対応する移動体画像［ｉ］は、時間［ｉ］の時点に抽出される。
また、「デイモード」から「ナイトモード」への切替わり時、及び「ナイトモード」から「デイモード」への切替わり時は、差分２値化画像の有無、移動体画像中の移動体（移動体自体の場合と、高輝度体の場合）が異なるので、例えば、切替わり時のみは、動きベクトルの検出等を実行しない。
【００５２】
◆［車両接近警報装置への適用］
以上の移動体検出方法により、「ナイトモード」において、求めた移動体（高輝度体）が、所定の大きさ（面積）以上である場合、当該移動体（高輝度体）を車両であると認識する。そして、少なくとも２つの移動体画像に基づいて、認識した車両の「（移動体）動きベクトル」を求め、「（移動体）動きベクトル」の方向、速度、位置に基づいて、警報装置から警報を発生させる。
例えば、図８中の動きベクトル平面［ｉ−１、ｉ］において、「（移動体）動きベクトル」が、所定地点（例えば、交差点であり、この場合は、動きベクトル平面［ｉ−１、ｉ］の下端）の方向に向かっている（接近している）場合、警報を発生する。あるいは、所定地点（この場合は、動きベクトル平面［ｉ−１、ｉ］の下端）の方向に向かっている（接近している）「（移動体）動きベクトル」の大きさが、所定の大きさより大きい場合（速度が大きい場合）、警報を発生する。あるいは、所定地点（この場合は、動きベクトル平面［ｉ−１、ｉ］の下端）の方向に向かっている（接近している）「（移動体）動きベクトル」の位置が、所定の位置に到達した場合（例えば、ブロック（５、１）〜ブロック（８、８）のいずれかの位置に到達した場合）、警報を発生する。
【００５３】
本発明の移動体検出方法及び移動体検出装置は、本実施の形態で説明した処理あるいは構成に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。例えば、移動体検出装置の構成は、図１に限定されず、種々の構成が可能である。
本発明は、道路上を走行する移動体（車両）の検出に限定されず、種々の移動体の検出に適用することが可能である。
本実施の形態では、輝度情報を用いて説明したが、色彩情報を用いることも可能である。（類似した色彩情報のかたまりを移動体と判別することも可能である。）
また、本実施の形態で説明した「デイモード」と「ナイトモード」の切替え判定方法及び切替え時の処理方法は、本実施の形態の説明に限定されず、種々の方法が可能である。
本実施の形態の説明に用いた数値は一例であり、この数値に限定されるものではない。
本実施の形態で示した各画像、グラフ等は一例であり、これらの画像、グラフ等に限定されるものではない。
また、以上（≧）、以下（≦）、より大きい（＞）、未満（＜）等は、等号を含んでも含まなくてもよい。
【００５４】
【発明の効果】
以上説明したように、請求項１〜３に記載の移動体検出方法あるいは本発明の移動体検出装置あるいは本発明の車両接近警報装置を用いれば、光量が少ない夜間等であっても精度良く移動体（車両等）を検出できる。
【図面の簡単な説明】
【図１】 本発明の移動体検出装置の一実施の形態の概略構成図である。
【図２】 光量が多い日中等（デイモード）の場合における移動体検出方法の検出原理を説明する図である。
【図３】 本発明の、光量が少ない夜間等（ナイトモード）の場合における、移動体検出方法の検出原理を説明する図である。
【図４】 図３の処理を、第１の所定時間間隔で、連続的に実行していく様子を示す図である。
【図５】 ２つの撮影画像の差分から差分２値化画像を求める方法について説明する図である。
【図６】 移動体が存在する撮影画像が少ない例を示す図である。
【図７】 低速の移動体を精度よく検出するとともに、高速の移動体をも精度よく検出する方法を説明する図である。
【図８】 求めた移動体画像に基づいて移動体の移動方向及び移動速度を求める方法について説明する図である。
【図９】 移動していないが移動体（高輝度体）として検出されてしまう物体（固定高輝度体）の除去方法について説明する図である。
【図１０】 その他のノイズ成分の除去方法について説明する図である。
【図１１】 輝度分布の例を示す図である。
【図１２】 本発明の、光量が少ない夜間等（ナイトモード）の場合における、第２の実施の形態を説明する図である。
【符号の説明】
１ 撮影装置
２ 処理装置
３ 記憶装置
４ 警報装置[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a moving body detection method and a moving body detection apparatus.
[0002]
[Prior art]
  For the purpose of suppressing traffic accidents and the like, a technique for detecting the behavior of a moving body (vehicle or the like) traveling on a road is required.
  For example, in Japanese Patent Laid-Open No. 10-105689, a detection area set in advance is photographed, a background image (a road image when no moving object (vehicle or the like) is present) and a current image (currently photographed image). A moving body behavior detection device that detects a moving body (such as a vehicle) from the difference between the two has been proposed.
[0003]
[Problems to be solved by the invention]
  In the conventional moving body detection method, only the moving body is extracted by removing the background from the difference between the background image and the current image.
  However, with the conventional moving object detection method, when the amount of light at night is small, the difference in color or brightness (brightness) between the night background image and the moving object image becomes small, making it difficult to distinguish the background from the moving object. Therefore, there is a possibility that the moving body cannot be detected with high accuracy. It is only necessary to provide illumination to illuminate the detection area, but it is necessary to install large-scale illumination capable of illuminating a wide area, or to install multiple ordinary illuminations over a wide area, and providing illumination in the desired detection area It is very difficult due to constraints such as cost and location.
  The present invention has been devised in view of the above points, and provides a moving body detection method and a moving body detection apparatus that can accurately detect a moving body (such as a vehicle) even at nighttime when the amount of light is small. For the purpose.
[0004]
[Means for Solving the Problems]
Of the present inventionIn the moving object detection method, the amount of light is small by detecting the light emitted from the moving object (vehicle or the like) and the area irradiated to the light without using a background image, and indirectly determining the moving object. A moving body (vehicle or the like) can be accurately detected even at night. In addition, by determining that the area of the block of areas having a predetermined luminance or higher (for example, a portion where the adjacent areas are continuously continuous with a predetermined luminance or higher without interruption) is a predetermined value or more is a moving object, Noise components can be removed.
[0005]
In addition, the present inventionIn the moving object detection method, a region having a predetermined luminance or higher is extracted from the photographed image [i] without using a background image to obtain a photographed binary image [i], and the obtained photographed binary image [i] A moving body image [i] is obtained based on the photographed image [i]. Therefore, it is possible to detect the light emitted from the moving body (vehicle, etc.) and the area irradiated to the light, etc., and to easily detect the moving body (vehicle, etc.) even at nighttime when the amount of light is small. .
[0006]
A first invention of the present invention for solving the above-mentioned problems is a moving body detection method as described in claim 1.
Claim 1In the moving body detection method described in 1), a light that a mobile body (such as a vehicle) emits light using the captured image [in], the captured image [i], and the captured image [i + n] without using a background image, and By detecting a region irradiated with a light or the like and detecting a moving body, it is possible to detect the moving body (vehicle or the like) with high accuracy even at night when the amount of light is small. In addition, by using three captured images that are very close in time, the background can be removed with little influence on changes in color or brightness (luminance). Further, based on a difference binarized image that may include a region that is determined to have no change as a result of overlapping luminance changes, and a captured binarized image obtained by extracting a region having a predetermined luminance or higher. By obtaining the binarized image, the information amount of the moving body in the binarized image is increased, and the moving body (vehicle or the like) can be detected with higher accuracy even at night when the amount of light is small.
  In addition, n is an integer of 1 or more. For example, when an alarm or the like is generated according to the detected behavior of the moving body (vehicle or the like), a sampling interval (first predetermined time) necessary to generate the alarm or the like is generated. The sampling interval that is optimal for detection of the moving object (when n = 2, twice the first predetermined time interval, when n = 3, three times the first predetermined time interval, etc.) Can be set.
[0007]
  In addition, the present inventionThe second invention is claimed in claim 2.It is the moving body detection method as described in the above.
Claim 2In the moving body detection method described in the above, the noise component can be effectively removed by appropriately changing the threshold based on the luminance distribution of the region of the captured image, and the difference 2 based on the difference between the two captured images. A digitized image can be obtained easily and appropriately.
[0008]
  In addition, the present inventionThe third invention is claimed in claim 3.It is the moving body detection method as described in the above.
Claim 3In the moving body detection method described in 1), for example, when the distance to the moving body is long or when the speed of the moving body is low, the value of n is increased to increase the sampling interval for detecting the moving body. In addition, when the distance to the moving body is short, or when the speed of the moving body is high, the value of n is decreased to shorten the sampling interval for detecting the moving body. Alternatively, the value of n is set to an appropriate value according to the position and speed of the moving body. In this way, it is possible to set an optimum sampling interval for detecting a moving object according to the situation.
[0009]
In addition, the present inventionIn the moving object detection method, when the moving object is detected, the first predetermined time interval is shortened, and when the moving object is not detected, the first predetermined time interval is increased to suppress unnecessary operations. The life of the power supply etc. can be extended.
[0010]
In addition, the present inventionIf the moving body detection device is used, it is possible to realize a moving body detection device that can accurately detect a moving body (such as a vehicle) even at night when the amount of light is small.
[0011]
In addition, the present inventionIf the moving body detection device is used, the position and moving direction of the detected moving body are obtained based on at least two moving body images, and when the moving body (vehicle or the like) is approaching a predetermined point (intersection or the like) By generating an alarm, people in the vicinity of the alarm device can be alerted.
[0012]
In addition, the present inventionIf a mobile body detection apparatus is used, a mobile body detection apparatus can be operated using an appropriate power supply. Moreover, when a solar cell is used, the energy cost for operating a mobile body detection apparatus can be reduced.
[0013]
In addition, the present inventionIf the vehicle approach warning device is used, it is determined whether the moving body is a vehicle based on the detected size of the moving body, and the determined position and moving direction of the vehicle are determined based on at least two moving body images. In the case where the vehicle is approaching a predetermined point (intersection, etc.), it can be expected that traffic accidents and the like are suppressed by generating an alarm from the alarm device.
[0014]
In addition, the present inventionIf the vehicle approach warning device is used, the vehicle approach warning device can be operated using an appropriate power source. Moreover, when a solar cell is used, the energy cost for operating a vehicle approach warning apparatus can be reduced.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
  Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a schematic configuration diagram of an embodiment of a moving body detection apparatus to which a moving body detection method of the present invention is applied.
  FIG. 1 shows an example in which the moving object C is going to cross the main road α from the alley β with poor visibility (going straight). In this example, there is an obstacle γ on the left side of the moving body C, and the left main road α cannot be seen in the field of view from the moving body C.
  In a normal case, the driver of the moving body C slowly approaches the intersection and confirms the left and right traffic conditions (on the main road α). Then, after confirming that there is no moving object (such as a vehicle) traveling on the main road α toward the intersection, the main road α is crossed. However, in a dark case such as at dusk, the driver of the moving body C may overlook the presence of the moving body A traveling on the main road α toward the intersection, leading to a traffic accident.
[0016]
  The imaging device 1 captures an image of a detection area (including the moving object A in FIG. 1) at a first predetermined time interval.
  The processing device 2 stores captured images in the storage device 3 at first predetermined time intervals, and processes the captured images stored in the storage device 3 according to a program to detect a moving body. Then, when the processing device 2 detects the moving body A that travels on the main road α and approaches the intersection, the processing device 2 sends an alarm operation signal to the alarm device 4.
  When the alarm device 4 receives the alarm operation signal from the processing device 2, the alarm device 4 generates an alarm by voice or light (various alarm methods are possible). The driver of the moving body C can determine that another moving body (in this case, the moving body A) enters the intersection when the alarm is generated from the alarm device 4. Thereby, it is possible to safely cross the main road α.
  Note that the photographing device 1, the processing device 2, the storage device 3, and the alarm device 4 may be individual devices, or a group of several devices (in the example of FIG. 1, the processing device 2 and the storage device 3). May be summarized). The processing device 2 and the alarm device 4 may be connected by a wireless line or may be connected by a wired line. Also, the installation location can be variously changed.
  Moreover, as a power source for driving each device, an AC power source may be used, a solar cell may be used, an AC power source or a solar cell may be provided, and switched as necessary. . Various power sources can be used as the power source. In addition, when providing a solar cell, a battery panel is provided in the upper part of the imaging device 1, etc., for example.
[0017]
◆ [Principle of moving object detection (in daytime with a large amount of light (day mode))]
  Next, with reference to FIG. 2, the detection principle of the moving object detection method in the daytime or the like when the light amount is large (day mode) will be described.
  All the images used in the present embodiment are converted from brightness (luminance) to a digital amount (for example, a value of 0 to 255, where “0” is the darkest and “255” is the brightest). This is a digital image in which individual pixels are arranged in an orderly manner (for example, vertical direction: 480 pixels, horizontal direction: 640 pixels). Moreover, in each drawing, the solid line, the dotted line, the one-dot chain line, the two-dot chain line, and the like are appropriately used for the arrows connecting the images in order to clarify the processing flow.
  First, the imaging device 1 captures a detection area at a first predetermined time interval (for example, 1/8 second interval), and the processing device 2 stores the captured image in the storage device 3. In the example of FIG. 2, the captured image [i−1], the captured image [i], and the captured image [i + 1] are obtained and stored in the storage device 3 at time [i−1], [i], and [i + 1]. ing.
  At the time [i], the processing device 2 obtains the captured image [i] and stores it in the storage device 3, and further 2 based on the difference between the captured image [i−1] and the captured image [i]. A binarized difference binarized image [i−1, i] is obtained and stored in the storage device 3. In this example, in the difference binarized image, the moving body is shown in black, and the background excluding the moving body is shown in white (represented by binary values of black and white). Since the time [i-1] and the time [i] are very close to each other, there is almost no change in the brightness of the background due to a change in the weather or the like, and the background can be appropriately removed.
  In addition, when the first predetermined time interval is short or the speed of the moving body is low, the difference is obtained from the portion where the moving body is superimposed and the difference in brightness (luminance) is small in the difference binarized image. If it is removed. For this reason, in FIG. 2, a part of the overlapped portion is removed and becomes white like the background (hereinafter, this state is referred to as a hollow state). Details of how to obtain the difference binary image will be described later.
[0018]
  At time [i + 1], the processing device 2 obtains the captured image [i + 1], stores it in the storage device 3, and binarizes the difference based on the difference between the captured image [i] and the captured image [i + 1]. A binarized image [i, i + 1] is obtained and stored in the storage device 3. Then, a mask image [i] is obtained from the logical product of the difference binarized image [i−1, i] and the difference binarized image [i, i + 1]. Here, the mask image is expressed in binary, and the mask image obtained at time [i + 1] is not the mask image corresponding to time [i + 1], but the mask image [i] corresponding to time [i]. It is. Details of how to obtain the mask image will be described later.
  Subsequently, a moving body image [i] is obtained based on the obtained mask image [i] and the photographed image [i] corresponding to the time [i]. The moving body image [i] is obtained by extracting only the black portion of the mask image [i] from the photographed image [i]. In the moving object image, the background other than the moving object is removed from the captured image, and only the moving object exists. Details of how to obtain the moving body image will be described later.
  In this example, the moving body image [i] corresponding to the captured image [i] photographed at the time [i] is extracted not at the time [i] but at the time [i + 1], but the time [i] and the time Since the interval [i + 1] is short (in this embodiment, 1/8 second), it hardly affects detection of a moving object, generation of an alarm, or the like.
[0019]
◆ [First embodiment (moving object is detected using difference of captured image)]
  In the first embodiment, the moving body image is obtained using the difference between the captured images as in the “day mode”. However, since the moving body image is obtained by a method different from the “day mode”, the details will be described below.
[0020]
◆ [Principle of moving object detection (in night mode with low light intensity)]
  The detection principle of the moving object detection method in the case of nighttime or the like (night mode) with a small amount of light according to the present invention will be described with reference to FIG. Hereinafter, differences from FIG. 2 will be described.
  At time [i−1], the processing device 2 obtains the captured image [i−1] and stores it in the storage device 3. Furthermore, each area (each pixel) of the photographed image [i-1] is binarized by being classified into an area having a predetermined luminance or higher (for example, luminance “220” or higher) and two types of areas having a luminance lower than the predetermined luminance ( A photographed binarized image [i-1] is obtained in which a region having a predetermined luminance or higher is expressed in black and a region having a luminance lower than the predetermined luminance is expressed in white. In this case, the light of the moving object A and the area irradiated with the light, the area irradiated with the light of the moving object B, and the area near the street lamp and the street lamp are extracted as areas having a predetermined luminance or higher.
[0021]
  At time [i], the captured binary image [i] is obtained in the same manner as at time [i−1], and the difference binary image [i−1, i] is obtained as in FIG. Ask. The difference binarized image [i−1, i] is in a hollow state as in FIG. 2. In addition, at night when the amount of light is small, the difference in luminance between the background and the moving body itself is small, and thus the moving body itself is highly likely to be removed. However, the light and the region irradiated with the light (high luminance region) appear as differences.
  Also, unlike FIG. 2, the area irradiated with light has a higher uniformity of brightness than the area of the moving body itself (the difference in brightness value is small). Is likely to be. Therefore, the binarized image [i−1, i] is added to the binarized image [i−1] and the binarized image [i] using the logical sum or the like. −1, i].
[0022]
  At time [i + 1], the captured binary image [i + 1] is obtained in the same manner as at time [i], and the difference binary image [i, i + 1] is obtained as in FIG. Find the converted image [i, i + 1].
  Then, a mask image [i] is obtained from the logical product of the binarized image [i−1, i] and the binarized image [i, i + 1]. When the logical product of the difference binarized image [i−1, i] and the difference binarized image [i, i + 1] is obtained in the same manner as in FIG. As shown in the logical product image [i], only a small amount of information remains and is difficult to use for detecting a moving object. However, a mask image [i] having an amount of information that can detect a moving object with high accuracy can be obtained by obtaining a logical sum with the binarized image and increasing the amount of information.
[0023]
  Subsequently, a moving body image [i] is obtained based on the obtained mask image [i] and the photographed image [i] corresponding to the time [i]. The moving body image [i] is obtained by extracting only the black portion of the mask image [i] from the photographed image [i]. In the moving object image, the background other than the moving object is removed from the captured image, and only the moving object exists. However, in this case, not only the moving body (vehicle or the like) itself, but also the area illuminated by the light or the like emitted by the moving body (vehicle or the like) and the streetlight that is not moving but has a predetermined luminance or more are detected. (Hereinafter, these will be referred to as high luminance bodies). A method for removing a noise component that is not a moving object such as a streetlight will be described later.
  Note that the daytime (day mode) with a large amount of light and the nighttime (night mode) with a small amount of light are determined, for example, when the luminance distribution of the photographed image approximates that shown in FIG. Mode), and when the luminance distribution of the photographed image approximates that shown in FIG. In this case, various approximation methods can be used.
  Moreover, the following embodiment demonstrates the mobile body detection method in night mode (in the case of nighttime with little light quantity) which is this invention.
[0024]
◆ [Detection principle of moving objects (continuous shooting and processing in night mode)]
  FIG. 4 shows how the process of FIG. 3 described above is continuously executed at first predetermined time intervals. In FIG. 4, the captured binarized image and the difference binarized image are omitted, but the binarized image is obtained in the same manner as in FIG.
  For example, at time [i], a captured image [i] is obtained and stored, and a binary-difference image [binary binarized based on the difference between the captured image [i-1] and the captured image [i] [ i-1, i] is obtained and stored, and a photographed binarized image [i] obtained by extracting an area having a predetermined luminance or more of the photographed image [i] is obtained and stored. Then, the binarized image [i−1, i] is added to the binarized image [i−1] and the binarized image [i] using the logical sum or the like. -1, i] is obtained and stored. Then, a mask image [i-1] is obtained from the logical product of the binarized image [i-2, i-1] and the binarized image [i-1, i], and is obtained from the photographed image [i-1]. The moving body image [i-1] can be obtained by extracting the black portion of the mask image [i-1].
  Similarly, the moving object image [i] can be obtained at time [i + 1], and the moving object image [i + 1] can be obtained at time [i + 2].
  Then, based on the moving body image [i-1], the moving body image [i], and the moving body image [i-1] at every first predetermined time interval, the moving direction and movement of the moving body (high luminance body) The speed or the distance to the moving body (high brightness body) can be obtained. The distance to the moving body (high brightness body) can be estimated by the position of the moving body (high brightness body) in each moving body image (in this embodiment, the moving body (high brightness body) is on the ground. To move). Note that how to determine the moving direction, moving speed, position, etc. of the moving body (high luminance body) will be described later.
[0025]
◆ [How to find the difference binary image]
  Next, a method for obtaining a difference binary image from the difference between two captured images will be described with reference to FIG. In FIG. 5, the captured image is divided into 8 × 8 blocks (X, Y) for explanation. In this example, each block (X, Y) is composed of a total of 16 pixels of 4 × 4, and each pixel contains a measurement value based on brightness (luminance). Yes.
  For example, each pixel measures brightness (luminance). As shown in FIG. 5, the blocks (6, 5) and (6, 6) of the photographed image [i-1], and the blocks (6, 5) and blocks (6, 6) of the photographed image [i]. The value of each pixel is the amount of brightness (luminance) detected at each pixel (the portion indicated by the dotted line indicates the outline of the moving object (in this case, the area irradiated with the light etc.) as a reference) ) In addition, the portion where the color is changed in each block shows a difference in luminance as a reference.
[0026]
  Here, in order to obtain the difference between the photographed image [i-1] and the photographed image [i], the digital value of the corresponding pixel of the photographed image [i-1] is obtained from the digital amount of each pixel of the photographed image [i]. Subtract amount. Then, the absolute value of the obtained difference is calculated.
  For example, the upper right digital quantity (120) of the block (6, 6) of the photographed image [i-1] is subtracted from the digital quantity (50) of the upper right pixel of the block (6, 6) of the photographed image [i]. To do. Then, the absolute value of the difference is calculated for each pixel (in this case, “70”), and the calculated value is stored in the corresponding pixel portion.
  Next, the absolute value of the difference is binarized. For example, a pixel portion where the absolute value of the difference is greater than or equal to a threshold (for example, “60” or more) is set to “1”, and the pixel portion whose absolute value of the difference is less than the threshold (for example, less than “60”). Is set to “0”. Thereby, a difference binarized image having only two values “1” and “0” can be obtained from the difference between the two captured images. For example, when the “0” pixel portion is set to white and the “1” pixel portion is set to black, the difference binarized image [i−1, i] shown in FIG. 5 is obtained.
  According to this method, since it is a difference between two captured images at a very short time interval, it is possible to accurately remove the background other than the moving object.
  However, since a pixel with a small difference in brightness (luminance) is regarded as a background and removed, the brightness (luminance) of the moving body (high luminance body) is almost uniform and the moving speed of the moving body (high luminance body) Is a low speed or a short photographing interval (first predetermined time interval), a portion where the same moving body (high luminance body) is superimposed on the photographed image [i-1] and the photographed image [i] (FIG. 5). Among the “moving object superposed pixels”), the moving object (high luminance object) may be removed as a background even though the moving object (high luminance object) exists. About this coping method, as already explained, it can be dealt with by obtaining a binarized image in which the portion of the hollowed out state is corrected using the logical sum of the difference binarized image and the photographed binarized image. .
[0027]
◆ [How to find a mask image]
  Next, a method for obtaining a mask image from the logical product of two binarized images will be described. In the binarized image, each pixel is either “0” or “1”. For each pixel, a logical product with the corresponding pixel is obtained.
  For example, in the “day mode”, as a result of obtaining a logical product of the difference binarized image [i−1, i] and the difference binarized image [i, i + 1] illustrated in FIG. 2, for example, “0”. 2 is set to white and the pixel portion “1” is set to black, a mask image [i] shown in FIG. 2 is obtained.
  For example, in the “night mode”, as a result of obtaining a logical product of the binarized image [i−1, i] and the binarized image [i, i + 1] illustrated in FIG. 3, for example, “0”. 3 is set to white and the pixel portion “1” is set to black, a mask image [i] shown in FIG. 3 is obtained.
[0028]
◆ [How to find moving object images]
  Next, a method for obtaining a moving body image from a captured image and a mask image will be described. In the mask image, as described above, each pixel portion is either “0” or “1”. For example, in FIG. 2 or FIG. 3, the pixel portion of the captured image [i] corresponding to the portion where the pixel of the mask image [i] is “0” (in this case, the white portion in the mask image [i]) 0 ”(in this case, white). Further, the pixel of the photographed image [i] corresponding to the portion where the pixel of the mask image [i] is “1” (in this case, the black portion of the mask image [i]) holds the digital amount as it is. In this way, the moving object image [i] can be obtained.
[0029]
◆ [Setting the first predetermined time interval (1) (when the moving object is at low speed)]
  In the present embodiment, it is not assumed that the moving body is extremely low speed. This is because it is not necessary to detect a moving body (high luminance body) and generate an alarm when the speed is extremely low. For example, it is only necessary to detect a moving body (high luminance body) that moves at a speed of about 15 km / h or higher.
  The first predetermined time interval is influenced by the speed of the vehicle on the road in the detection area, but is preferably ¼ second or more. Note that this value may be changed for each road in the detection area.
[0030]
◆ [Setting the first predetermined time interval (2) (when the moving object is at high speed)]
  FIG. 6 shows a case where the moving speed of the moving body (high brightness body) is high or the shooting interval (first predetermined time interval) is long, and there are few captured images in which the moving body (high brightness body) exists. An example is shown.
  For example, as illustrated in FIG. 6, when a moving body (high luminance body) exists only in the captured image [i], the moving body (high luminance) is included in the moving body image [i−1] and the moving body image [i + 1]. Body) does not exist, and the moving body exists only in the moving body image [i]. (In the example of FIG. 6, the moving body images [i−1] and [i + 1] include a high-intensity body (streetlight) that has not moved, but a high-intensity body (vehicle that is actually moving) Etc.) In this case, the moving direction and moving speed of the moving object (high brightness object) can be obtained even using the moving object images [i−1], [i], and [i + 1]. Can not. Therefore, the first predetermined time interval is set so that there are many captured images in which there are moving bodies (high luminance bodies) to be detected.
  The first predetermined time interval is influenced by the speed of the vehicle on the road in the detection region, but is preferably 1/8 second or less. Note that this value may be changed for each road in the detection area.
[0031]
◆ [Optimization of time interval for detecting low-speed or high-speed moving objects]
  From the above description, it is preferable to set the first predetermined time interval to ¼ second or more in order to accurately detect a low-speed moving body (high luminance body) using the difference between the captured images. In order to accurately detect a high-speed moving body (high luminance body) for each captured image, it is preferable to set the first predetermined time interval to 1/8 second or less. A method for solving this will be described with reference to FIG.
  For example, as shown in FIG. 7, each captured image is captured every 1/8 second. However, the binarized image is obtained not from the past photographed image but from the past photographed image n times (n is an integer of 2 or more). Similarly, a mask image and a moving body image are also obtained from images past n times.
  FIG. 7 shows an example in which “n = 2” is set (an example where a captured image is captured every 1/8 second).
  For example, at time [i + 1], the captured image [i + 1] is obtained and stored, and the difference between the captured image [i−1] (past twice) and the captured image [i + 1] (captured this time) is obtained. The binarized difference binarized image [i−1, i + 1] is obtained and stored, and the difference binarized image [i−1, i + 1] and the photographed binarized image [i−1] A logical sum with the photographed binarized image [i + 1] is obtained, and a binarized image [i−1, i + 1] is obtained and stored. Next, the mask image [i-1] is obtained from the logical product of the obtained binarized image [i-1, i + 1] and the binary image [i-3, i-1] of the past two times. . Then, the moving body image [i-1] can be obtained from the obtained mask image [i-1] and the photographed image [i-1]. That is, in this case, the moving body image is obtained based on the difference between the captured images every ¼ second.
  In this case, the moving body image [i−1] corresponding to the captured image [i−1] captured at the time [i−1] is extracted at the time [i + 1] instead of the time [i−1]. Since the interval between the time [i−1] and the time [i + 1] is short (in this case, ¼ second), it hardly affects the generation of an alarm or the like.
[0032]
  At time [i + 2], the captured image [i + 2] is obtained and stored, and based on the difference between the captured image [i] (past twice) and the captured image [i + 2] (captured this time). A binarized difference binarized image [i, i + 2] is obtained and stored, and further, the difference binarized image [i, i + 2], the photographed binarized image [i], and the photographed binarized image [i + 2] And a binary image [i, i + 2] is obtained and stored. Next, a mask image [i] is obtained from the logical product of the obtained binarized image [i, i + 2] and the binary image [i−2, i] of the past two times. Then, the moving body image [i] can be obtained from the obtained mask image [i] and the photographed image [i].
  Since the process for obtaining the moving body image is executed for each shooting, the time interval between the time [i + 1] and the time [i + 2] is 1/8 second. For this reason, the moving body images [i−1], [i], and [i + 1] indicate moving bodies that exist in the captured image every 1/8 second.
[0033]
  In other words, the photographed image is obtained and stored at the first predetermined time interval, and the photographed image [i] at the time [i] and the photographed image [i-n] n times in the past with respect to the photographed image [i] are stored. ] (N is an integer greater than or equal to 1) and the captured image [i + n] n times in the future for the captured image [i], and the difference between the captured image [i−n] and the captured image [i] The difference binarized image [i, i + n] binarized based on the difference between the difference binarized image [i−n, i] binarized based on the difference between the captured image [i] and the captured image [i + n]. ] For each of the photographed image [i−n], the photographed image [i], and the photographed image [i + n], two regions of a region having a predetermined luminance or higher and a region having a luminance lower than the predetermined luminance. The classified photographed binarized image [i−n], the photographed binarized image [i], and the photographed binarized image [i + n] are obtained, and the obtained difference The binarized image [in, i] based on the binarized image [in, i], the captured binarized image [in], and the captured binarized image [i], and the obtained difference A binarized image [i, i + n] based on the binarized image [i, i + n], the captured binarized image [i], and the captured binarized image [i + n] is obtained, and the obtained binarized image is obtained. Based on [i−n, i] and the binarized image [i, i + n], a mask image [i] corresponding to the time point [i] is obtained, and the obtained mask image [i] and captured image [i] are obtained. Based on the above, the moving body image [i] corresponding to the time point [i] is obtained, and the moving body is detected based on the information of the obtained moving body image [i].
  In this example, since the first predetermined time interval is 1/8 second and n = 2, the moving body is extracted every 1/8 second based on the difference every 1/4 second. Thereby, a low-speed and high-speed moving body can be detected accurately.
[0034]
◆ [How to determine the moving direction and moving speed of a moving object]
  Next, a method for obtaining the moving direction and moving speed of the moving body (high luminance body) based on the obtained moving body image will be described with reference to FIG.
  For example, as shown in FIG. 8, the obtained moving body image is divided into 8 × 8 blocks (X, Y). In this example, each block (X, Y) is composed of a total of 16 pixels of 4 × 4, and each pixel contains a measurement value based on brightness (luminance). Yes. Using this matching between blocks, the destination block (X [i + 1], Y [i + 1]) of each block (X [i], Y [i]) where the moving body (high luminance body) exists is detected. Then, the moving direction and moving distance (motion vector) of the block are obtained. The moving speed can be obtained from the moving distance in a predetermined time.
[0035]
  Referring to FIG. 8, from the moving object image [i-1] and the moving object image [i], the moving vector plane [i-1, i] (from the time [i-1] to the time [i] ( A method for obtaining the motion vector) of the high-luminance body will be described.
  For example, the digital quantity in each pixel in the block (6, 5) of the moving object image [i-1] is assumed to be the value shown in FIG. Further, the digital quantity in each pixel in the block (7, 5) of the moving object image [i] is assumed to be a value shown in FIG. (The part indicated by the dotted line shows the outline of the moving body (high brightness body) as a reference, and the part whose color in the block is changed is a part of the moving body (high brightness body). .) In this case, it is determined that the block (6, 5) of the moving object image [i-1] matches the block (7, 5) of the moving object image [i], and the motion vector plane [i-1, On i], a vector from block (6, 5) to block (7, 5) is obtained. Similarly, “(block) motion vector” in each block is obtained, and “(block) motion vector” in the similar direction and similar distance is averaged to obtain “(moving body) motion vector”. From the “(moving body) motion vector”, the moving direction and the moving distance of the moving body (high luminance body) can be obtained. Further, the moving speed of the moving body (high luminance body) can be obtained from the moving distance in a predetermined time.
  As a method for obtaining matching between blocks, there are (1) the sum of absolute values of difference gradation values of pixels in a block, (2) absolute value of difference of average gradation values of pixels in a block, (3) absolute value of difference in standard deviation of gradation values of pixels in block, (4) cross-correlation coefficient of gradation values of pixels in block, (5) coincidence of gradation values of pixels in block by Fourier coefficient There are various methods such as degrees. In this embodiment, (1) the sum of the absolute values of the difference gradation values of the pixels in the block is used, but other methods may be used.
[0036]
◆ [Change of shooting timing (first predetermined time interval), n value (value of “n (n is an integer of 1 or more)” when obtaining a difference between n times past and n times future images)]
  In the above description, the first predetermined time interval is fixed to “1/8 second” and n is fixed to “2”. However, the first predetermined time interval can be changed according to the situation.
[Change of first predetermined time interval]
  For example, when the moving body image is obtained, if there is no moving body (high luminance body) in the moving body image, the first predetermined time interval may be increased (for example, 1 second). In addition, when the distance to the moving body (high brightness body) based on the position of the moving body (high brightness body) in the moving body image is large (the moving body is far), the first predetermined time interval is increased. Also good. Moreover, when the moving speed of the moving body (high brightness body) obtained from the moving distance in a predetermined time is low, the first predetermined time interval may be lengthened. In the opposite case, the first predetermined time interval may be shortened. As a result, it is possible to set an optimum sampling interval for detection of a moving body (high luminance body). When the first predetermined time interval is changed, the calculation of the movement speed is also changed with the change of the first predetermined time interval.
[0037]
[Change n value]
  Also, for example, when the moving body image is obtained, when the distance to the moving body (high luminance body) based on the position of the moving body (high luminance body) in the moving body image is large (the moving body is far) , N value may be increased (for example, n = 8). Alternatively, the n value may be increased when the moving speed of the moving body (high brightness body) obtained from the moving distance in a predetermined time is low. In the opposite case, the n value may be reduced. Or you may make it set the value of n appropriately according to the position and speed of a mobile body (high-intensity body). As a result, it is possible to set an optimum sampling interval for detection of a moving body (high luminance body). When the n value is changed, the calculation of the moving speed is also changed with the change of the n value.
[0038]
◆ [Removal of high-luminance bodies that are not moving (fixed high-luminance bodies)]
  Next, a method for removing an object that is not moving but is detected as a moving body (high-intensity body), such as a streetlight, will be described as a fixed high-intensity body in this description, with reference to FIG. In FIG. 9, the n value is set to “1” for easy understanding of the method for removing the fixed high-brightness body.
  In the present invention, since a moving body (high luminance body) such as a vehicle approaching a predetermined point (for example, the intersection shown in FIG. 1) is detected and an alarm is generated, the fixed high luminance body should not be detected as a moving body. . However, since there is “brightness greater than or equal to” in each captured image captured at the first predetermined time interval, it is extracted as a moving body (high luminance body) in the moving body image.
  For example, as shown in FIG. 9, when a fixed high-luminance body (in this example, a streetlight) is present in a captured image, each captured image has “brightness greater than or equal to”. For this reason, a fixed high-intensity body exists also in each binarized image, each mask image, and each moving body image. When a fixed high-luminance body is present in the moving body image, the movement direction and the movement distance of the block in which the fixed high-luminance body exists are detected by the “(block) motion vector” shown in FIG. (In actuality, since the fixed high-luminance body is not moving, it is detected that there is no “(block) motion vector”, but this is not preferable because the processing load of the processing device 2 increases.
  Therefore, before obtaining “(block) motion vector”, it is discriminated whether “(block) motion vector” should be obtained or not.
[0039]
  With reference to FIG. 9, a method for discriminating whether a “(block) motion vector” should be obtained or not should be described.
  FIG. 9 divides the obtained moving body image into 8 × 8 blocks (X, Y) as in FIG. 8. And an addition map is calculated | required from the moving body image divided | segmented into the block. In the addition map, for example, “+2” is allocated to a block in which a moving body (high luminance body) exists, and “−1” is allocated to a block in which no moving body (high luminance body) exists. In addition, the part which gave the color in the addition map has shown the area | region in which a moving body (high-intensity body) exists as reference.
  For example, in the addition map [i] obtained from the moving object image [i], the blocks (1, 2), (2, 1) to (2, 2), (2, 4) to (2, 5), ( 3, 3) to (3, 6), (4, 3) to (4, 4), (5, 4) to (5, 6), (6, 4) to (6, 6), (7, 4) to (7, 6), there is a moving body (high luminance body). Therefore, “+2 (first predetermined value)” is assigned to the block, and other blocks (blocks that do not have a moving body) are assigned. “−1 (second predetermined value)” is assigned. Then, the cumulative value (determination value) for each block is stored in the cumulative map.
  In addition, the part which gave the color in a cumulative map has shown the area | region determined to be a fixed high-intensity body for reference.
[0040]
  Here, two methods for discriminating whether a “(block) motion vector” should be obtained or not should be described.
[First method]
  The first method is a method for obtaining a duration in which a moving body (high luminance body) exists for each block in each block obtained by dividing the moving body image. In the first method, the addition map and the cumulative map may be omitted. However, for each block, a duration map (not shown) for storing the duration of the moving body (high luminance body) is required. Blocks whose duration is equal to or longer than the second predetermined time are excluded from the determination of the moving object (high luminance object).
  In the example of FIG. 9, a moving body (high luminance body) exists continuously in each of the blocks (1, 2), (2, 1), and (2, 2). In each of these blocks, when there is a moving body (high brightness body) continuously for a second predetermined time (for example, 5 seconds) or longer, the block (1, 2), the block (2, 1), and the block (2 2) is determined as a block for which “(block) motion vector” should not be obtained. Blocks other than the block in which a moving body (high luminance body) exists are blocks for which a “(block) motion vector” is to be obtained.
  In the first method, when there is no longer a moving body (high luminance body), the moving body (high luminance body) is restored from the determination exclusion (returned to the determination of the moving body).
[0041]
[Second method]
  In the second method, in each block obtained by dividing the moving object image, the first predetermined value is added when the moving object (high luminance object) exists, and the second predetermined value is obtained when the moving object does not exist. This is a method of subtracting and obtaining the accumulated value (judgment value). When the accumulated value (determination value) is equal to or greater than the third predetermined value, the block is excluded from the determination of the moving object.
  In the example of FIG. 9, the cumulative value (determination value) of each block is stored in the cumulative map. For example, when the addition value (“+2” or “−1”) of each block of the addition map [i] is added to the accumulation value (determination value) of each block of the accumulation map [i−1], the accumulation map [i ] Is obtained. In this cumulative map, blocks whose cumulative value (determination value) is equal to or greater than a third predetermined value (for example, 50) are excluded from the determination of the moving object. In addition, as shown in “graph for each block” in FIG. 9, a hysteresis is provided for returning from the determination of moving object (returning to determination of moving object) (in this example, it is excluded (fixed) at 50 or more. It is preferable to indicate that it is a high-intensity body and return to the determination at 30 or less).
[0042]
  Moreover, it is preferable to set an appropriate upper and lower limit value (for example, upper limit value: 100, lower limit value: 0) as the cumulative value (determination value) in the cumulative map. (FIG. 9 is an example in which the lower limit is set to 0.)
  By appropriately setting the first predetermined value, the second predetermined value, and the third predetermined value using the second method, the flashing fixed high-luminance body and the vibration (wind etc. A fixed high-intensity body that is shaking at the same time can be appropriately excluded from the determination of the moving body.
  The block excluded from the determination of the moving object is determined as a block for which “(block) motion vector” should not be obtained. Also, blocks other than the block in which the moving object is present are blocks for which “(block) motion vector” is to be obtained.
  In both the first method and the second method, the first to third predetermined values can be changed according to the situation. For example, when there are many areas where the fixed high-brightness body exists (when there are many irregular reflections such as in the evening or in the rain), the first predetermined value is decreased or the third predetermined value is increased to increase the fixed high-brightness. It is also possible to reduce the body determination area.
[0043]
◆ [Removal of other noise components]
  Next, a method for removing other noise components (near the boundary of an area having a predetermined luminance or higher, or irregular reflection in the evening or rainy weather) will be described with reference to FIG.
  FIG. 10 gradually darkens from the evening (time [i-2]), passes through the night (time [i-1] and [i]), then becomes brighter (time [i + 1]), and reaches the morning. (Time [i + 2]) is shown. Therefore, in FIG. 10, the “day mode” is set at the time [i−2], the “night mode” is set at the time [i−1] and the time [i], and the time [i + 1] and the time are set. At the time of [i + 2], the “day mode” is set. For example, when the luminance distribution of the photographed image approximates that shown in FIG. 11A, the judgment method of switching between “day mode” and “night mode” is daytime (day mode). When the luminance distribution approximates that in FIG. 11B, it is determined that the night (night mode).
[0044]
  In FIG. 10, the n value is set to “1” for easy understanding of the method for removing other noise components. Similar to the removal of the fixed high-brightness body, other noise components should not be detected as moving bodies (high-brightness bodies). However, since there is “brightness greater than or equal to a predetermined value” in each captured image captured at the first predetermined time interval, it is extracted as a moving body (high luminance body) in the moving body image.
  For example, as shown in FIG. 10, when other noise components (near the boundary of an area having a predetermined luminance or higher, or irregular reflection in the evening, rainy weather, etc.) exist in the captured image, the other noise components are binarized. Also present in an image (not shown), a difference binarized image (partially not shown), a binarized image, a mask image, and a moving body image.
[0045]
  For example, the time [i-1] is the time when the “day mode” is switched to the “night mode”.
  At this time, since the time [i-2] is the “day mode”, as shown in FIG. 2, the captured binary image [i-2] and the binary image [i-3, i-2] Does not exist. Therefore, the binarized image [i−2, i−1] is obtained from, for example, the logical sum of the difference binarized image [i−2, i−1] and the photographed binarized image [i−1]. The mask image [i-2] is obtained from, for example, a logical product of the difference binarized image [i-3, i-2] and the binarized image [i-2, i-1].
  Further, when obtaining the difference binarized image [i−2, i−1], the threshold value for determining the binary value is switched between “day mode” and “night mode”. For example, the threshold is set to about “30” in “day mode” and increased to about “60” in “night mode”. This is because the “night mode” has a greater difference in lightness and darkness, so that a large amount of noise is generated in the difference binarized image unless the threshold value is increased.
[0046]
  In the example illustrated in FIG. 10, a state in which noise is mixed in the moving body image or the like at time [i], time [i + 1], and time [i + 2] is illustrated.
  When other noise components are present in the moving body image, the moving direction and moving distance of the block in which the other noise components exist are detected by the “(block) motion vector” shown in FIG.
  Therefore, before obtaining the moving body image, other noise components are removed.
[0047]
  Here, two methods for removing other noise components before obtaining the moving body image will be described.
[First method]
  The first method is a method in which an isolated minute moving body (high luminance body) is regarded as noise in the moving body image.
  As already described, all images used in this embodiment are digital images in which individual pixels for measuring brightness (luminance) are arranged in an orderly manner. In addition, the moving body image [i] includes a pixel portion of the captured image [i] corresponding to a portion where the pixel of the mask image [i] is “0” (in this case, a white portion in the mask image [i]). By setting “0” (in this case, white), the moving object image [i] can be obtained.
  From this, in the moving body image, the determination of being an isolated moving body (high luminance body) may be made by determining that the pixel is surrounded by the portion “0”. In addition, the determination of the minute moving body (high luminance body) is performed by counting the number of pixels constituting the isolated moving body (high luminance body) and confirming that it is a predetermined number (for example, 6) or less. What is necessary is just to judge.
  By the above method, an isolated minute moving body (other noise components) can be removed from the moving body image.
[0048]
[Second method]
  In the second method, in the process of obtaining the difference binarized image, the threshold value for determining from the absolute value of the difference to the binary value “1” or “0” is appropriately changed, and the difference binarized image is used for the other. This is a method for removing noise components.
  The thresholds are the total area (number of pixels of “1”, etc.) of the regions (pixels) in which the absolute value of the difference in the difference binarized image is equal to or greater than the threshold, and the total area of the binarized image (all the constituent pixels) The number is changed according to the ratio of
  Note that the threshold value may be changed according to the ratio of the total area of regions (pixels) in which the absolute value of the difference in the difference binarized image is equal to or greater than the threshold value to the total area of regions (pixels) that are less than the threshold value. Good. Various methods can be used as the method of changing the threshold based on the area of the region (pixel) in which the absolute value of the difference in the difference binary image is equal to or greater than the threshold.
[0049]
  For example, in FIG. 10, the threshold value is “60” in the difference binarized image [i−2, i−1] at time [i−1]. In this example, since the noise component remains in the difference binarized image [i−2, i−1], the noise component remains in the binarized image [i−2, i−1]. For example, when the ratio of the total area of the regions (pixels) in which the absolute value of the difference in the difference binarized image is equal to or greater than the threshold with respect to the total area is equal to or greater than the first predetermined ratio, the threshold is set to “70”. And used in the next process of obtaining a difference binary image.
  Conversely, for example, the ratio of the total area of the regions (pixels) in which the absolute value of the difference in the difference binarized image is equal to or greater than the threshold with respect to the total area is less than the second predetermined ratio (first predetermined ratio). When the ratio> the second predetermined ratio), the threshold value is decreased to “60” and used in the next process of obtaining the difference binary image.
  In this way, the amount of noise can be reduced by changing the threshold value according to the amount of the high luminance region.
[0050]
[Second Embodiment (A moving object is detected only from luminance information without using a difference)]
  Next, a second embodiment in the “night mode” will be described with reference to FIG.
  In the second embodiment, the detection area is photographed at first predetermined time intervals, and photographed images are obtained and stored. The photographed image is composed of a plurality of regions, each region has luminance data for each region, and a group of regions having a predetermined luminance or higher in the photographed image (for example, adjacent regions are continuously connected without interruption). A portion where the area of a portion having a predetermined luminance or higher is equal to or greater than a predetermined value is detected as a moving object.
  For example, at the time [i], the processing device 2 obtains the captured image [i] and stores it in the storage device 3, and in the captured image [i], an area having a predetermined luminance or higher (for example, luminance “220” or higher). Is set to “1 (black)”, and a photographed binarized image [i] in which an area less than the predetermined luminance is set to “0 (white)” is obtained. Then, a moving body image [i] obtained by extracting only the “1 (black)” portion of the photographed binarized image [i] is obtained from the photographed image [i]. Then, an isolated part and an area (a part of the cluster) having a predetermined area or more (for example, the number of pixels “100” or more) is determined as a moving body. Note that processing methods such as noise components, removal of fixed high-brightness bodies, and “motion vectors” are the same, and are omitted. As described above, in the second embodiment, a moving object image can be obtained more easily than in the first embodiment.
[0051]
  In this case, the moving body image [i] corresponding to the captured image [i] photographed at the time [i] is extracted at the time [i].
  In addition, when switching from “day mode” to “night mode” and when switching from “night mode” to “day mode”, the presence / absence of a difference binarized image, the moving object in the moving object image ( Since the case of the moving body itself and the case of the high-luminance body are different, for example, detection of a motion vector or the like is not executed only at the time of switching.
[0052]
◆ [Application to vehicle approach warning device]
  When the obtained moving body (high brightness body) is a predetermined size (area) or more in the “night mode” by the above moving body detection method, the mobile body (high brightness body) is a vehicle. recognize. Then, based on at least two moving body images, a “(moving body) motion vector” of the recognized vehicle is obtained, and an alarm is issued from the alarm device based on the direction, speed, and position of the “(moving body) motion vector”. generate.
  For example, in the motion vector plane [i−1, i] in FIG. 8, “(moving body) motion vector” is a predetermined point (for example, an intersection. In this case, the motion vector plane [i−1, i] ], The alarm is generated. Alternatively, the size of the “(moving body) motion vector” that is toward (approaching) a predetermined point (in this case, the lower end of the motion vector plane [i−1, i]) is a predetermined size. If it is larger than that (when the speed is high), an alarm is generated. Alternatively, the position of the “(moving body) motion vector” that is moving toward (approaching) a predetermined point (in this case, the lower end of the motion vector plane [i−1, i]) is the predetermined position. When it reaches (for example, when it reaches any position of block (5, 1) to block (8, 8)), an alarm is generated.
[0053]
  The moving body detection method and the moving body detection apparatus of the present invention are not limited to the processing or configuration described in the present embodiment, and various changes, additions, and deletions are possible without departing from the scope of the present invention. For example, the configuration of the moving object detection device is not limited to that shown in FIG. 1, and various configurations are possible.
  The present invention is not limited to detection of a moving body (vehicle) traveling on a road, and can be applied to detection of various moving bodies.
  Although this embodiment has been described using luminance information, color information can also be used. (A group of similar color information can also be determined as a moving object.)
  Further, the switching determination method between “day mode” and “night mode” and the processing method at the time of switching described in the present embodiment are not limited to the description of the present embodiment, and various methods are possible.
  The numerical values used in the description of the present embodiment are examples, and are not limited to these numerical values.
  Each image, graph, and the like shown in this embodiment is an example, and the present invention is not limited to these images, graphs, and the like.
  Further, the above (≧), the following (≦), the greater (>), the less (<), etc. may or may not include an equal sign.
[0054]
【The invention's effect】
  As explained above,Claims 1-3Or the moving object detection method described in 1.Of the present inventionMoving object detection device orOf the present inventionIf a vehicle approach warning device is used, a moving body (vehicle or the like) can be accurately detected even at night when the amount of light is small.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an embodiment of a moving object detection device of the present invention.
FIG. 2 is a diagram for explaining a detection principle of a moving object detection method in the case of daytime or the like when the amount of light is large (day mode).
FIG. 3 is a diagram for explaining the detection principle of the moving object detection method in the case of nighttime or the like (night mode) with a small amount of light according to the present invention.
FIG. 4 is a diagram illustrating a state in which the process of FIG. 3 is continuously executed at a first predetermined time interval.
FIG. 5 is a diagram for describing a method for obtaining a difference binary image from a difference between two photographed images.
FIG. 6 is a diagram illustrating an example in which there are few captured images in which a moving object exists.
FIG. 7 is a diagram illustrating a method for detecting a low-speed moving body with high accuracy and also detecting a high-speed moving body with high accuracy.
FIG. 8 is a diagram for explaining a method for obtaining a moving direction and a moving speed of a moving body based on the obtained moving body image.
FIG. 9 is a diagram for explaining a method of removing an object (fixed high-luminance body) that has not been moved but is detected as a moving body (high-luminance body).
FIG. 10 is a diagram for explaining a method for removing other noise components;
FIG. 11 is a diagram illustrating an example of a luminance distribution.
FIG. 12 is a diagram illustrating a second embodiment in the case of nighttime or the like (night mode) with a small amount of light according to the present invention.
[Explanation of symbols]
  1 Shooting device
  2 processing equipment
  3 Storage device
  4 Alarm device

Claims (3)

検出領域を第１の所定時間間隔で撮影し、撮影画像を得るとともに記憶し、
撮影画像は複数の領域で構成されており、各領域は当該領域毎の輝度データを有し、
時点［ｉ］における撮影画像［ｉ］と、撮影画像［ｉ］に対してｎ回過去の撮影画像［ｉ−ｎ］（ｎは、１以上の整数）と、撮影画像［ｉ］に対してｎ回未来の撮影画像［ｉ＋ｎ］とを用い、
撮影画像［ｉ−ｎ］と撮影画像［ｉ］における前記領域毎の輝度データの差分の絶対値が閾値以上の領域と閾値未満の領域の２種類の領域に分類して２値化した差分２値化画像［ｉ−ｎ、ｉ］と、撮影画像［ｉ］と撮影画像［ｉ＋ｎ］における前記領域毎の輝度データの差分の絶対値が閾値以上の領域と閾値未満の領域の２種類の領域に分類して２値化した差分２値化画像［ｉ、ｉ＋ｎ］を求め、
撮影画像［ｉ−ｎ］、撮影画像［ｉ］及び撮影画像［ｉ＋ｎ］の各々に対して各領域を、所定輝度以上の領域と所定輝度未満の領域の２種類の領域に分類した撮影２値化画像［ｉ−ｎ］、撮影２値化画像［ｉ］及び撮影２値化画像［ｉ＋ｎ］を求め、
求めた差分２値化画像［ｉ−ｎ、ｉ］と撮影２値化画像［ｉ−ｎ］と撮影２値化画像［ｉ］との論理和にて求めた２値化画像［ｉ−ｎ、ｉ］と、求めた差分２値化画像［ｉ、ｉ＋ｎ］と撮影２値化画像［ｉ］と撮影２値化画像［ｉ＋ｎ］との論理和にて求めた２値化画像［ｉ、ｉ＋ｎ］とを求め、
求めた２値化画像［ｉ−ｎ、ｉ］と２値化画像［ｉ、ｉ＋ｎ］との論理積にて、時点［ｉ］に対応するマスク画像［ｉ］を求め、求めたマスク画像［ｉ］における２値の一方の値の領域部分に対応する領域の輝度データのみを撮影画像［ｉ］から保持することで、時点［ｉ］に対応する移動体画像［ｉ］を求め、求めた移動体画像［ｉ］において輝度データが保持されている領域から、移動体を検出する、
移動体検出方法。The detection area is photographed at a first predetermined time interval to obtain and store a photographed image,
The captured image is composed of a plurality of areas, and each area has luminance data for each area,
For the captured image [i] at the time [i], the captured image [i−n] (n is an integer equal to or greater than 1) n times with respect to the captured image [i], and the captured image [i]. Using the future shot image [i + n] n times,
Difference 2 in which the absolute value of the difference in luminance data for each region in the photographed image [i-n] and the photographed image [i] is classified into two types of regions, that is, a region where the absolute value is greater than or equal to the threshold and a region where the absolute value is less than the threshold Two types of regions: a valued image [i−n, i], a region where the absolute value of the difference in luminance data for each region in the captured image [i] and the captured image [i + n] is greater than or equal to a threshold, and a region less than the threshold Difference binarized image [i, i + n] obtained by binarizing and classifying
Photographed binary values obtained by classifying each region into two types of regions of a predetermined luminance or higher and a region of lower than a predetermined luminance for each of the captured image [i−n], the captured image [i], and the captured image [i + n]. Obtaining a digitized image [i−n], a photographed binarized image [i] and a photographed binarized image [i + n],
The binarized image [i−n] obtained by the logical sum of the obtained difference binarized image [i−n, i], the photographed binarized image [i−n], and the photographed binarized image [i]. , and i], obtained difference binarized image [i, i + n] and captured binary image [i] and captured binary image [i + n] binarized image obtained by the logical sum of the [i, i + n],
A mask image [i] corresponding to the time point [i] is obtained by a logical product of the obtained binarized image [i−n, i] and the binarized image [i, i + n]. The moving body image [i] corresponding to the time point [i] is obtained by holding only the luminance data of the area corresponding to the area portion of one of the two values in i] from the photographed image [i]. A moving body is detected from an area where luminance data is held in the moving body image [i].
Moving object detection method. 請求項１に記載の移動体検出方法であって、
前記差分２値化画像を求める際の各領域の差分の絶対値が閾値以上である領域の面積と、当該差分２値化画像の全領域の面積との比に応じて前記閾値を変更する、
あるいは前記差分２値化画像を求める際の各領域の差分の絶対値が閾値以上である領域の面積と、各領域の差分の絶対値が閾値未満である領域の面積との比に応じて前記閾値を変更する、
移動体検出方法。 It is a moving body detection method of Claim 1, Comprising:
Changing the threshold according to the ratio of the area of the area where the absolute value of the difference of each area when obtaining the difference binarized image is equal to or greater than the threshold and the area of the entire area of the difference binarized image;
Or according to the ratio of the area of the area where the absolute value of the difference of each area when obtaining the difference binarized image is equal to or greater than the threshold and the area of the area where the absolute value of the difference of each area is less than the threshold Change the threshold,
Moving object detection method. 請求項１または２に記載の移動体検出方法であって、
少なくとも２つの移動体画像に基づいて移動体の位置を求め、
検出した移動体の位置が遠い場合はｎの値を大きくする、
移動体検出方法。 It is the moving body detection method of Claim 1 or 2, Comprising:
Determining the position of the moving body based on at least two moving body images;
If the detected position of the moving body is far, increase the value of n.
Moving object detection method.
JP2001394755A 2001-12-26 2001-12-26 Moving object detection method and moving object detection apparatus Expired - Fee Related JP3857129B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001394755A JP3857129B2 (en) 2001-12-26 2001-12-26 Moving object detection method and moving object detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001394755A JP3857129B2 (en) 2001-12-26 2001-12-26 Moving object detection method and moving object detection apparatus

Publications (2)

Publication Number Publication Date
JP2003196786A JP2003196786A (en) 2003-07-11
JP3857129B2 true JP3857129B2 (en) 2006-12-13

Family

ID=27601384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001394755A Expired - Fee Related JP3857129B2 (en) 2001-12-26 2001-12-26 Moving object detection method and moving object detection apparatus

Country Status (1)

Country Link
JP (1) JP3857129B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4214926B2 (en) * 2004-03-04 2009-01-28 株式会社ニコン Electronic still camera
JP2006333133A (en) 2005-05-26 2006-12-07 Sony Corp Imaging apparatus and method, program, program recording medium and imaging system
JP4678649B2 (en) * 2005-10-31 2011-04-27 富士通株式会社 Image processing device
JP5098949B2 (en) * 2008-10-21 2012-12-12 株式会社ニコン Electronic camera and image processing program
JP2010122936A (en) * 2008-11-20 2010-06-03 Seiko Epson Corp Sensing circuit, display and electronic apparatus
JP2011028371A (en) * 2009-07-22 2011-02-10 Fujitsu Ltd Moving body detecting device and moving body detecting method
JP5016073B2 (en) 2010-02-12 2012-09-05 株式会社デンソー White line recognition device
JP6448171B2 (en) * 2013-02-25 2019-01-09 東日本高速道路株式会社 Vehicle accident prediction (dangerous vehicle detection) device
JP6413319B2 (en) * 2014-04-22 2018-10-31 サクサ株式会社 Vehicle detection device, system, and program
JP6543050B2 (en) * 2015-03-06 2019-07-10 株式会社デンソーテン Obstacle detection device and obstacle detection method
JP7093248B2 (en) * 2018-07-06 2022-06-29 株式会社ユニバーサルエンターテインメント Gaming machines and equipment for gaming
JP7093253B2 (en) * 2018-07-06 2022-06-29 株式会社ユニバーサルエンターテインメント Gaming machines and equipment for gaming
JP7078474B2 (en) * 2018-07-06 2022-05-31 株式会社ユニバーサルエンターテインメント Gaming machines and equipment for gaming
CN110688907B (en) * 2019-09-04 2024-01-23 火丁智能照明(广东)有限公司 Method and device for identifying object based on night road light source

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3100471B2 (en) * 1992-07-28 2000-10-16 日本信号株式会社 Dangerous traffic event detection method
JPH06276524A (en) * 1993-03-19 1994-09-30 Toyota Motor Corp Device for recognizing vehicle running in opposite direction
JPH08185521A (en) * 1994-12-28 1996-07-16 Clarion Co Ltd Mobile object counter
JPH08263770A (en) * 1995-03-23 1996-10-11 Yuichi Goto Traffic alarm device
JPH11284997A (en) * 1998-03-31 1999-10-15 Oki Electric Ind Co Ltd Traveling object sensing device
JP2001143197A (en) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> Roadside device, device and method for preventing collision of vehicles as they passing by and recording medium
JP2001167282A (en) * 1999-12-10 2001-06-22 Toshiba Corp Device and method for extracting moving object

Also Published As

Publication number Publication date
JP2003196786A (en) 2003-07-11

Similar Documents

Publication Publication Date Title
JP3857129B2 (en) Moving object detection method and moving object detection apparatus
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
JP4253271B2 (en) Image processing system and vehicle control system
CN101469985A (en) Single-frame image detection apparatus for vehicle queue length at road junction and its working method
US20190196494A1 (en) Autonomous driving system and autonomous driving method
KR20120096011A (en) Method for controlling a headlight arrangement for a vehicle and such a headlight arrangement
CN101872546A (en) Video-based method for rapidly detecting transit vehicles
JP2012226513A (en) Detection device and detection method
JP4807354B2 (en) Vehicle detection device, vehicle detection system, and vehicle detection method
JP2014153167A (en) Object recognition device, object recognition method, and object recognition program
CN106915295A (en) The control method and device of automobile front lamp state
US9519834B2 (en) Night parking detection
JP2010088045A (en) Night view system, and nighttime walker display method
JP2010512271A (en) Identification of vehicle lights by camera
JP2012240530A (en) Image processing apparatus
US11518465B2 (en) Motorcycle providing visual light warning to detected vehicles to notify detected vehicles of presence of motorcycle
CN104008518B (en) Body detection device
JP5353531B2 (en) Vehicle light recognition device and program
JP2005318408A (en) Vehicle surrounding monitoring apparatus and method
Sasaki et al. Development of ranging method for inter-vehicle distance using visible light communication and image processing
JP2004086417A (en) Method and device for detecting pedestrian on zebra crossing
CN201203419Y (en) Single frame image detection device of city road crossing vehicle queue length
JP5892079B2 (en) Object detection device
JP2003173435A (en) Moving body detecting method and moving body detecting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060913

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees