JP4519519B2 - 動物体検出装置 - Google Patents

Description

本発明は、カメラにより撮影された画像に基づいて、動物体の存在及び移動状態を検出する動物体検出装置に関する。

撮像装置で撮像された画像を画像解析して動物体を検出する装置（以下、「動物体検出装置」とする。）が数多く開発されている。一般的な動物体検出装置は、２台のカメラを用いて異なった角度から撮像対象物を撮影し、撮影された２枚の映像より抽出した特徴点の対応付けを演算処理することによって動物体の検出を行っている。

しかしながら、今日では、１つのカメラで撮影された１方向の映像から動物体の検出を行う装置が考案されている（例えば、特許文献１参照。）。
特開平５−２５０４５９号公報

しかしながら、１台のカメラにより撮影された映像から動物体を検出するために、その映像を縦方向及び横方向の２次元的な画像処理技術を用いて、撮影された画像の相対的な変化を経時的に検出し続ける必要があるので、高度なデータ処理能力が要求されるという問題があった。また、高度なデータ処理能力を有する画像処理装置を用いても、画像の変化に基づいて動物体の距離情報・位置情報を算出・変換する処理を行うことは容易ではないという問題があった。

本発明は上記問題に鑑みてなされたものであり、簡易なデータ処理により動物体の距離及び位置検出を行うことが可能な動物体検出装置を提供することを課題とする。

上記課題を解決するための、本発明に係る動物体検出装置は、車両に設置されて車両周辺の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、前記俯瞰画像のうち一方向に整列された座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって一方向加算の強度プロファイルを作成し、さらに、前記俯瞰画像の前記他方向に配列される座標の輝度を積分することによって当該他方向における積分輝度を求め、求められた前記他方向における積分輝度を前記他方向に直交する前記一方向の座標別に検出することによって他方向加算の強度プロファイルを作成する強度プロファイル作成手段と、前記一方向加算および前記他方向加算の強度プロファイルにおいてピークを有する高輝度の強度群を抽出し、抽出された強度群が経時的に連続して変化し、前記一方向加算の強度プロファイルに示される強度群の面積と前記他方向加算の強度プロファイルに示される強度群の面積とが一定の誤差範囲内で一致する場合に前記強度群が同一の動物体を示した強度群であると判定する制御手段とを有することを特徴とする。

一方、本発明に係る他の動物体検出装置は、車両に設置されて車両周辺の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、前記俯瞰画像を、前記俯瞰画像の一方向に延びる分割線によって複数の範囲に分割し、分割された分割画像のうち前記分割線に直交する方向に整列される座標の輝度を積分することによって当該直交する方向における積分輝度を求め、求められた該積分輝度を前記分割線が延びる方向の座標別に検出することによって強度プロファイルを前記分割画像毎に作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された強度プロファイルに示される高輝度の強度群が経時的に隣接する前記分割画像に連続して発生及び消滅する場合に、当該強度群が動物体の輝度積分を示したものであると判断し、当該強度群が示される前記強度プロファイルにおける前記分割線に直交する方向の位置と、前記俯瞰画像における前記分割画像の前記分割線が延びる方向に対する位置とに基づいて動物体の位置及び移動状態を検出する制御手段とを有することを特徴とする。

また、動物体検出装置は、車両に設置されて車両周辺の撮影を行うカメラと、該カメラにより撮影されたカメラ画像を画像変換して正俯瞰画像を作成し、該正俯瞰画像と当該正俯瞰画像を９０度回転させて縦横比を前記正俯瞰画像と等しくした回転俯瞰画像とを連結させて合成俯瞰画像を作成する画像変換手段と、該合成俯瞰画像のうち前記正俯瞰画像と前記回転俯瞰画像との連結境界線に平行な方向に整列される座標の輝度を積分することによって当該方向における積分輝度を求め、求められた該積分輝度を前記連結境界線に直行する方向の座標別に検出することによって強度プロファイルを作成する強度プロファイル作成手段と、該強度プロファイル作成手段により作成された強度プロファイルに示される高輝度の強度群が経時的に連続して変化する場合に、当該強度群が動物体の輝度積分を示すものであると判断し、前記強度プロファイルの前記俯瞰画像を示す強度群の位置と前記回転俯瞰画像を示す強度群の位置との経時的な変化に基づいて動物体の位置及び移動状態を検出する制御手段とを有することを特徴とする。

これらの動物体検出装置において、前記強度プロファイル作成手段は、前記画像変換手段により変換された画像の走査に合わせて積分輝度を求める１つの加算機で前記強度プロファイルを作成することを特徴とする。

また、前記制御手段は、前記強度プロファイルにおいてピークを有する高輝度の強度群を抽出し、抽出された強度群が経時的に連続して変化する場合に当該強度群が動物体を示す強度群であると判断することを特徴とする。

また、前記カメラにより撮影された画像を表示する表示手段をさらに有し、前記制御手段が、検出された前記動物体の位置及び移動状態より搭乗者に注意を促す必要があると判断した場合に、前記カメラで撮影された画像に対して前記動物体の位置を示すマーカーをスーパーインポーズさせて前記表示手段に表示させることとしてもよい。

さらに、警報音を発することにより搭乗者に警報を発する警報発生手段をさらに有し、前記制御手段が、検出された前記動物体の位置及び移動状態より搭乗者に注意を促す必要があると判断した場合に、前記警報発生手段に警報を行わせることとしてもよい。

本発明に係る動物体検出装置を用いることによって、強度プロファイルに示される強度群の経時的な変化を検出して動物体の存否及び移動状態を判断することが可能となる。特に、本発明に係る動物体検出装置では、動物体の位置検出をカメラ撮影画像又は俯瞰画像等の画像から直接検出するのではなく強度プロファイルを作成してから検出しているので、一般的な画像処理を用いた動物体検出処理のように２次元的なデータ処理を行うことなく動物体の位置及び移動状態を検出でき、処理負担の軽減、処理スピードの高速化を図ることが容易となる。

以下、本発明に係る動物体検出装置を、図面を用いて詳細に説明する。

図１に示すように、本発明に係る動物体検出装置１は、画像変換部（画像変換手段）２と、画像変換用データが記録されたＲＯＭ３と、強度プロファイル作成部（強度プロファイル作成手段）４と、制御部（制御手段）５と、メモリ６とを備えており、動物体検出装置１には、カメラ７と、モニタ（表示手段）８と、スピーカ（警報発生手段）９と車速センサ１０とが接続されている。

動物体検出装置１は、図２に示す車両１１のインストルメントパネル内部等に設置されており、モニタ８はインストルメントパネル上であって運転者が視認しやすい位置に設置され、スピーカ９は車両ドア等に設置されている。カメラ７は、広角撮像が可能なＣＣＤカメラであり、車両１１後方の路面状態を斜めに見下ろすようにして車両１１後部中央に設置されている。図３は、カメラ７により撮影された車両１１後方の様子を示した画像であり、画像中心部１２に比べて周辺部１３が湾曲した状態となって撮影される。カメラ７により撮影された画像は、一時的にメモリ６に記憶される。

画像変換部２は、カメラ７により撮影された画像を俯瞰画像（車両１１上方より路面を見下ろしたような画像）に変換する処理を行う。画像変換部２は、撮影された画像をメモリ６から読み出し、ＲＯＭ３に記憶された画像変換用データを用いて画像の歪みを修整して俯瞰画像へ変換処理を実行する。また、画像変換部２は、必要に応じて画像の拡大、縮小、回転を行う。図４は、図３に示した画像を、画像変換部２で俯瞰変換したものである。俯瞰画像の黒色部分１４は、カメラ７で撮影することができない死角部分を示している。なお、カメラ７で撮影された画像を俯瞰画像に変換する技術は、特開平３−９９９５２号公報、特開平９−１７１３４８号公報、特開２００１−１１４０４８号公報、特開２００１−１１６５６７号公報等で公開されており、いわゆる当業者に公知の技術であるため、その詳細な説明は省略する。

画像変換部２は、俯瞰変換された俯瞰画像を、９０度回転させてメモリ６に一時的に記憶させる。なお、９０度に回転させた俯瞰画像は、後述する強度プロファイル作成処理に応じて縦横比を変更する場合があるため、必ずしも縦横比が回転前の画像と同じ比率になるとは限らない。

強度プロファイル作成部４は、画像変換部２で俯瞰変換された俯瞰画像より強度プロファイルを作成する。強度プロファイルとは、俯瞰画像の縦方向（一方向）の各画素の輝度を積分して縦方向の座標列毎の輝度の積分値（強度）を算出し、この強度を横方向（一方向に直交する他方向）に座標別に並べたグラフを意味する。なお同様に、俯瞰画像の横方向（走査線方向）の各画素の輝度を積分して横方向の座標列毎の輝度の積分値（強度）を算出し、この強度を縦方向に座標別に並べたグラフも同様に強度プロファイルという。なお、便宜上前者を垂直加算の強度プロファイルとし、後者を水平加算の強度プロファイルとする。

図４に示すように、舗装された路面１６は、一般的に輝度の低いグレー系統の色彩で構成され、路面に示される白線・標識等１７は路面１６よりも輝度の高い明るい色彩で構成される。このため、白線等１７が撮影された垂直加算又は水平加算の強度プロファイルの強度分布は他の部分に比べて高い強度値を示すこととなる。図５は、図４に示した俯瞰画像を９０度回転させた画像（縦横比は、回転前の俯瞰画像と異なる）と、この画像に基づいて算出された垂直加算の強度プロファイル（画面の下に示すグラフ参照）と水平加算の強度プロファイル（画面の右に示すグラフ参照）とを示している。

制御部５は、強度プロファイル作成部４により作成された強度プロファイルより、高いピーク強度を示した箇所を求めることによって、車両１１に対する白線・標識の位置や他の物体、例えば動物体等の存否・位置等を検出することが可能となる。図５に示す強度プロファイルにおいては、俯瞰画像に示される白線１７の位置に高いピーク強度１８が示されている。制御部５が行う具体的な動物体検出処理については後述する。

また、制御部５は、動物体の存否及びその動物体の位置・移動状態等から運転者に警報を行った方が好ましいと判断した場合に、スピーカ９を介して警報を発令する。また、制御部５は、必要に応じて、カメラ７で撮影された映像に表示される動物体の表示位置に、検出された動物体の存在を明確にするためのマーカーを付加（スーパーインポーズ）してモニタ８に表示させる。

図６は、動物体検出装置１における動物体検出警報処理を示したフローチャートである。なお、本実施例における動物体検出警報処理では、車両１１が停止している状態における動物体の検出を前提として説明を行うものとする。但し、本発明に係る動物体検出装置１では、必ずしも車両１１が停止していることを要件とはせず、車両１１が走行している状態において次述する動物体検出警報処理を行ってもよい。

制御部５は、車速センサ１０より受信する車速パルス信号に基づいて、車両１１の車両速度を検出する（ステップ１）。制御部５は、検出した車両速度に基づいて車両が停止している状態であるか否か、具体的には、検出された車両速度が０ｋｍ／ｈであるか否かの判断を行う（ステップ２）。車両速度が０ｋｍ／ｈでないと判断した場合（ステップ２においてＮＯの場合）、制御部５は、動物体検出警報処理を終了する。車両速度が０ｋｍ／ｈであると判断した場合（ステップ２においてＹＥＳの場合）、制御部５は、動物体検出処理を行う（ステップ３）。なお、動物体検出処理に関する詳細な説明は、後述する実施例１において行う。

その後、制御部５は、動物体検出処理（ステップ３）での判断に基づいて、運転者等に動物体が存在する旨の警報を発することが望ましいか否かの判断を行う（ステップ４）。制御部５が警報を行う必要がないと判断した場合（ステップ４においてＮＯの場合）、例えば、動物体が動物体検出処理（ステップ３）において全く検出されてなかった場合や、動物体が検出されても車両の遠方に存在する場合等には、警報を行うことなく動物体検出警報処理を終了する。

制御部５が、運転者等に警報を行うことが望ましいと判断した場合、具体的には、
動物体が車両１１後方近傍に存在する場合等には、動物体が存在する旨の警報音をスピーカ９より出力し（ステップ５）、また必要に応じて、モニタ８に動物体の存在を示すマーカーを表示させて（ステップ６）、動物体検出警報処理を終了する。

図７は、車両１１後方に動物体２０が存在する場合に、カメラ７によって撮影された車両後方の画像を示しており、図８は、図７に示す画像に基づいて画像変換された俯瞰画像であって９０度回転された画像を示している。カメラ７では広角度で車両１１後方の様子が撮影されるので、図８に示すように中心部１２に対して周辺部１３が湾曲した形状となる。このため、カメラ画像に基づいて画像変換された俯瞰画像では、立体物が車両を中心として離れる方向に倒れて表示される。従って、俯瞰画像より求められる動物体２０が立体物であって垂直に立っていると仮定すると、動物体２０と地面との接地位置は車両１１側端部、図７では右端部分２０ａとなる。多くの場合、動物体２０は直立に立っていると仮定することができるので、俯瞰画像の車両１１側端部の座標より動物体２０の位置を検出し、この検出位置に対応する箇所を、図９に示すように、マーカー表示（図９においては、四角で示される部分）２２することによって、動物体２０の位置を運転者が一目で判別できるようになり、動物体の存在を瞬時に判断できるようになる。また、俯瞰画像の車両１１側端部の座標を基準としてマーカー表示２２位置を決定することによって、マーカー表示２２が動物体２０から大きく外れて表示（誤表示）されることを回避することができる。

次に、図６に示した動物体検出処理（ステップ３）における具体的な検出方法を、図面及びフローチャートを用いて説明する。

俯瞰画像に動物体が表示される場合、俯瞰画像の経時的変化を調べることによって動物体の移動方向及び移動場所を特定することが可能となる。例えば、図１０（ａ）に示す俯瞰画像上に動物体２０が位置しており、その後に動物体２０が、図１０（ｂ）に示す俯瞰画像上に移動したとすると、移動前の俯瞰画像により作成された水平加算の強度プロファイルは、図１０（ａ）に示す強度プロファイルから、図１０（ｂ）に示す強度プロファイルへと変化する。このときに特定の強度ピークを示す一定範囲の強度群（図１０ （ａ） （ｂ）に示す強度プロファイルにおけるグレー部分）２５ａ、２５ｂのピーク位置の変化（移動）が、動物体２０の移動状態を示すものであり、この強度群２５ａ、２５ｂの時間変化を、垂直加算の強度プロファイルと水平加算の強度プロファイルとを用いて観察することによって、動物体２０の存否及び動物体２０の動きを検出することが可能となる。強度プロファイルの強度群変化を比較するために、制御部５は強度プロファイルが作成される毎にその強度プロファイルのデータをメモリ６に保存させておくことによって、新たに作成した強度プロファイルと前回作成した経時的に古い強度プロファイルとの比較を行う。

図１１は、図６に示した動物体検出処理（ステップ３）に関する詳細な処理内容を示したフローチャートである。制御部５は、カメラ７により撮影された画像を画像変換部２で俯瞰画像に画像変換させ（ステップ１０）、画像変換された俯瞰画像に基づいて、強度プロファイル作成部４に垂直加算の強度プロファイルと水平加算の強度プロファイル（新強度プロファイル）とを作成させる（ステップ１１）。

その後、制御部５は、前回作成した垂直加算及び水平加算の強度プロファイル（旧強度プロファイル）をメモリ６より読み出し（ステップ１２）、新強度プロファイルと旧強度プロファイルとの強度群変化、具体的には両方の強度プロファイルの強度群の強度ピーク値の比較（ステップ１３）及び両方の強度プロファイルの強度群のサイズ（例えば、強度群のピーク値幅）の比較（ステップ１４）を行って、強度群の変化状態を判断する。

強度群が検出されず、制御部５が、動物体２０は存在しないと判断した場合（ステップ１５におけるＮＯの場合）には、図６に示す警報判断処理（ステップ４）において警報は必要ないものと判断し（ステップ１６）、垂直加算及び水平加算の新強度プロファイルをメモリ６に保存して（ステップ１７）動物体検出処理を終了する。

強度群が検出され、制御部５が、動物体２０は存在すると判断した場合（ステップ１５におけるＹＥＳの場合）、制御部５は、動物体２０を示すものと判断された強度群に基づいて、垂直加算及び水平加算の旧強度プロファイルにより求められる動物体２０の移動前座標（旧座標）と、垂直加算及び水平加算の新強度プロファイルにより求められる動物体２０の移動後座標（新座標）とを比較して、動物体２０が車両１１近傍に存在するか否か（動物体の位置判断）及び、動物体２０が連続的に車両１１方向に移動している（近づいている）か否か（動物体の連続移動性判断）を判断し（ステップ１８）、動物体２０が車両１１近傍に存在する場合又は動物体２０が車両１１に近づいている場合（ステップ１９のＹＥＳの場合）には、図６に示す警報判断処理（ステップ４）において警報は必要であると判断し（ステップ２０）、新座標の値と強度群の強度値及びサイズとをメモリ６に保存する（ステップ２１）。動物体２０が車両１１近傍に存在しない場合又は動物体２０が車両１１に近づいていない場合（ステップ１９のＮＯの場合）、制御部５は、図６の警報判断処理（ステップ４）において警報は必要ないものと判断する（ステップ１６）。その後、制御部５は、垂直加算及び水平加算の新強度プロファイルをメモリ６に保存して（ステップ１７）、動物体検出処理を終了する。

このように、垂直加算及び水平加算の強度プロファイルに示される強度群の経時的な変化を検出することによって、動物体２０の存否及び移動状態を判断することが可能となる。特に、本発明に係る動物体検出装置１では、動物体２０の位置検出をカメラで撮影された画像又は俯瞰変換された俯瞰画像等から直接検出するのではなく、強度プロファイルを作成してから検出しているので、一般的な画像処理を用いた動物体検出処理のように２次元的なデータ処理を行うことなく動物体２０の位置及び移動状態を検出でき、処理負担の軽減、処理スピードの高速化を図ることが容易となる。

なお、上述した動物体検出処理において、動物体２０の検出を行うに際して、路面部分より検出される強度（輝度）やノイズ等を除去するために、強度プロファイルに予めハイパスフィルタ等を施して一定の強度以下の強度ピークを意図的に除去した後に、強度群変化を判断する構成としてもよい。

以上、実施例１において、動物体検出装置１における動物体検出処理方法をフローチャートを用いて説明したが、動物体２０の検出を行うための具体的な処理方法は、上述したものに限定されない。以下、動物体２０の検出方法に関するいくつかのバリエーションを、実施例２、実施例３において説明する。

実施例２においては、車両１１後方に複数の動物体が存在する場合の各動物体の判別方法について説明する。

俯瞰画像に示される動物体が１つである場合や動物体の数が順番に増える場合には、実施例１で説明した動物体検出処理を用いることによって、動物体の位置を確実に求めることができる。一方で、俯瞰画像において２以上の動物体が同時に現れた場合や、カメラ７による撮影を開始した最初の段階から既に２以上の動物体が撮影されている場合には、水平加算の強度プロファイル及び垂直加算の強度プロファイルのどちらにも原則として２以上の強度群が同時に示されてしまうため、強度群の位置を水平加算及び垂直加算の強度プロファイルから求めるだけでは、各動物体の座標を正確に求めることが困難である。

例えば、２つの動物体が、同時にカメラ７に撮影された場合、動物体が示されたカメラ画像は図１２に示すような俯瞰画像に画像変換される。このとき、水平加算の強度プロファイルには２つの強度群３０ａ、３０ｂが表され、垂直加算の強度プロファイルにも２つの強度群３１ａ、３１ｂが表されるので、強度群が現れる位置から動物体が存在する位置を判断すると、図１２に示す符号３２ａ、３３ａの他に符号３２ｂ、３３ｂにも存在する可能性が生じてしまう。そこで、制御部５は、複数の動物体が存在する場合には、以下に示す（ａ１）と（ａ２）の２通りの方法を用いて各動物体を判別する。

（ａ１）強度面積判断法
図１２に示す俯瞰画像において示される動物体の位置を３２ａ、３３ａとすると、水平加算及び垂直加算の強度プロファイルのそれぞれに示される２つの強度群（３０ａと３０ｂ、３１ａと３１ｂ）は、一方が動物体３２ａを示したものであり、他方が動物体３３ａを示したものとなる。ここで、図１２に示す俯瞰画像のように、動物体３２ａ、３３ａ以外の部分（図１２においては路面）の輝度がほぼ均一である場合、同一動物体３２ａ又は３３ａを示した水平加算及び垂直加算の強度プロファイルの強度群は、互いに同じ動物体の輝度積分を示したものであるため互いの面積がほぼ等しくなるはずである。

従って、制御部５は、図１１に示す新強度プロファイルと旧強度プロファイルとの強度群サイズの比較を行う処理（ステップ１４）において、各強度プロファイルの強度群（３０ａ、３０ｂ、３１ａ、３１ｂ）の面積を水平加算及び垂直加算の強度プロファイル毎に求めて、一定の許容誤差内で水平加算と垂直加算との強度群の面積が一致するものを特定の動物体３２ａ又は３３ａとして認識する。そして、制御部５は、検出された各動物体３２ａ、３３ａの存否判断（ステップ１５）、位置・連続移動性判断（ステップ１８、１９）を行うことによって運転者に対して警報が必要であるか否かの判断（ステップ１６、２０）を行う。

例えば、強度群３０ａと強度群３１ａとの面積を比較した場合、２つの強度群の面積はほぼ等しい大きさとなる。このため、俯瞰画像の縦方向における強度群３０ａの位置Ｘと、横方向における強度群３１ａの位置Ｙとを求めて、位置（Ｘ，Ｙ）に動物体３２ａが存在するものと判断する。

このように、水平加算の強度プロファイルに示される強度群３０ａ又は強度群３０ｂの面積と、垂直加算の強度プロファイルに示される強度群３１ａ又は強度群３１ｂの面積とを比較し、互いの面積がほぼ一致する場合には同一の動物体３２ａ、３３ａを示す強度群であると判断することによって、各動物体３２ａ、３３ａの位置及び連続移動性を適切に求めることができる。なお、強度面積判断方法により特定される動物体３２ａ、３３ａの強度群３０ａ、３０ｂ、３１ａ、３２ｂは、動物体２０の物体形状が不定であること、俯瞰画像の縦横比が一定でないこと等から、強度のピーク幅の形状等に依存する情報から特定することが困難であり、上述した面積だけで特定を行うため検出精度が必ずしも高いとはいえない。しかしながら、強度群の面積を求める際に、１つの強度群から色彩別に複数の面積データを求めて強度群を比較することによって、検出精度を上げることも可能である。

（ａ２）局所判定法
上述した強度面積判断法による動物体の判別は、動物体の大きさが異なる場合には有効であるが、ほぼ同じ大きさの動物体が複数存在する場合には、動物体毎の判別を行うことが困難となる。そこで、動物体がほぼ同じ大きさであって、強度面積判断法を用いても各動物体の判別を行うことができないとき、又は強度面積判断法を用いて強度群の面積を比較しても面積差が許容誤差以上となってしまって面積による動物体の判別が困難である場合には、次述する局所判定法を用いることによって、動物体を容易に特定することが可能となる。

制御部５は、図１１に示したフローチャートの新強度プロファイルを強度プロファイル作成部４に作成させる処理（ステップ１１）において、垂直加算による強度プロファイルを実施例１と同様に作成させて、図１３に示すように、俯瞰画像の横方向に対する複数の強度群の検出位置を求める。

その後、垂直加算による強度プロファイルより求められた一の強度群の検出位置近傍の一定範囲（限定領域）だけに着目し、制御部５は、強度プロファイル作成部４に着目した一定範囲に限定した水平加算による強度プロファイルを作成させる。例えば、図１３の垂直加算の強度プロファイルにおいて示される強度群３５に着目し、この強度群３５の一定範囲（水平加算限定領域）Ｓ０だけの水平加算の強度プロファイルを作成する（図１３の右に示す強度プロファイル参照）。範囲を限定して水平加算の強度プロファイルを作成した場合、その一定範囲Ｓ０に存在しない動物体３６は強度群として水平加算の強度プロファイルに現れないので、図１３に示すように、水平加算の強度プロファイルには１つの強度群しか表示されなくなり（図１２の水平加算の強度プロファイルに示されていた下側の強度群３０ｂが表示されない）、垂直加算の強度プロファイルとの対応を考慮することによって、各動物体３６、３８を個別に判別して各動物体３６、３８の移動位置を確定することが可能となる。

なお、局所判定法は、複数の動物体が存在する場合には、多数の水平加算限定領域Ｓ０を指定して、複数回水平加算による強度プロファイルの作成処理を行う必要があるため、強度面積判断法や実施例１に示した動物体検出法よりも処理手順が多くなり、処理負担が増大する傾向があるため、実施例１に示した動物体検出法では十分な動物体の検出ができない場合に強度面積判断法を用いることとし、強度面積判断法では十分な動物体の検出ができない場合に局所判定法を用いることが望ましい。但し、動物体検出装置のハードウェア性能が高い場合や、処理に時間がかかっても精度よく動物体の検出を行う必要がある場合には、全ての方法を用いて動物体を判断する構成としてもよく、また、特定の方法のみを用いて動物体を判断する構成としてもよい。

次に、動物体検出装置１による動物体検出処理の検出速度向上を図るための方法を説明する。動物体検出装置１が動物体の検出を行う場合には、強度プロファイル作成部４が俯瞰画像から水平加算の強度プロファイルと垂直加算の強度プロファイルとを作成する処理（図１１に示すステップ１１の処理）が必要となる。

強度プロファイル作成部４が、俯瞰画像から垂直加算の強度プロファイルを作成する場合には、メモリ６に記憶された俯瞰画像の縦方向の各画素の輝度を積分して縦方向の座標列毎の輝度値（強度）を算出し、この強度を横方向に座標別に並べる必要があり、また同様に、俯瞰画像から水平加算の強度プロファイルを作成する場合には、俯瞰画像の横方向（操作線方向）の各画素の輝度を積分して横方向の座標列毎の輝度値（強度）を算出し、この強度を縦方向に座標別に並べたグラフを作成する必要がある。

このように強度プロファイル作成のために加算処理を複数回繰り返す必要があるため、動物体の検出処理をリアルタイムで行う必要がある場合には、かなり高速の加算器を用意するか、多数の並列加算器を用意する必要が生ずる。一方で、モニタ８の映像は上から下に向かって水平方向に順々に走査されて表示されるため、加算器をこの走査に合わせて用いることによって走査処理と輝度の加算処理とを同時に行わせることができ、水平加算の強度プロファイルを１つの加算器でリアルタイムに作成することができる。

そこで、本実施例においては、水平加算の強度プロファイルを作成するための加算器を１つだけ用いて、実施例１に示した動物体検出法では１つの加算器だけで検出することのできない動物体の横方向の動きを検出する方法を、以下に示す（ｂ１）と（ｂ２）の２通りの方法を用いて説明する。

（ｂ１）加算領域分割法
図１４は、加算領域分割法を説明するための俯瞰画像と強度プロファイルとを示した図である。まず、俯瞰画像を、垂直方向に境界線を設けた複数の領域に分割する。図１４においては、５つの領域Ｓ１〜Ｓ５に分割したものを示しているが、この領域は５つに限定されるものではない。この分割された領域Ｓ１〜Ｓ５毎に、水平加算の強度プロファイルを作成すると、その領域内に動物体が存在していたか否かを、大まかに判断することが可能となる。このように各領域Ｓ１〜Ｓ５内での強度群の存否を経時的に観察することによって動物体の移動状態を判断することが可能となる。

例えば、図１４（ａ）に示すように、時間ｔ１に俯瞰画像の領域Ｓ２に存在していた動物体４０が、図１４（ｂ）に示すように、時間ｔ２に俯瞰画像の領域Ｓ３に移動した場合、領域Ｓ２における時間ｔ１の強度プロファイルには動物体４０を示す強度群４１が示されているのに対して、時間ｔ２における強度プロファイルには動物体４０を示す強度群４１が示されない。一方で、領域Ｓ３における時間ｔ１の強度プロファイルには動物体４０を示す強度群４２が示されていないのに対して、時間ｔ２の強度プロファイルには動物体４０を示す強度群４２が示される。

具体的に制御部５は、新強度プロファイルを強度プロファイル作成部４に作成させる処理（図１１に示したフローチャートのステップ１１）において、図１４に示すように、分割された領域Ｓ１〜Ｓ５毎に水平加算の新強度プロファイルを作成させる。その後、領域Ｓ１〜Ｓ５毎に作成された水平加算の新強度プロファイルとメモリ６に記憶される領域Ｓ１〜Ｓ５毎に作成された水平加算の旧強度プロファイルと領域Ｓ１〜Ｓ５毎に対応させて比較し（ステップ１２、ステップ１３、ステップ１４）、強度群４１、４２の変化状態を判断する。

このように水平加算の強度プロファイルを作成する俯瞰画像の領域を、垂直方向に境界を入れて複数に分割することによって、垂直方向の動物体の動きは強度プロファイルの強度群の座標変化から判断し、水平方向の動物体の動きは各領域における強度群の発生・消滅により判断することが可能となる。強度群の発生・消滅に基づく動物体の移動状態検出では、上述した実施例１、２の方法に比べて横方向検出のリアルタイム性能及び検出精度が低下してしまうが、１つの加算器だけで動物体の横方向及び縦方向の移動状態を検出することができるので、厳密な精度を求めない動物体の位置・移動状態検出においては十分な効果を奏することが可能である。

（ｂ２）一括加算法
図１５は、一括加算法を説明するための俯瞰画像と強度プロファイルとを示した図である。まず、俯瞰画像を、カメラ７により撮影された画像と上下左右の方向を同じとする俯瞰画像（正俯瞰画像）と、この正俯瞰画像を９０度回転させて縦横比を正俯瞰画像と同じ比率に変更した回転俯瞰画像とを用意し、正俯瞰画像と回転俯瞰画像とを上下で連結させて高さ方向の解像度を半分に圧縮した合成俯瞰画像５０を作成する。

合成俯瞰画像５０を用いて、１つの加算器で、正俯瞰画像と回転俯瞰画像との連結境界線に平行な方向に整列される座標の輝度を積分することによって当該方向における積分輝度を求め、求められた該積分輝度を連結境界線に直行する方向の座標別に検出することによって水平加算の強度プロファイルを作成すると（図１５の右に示す強度プロファイル）、１つの強度プロファイルにおいて水平方向成分における強度プロファイルと垂直方向成分における強度プロファイルとを一度に作成することが可能となる。このようして作成された強度プロファイルを経時的に観察することによって動物体の移動状態を判断することが可能となる。

具体的に制御部５は、図１１に示したフローチャートの新強度プロファイルを強度プロファイル作成４に作成させる処理（ステップ１１）において、図１５に示すように、水平方向成分及び垂直方向成分の強度分布を示した１つの新強度プロファイルを作成させる。その後、作成された新強度プロファイルとメモリ６に記憶される旧強度プロファイルとを水平方向成分と垂直方向成分とでそれぞれ対応させて比較し（ステップ１２、ステップ１３、ステップ１４）、強度群の変化状態を判断する。

このように水平成分方向と垂直成分方向との強度分布を示す１つの強度プロファイルを作成して、動物体の移動状態を判断することによって、１つの加算器で縦方向と横方向の強度プロファイルを一度に作成することができる。なお、正俯瞰画像と回転俯瞰画像とを上下で連結させてから解像度を半分に圧縮させることによって合成俯瞰画像を作成するので、実施例１、実施例２で示した動物体検出方法よりも動物体の検出精度が低下してしまうが、加算器が１つですむためコストの低減を図ることが可能となるとともに、低解像度ながらも垂直方向成分の強度プロファイルと水平方向成分の強度プロファイルとを求めて動物体の位置検出を行うため、位置検出に関する信頼性を十分に確保することが可能である。

以上、本発明に係る動物体検出装置を用いることによって、強度プロファイルに示される強度群の経時的な変化を検出して動物体の存否及び移動状態を判断することが可能となる。特に、本発明に係る動物体検出装置では、動物体の位置検出をカメラ撮影画像又は俯瞰画像等の画像から直接検出するのではなく強度プロファイルを作成してから検出しているので、一般的な画像処理を用いた動物体検出処理のように２次元的なデータ処理を行うことなく動物体の位置及び移動状態を検出でき、処理負担の軽減、処理スピードの高速化を図ることが容易となる。

特に、（ａ１）強度面積判断法、（ａ２）局所判定法を用いることによって、複数の動物体が存在する場合に各動物体の位置を検出することが容易となり、また、（ｂ１）加算領域分割法、（ｂ２）一括加算法を用いることによって、１つの加算器で各動物体の位置を検出することができるので、コストの低減を図ることが可能となる。

本発明に係る動物体検出装置の概略構成を示したブロック図である。 本発明に係る動物体検出装置を搭載した車両を示した斜視図である。 カメラにより撮影された車両後方の画像を示した図である。 図３示した画像を俯瞰変換処理した画像である。 図４に示した俯瞰画像を９０度回転させて画像と、この画像に基づいて作成された水平加算及び垂直加算の強度プロファイルとを示した図である。 制御部が行う動物体検出警報処理を示したフローチャートである。 動物体を撮影したカメラ画像を示した図である。 図７に示すカメラ画像を俯瞰変換処理した画像である。 図７に示すカメラ画像に対してマーカー表示を付したカメラ画像を示す図である。 動物体が移動した状態を示した俯瞰画像とその俯瞰画像に基づいて作成された水平加算及び垂直加算の強度プロファイルであって、（ａ）は動物体が移動する前の様子を示しており、（ｂ）は動物体が移動した後の様子を示している。 本発明に係る動物体検出処理を示したフローチャートである。 実施例２において強度面積判断法を説明するため用いられる図面であって、複数の動物体が示された俯瞰画像と、この俯瞰画像に基づいて作成された水平加算及び垂直加算の強度プロファイルを示した図である。 実施例２において局所判定法を説明するため用いられる図面であって、複数の動物体が示された俯瞰画像と、この俯瞰画像に基づいて作成された垂直加算の強度プロファイルと、水平加算限定領域Ｓ０における水平加算の強度プロファイルとを示した図である。 実施例３において加算領域分割法を説明するため用いられる図面であって、複数の領域に区分けされた俯瞰画像と、区分けされた領域のうち領域Ｓ２と領域Ｓ３とに基づいて作成された水平加算の強度プロファイルとを示した図であり、（ａ）は時間ｔ１における俯瞰画像を強度プロファイルを示し、（ｂ）は時間ｔ２における俯瞰画像の強度プロファイルを示している。 実施例３において一括加算法を説明するため用いられる図面であって、正俯瞰画像と回転俯瞰画像とを上下で連結させて半分に圧縮した合成俯瞰画像と、合成俯瞰画像に基づいて作成された強度プロファイルとを示している。

符号の説明

１ 動物体検出装置
２ 画像変換部（画像変換手段）
３ 強度プロファイル作成部（強度プロファイル作成手段）
４ 制御部（制御手段）
５ ＲＯＭ
６ メモリ
７ カメラ
８ モニタ（表示手段）
９ スピーカ（警報発生手段）
１０ 車速センサ
１１ 車両
１６ 路面
１７ 白線
２０、３２ａ、３３ａ、３８、４０ 動物体
２２ マーカー
２５ａ、２５ｂ、３０ａ、３０ｂ、３１ａ、３１ｂ、３５、４１、４２ 強度群
５０ 合成俯瞰画像

Claims (7)

1. 車両に設置されて車両周辺の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、 前記俯瞰画像のうち一方向に整列された座標の輝度を積分することによって当該一方向における積分輝度を求め、求められた該積分輝度を前記一方向に直交する他方向の座標別に検出することによって一方向加算の強度プロファイルを作成し、さらに、前記俯瞰画像の前記他方向に配列される座標の輝度を積分することによって当該他方向における積分輝度を求め、求められた前記他方向における積分輝度を前記他方向に直交する前記一方向の座標別に検出することによって他方向加算の強度プロファイルを作成する強度プロファイル作成手段と、
   前記一方向加算および前記他方向加算の強度プロファイルにおいてピークを有する高輝度の強度群を抽出し、抽出された強度群が経時的に連続して変化し、前記一方向加算の強度プロファイルに示される強度群の面積と前記他方向加算の強度プロファイルに示される強度群の面積とが一定の誤差範囲内で一致する場合に前記強度群が同一の動物体を示した強度群であると判断する制御手段と
   を有することを特徴とする動物体検出装置。
2. 車両に設置されて車両周辺の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を俯瞰画像に画像変換する画像変換手段と、
   前記俯瞰画像を、前記俯瞰画像の一方向に延びる分割線によって複数の範囲に分割し、分割された分割画像のうち前記分割線に直交する方向に整列される座標の輝度を積分することによって当該直交する方向における積分輝度を求め、求められた該積分輝度を前記分割線が延びる方向の座標別に検出することによって強度プロファイルを前記分割画像毎に作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された強度プロファイルに示される高輝度の強度群が経時的に隣接する前記分割画像に連続して発生及び消滅する場合に、当該強度群が動物体の輝度積分を示したものであると判断し、当該強度群が示される前記強度プロファイルにおける前記分割線に直交する方向の位置と、前記俯瞰画像における前記分割画像の前記分割線が延びる方向に対する位置とに基づいて動物体の位置及び移動状態を検出する制御手段と
   を有することを特徴とする動物体検出装置。
3. 車両に設置されて車両周辺の撮影を行うカメラと、
   該カメラにより撮影されたカメラ画像を画像変換して正俯瞰画像を作成し、該正俯瞰画像と当該正俯瞰画像を９０度回転させて縦横比を前記正俯瞰画像と等しくした回転俯瞰画像とを連結させて合成俯瞰画像を作成する画像変換手段と、
   該合成俯瞰画像のうち前記正俯瞰画像と前記回転俯瞰画像との連結境界線に平行な方向に整列される座標の輝度を積分することによって当該方向における積分輝度を求め、求められた該積分輝度を前記連結境界線に直交する方向の座標別に検出することによって強度プロファイルを作成する強度プロファイル作成手段と、
   該強度プロファイル作成手段により作成された強度プロファイルに示される高輝度の強度群が経時的に連続して変化する場合に、当該強度群が動物体の輝度積分を示すものであると判断し、前記強度プロファイルの前記俯瞰画像を示す強度群の位置と前記回転俯瞰画像を示す強度群の位置との経時的な変化に基づいて動物体の位置及び移動状態を検出する制御手段と
   を有することを特徴とする動物体検出装置。
4. 前記強度プロファイル作成手段は、前記画像変換手段により変換された画像の走査に合わせて積分輝度を求める１つの加算機で前記強度プロファイルを作成することを特徴とする請求項２又は請求項３に記載の動物体検出装置。
5. 前記制御手段は、前記強度プロファイルにおいてピークを有する高輝度の強度群が動物体を示す強度群であると判断することを特徴とする請求項２乃至請求項４のいずれか１項に記載の動物体検出装置。
6. 前記カメラにより撮影された画像を表示する表示手段を有し、
   前記制御手段は、検出された前記動物体の位置及び移動状態より搭乗者に注意を促す必要があると判断した場合に、前記カメラで撮影された画像に対して前記動物体の位置を示すマーカーをスーパーインポーズさせて前記表示手段に表示させることを特徴とする請求項１乃至請求項５のいずれか１項に記載の動物体検出装置。
7. 警報音を発することにより搭乗者に警報を発する警報発生手段を有し、
   前記制御手段は、検出された前記動物体の位置及び移動状態より搭乗者に注意を促す必要があると判断した場合に、前記警報発生手段に警報を行わせることを特徴とする請求項１乃至請求項６のいずれか１項に記載の動物体検出装置。

Images