JP4162824B2

JP4162824B2 - Animal detection device

Info

Publication number: JP4162824B2
Application number: JP2000012055A
Authority: JP
Inventors: 考造嶋村; 卓也北島; 章寺内
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-01-20
Filing date: 2000-01-20
Publication date: 2008-10-08
Anticipated expiration: 2020-01-20
Also published as: JP2001204011A

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビカメラなどの撮像装置により得られる画像に基づいて動物を検知する車両用の動物検知装置に関する。
【０００２】
【従来の技術】
特開平９−２５９２８２号公報には、歩行者、動物などの移動障害物の検出装置が示されており、この装置は、撮像装置によって得られる画像上のオプティカルフローを抽出し、自車両の走行に起因するオプティカルフロー以外のフローを持つ領域を、画像内の移動障害物領域として抽出するものである。
【０００３】
また特開平７−５０８２５号公報には、建物に設置した撮像装置により人間や動物を監視するシステムが示されている。このシステムは、撮像装置と、これを搭載する回転台と、撮像装置により得られる画像を処理する画像処理装置とから構成され、画像内を移動する像を含む移動体領域を抽出し、さらに移動体領域の下部の領域の面積変化に基づいて歩行している人間を判定するものである。
【０００４】
また夜間での使用を考慮して、可視光線を検出する通常の撮像装置ではなく、遠赤外線を検出する赤外線撮像装置を使用して、周囲より高温である歩行者などの対象物を検出し、その輪郭を強調して表示するようにした表示処理装置も従来より知られている（特開平１１−３２８３６４号公報）。
【０００５】
【発明が解決しようとする課題】
しかしながら、特開平９−２５９２８２号公報に示された移動障害物検出装置は、移動する物体を検出することを目的としているため、歩行者だけでなく路上を移動する他の物体も検出する場合があり、歩行者のみを他の移動物体と区別して検出することはできない。またオプティカルフローの演算は、画像全体について行う必要があるため、専用のＤＳＰ（Digital Signal Processor）などを使用しなければならず、コストの上昇が避けられない。
【０００６】
また特開平７−５０８２５号公報に示されたシステムは、撮像装置を建物に固定して歩行者を検出するものであるため、車両に搭載し、車両走行中の判定に使用する場合には、歩行者の判定精度が低下するおそれがある。
また特開平１１−３２８３６４号公報に示された装置は、対象物の重心位置、縦横比、充足率、実面積などの条件に基づいて歩行者の頭部に相当する領域を決定することにより、歩行者を検知するものであり、歩行者以外の犬や馬といった動物全般を抽出することは困難である。
【０００７】
本発明は上述した点に着目してなされたものであり、走行中の車両から動物を正確に検知することができる動物検知装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、撮像手段により得られた画像より動物を検知する車両用の動物検知装置において、前記画像から動物と推定される領域を切り出し、該切り出した動物推定領域の形状の複雑度を特徴量として算出する特徴量算出手段と、前記特徴量の変動量のばらつきを示す統計量を算出し、該算出した統計量が、予め設定される判定閾値より大きいとき、前記動物推定領域に対応する像が動物であると判定する動物判定手段とを備えることを特徴とする。
【０００９】
この構成によれば、撮像手段により得られた画像から動物と推定される領域が切り出され、該切り出された動物推定領域の形状の複雑度が特徴量として算出され、この特徴量の変動量のばらつきを示す統計量が算出され、該算出された統計量が、予め定される判定閾値より大きいとき、動物推定領域に対応する像が動物であると判定されるので、比較的簡単な構成で、道路を横断する動物を走行中の車両から正確に検知することができる。
【００１０】
前記特徴量算出手段は、前記複雑度を前記動物推定領域の周囲長及び面積に基づいて算出する。具体的には、周囲長の２乗を面積で除算することにより複雑度を算出する。
また前記特徴量算出手段は、前記変動量の移動平均値を算出し、さらに所定サンプル数の前記移動平均値の標準偏差または分散を、ばらつきを表す統計量として算出することが望ましい。
【００１１】
また、前記撮像手段は、遠赤外線を検出可能なものとし、前記特徴量算出手段は、前記撮像手段の出力信号が示す画像の明るさが切り出し閾値以上の領域を前記動物推定領域とすることが望ましい。ここで切り出し閾値は、例えば画像内の明るさの最大値に１より小さい所定係数を乗算することにより設定する。
この構成により、動物推定領域を簡単な構成で正確に切り出すことが可能となる。
【００１２】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態にかかる車両用動物検知装置の構成を示すブロック図であり、この装置は、遠赤外線を検出可能な撮像部１と、撮像部１から出力されるアナログ画像信号をディジタル画像信号に変換するＡ／Ｄ変換部２と、Ａ／Ｄ変換部２から出力されるディジタル画像信号を記憶する画像記憶部３と、動物推定領域を切り出すための明るさ（撮像部１から出力される撮像信号レベル）Ｂの閾値ＢＴＨ（以下「切り出し閾値ＢＴＨ」という）を設定する切り出し閾値設定部４と、切り出し閾値ＢＴＨを用いて、閾値ＢＴＨ以上の明るさの領域を動物推定領域として切り出す領域切り出し部５と、切り出された動物推定領域の周囲長ＬＳ及び面積ＳＡを用いて算出される複雑度ＣＰＬＸ（＝ＬＳ²／ＳＡを、特徴量として算出する特徴量算出部６と、複雑度ＣＰＬＸの変動量Ｃ（ｋ）（＝ＣＰＬＸ（ｋ）−ＣＰＬＸ（ｋ−１）、ｋは連続的な時刻ｔをサンプリング時間間隔で離散化したパラメータ）を算出し、この変動量Ｃ（ｋ）に基づいて動物推定領域に対応する像が動物であるか否かを判定する動物判定部９と、撮像部１によって得られる画像及び動物判定部９による判定結果を表示するための表示部１１と、表示部１１に画像及び判定結果を表示させるための制御を行う表示制御部１０とを備えている。
【００１３】
図２は、図１の動物検知装置を実際に車両に搭載する場合の構成例を示す図であり、この例においては、運転者に道路の案内をするナビゲーション装置と動物検知装置とを組み合わせた運転補助システムとして構成されている。このシステムは、撮像部１に対応する遠赤外線カメラ１ａと、Ａ／Ｄ変換部２，画像記憶部３，切り出し閾値設定部４，領域切り出し部５，特徴量算出部６，及び動物判定部９を構成する画像処理電子制御ユニット（以下「画像処理ＥＣＵ」という）２１と、ナビゲーション装置の電子制御ユニットであって、表示制御部１０としての機能を有するナビゲーションＥＣＵ２２と、表示部１１に相当するナビゲーション用ディスプレイ２３とで構成されている。
【００１４】
遠赤外線カメラ１ａは、例えば図３に示すように車両の前部のほぼ中央位置に配置される。またディスプレイ２３は、例えば運転席から容易に見える位置であって且つ前方視界を良好に維持できる位置に配置される。ナビゲーションＥＣＵ２２は，切り換えスイッチ（図示せず）の設定に応じて、ディスプレイ２３に表示する画像を、ナビゲーション用の画像、またはカメラ１ａにより撮像されている画像のいずれかに切り換える制御を行う。
【００１５】
図２の画像処理ＥＣＵ２１は、Ａ／Ｄ変換部２及び画像記憶部３に相当する画像前処理部３１と、切り出し閾値設定部４，領域切り出し部５，特徴量算出部６，及び動物判定部９に対応し、各種演算処理を実行する画像処理ＣＰＵ３２とを備えて構成される。
【００１６】
以下図１に示す構成に沿って動物検知装置の動作を説明する。
切り出し閾値設定部４は、画像全体の明るさの最大値ＢＭＡＸを検出し、この最大値ＢＭＡＸに１より小さい所定係数αを乗算することにより、切り出し閾値ＢＴＨを設定する。所定係数αは、撮像部１の特性などによって適切な値が変化するので、実験的に最適値に設定される。
【００１７】
領域切り出し部５は、明るさＢが切り出し閾値ＢＴＨ以上である領域を動物推定領域として切り出す処理を行う。より具体的には、切り出し閾値ＢＴＨ以上の明るさの画素を抽出し、上下左右で連結している画素を結合して動物推定領域を切り出す。撮像部１は、遠赤外線を検出可能であり、被写体の温度が高いほど、明るさＢが増加するので、閾値ＢＴＨ（所定係数α）を実験的に適切な値に設定することにより、動物と推定される領域を正確に切り出すことができる。
【００１８】
特徴量算出部６は、下記式（１）により定義される動物推定領域の複雑度ＣＰＬＸを特徴量としてサンプリング時間ＴＳ（例えば３３ｍｓｅｃ）毎に算出する。
ＣＰＬＸ＝ＬＳ²／ＳＡ（１）
ここで、ＬＳは動物推定領域の周囲長、ＳＡは動物推定領域の面積である。
【００１９】
動物が車両の進行方向に対してほぼ垂直の方向に歩行している場合、動物推定領域は、図４（ａ）に黒で塗りつぶして示すように変化し、その複雑度ＣＰＬＸは、同図（ｂ）に線Ｌ１で示すように周期的に変動する。一方動物推定領域が同図（ｃ）示すように単純な矩形であるような場合、例えば太陽で暖められて高温になっている電柱のような物体である場合は、その複雑度ＣＰＬＸは、理論的には一定であるか、実際には同図（ｂ）に線Ｌ２で示すように測定誤差程度の変動を伴って検出される。したがって動物判定部９は、複雑度ＣＰＬＸの変動を検出することにより動物推定領域に対応する像が、動物であるか否かを判定する。
【００２０】
より具体的には、動物判定部９は先ず下記式（２）により変動量Ｃ（ｋ）の移動平均ＭＡ（ｋ）を算出し、さらに下記式（３）により移動平均ＭＡ（ｋ）の標準偏差σを算出する。
【数１】

【数２】

式（２）により（ｎ−１）回前の変動量Ｃ（ｋ−ｎ＋１）から今回の変動量Ｃ（ｋ）までのｎ個の値の移動平均ＭＡ（ｋ）が算出され、式（３）により（ｍ−１）回前の移動平均ＭＡ（ｋ−ｍ＋１）から今回の移動平均ＭＡ（ｋ）までのｍ個の値の標準偏差σが算出される。
【００２１】
式（３）により算出される標準偏差σは、移動平均ＭＡ（ｋ）、したがって複雑度変動量Ｃ（ｋ）のばらつきを示す統計量であり、この標準偏差σが判定閾値σＴＨ以上であるときは、動物推定領域として切り出した像が、動物であると判定する。この処理は、複雑度変動量Ｃ（ｋ）の平均的な振幅が判定閾値を越える場合に、動物と判定することに相当する。判定閾値σＴＨは、実験により最適な値に予め設定されている。
【００２２】
式（３）による標準偏差σの算出は、例えば対象が動物である場合の複雑度ＣＰＬＸの平均的な変動周期に１回の割合で実行することが望ましく、通常は０．５秒程度の周期で実行する。サンプリング周期ＴＳを３３ｍｓｅｃとすると、サンプル数ｍ＝０．５／０．０３３≒１５となる。また式（２）のｎは例えば４に設定する。
【００２３】
動物判定部９は、標準偏差σが判定閾値σＴＨ以上か否かを判別し、σ≧σＴＨであるとき、動物推定領域として切り出した像が動物であると判定し、その結果を表示制御部１０に入力する。表示制御部１０は、Ａ／Ｄ変換部２から出力される画像をそのまま表示部１１に表示させる制御を行うとともに、動物であると判定された場合には、対応する領域を例えば図５に示すように強調する制御を行う。これにより、運転者は前方を横切る動物が存在することを容易に認識することが可能となる。
【００２４】
以上のように本実施形態によれば、動物推定領域の複雑度ＣＰＬＸの変動量Ｃ（ｋ）の移動平均ＭＡ（ｋ）が算出され、さらにｍ個の移動平均ＭＡの標準偏差σが算出され、標準偏差σが判定閾値σＴＨ以上であるとき、動物推定領域として切り出した像が動物である判定されるので、比較的簡単な構成で走行中の車両から動物を正確に検知することができる。すなわち、前記式（１）により定義される複雑度ＣＰＬＸは、当該車両の車速に依存しないパラメータであるので、判定閾値σＴＨを車速に応じて変更する必要がなく、走行中の車両から移動する動物を検知する際の精度を高めることができる。
【００２５】
図６は、図１に示したブロック４〜６，及び９の機能を図２の画像処理ＣＰＵ３２による演算処理で実現する場合のフローチャートであり、この処理は上記したサンプリング周期ＴＳ毎に実行される。
ステップＳ１１では、切り出し閾値ＢＴＨの設定を行い、次いで明るさＢが切り出し閾値ＢＴＨを越える画素の領域を、動物推定領域として切り出す（ステップＳ１２）。そして特徴量、すなわち動物推定領域の複雑度ＣＰＬＸの算出を行い（ステップＳ１３）、図７に示す動物判定処理を実行する（ステップＳ１４）。
【００２６】
図７のステップＳ２１では、特徴量、すなわち複雑度ＣＰＬＸの時間変動量（＝ＣＰＬＸ（ｋ）−ＣＰＬＸ（ｋ−１））を配列Ｃ（ｋ）に代入し、次いで前記式（２）（３）により複雑度変動量Ｃ（ｋ）の移動平均ＭＡ（ｋ）及び移動平均ＭＡ（ｋ）の標準偏差σを算出し（ステップＳ２２，Ｓ２３）、標準偏差σが判定閾値σＴＨ以上か否かを判別する（ステップＳ２４）。その結果、σ≧σＴＨであるときは、動物推定領域に対応する像が動物であると判定し（ステップＳ２４）、σ＜σＴＨであるときは、動物以外と判定する（ステップＳ２６）。
【００２７】
以上のように図６及び７の処理を画像処理ＣＰＵ３２で実行することにより、図１の切り出し閾値設定部４，領域切り出し部５，特徴量算出部６，及び動物判定部９の機能が実現される。
本実施形態では、画像記憶部３，切り出し閾値設定部４，領域切り出し部５及び特徴量算出部６が特徴量算出手段に相当し、動物判定部９が動物判定手段に相当し、複雑度ＣＰＬＸ及び複雑度変動量Ｃ（ｋ）がそれぞれ特徴量及び変動量に相当する。
【００２８】
一般に平均化処理は、周波数の高い成分を除去するローパスフィルタ処理に相当し、サンプル数ｍの標準偏差σを算出する処理は、ｍ個のサンプルが得られる期間ＴＭＳより短い周期の変動分を抽出するハイパスフィルタ処理に相当するので、上述した移動平均算出処理及び標準偏差算出処理は、バンドパスフィルタ処理、すなわち特定周波数成分の抽出処理とみなすことができる。移動する動物に特有の周波数成分は、一定ではないが、例えば０．５Ｈｚから８Ｈｚ程度の範囲の周波数成分を抽出してその大きさを評価することにより、移動する動物以外に起因する変動成分を除去し、動物を検出することができる。
【００２９】
なお本発明は上述した実施形態に限るものではなく、例えば撮像手段としては、遠赤外線を検出可能なカメラを使用したが、可視光線のみ検出可能な通常のカメラを使用してもよい。その場合には、例えば前述した特開平９−２５９２８２号公報に示されたような移動障害物検出手法や、ビデオカメラによって得られる濃度値が周辺濃度に対して変化があり、かつ面積がある程度以上あるものを抽出する手法（第１３回日本ロボット学会学術講演会（平成７年１１月）での報告）などを用いて動物推定領域を切り出すようにすればよい。
【００３０】
また特徴量の変動量の特定周波数成分を抽出する手法は、上述したものが簡便で好ましいものであるが、他のデジタル信号処理によって、バンドパスフィルタ処理を実行して抽出したり、あるいは高速フーリエ変換により移動する動物に特有の特定周波数成分を抽出するようにしてもよい。
【００３１】
また特徴量のばらつきを示す統計量として、上述した実施形態では標準偏差σを用いたが、例えば分散ＶＲ（＝σ²）やｍ個のサンプル値（ＭＡ）の最大値と最小値との差Ｒを用いてもよい。
また上述した実施形態では、切り出し閾値設定部４は、画像内の明るさの最大値に１より小さい係数αを乗算して切り出し閾値ＢＴＨを設定したが、これに限るものではなく、明るさの分布ヒストグラムを算出し、暗い背景と明るい対象による最小値と最大値とを検索し、その中間に切り出し閾値ＢＴＨを設定するようにしてもよい。あるいは、前述したいずれかの手法で切り出し閾値を設定して切り出し領域を決定し、さらに前回までの動物推定領域を特定する情報（画面上の位置や広がり示す情報）を用いて前記切り出し領域を補正することにより、今回の動物推定領域を決定するようにしてもよい。
【００３２】
【発明の効果】
以上詳述したように本発明によれば、撮像手段により得られた画像から動物と推定される領域が切り出され、該切り出された動物推定領域の形状の複雑度が特徴量として算出され、この特徴量の変動量のばらつきを示す統計量が算出され、該算出された統計量が、予め定される判定閾値より大きいとき、動物推定領域に対応する像が動物であると判定されるので、比較的簡単な構成で、道路を横断する動物を走行中の車両から正確に検知することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる動物検知装置に構成を示すブロック図である。
【図２】図１に示す装置を車両に搭載する場合の構成例を示すブロック図である。
【図３】撮像装置の配置を説明するための図である。
【図４】動物に特有の特徴量の推移を説明するための図である。
【図５】動物を検知したときの表示を説明するための図である。
【図６】図１に示すブロックの機能を実現するための処理手順を示すフローチャートである。
【図７】図６の動物判定処理を詳細に示すフローチャートである。
【符号の説明】
１撮像部（撮像手段）
２Ａ／Ｄ変換部
３画像記憶部（特徴量算出手段）
４切り出し閾値設定部（特徴量算出手段）
５領域切り出し部（特徴量算出手段）
６特徴量算出部（特徴量算出手段）
９動物判定部（動物判定手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an animal detection device for a vehicle that detects an animal based on an image obtained by an imaging device such as a television camera.
[0002]
[Prior art]
Japanese Patent Laid-Open No. 9-259282 discloses a detection device for moving obstacles such as pedestrians and animals, and this device extracts an optical flow on an image obtained by an imaging device and travels the host vehicle. An area having a flow other than the optical flow caused by the above is extracted as a moving obstacle area in the image.
[0003]
Japanese Patent Application Laid-Open No. 7-50825 discloses a system for monitoring humans and animals with an imaging device installed in a building. This system is composed of an imaging device, a turntable on which the imaging device is mounted, and an image processing device that processes an image obtained by the imaging device, extracts a moving body region including an image that moves within the image, and further moves The person walking is determined based on the area change of the lower region of the body region.
[0004]
In addition, in consideration of use at night, instead of a normal imaging device that detects visible light, an infrared imaging device that detects far infrared rays is used to detect objects such as pedestrians that are hotter than their surroundings. A display processing apparatus in which the contour is emphasized and displayed has also been known (Japanese Patent Laid-Open No. 11-328364).
[0005]
[Problems to be solved by the invention]
However, since the moving obstacle detection device disclosed in Japanese Patent Laid-Open No. 9-259282 is intended to detect moving objects, it may detect not only pedestrians but also other objects moving on the road. Yes, only pedestrians cannot be detected separately from other moving objects. Further, since it is necessary to perform an optical flow calculation on the entire image, a dedicated DSP (Digital Signal Processor) or the like must be used, and an increase in cost is inevitable.
[0006]
The system disclosed in Japanese Patent Application Laid-Open No. 7-50825 is for detecting a pedestrian by fixing an imaging device to a building. There is a possibility that the determination accuracy of the pedestrian is lowered.
In addition, the apparatus disclosed in Japanese Patent Application Laid-Open No. 11-328364 determines a region corresponding to a pedestrian's head based on conditions such as the position of the center of gravity, aspect ratio, filling rate, and actual area of the object. It detects pedestrians and it is difficult to extract all animals such as dogs and horses other than pedestrians.
[0007]
The present invention has been made paying attention to the above-described points, and an object thereof is to provide an animal detection device capable of accurately detecting an animal from a running vehicle.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, in an animal detection apparatus for a vehicle that detects an animal from an image obtained by an imaging means, an area that is estimated to be an animal is cut out from the image and cut out. A feature amount calculating means for calculating the complexity of the shape of the animal estimation region as a feature amount, a statistic indicating variation in the variation amount of the feature amount, and the calculated statistic from a predetermined determination threshold When it is large, it comprises animal determination means for determining that the image corresponding to the animal estimation region is an animal.
[0009]
According to this configuration, a region estimated to be an animal is cut out from the image obtained by the imaging unit, the complexity of the shape of the cut animal estimation region is calculated as a feature amount, and the variation amount of the feature amount is calculated. When a statistic indicating variation is calculated, and the calculated statistic is greater than a predetermined determination threshold, the image corresponding to the animal estimation region is determined to be an animal, and therefore, with a relatively simple configuration. It is possible to accurately detect an animal crossing a road from a running vehicle.
[0010]
The feature amount calculating means calculates the complexity based on a perimeter and an area of the animal estimation region. Specifically, the complexity is calculated by dividing the square of the perimeter by the area.
Further, it is desirable that the feature amount calculating means calculates a moving average value of the fluctuation amount, and further calculates a standard deviation or variance of the moving average value of a predetermined number of samples as a statistic indicating the variation.
[0011]
The imaging unit may detect far-infrared rays, and the feature amount calculating unit may set an area where the brightness of an image indicated by the output signal of the imaging unit is equal to or greater than a cut-out threshold as the animal estimation area. desirable. Here, the clipping threshold is set by, for example, multiplying the maximum brightness value in the image by a predetermined coefficient smaller than 1.
With this configuration, it is possible to accurately cut out the animal estimation region with a simple configuration.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a veterinary animal detection apparatus according to an embodiment of the present invention. This apparatus includes an imaging unit 1 capable of detecting far-infrared rays and an analog image output from the imaging unit 1. An A / D converter 2 for converting the signal into a digital image signal, an image storage unit 3 for storing the digital image signal output from the A / D converter 2, and a brightness (imaging unit) for extracting an animal estimation region 1 is used to set a threshold value BTH (hereinafter referred to as “cutout threshold value BTH”) of the image pickup signal level (B) output from 1 and a cutout threshold value BTH to estimate a region having a brightness equal to or higher than the threshold value BTH. a region extraction unit 5 for cutting out the region, the complexity CPLX (= LS ² / SA calculated using ambient animal estimated cropped region length LS and the area SA, is calculated as a feature amount The amount calculation unit 6 and the amount of variation C (k) of the complexity CPLX (= CPLX (k) −CPLX (k−1), k is a parameter obtained by discretizing a continuous time t at a sampling time interval) Then, based on the variation C (k), an animal determination unit 9 that determines whether the image corresponding to the animal estimation region is an animal, an image obtained by the imaging unit 1, and a determination result by the animal determination unit 9 The display unit 11 for displaying the image and the display control unit 10 for performing control for displaying the image and the determination result on the display unit 11 are provided.
[0013]
FIG. 2 is a diagram showing a configuration example when the animal detection device of FIG. 1 is actually mounted on a vehicle. In this example, the navigation device for guiding the road to the driver and the animal detection device are combined. It is configured as a driving assistance system. This system includes a far-infrared camera 1a corresponding to the imaging unit 1, an A / D conversion unit 2, an image storage unit 3, a cutout threshold setting unit 4, a region cutout unit 5, a feature amount calculation unit 6, and an animal determination unit 9. An image processing electronic control unit (hereinafter referred to as “image processing ECU”) 21, an electronic control unit of a navigation device, a navigation ECU 22 having a function as the display control unit 10, and a navigation corresponding to the display unit 11. And a display 23 for use.
[0014]
For example, as shown in FIG. 3, the far-infrared camera 1a is disposed at a substantially central position of the front portion of the vehicle. The display 23 is disposed at a position where it can be easily seen from the driver's seat, for example, and can maintain a good front view. The navigation ECU 22 performs control to switch the image displayed on the display 23 to either the navigation image or the image captured by the camera 1a in accordance with the setting of a changeover switch (not shown).
[0015]
The image processing ECU 21 in FIG. 2 includes an image preprocessing unit 31 corresponding to the A / D conversion unit 2 and the image storage unit 3, a cutout threshold setting unit 4, a region cutout unit 5, a feature amount calculation unit 6, and an animal determination unit. 9 and an image processing CPU 32 that executes various arithmetic processes.
[0016]
The operation of the animal detection apparatus will be described below along the configuration shown in FIG.
The cut-out threshold value setting unit 4 detects the maximum brightness value BMAX of the entire image, and sets the cut-out threshold value BTH by multiplying the maximum value BMAX by a predetermined coefficient α smaller than 1. The predetermined coefficient α is set to an optimum value experimentally because an appropriate value varies depending on characteristics of the imaging unit 1 and the like.
[0017]
The area cutout unit 5 performs a process of cutting out an area whose brightness B is equal to or greater than the cutout threshold BTH as an animal estimation area. More specifically, pixels having a brightness equal to or higher than the cut-out threshold BTH are extracted, and the animal estimation region is cut out by combining pixels connected in the vertical and horizontal directions. The imaging unit 1 can detect far-infrared rays, and the brightness B increases as the temperature of the subject increases. Therefore, by setting the threshold value BTH (predetermined coefficient α) to an appropriate value experimentally, The estimated area can be accurately cut out.
[0018]
The feature amount calculation unit 6 calculates the complexity CPLX of the animal estimation region defined by the following equation (1) as a feature amount every sampling time TS (for example, 33 msec).
CPLX = LS ² / SA (1)
Here, LS is the perimeter of the animal estimation region, and SA is the area of the animal estimation region.
[0019]
When the animal is walking in a direction substantially perpendicular to the traveling direction of the vehicle, the animal estimation area changes as shown in black in FIG. 4A, and its complexity CPLX is shown in FIG. As shown by the line L1 in b), it fluctuates periodically. On the other hand, when the animal estimation region is a simple rectangle as shown in FIG. 5C, for example, when the object is an object such as a utility pole heated by the sun and having a high temperature, the complexity CPLX is calculated as follows. In actuality, it is constant or is detected with a variation of about a measurement error as indicated by a line L2 in FIG. Therefore, the animal determination unit 9 determines whether or not the image corresponding to the animal estimation region is an animal by detecting a change in the complexity CPLX.
[0020]
More specifically, the animal determination unit 9 first calculates the moving average MA (k) of the variation C (k) by the following equation (2), and further calculates the standard of the moving average MA (k) by the following equation (3). The deviation σ is calculated.
[Expression 1]

[Expression 2]

The moving average MA (k) of n values from the fluctuation amount C (k−n + 1) before (n−1) times to the current fluctuation amount C (k) is calculated by the equation (2). ), The standard deviation σ of m values from the moving average MA (k−m + 1) before (m−1) times to the current moving average MA (k) is calculated.
[0021]
The standard deviation σ calculated by the equation (3) is a statistic indicating the variation of the moving average MA (k), and hence the complexity variation amount C (k), and when the standard deviation σ is equal to or greater than the determination threshold σTH. Determines that the image cut out as the animal estimation region is an animal. This process corresponds to determining an animal when the average amplitude of the complexity variation amount C (k) exceeds the determination threshold. The determination threshold σTH is set in advance to an optimum value by experiment.
[0022]
The calculation of the standard deviation σ according to the equation (3) is preferably executed at a rate of once per average fluctuation cycle of the complexity CPLX when the target is an animal, for example, usually a cycle of about 0.5 seconds. Run with. If the sampling period TS is 33 msec, the number of samples m = 0.5 / 0.033≈15. Also, n in equation (2) is set to 4, for example.
[0023]
The animal determination unit 9 determines whether or not the standard deviation σ is greater than or equal to the determination threshold σTH, and when σ ≧ σTH, determines that the image cut out as the animal estimation region is an animal, and displays the result as the display control unit 10. To enter. The display control unit 10 performs control to display the image output from the A / D conversion unit 2 as it is on the display unit 11, and when it is determined to be an animal, a corresponding region is shown in FIG. Control to emphasize so that. As a result, the driver can easily recognize that there is an animal crossing the front.
[0024]
As described above, according to this embodiment, the moving average MA (k) of the variation amount C (k) of the complexity CPLX of the animal estimation region is calculated, and the standard deviation σ of the m moving average MAs is calculated. When the standard deviation σ is equal to or greater than the determination threshold value σTH, the image cut out as the animal estimation region is determined to be an animal, so that an animal can be accurately detected from a traveling vehicle with a relatively simple configuration. That is, since the complexity CPLX defined by the equation (1) is a parameter that does not depend on the vehicle speed of the vehicle, there is no need to change the determination threshold σTH according to the vehicle speed, and an animal that moves from the running vehicle. It is possible to improve the accuracy when detecting the above.
[0025]
FIG. 6 is a flowchart in the case where the functions of the blocks 4 to 6 and 9 shown in FIG. 1 are realized by arithmetic processing by the image processing CPU 32 of FIG. 2, and this processing is executed at each sampling cycle TS described above. .
In step S11, a cut-out threshold value BTH is set, and then a pixel region whose brightness B exceeds the cut-out threshold value BTH is cut out as an animal estimation region (step S12). Then, the feature amount, that is, the complexity CPLX of the animal estimation region is calculated (step S13), and the animal determination process shown in FIG. 7 is executed (step S14).
[0026]
In step S21 of FIG. 7, the feature amount, that is, the temporal variation amount (= CPLX (k) −CPLX (k−1)) of the complexity CPLX is substituted into the array C (k), and then the equation (2) (3 ) To calculate the moving average MA (k) of the complexity fluctuation amount C (k) and the standard deviation σ of the moving average MA (k) (steps S22 and S23), and determine whether the standard deviation σ is greater than or equal to the determination threshold σTH. A determination is made (step S24). As a result, when σ ≧ σTH, it is determined that the image corresponding to the animal estimation region is an animal (step S24), and when σ <σTH, it is determined that the image is not an animal (step S26).
[0027]
6 and 7 are executed by the image processing CPU 32, the functions of the cutout threshold setting unit 4, the region cutout unit 5, the feature amount calculation unit 6, and the animal determination unit 9 of FIG. 1 are realized. The
In the present embodiment, the image storage unit 3, the cutout threshold setting unit 4, the region cutout unit 5, and the feature amount calculation unit 6 correspond to the feature amount calculation unit, the animal determination unit 9 corresponds to the animal determination unit, and the complexity CPLX The complexity variation amount C (k) corresponds to the feature amount and the variation amount, respectively.
[0028]
In general, the averaging process corresponds to a low-pass filter process that removes high frequency components, and the process of calculating the standard deviation σ of the number of samples m extracts fluctuations with a period shorter than the period TMS in which m samples are obtained. Therefore, the moving average calculation process and the standard deviation calculation process described above can be regarded as a band-pass filter process, that is, a specific frequency component extraction process. Although the frequency component peculiar to the moving animal is not constant, for example, by extracting the frequency component in the range of about 0.5 Hz to 8 Hz and evaluating its size, the fluctuation component caused by other than the moving animal is extracted. Remove and detect animals.
[0029]
Note that the present invention is not limited to the above-described embodiment. For example, a camera capable of detecting far-infrared rays is used as the imaging unit, but a normal camera capable of detecting only visible light may be used. In that case, for example, the moving obstacle detection method as disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 9-259282, or the density value obtained by the video camera changes with respect to the peripheral density, and the area exceeds a certain level. An animal estimation region may be cut out by using a method for extracting a certain thing (report at the 13th Annual Conference of the Robotics Society of Japan (November 1995)).
[0030]
The above-described method for extracting the specific frequency component of the variation amount of the feature amount is simple and preferable. However, it can be extracted by performing band-pass filter processing by other digital signal processing, or fast Fourier transform. You may make it extract the specific frequency component peculiar to the animal which moves by conversion.
[0031]
In addition, the standard deviation σ is used as the statistic indicating the variation in the feature amount in the above-described embodiment. For example, the difference between the maximum value and the minimum value of the variance VR (= σ ² ) and m sample values (MA). R may be used.
In the embodiment described above, the cutout threshold setting unit 4 sets the cutout threshold BTH by multiplying the maximum value of brightness in the image by a coefficient α smaller than 1, but the present invention is not limited to this. A distribution histogram may be calculated, a minimum value and a maximum value for a dark background and a bright object may be searched, and a cut-out threshold value BTH may be set between them. Alternatively, the cutout area is determined by setting the cutout threshold by any one of the methods described above, and the cutout area is corrected using information (information on the position and spread on the screen) that specifies the animal estimation area until the previous time. By doing so, the current animal estimation region may be determined.
[0032]
【The invention's effect】
As described above in detail, according to the present invention, a region estimated to be an animal is cut out from the image obtained by the imaging means, and the complexity of the shape of the cut animal estimation region is calculated as a feature amount. When a statistic indicating variation in the variation amount of the feature amount is calculated, and the calculated statistic is larger than a predetermined determination threshold, the image corresponding to the animal estimation region is determined to be an animal. With a relatively simple configuration, an animal crossing a road can be accurately detected from a running vehicle.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an animal detection apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration example when the apparatus shown in FIG. 1 is mounted on a vehicle.
FIG. 3 is a diagram for explaining an arrangement of imaging devices.
FIG. 4 is a diagram for explaining a transition of a characteristic amount peculiar to an animal.
FIG. 5 is a diagram for explaining a display when an animal is detected.
6 is a flowchart showing a processing procedure for realizing the function of the block shown in FIG. 1;
7 is a flowchart showing in detail the animal determination process of FIG. 6;
[Explanation of symbols]
1 Imaging unit (imaging means)
2 A / D conversion unit 3 Image storage unit (feature amount calculation means)
4 cut-out threshold value setting unit (feature amount calculation means)
5 area cutout unit (feature amount calculation means)
6 feature amount calculation unit (feature amount calculation means)
9 Animal judgment part (animal judgment means)

Claims

In an animal detection device for a vehicle that detects an animal from an image obtained by an imaging means,
A feature amount calculation unit that cuts out an area estimated to be an animal from the image, calculates the complexity of the shape of the cut animal estimation region as a feature amount, and calculates a statistic indicating variation in the variation amount of the feature amount. An animal detection apparatus comprising: an animal determination unit that determines that an image corresponding to the animal estimation region is an animal when the calculated statistic is greater than a predetermined determination threshold.