JP3839329B2 - ナイトビジョンシステム - Google Patents
ナイトビジョンシステム Download PDFInfo
- Publication number
- JP3839329B2 JP3839329B2 JP2002027367A JP2002027367A JP3839329B2 JP 3839329 B2 JP3839329 B2 JP 3839329B2 JP 2002027367 A JP2002027367 A JP 2002027367A JP 2002027367 A JP2002027367 A JP 2002027367A JP 3839329 B2 JP3839329 B2 JP 3839329B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- binarized
- image
- obj
- vision system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の２値化処理により、対象物抽出を行うナイトビジョンシステムに関する。
【０００２】
【従来の技術】
従来、赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に提供するナイトビジョンシステムが提案されている。このシステムでは、歩行者等の対象物における車両との衝突の可能性は、車両と対象物との相対距離や相対速度に基づいて判定される。
【０００３】
また、例えばこのように赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出するナイトビジョンシステムには、特開平１１−３２８３６４号公報に記載のものがある。同公報によると、この装置は赤外線画像を２値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる。
【０００４】
【発明が解決しようとする課題】
しかし、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、２値化処理により頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、その２値化形状は不定形である。また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人（成人）まで本来とは異なる身長で検出される。
従って、対象物の画面での重心座標が距離に対して固定化できないため、上述の従来の装置のように、形状判定のみで歩行者の抽出を行った場合、車両のヘッドライト（Ｈ／Ｌ）やテールライト（Ｔ／Ｌ）は、その存在高さ位置や形状から、歩行者の頭部と区別して識別することが困難である場合が生じる可能性があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から抽出される不定形な２値化対象物の位置や発せられる赤外線量により、安定した歩行者の抽出を妨げる車両を対象物から排除するナイトビジョンシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係わるナイトビジョンシステムは、２つの赤外線カメラにより捉えられた画像を利用して、物体を認識するナイトビジョンシステムであって、前記画像のグレースケール画像を２値化処理することにより、前記グレースケール画像から、少なくとも１つの灯体と思われる第１の対象物を熱源として抽出する灯体抽出手段（例えば第１、第２の実施の形態のステップＳ１〜ステップＳ１３、第１の実施の形態のＳ４１〜Ｓ４３、または第２の実施の形態のＳ６１〜Ｓ６３）と、前記第１の対象物の周囲の領域と、前記第１の対象物との距離を比較して、前記第１の対象物と同一距離の第２の対象物を抽出する同一距離対象物抽出手段（例えば第１の実施の形態のステップＳ４４〜ステップＳ４６、ステップＳ５０〜ステップＳ５２、または第２の実施の形態のステップＳ６４〜ステップＳ６６、ステップＳ７０〜ステップＳ７２）と、前記第２の対象物の位置及び該第２の対象物から発せられる赤外線量と、予め設定された車両構造物の位置及び該車両構造物から発せられる赤外線量との比較により、前記画像中の車両を認識する車両判別手段（例えば第１の実施の形態のステップＳ４７〜ステップＳ４８、ステップＳ５３〜Ｓ５４または第２の実施の形態のステップＳ６７〜ステップＳ６９、ステップＳ７３〜ステップＳ７６）とを備えたことを特徴とする。
【０００７】
以上の構成を備えたナイトビジョンシステムは、まず灯体抽出手段により、例えば車両の灯体と思われる第１の対象物を認識する。次に、同一距離対象物抽出手段により、第１の対象物の周囲を探索して、第１の対象物と同一距離の第２の対象物を抽出する。そして、車両判別手段により、第１の対象物と第２の対象物との関係が、車両の特徴に当てはまるか否か、第２の対象物の位置及び該第２の対象物から発せられる赤外線量を判断することで、目的の第１及び第２の対象物を含む物体が車両か否かを判断することができる。
【０００８】
請求項２の発明に係わるナイトビジョンシステムは、請求項１に記載のナイトビジョンシステムにおいて、前記車両判別手段が、前記第１の対象物と高さが同一で、かつ前記第１の対象物と同一の赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、第１の対象物と第２の対象物とが、車両の幅の距離以内で対称に配置された灯体、すなわち、例えば第１の対象物に車両の一方の灯体が、また第２の対象物に車両のもう一方の灯体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
【０００９】
請求項３の発明に係わるナイトビジョンシステムは、請求項１に記載のナイトビジョンシステムにおいて、前記車両判別手段が、前記第１の対象物と高さが同一か、あるいは前記第１の対象物より高さが低く、かつ前記第１の対象物より高い赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両の排気管やフロントグリルのような高温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
【００１０】
請求項４の発明に係わるナイトビジョンシステムは、請求項１に記載のナイトビジョンシステムにおいて、前記車両判別手段が、前記第１の対象物より高さが高く、かつ前記第１の対象物より低い赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両のウィンドシールドのような低温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態のナイトビジョンシステムの構成を示すブロック図である。
図１において、符号１は、本実施の形態のナイトビジョンシステムを制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１２】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１３】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１４】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１５】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態のナイトビジョンシステムの画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１６】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１７】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物（２値化対象物）１から４として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１８】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１９】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２０】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２１】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２２】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２３】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。距離ｚを求める式は後述する。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２４】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２５】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２６】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２７】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２８】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００２９】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ３を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００３０】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３１】
以上が、本実施の形態のナイトビジョンシステムの画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３２】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３３】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３４】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３５】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、グレースケール画像上で、例えば車両のような対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００３６】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００３７】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００３８】
次に、図８に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図８は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。
図８において、まず、画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）、面積Ｓ、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ４１）。なお、求める２値化対象物形状特徴量は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差Δｄ［ｐｉｘｅｌ］を用いて算出する。
【００３９】
具体的には、自車両１０と対象物との距離ｚは、
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（１）
と表されるので、
実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、
ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆ
ΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（２）
２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、
Ｘｔ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｔ＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２
Ｚｔ＝ｚ ・・・（３）
で算出することができる。
【００４０】
次に、図３に示したフローチャートのステップＳ７において抽出された２値化対象物の中に、ステップＳ４１において取得された２値化対象物中で、対称な位置に存在する２値化対象物を探索する（ステップＳ４２）。具体的には、図９に示すようなＯＢＪ［Ｉ］（ＩはＯＢＪを区別するための番号）の中で、以下の（４）〜（６）式に示す条件を満たす２値化対象物を、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］と判定する。
【００４１】
条件１：（４）式を満たして距離の差分が規定値ＴＨ１より小さく、同一距離とみなせる２値化対象物。
｜Ｚｔ［Ｘ］−Ｚｔ［Ｙ］｜＜ＴＨ１ ・・・（４）
条件２：（５）式を満たして上端高さ位置の差分が規定値ＴＨ２より小さく、同一高さに存在するとみなせる２値化対象物。
｜Ｙｔ［Ｘ］−Ｙｔ［Ｙ］｜＜ＴＨ２ ・・・（５）
条件３：（６）式を満たして左右のエッジ間（左側に位置する２値化対象物の左エッジと右側に位置する２値化対象物の右エッジとの間）の最大幅が、規定の車両の幅ＴＨ３［ｍ］より大きくＴＨ４［ｍ］より小さい２値化対象物。
ＴＨ３＜｜（Ｘｔ［Ｘ］＋ΔＷｂ［Ｘ］／２）−（Ｘｔ［Ｙ］−ΔＷｂ［Ｙ］／２）｜＜ＴＨ４ ・・・（６）
但し、Ｚｔ［Ｘ］、Ｚｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の距離を示し、Ｙｔ［Ｘ］、Ｙｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の上端高さ位置を示す。また、（６）式はＯＢＪ（Ｘ）がＯＢＪ（Ｙ）の右側に存在する場合を示す。
【００４２】
そして、対称な位置に存在する２つの２値化対象物の有無を判定し（ステップＳ４３）、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、該２つの２値化対象物の間の上部に探索領域ＭＡＳＫ１を設定する（ステップＳ４４）。
。
ここで、例えば（４）〜（６）式に示す条件を満たして対称な位置に存在する２値化対象物ＯＢＪ［１］とＯＢＪ［２］とが車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、上部にはウィンドウシールドが存在するため、探索領域ＭＡＳＫ１の距離は、ライトと同一距離とみなせる（近傍の距離を示す）。また、上述の２値化対象物が歩行者であれば、頭部の上端は空間であるため、探索領域ＭＡＳＫ１の距離は不定となる。
【００４３】
そこで、探索領域ＭＡＳＫ１の距離ＭＡＳＫ１＿Ｚを相関演算により算出し（ステップＳ４５）、（７）式を満たして対称な位置に存在する２値化対象物ＯＢＪ[Ｘ］、ＯＢＪ［Ｙ］のいずれか一方（本実施の形態ではＯＢＪ［Ｘ］、また図９ではＸ＝１とする）と探索領域ＭＡＳＫ１との距離の差分が規定値ＴＨ５より小さく、探索領域ＭＡＳＫ１に捉えられた物体が２値化対象物と同一距離であるか否かを判定する（ステップＳ４６）。
｜ＭＡＳＫ１＿Ｚ−Ｚｔ［Ｘ］｜＜ＴＨ５ ・・・（７）
但し、規定値ＴＨ５は、ヘッドライトやテールライトとウィンドウシールドまでの距離、及び視差精度を考慮した値とする。
【００４４】
また、探索領域ＭＡＳＫ１がウィンドシールドである場合、通常ガラスは赤外線を反射するので、探索領域ＭＡＳＫ１の平均輝度値Ａｖｅは低い傾向を示す。従って、ステップＳ４６において、探索領域ＭＡＳＫ１に捉えられた物体が２値化対象物と同一距離であった場合（ステップＳ４６のＹＥＳ）、（８）式を満たして探索領域ＭＡＳＫ１の平均輝度値Ａｖｅが規定値ＴＨ６より小さいか否かを判定する（ステップＳ４７）。
Ａｖｅ＜ＴＨ６ ・・・（８）
そして、探索領域ＭＡＳＫ１の平均輝度値Ａｖｅが規定値ＴＨ６より小さかった場合（ステップＳ４７のＹＥＳ）、捉えられた２値化対象物は車両１００であると判定して（ステップＳ４８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００４５】
一方、ステップＳ４３において、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物がなかった場合（ステップＳ４３のＮＯ）、またはステップＳ４６において、探索領域ＭＡＳＫ１に捉えられた物体が２値化対象物と同一距離でなかった場合（ステップＳ４６のＮＯ）、またはステップＳ４７において、探索領域ＭＡＳＫ１の平均輝度値Ａｖｅが規定値ＴＨ６以上であった場合（ステップＳ４７のＮＯ）のいずれかであった場合は、１つの２値化対象物の上部に探索領域ＭＡＳＫ２を設定する（ステップＳ５０）。
【００４６】
ここで、探索領域ＭＡＳＫ２の上下方向の位置は、図１０に示すように、その下端位置が２値化対象物の上端位置のＵ［ｍ］上部になるように設定する。また、探索領域ＭＡＳＫ２の横方向の位置は、図１０に示すように、探索領域ＭＡＳＫ２の横重心位置が２値化対象物の横重心位置と一致するように設定する。
更に、探索領域ＭＡＳＫ２の大きさは、実空間で横Ｗ［ｍ］×縦Ｈ［ｍ］の大きさとする。但し、画面上での探索領域ＭＡＳＫ２の大きさは、（９）式として示す各式により求めるものとする。
Ｕｐ＝（ｆ×Ｕ）／（ｚ×ｐ）
Ｗｐ＝（ｆ×Ｗ）／（ｚ×ｐ）
Ｈｐ＝（ｆ×Ｈ）／（ｚ×ｐ） ・・・（９）
【００４７】
次に、探索領域ＭＡＳＫ２の距離ＭＡＳＫ２＿Ｚを相関演算により算出し（ステップＳ５１）、（１０）式を満たして検出された２値化対象物ＯＢＪ［Ｉ］のいずれか（ＩはＯＢＪを区別するための番号、また図１０ではＩ＝１とする）と、探索領域ＭＡＳＫ２との距離の差分が規定値ＴＨ７より小さく、探索領域ＭＡＳＫ２に捉えられた物体が２値化対象物と同一距離であるか否かを判定する（ステップＳ５２）。
｜ＭＡＳＫ２＿Ｚ−Ｚｔ［Ｉ］｜＜ＴＨ７ ・・・（１０）
但し、規定値ＴＨ７も、規定値ＴＨ５と同様にヘッドライトやテールライトとウィンドウシールドまでの距離、及び視差精度を考慮した値とする。
【００４８】
また、探索領域ＭＡＳＫ２にウィンドシールドが含まれている場合、通常ガラスは赤外線を反射するので、例えば図１０に示すように、探索領域ＭＡＳＫ２の内部に設定された領域Ａ及び領域Ｂの平均輝度値Ａｖｅ＿ＡまたはＡｖｅ＿Ｂのうちのいずれかは低い傾向を示す。ここで、領域Ａ及び領域Ｂの高さは、探索領域ＭＡＳＫ２と等しく、また横方向の位置は、領域Ａの左エッジが探索領域ＭＡＳＫ２の左エッジに、領域Ｂの右エッジが探索領域ＭＡＳＫ２の右エッジに接する位置とする。
【００４９】
従って、ステップＳ５２において、探索領域ＭＡＳＫ２に捉えられた物体が２値化対象物と同一距離であった場合（ステップＳ５２のＹＥＳ）、（１１）式を満たして探索領域ＭＡＳＫ２内の領域Ａの平均輝度値Ａｖｅ＿Ａが規定値ＴＨ８より小さいか否か、または（１２）式を満たして探索領域ＭＡＳＫ２内の領域Ｂの平均輝度値Ａｖｅ＿Ｂが規定値ＴＨ８より小さいか否かを判定する（ステップＳ５３）。
Ａｖｅ＿Ａ＜ＴＨ８ ・・・（１１）
Ａｖｅ＿Ｂ＜ＴＨ８ ・・・（１２）
【００５０】
また、ステップＳ５２において、探索領域ＭＡＳＫ２に捉えられた物体が２値化対象物と同一距離でなかった場合（ステップＳ５２のＮＯ）、またはステップＳ５３において、探索領域ＭＡＳＫ２内の領域Ａの平均輝度値Ａｖｅ＿Ａと探索領域ＭＡＳＫ２内の領域Ｂの平均輝度値Ａｖｅ＿Ｂとが両方とも規定値ＴＨ８以上であった場合（ステップＳ５３のＮＯ）、捉えられた２値化対象物は車両ではないと判定して（ステップＳ５４）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００５１】
なお、上述のステップＳ４３において、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、ステップＳ４７において探索領域ＭＡＳＫ１にウィンドシールドが含まれているか否かを判定せずに、対称な２値化対象物を含む物体を車両と認識しても良い。
また、２値化対象物から削除したい車両の形状に合わせて、探索領域の大きさや位置を任意に調整できるようにしても良い。
更に、図９に示すＯＢＪ［４］、ＯＢＪ［５］の位置に、連続走行時間の少ないタイヤ等の平均輝度値の低い物体を探索するようにしても良い。
【００５２】
なお、本実施の形態では、画像処理ユニット１が、灯体抽出手段と、同一距離対象物抽出手段と、車両判別手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１３、及び図８のＳ４１〜Ｓ４３が灯体抽出手段に相当し、図８のＳ４４〜Ｓ４６、Ｓ５０〜Ｓ５２が同一距離対象物抽出手段に相当する。また、図８のＳ４７〜Ｓ４８、Ｓ５３〜Ｓ５４が車両判別手段に相当する。
【００５３】
以上説明したように、本実施の形態のナイトビジョンシステムは、赤外線カメラにより撮影された画像のグレースケール画像から、２値化処理により２値化対象物を抽出する。そして、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在する場合、対称な位置に存在する２つの２値化対象物の間の上部に、ウィンドウシールドの存在を確認し、ウィンドシールドが存在する場合は２値化対象物を含めて、この物体は車両１００であると認識する。また、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在しない場合も、１つの２値化対象物の左右どちらかの上部に、ウィンドウシールドの存在を確認し、ウィンドシールドが存在する場合は２値化対象物を含めて、この物体は車両１００であると認識する。
【００５４】
これにより、車両構造物における熱を発する物体と熱を発しない物体との組み合わせを用いて、比較的簡単な手順で、赤外線カメラで捉えられた対象物から歩行者とは明らかに異なる特徴を持つ車両を予め除外し、歩行者認識の精度を向上させることができるという効果が得られる。
【００５５】
（第２の実施の形態）
次に、図面を参照して本発明の第２の実施の形態について説明する。
本発明の第２の実施の形態のナイトビジョンシステムが、第１の実施の形態のナイトビジョンシステムと比較して異なる部分は、第１の実施の形態で図８のフローチャートを用いて説明したナイトビジョンシステムの画像処理ユニット１における人工構造物判定処理動作が、図１１及び図１２にフローチャートを示す人工構造物判定処理動作に変更されることである。
なお、第２の実施の形態のナイトビジョンシステムの構成や、人工構造物判定処理動作以外の動作については、第１の実施の形態のナイトビジョンシステムと同一であるので、ここでは説明を省略する。
【００５６】
次に、図１１及び図１２のフローチャートを用いて、第２の実施の形態のナイトビジョンシステムの画像処理ユニット１における人工構造物判定処理動作を具体的に説明する。
第２の実施の形態の人工構造物判定処理動作では、第１の実施の形態の人工構造物判定処理動作と同様に、ステップＳ６１からステップＳ６３に示す処理を行う。
すなわち、まず画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）、面積Ｓ、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ６１）。
【００５７】
次に、図３に示したフローチャートのステップＳ７において抽出された２値化対象物の中に、ステップＳ６１において取得された２値化対象物中で、対称な位置に存在する２値化対象物を探索する（ステップＳ６２）。具体的には、図１３に示すようなＯＢＪ［Ｉ］（ＩはＯＢＪを区別するための番号）の中で、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして２値化対象物を、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］と判定する。
【００５８】
そして、対称な位置に存在する２つの２値化対象物の有無を判定し（ステップＳ６３）、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ６３のＹＥＳ）、該２つの２値化対象物の間の同一の高さ部分、または該２つの２値化対象物の間でかつ下部にある２値化対象物と同一距離の物体ＯＢＪ［Ｚ］を取得する（ステップＳ６４）。
ここで、図１３において、例えば第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２値化対象物ＯＢＪ［１］とＯＢＪ［２］とが車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、２値化対象物ＯＢＪ［１］とＯＢＪ［２］との間の同一の高さ部分、またはその下部には、図１３でＯＢＪ［３］として示す位置にフロントグリルや排気管が存在するはずである。
【００５９】
そこで、（１３）式を満たして対称な位置に存在する２値化対象物ＯＢＪ[Ｘ]、ＯＢＪ［Ｙ］のいずれか一方（本実施の形態ではＯＢＪ［Ｘ］、また図１３ではＸ＝１とする）との距離の差分が規定値ＴＨ９より小さく、２値化対象物と同一距離である物体ＯＢＪ［Ｚ］が存在するか否かを判定する（ステップＳ６６）。
｜Ｚｔ［Ｚ］−Ｚｔ［Ｘ］｜＜ＴＨ９ ・・・（１３）
但し、規定値ＴＨ９は、ヘッドライトやテールライトとフロントグリルや排気管までの距離、及び視差精度を考慮した値とする。
【００６０】
また、物体ＯＢＪ［Ｚ］にフロントグリルや排気管が含まれている場合、車両のエンジンにおいて発生した熱や排気の熱により、物体ＯＢＪ［Ｚ］の重心輝度値は高い傾向を示す。
従って、ステップＳ６６において、２値化対象物と同一距離である物体ＯＢＪ［Ｚ］が存在した場合（ステップＳ６６のＹＥＳ）、（１４）式を満たして物体ＯＢＪ［Ｚ］の重心輝度値が規定値ＴＨ１０より大きいか否かを判定する（ステップＳ６７）。
Ａｖｅ’＞ＴＨ１０ ・・・（１４）
そして、物体ＯＢＪ［Ｚ］の重心輝度値が規定値ＴＨ１０より大きかった場合（ステップＳ６７のＹＥＳ）、捉えられた２値化対象物は車両１００であると判定して（ステップＳ６８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６１】
また、ステップＳ６６において、２値化対象物と同一距離である物体ＯＢＪ［Ｚ］が存在しなかった場合（ステップＳ６６のＮＯ）、またはステップＳ６７において、物体ＯＢＪ［Ｚ］の重心輝度値が規定値ＴＨ１０以下であった場合（ステップＳ６７のＮＯ）、捉えられた２値化対象物は車両ではないと判定して（ステップＳ６９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００６２】
一方、ステップＳ６３において、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物がなかった場合（ステップＳ６３のＮＯ）、１つの２値化対象物と比較する２値化対象物と同一距離の物体ＯＢＪ［Ｊ］を取得する（ステップＳ７０）。
ここで、例えば１つの２値化対象物ＯＢＪ［１］が車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、２値化対象物ＯＢＪ［１］の同一の高さ部分または下部には、図１３でＯＢＪ［３］として示す位置にフロントグリルや排気管が存在するはずである。
【００６３】
そこで、（１５）式を満たして検出されたいずれかの２値化対象物ＯＢＪ［Ｉ］との距離の差分が規定値ＴＨ１５より小さく、２値化対象物ＯＢＪ［Ｉ］と同一距離である物体ＯＢＪ［Ｊ］が存在するか否かを判定する（ステップＳ７２）。
｜Ｚｔ［Ｊ］−Ｚｔ［Ｉ］｜＜ＴＨ１５ ・・・（１５）
但し、規定値ＴＨ１５も、規定値ＴＨ９と同様にヘッドライトやテールライトとフロントグリルや排気管までの距離、及び視差精度を考慮した値とする。
【００６４】
次に、ステップＳ７２において、２値化対象物ＯＢＪ［Ｉ］と同一距離である物体ＯＢＪ［Ｊ］が存在した場合（ステップＳ７２のＹＥＳ）、（１６）式を満たして物体ＯＢＪ［Ｊ］の高さ位置は２値化対象物ＯＢＪ［Ｉ］の高さ位置以下か否かを判定する（ステップＳ７３）。
Ｙｔ［Ｊ］≦Ｙｔ［Ｉ］ ・・・（１６）
また、ステップＳ７３において、物体ＯＢＪ［Ｊ］の高さ位置が２値化対象物ＯＢＪ［Ｉ］の高さ位置以下であった場合（ステップＳ７３のＹＥＳ）、（１７）式を満たして物体ＯＢＪ［Ｊ］の重心輝度値が規定値ＴＨ１６より大きく高輝度であるか否かを判定する（ステップＳ７４）。
ＯＢＪ［Ｊ］の重心輝度値＞ＴＨ１６ ・・・（１６）
【００６５】
また、ステップＳ７４において、物体ＯＢＪ［Ｊ］の重心輝度値が規定値ＴＨ１６より大きく高輝度であった場合（ステップＳ７４のＹＥＳ）、（１７）式を満たして物体ＯＢＪ［Ｊ］の幅ΔＷｂ［Ｊ］が規定値ＴＨ１７より大きく、車両構造物として適当か否かを判定する（ステップＳ７５）。
ΔＷｂ［Ｊ］＞ＴＨ１７ ・・・（１７）
更に、ステップＳ７５において、物体ＯＢＪ［Ｊ］の幅ΔＷｂ［Ｊ］が、規定値ＴＨ１７より大きく、車両構造物として適当であった場合（ステップＳ７５のＹＥＳ）、（１８）式を満たして２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］の左右のエッジ間（左側に位置するものの左エッジと右側に位置するものの右エッジとの間）の最大幅が規定の車両の幅ＴＨ１８［ｍ］より大きくＴＨ１９［ｍ］より小さいか否かを判定する（ステップＳ７６）。
ＴＨ１７＜｜（Ｘｔ［Ｉ］＋ΔＷｂ［Ｉ］／２） −（Ｘｔ［Ｊ］−ΔＷｂ［Ｊ］／２）｜＜ＴＨ１８ ・・・（１８）
なお、（１８）式も（６）式と同様に、ＯＢＪ（Ｘ）がＯＢＪ（Ｙ）の右側に存在する場合を示す。
【００６６】
ステップＳ７６において、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］の左右のエッジ間の最大幅が、規定の車両の幅ＴＨ１８［ｍ］より大きくＴＨ１９［ｍ］より小さいかった場合（ステップＳ７６のＹＥＳ）、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］を含む対象物は車両１００であると判定して（ステップＳ６８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６７】
一方、ステップＳ７２において、２値化対象物ＯＢＪ［Ｉ］と同一距離である物体ＯＢＪ［Ｊ］が存在しなかった場合（ステップＳ７２のＮＯ）、またはステップＳ７３において、物体ＯＢＪ［Ｊ］の高さ位置が２値化対象物ＯＢＪ［Ｉ］の高さより大きかった場合（ステップＳ７３のＮＯ）、またはステップＳ７４において、物体ＯＢＪ［Ｊ］の重心輝度値が規定値ＴＨ１６以下で高輝度でなかった場合（ステップＳ７４のＮＯ）のいずれかの場合、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］を含む対象物は車両ではないと判定して（ステップＳ６９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００６８】
同様に、ステップＳ７５において、物体ＯＢＪ［Ｊ］の幅ΔＷｂ［Ｊ］が、規定値ＴＨ１７以下で、車両構造物として適当でなかった場合（ステップＳ７５のＮＯ）、またはステップＳ７６において、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］の左右のエッジ間の最大幅が、規定の車両の幅ＴＨ１８［ｍ］以下か、またはＴＨ１９［ｍ］以上であった場合（ステップＳ７６のＮＯ）のいずれかの場合、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］を含む対象物は車両ではないと判定して（ステップＳ６９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００６９】
なお、上述のステップＳ７３において、逆に２値化対象物ＯＢＪ［Ｉ］の高さ位置以上の高さ位置を持つ物体ＯＢＪ［Ｊ］を抽出するようにし、例えばタクシー車両のルーフに取り付けられた表示灯のような熱を発する物体と車両のライト（ヘッドライトやテールライト等の車両灯体）との組み合わせにより車両を認識するようにしても良い。
また、上述のステップＳ６３において、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、ステップＳ６７において対称な位置に存在する２つの２値化対象物の間にフロントグリルや排気管が存在するか否かを判定せずに、対称な２値化対象物を含む物体を車両と認識しても良い。
また、２値化対象物から削除したい車両の形状に合わせて、判定する２つの対象物の大きさや位置関係を任意に調整できるようにしても良い。
更に、図１３に示すＯＢＪ［４］、ＯＢＪ［５］の位置に、連続走行時間の多いタイヤ等の平均輝度値の高い物体を探索するようにしても良い。
【００７０】
なお、本実施の形態では、第１の実施の形態と同様に、画像処理ユニット１が、灯体抽出手段と、同一距離対象物抽出手段と、車両判別手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１３、及び図１１のＳ６１〜Ｓ６３が灯体抽出手段に相当し、図１１のＳ６４〜Ｓ６６、Ｓ７０〜Ｓ７２が同一距離対象物抽出手段に相当する。また、図１２のＳ６７〜Ｓ６９、Ｓ７３〜７６が車両判別手段に相当する。
【００７１】
以上説明したように、本実施の形態のナイトビジョンシステムは、赤外線カメラにより撮影された画像のグレースケール画像から、２値化処理により２値化対象物を抽出する。そして、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在する場合、対称な位置に存在する２つの２値化対象物の間の同一の高さ部分、またはその下部に、赤外線を発するフロントグリルや排気管の存在を確認し、フロントグリルや排気管が存在する場合は２値化対象物を含めて、この物体は車両であると認識する。また、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在しない場合も、１つの２値化対象物の左右どちらかの同一の高さ部分、またはその下部に、赤外線を発するフロントグリルや排気管の存在を確認し、フロントグリルや排気管が存在する場合は２値化対象物を含めて、この物体は車両であると認識する。
【００７２】
これにより、車両構造物における熱を発する物体同士の組み合わせを用いて、比較的簡単な手順でかつ更に正確に、赤外線カメラで捉えられた対象物から歩行者とは明らかに異なる特徴を持つ車両を予め除外し、歩行者認識の精度を向上させることができるという効果が得られる。
【００７３】
【発明の効果】
以上の如く、請求項１に記載のナイトビジョンシステムによれば、まず灯体抽出手段により、例えば車両の灯体と思われる第１の対象物をグレースケール画像上に認識した後、同一距離対象物抽出手段により、第１の対象物の周囲を探索して、第１の対象物と同一距離の第２の対象物を抽出する。そして、車両判別手段により、第１の対象物と第２の対象物との関係が、車両の特徴に当てはまるか否か、第２の対象物の位置及び該第２の対象物から発せられる赤外線量を判断することで、目的の第１及び第２の対象物を含む物体が車両か否かを判断することができる。
従って、赤外線カメラにより捉えられた画像中の対象物の大きさや位置のみならず、その対象物の発する赤外線量によって車両構造物を的確に判定し、予め対象物から除外することで、安定した歩行者の検出を行うことができるという効果が得られる。
【００７４】
請求項２に記載のナイトビジョンシステムによれば、第１の対象物と第２の対象物とが、車両の幅の距離以内で対称に配置された灯体、すなわち、例えば第１の対象物に車両の一方の灯体が、また第２の対象物に車両のもう一方の灯体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
従って、赤外線カメラにより捉えられた画像中から対称な位置に存在する物体を抽出することで、正確に車両を認識して対象物から除外し、簡単に歩行者の検出精度を向上させることができるという効果が得られる。
【００７５】
請求項３に記載のナイトビジョンシステムによれば、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両の排気管やフロントグリルのような高温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
従って、赤外線カメラにより捉えられた画像中から、車両に特徴的な熱を発する物体を抽出することで、物体の位置や発せられる赤外線量により正確に車両を認識して対象物から除外し、簡単に歩行者の検出精度を向上させることができるという効果が得られる。
【００７６】
請求項４に記載のナイトビジョンシステムによれば、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両のウィンドシールドのような低温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
従って、赤外線カメラにより捉えられた画像中から、車両に特徴的な熱を発する物体と逆に熱を発しない物体とを抽出することで、物体の位置や発せられる赤外線量により正確に車両を認識して対象物から除外し、簡単に歩行者の検出精度を向上させることができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態のナイトビジョンシステムの構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 同実施の形態のナイトビジョンシステムの対象物検出・警報動作を示すフローチャートである。
【図４】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】 衝突が発生しやすい場合を示す図である。
【図７】 車両前方の領域区分を示す図である。
【図８】 同実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図９】 同実施の形態の対象物抽出及び車両判定について示す図である。
【図１０】 同実施の形態の対象物抽出及び車両判定について示す図である。
【図１１】 本発明の第２の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図１２】 本発明の第２の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図１３】 同実施の形態の対象物抽出及び車両判定について示す図である。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ１３、Ｓ４１〜Ｓ４３ 灯体抽出手段（第１の実施の形態）
Ｓ４４〜Ｓ４６、Ｓ５０〜Ｓ５２ 同一距離対象物抽出手段（第１の実施の形態）
Ｓ４７〜Ｓ４８、Ｓ５３〜Ｓ５４ 車両判別手段（第１の実施の形態）
Ｓ１〜Ｓ１３、Ｓ６１〜Ｓ６３ 灯体抽出手段（第２の実施の形態）
Ｓ６４〜Ｓ６６、Ｓ７０〜Ｓ７２ 同一距離対象物抽出手段（第２の実施の形態）
Ｓ６７〜Ｓ６９、Ｓ７３〜７６ 車両判別手段（第２の実施の形態）
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の２値化処理により、対象物抽出を行うナイトビジョンシステムに関する。
【０００２】
【従来の技術】
従来、赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に提供するナイトビジョンシステムが提案されている。このシステムでは、歩行者等の対象物における車両との衝突の可能性は、車両と対象物との相対距離や相対速度に基づいて判定される。
【０００３】
また、例えばこのように赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出するナイトビジョンシステムには、特開平１１−３２８３６４号公報に記載のものがある。同公報によると、この装置は赤外線画像を２値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる。
【０００４】
【発明が解決しようとする課題】
しかし、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、２値化処理により頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、その２値化形状は不定形である。また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人（成人）まで本来とは異なる身長で検出される。
従って、対象物の画面での重心座標が距離に対して固定化できないため、上述の従来の装置のように、形状判定のみで歩行者の抽出を行った場合、車両のヘッドライト（Ｈ／Ｌ）やテールライト（Ｔ／Ｌ）は、その存在高さ位置や形状から、歩行者の頭部と区別して識別することが困難である場合が生じる可能性があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から抽出される不定形な２値化対象物の位置や発せられる赤外線量により、安定した歩行者の抽出を妨げる車両を対象物から排除するナイトビジョンシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係わるナイトビジョンシステムは、２つの赤外線カメラにより捉えられた画像を利用して、物体を認識するナイトビジョンシステムであって、前記画像のグレースケール画像を２値化処理することにより、前記グレースケール画像から、少なくとも１つの灯体と思われる第１の対象物を熱源として抽出する灯体抽出手段（例えば第１、第２の実施の形態のステップＳ１〜ステップＳ１３、第１の実施の形態のＳ４１〜Ｓ４３、または第２の実施の形態のＳ６１〜Ｓ６３）と、前記第１の対象物の周囲の領域と、前記第１の対象物との距離を比較して、前記第１の対象物と同一距離の第２の対象物を抽出する同一距離対象物抽出手段（例えば第１の実施の形態のステップＳ４４〜ステップＳ４６、ステップＳ５０〜ステップＳ５２、または第２の実施の形態のステップＳ６４〜ステップＳ６６、ステップＳ７０〜ステップＳ７２）と、前記第２の対象物の位置及び該第２の対象物から発せられる赤外線量と、予め設定された車両構造物の位置及び該車両構造物から発せられる赤外線量との比較により、前記画像中の車両を認識する車両判別手段（例えば第１の実施の形態のステップＳ４７〜ステップＳ４８、ステップＳ５３〜Ｓ５４または第２の実施の形態のステップＳ６７〜ステップＳ６９、ステップＳ７３〜ステップＳ７６）とを備えたことを特徴とする。
【０００７】
以上の構成を備えたナイトビジョンシステムは、まず灯体抽出手段により、例えば車両の灯体と思われる第１の対象物を認識する。次に、同一距離対象物抽出手段により、第１の対象物の周囲を探索して、第１の対象物と同一距離の第２の対象物を抽出する。そして、車両判別手段により、第１の対象物と第２の対象物との関係が、車両の特徴に当てはまるか否か、第２の対象物の位置及び該第２の対象物から発せられる赤外線量を判断することで、目的の第１及び第２の対象物を含む物体が車両か否かを判断することができる。
【０００８】
請求項２の発明に係わるナイトビジョンシステムは、請求項１に記載のナイトビジョンシステムにおいて、前記車両判別手段が、前記第１の対象物と高さが同一で、かつ前記第１の対象物と同一の赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、第１の対象物と第２の対象物とが、車両の幅の距離以内で対称に配置された灯体、すなわち、例えば第１の対象物に車両の一方の灯体が、また第２の対象物に車両のもう一方の灯体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
【０００９】
請求項３の発明に係わるナイトビジョンシステムは、請求項１に記載のナイトビジョンシステムにおいて、前記車両判別手段が、前記第１の対象物と高さが同一か、あるいは前記第１の対象物より高さが低く、かつ前記第１の対象物より高い赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両の排気管やフロントグリルのような高温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
【００１０】
請求項４の発明に係わるナイトビジョンシステムは、請求項１に記載のナイトビジョンシステムにおいて、前記車両判別手段が、前記第１の対象物より高さが高く、かつ前記第１の対象物より低い赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両のウィンドシールドのような低温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態のナイトビジョンシステムの構成を示すブロック図である。
図１において、符号１は、本実施の形態のナイトビジョンシステムを制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１２】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１３】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１４】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１５】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態のナイトビジョンシステムの画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１６】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１７】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物（２値化対象物）１から４として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１８】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１９】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２０】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２１】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２２】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２３】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。距離ｚを求める式は後述する。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２４】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２５】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２６】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２７】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２８】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００２９】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ３を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００３０】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３１】
以上が、本実施の形態のナイトビジョンシステムの画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００３２】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３３】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３４】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３５】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、グレースケール画像上で、例えば車両のような対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００３６】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００３７】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００３８】
次に、図８に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図８は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。
図８において、まず、画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）、面積Ｓ、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ４１）。なお、求める２値化対象物形状特徴量は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差Δｄ［ｐｉｘｅｌ］を用いて算出する。
【００３９】
具体的には、自車両１０と対象物との距離ｚは、
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（１）
と表されるので、
実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、
ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆ
ΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（２）
２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、
Ｘｔ＝ｘｂ×ｚ×ｐ／ｆ
Ｙｔ＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２
Ｚｔ＝ｚ ・・・（３）
で算出することができる。
【００４０】
次に、図３に示したフローチャートのステップＳ７において抽出された２値化対象物の中に、ステップＳ４１において取得された２値化対象物中で、対称な位置に存在する２値化対象物を探索する（ステップＳ４２）。具体的には、図９に示すようなＯＢＪ［Ｉ］（ＩはＯＢＪを区別するための番号）の中で、以下の（４）〜（６）式に示す条件を満たす２値化対象物を、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］と判定する。
【００４１】
条件１：（４）式を満たして距離の差分が規定値ＴＨ１より小さく、同一距離とみなせる２値化対象物。
｜Ｚｔ［Ｘ］−Ｚｔ［Ｙ］｜＜ＴＨ１ ・・・（４）
条件２：（５）式を満たして上端高さ位置の差分が規定値ＴＨ２より小さく、同一高さに存在するとみなせる２値化対象物。
｜Ｙｔ［Ｘ］−Ｙｔ［Ｙ］｜＜ＴＨ２ ・・・（５）
条件３：（６）式を満たして左右のエッジ間（左側に位置する２値化対象物の左エッジと右側に位置する２値化対象物の右エッジとの間）の最大幅が、規定の車両の幅ＴＨ３［ｍ］より大きくＴＨ４［ｍ］より小さい２値化対象物。
ＴＨ３＜｜（Ｘｔ［Ｘ］＋ΔＷｂ［Ｘ］／２）−（Ｘｔ［Ｙ］−ΔＷｂ［Ｙ］／２）｜＜ＴＨ４ ・・・（６）
但し、Ｚｔ［Ｘ］、Ｚｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の距離を示し、Ｙｔ［Ｘ］、Ｙｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の上端高さ位置を示す。また、（６）式はＯＢＪ（Ｘ）がＯＢＪ（Ｙ）の右側に存在する場合を示す。
【００４２】
そして、対称な位置に存在する２つの２値化対象物の有無を判定し（ステップＳ４３）、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、該２つの２値化対象物の間の上部に探索領域ＭＡＳＫ１を設定する（ステップＳ４４）。
。
ここで、例えば（４）〜（６）式に示す条件を満たして対称な位置に存在する２値化対象物ＯＢＪ［１］とＯＢＪ［２］とが車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、上部にはウィンドウシールドが存在するため、探索領域ＭＡＳＫ１の距離は、ライトと同一距離とみなせる（近傍の距離を示す）。また、上述の２値化対象物が歩行者であれば、頭部の上端は空間であるため、探索領域ＭＡＳＫ１の距離は不定となる。
【００４３】
そこで、探索領域ＭＡＳＫ１の距離ＭＡＳＫ１＿Ｚを相関演算により算出し（ステップＳ４５）、（７）式を満たして対称な位置に存在する２値化対象物ＯＢＪ[Ｘ］、ＯＢＪ［Ｙ］のいずれか一方（本実施の形態ではＯＢＪ［Ｘ］、また図９ではＸ＝１とする）と探索領域ＭＡＳＫ１との距離の差分が規定値ＴＨ５より小さく、探索領域ＭＡＳＫ１に捉えられた物体が２値化対象物と同一距離であるか否かを判定する（ステップＳ４６）。
｜ＭＡＳＫ１＿Ｚ−Ｚｔ［Ｘ］｜＜ＴＨ５ ・・・（７）
但し、規定値ＴＨ５は、ヘッドライトやテールライトとウィンドウシールドまでの距離、及び視差精度を考慮した値とする。
【００４４】
また、探索領域ＭＡＳＫ１がウィンドシールドである場合、通常ガラスは赤外線を反射するので、探索領域ＭＡＳＫ１の平均輝度値Ａｖｅは低い傾向を示す。従って、ステップＳ４６において、探索領域ＭＡＳＫ１に捉えられた物体が２値化対象物と同一距離であった場合（ステップＳ４６のＹＥＳ）、（８）式を満たして探索領域ＭＡＳＫ１の平均輝度値Ａｖｅが規定値ＴＨ６より小さいか否かを判定する（ステップＳ４７）。
Ａｖｅ＜ＴＨ６ ・・・（８）
そして、探索領域ＭＡＳＫ１の平均輝度値Ａｖｅが規定値ＴＨ６より小さかった場合（ステップＳ４７のＹＥＳ）、捉えられた２値化対象物は車両１００であると判定して（ステップＳ４８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００４５】
一方、ステップＳ４３において、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物がなかった場合（ステップＳ４３のＮＯ）、またはステップＳ４６において、探索領域ＭＡＳＫ１に捉えられた物体が２値化対象物と同一距離でなかった場合（ステップＳ４６のＮＯ）、またはステップＳ４７において、探索領域ＭＡＳＫ１の平均輝度値Ａｖｅが規定値ＴＨ６以上であった場合（ステップＳ４７のＮＯ）のいずれかであった場合は、１つの２値化対象物の上部に探索領域ＭＡＳＫ２を設定する（ステップＳ５０）。
【００４６】
ここで、探索領域ＭＡＳＫ２の上下方向の位置は、図１０に示すように、その下端位置が２値化対象物の上端位置のＵ［ｍ］上部になるように設定する。また、探索領域ＭＡＳＫ２の横方向の位置は、図１０に示すように、探索領域ＭＡＳＫ２の横重心位置が２値化対象物の横重心位置と一致するように設定する。
更に、探索領域ＭＡＳＫ２の大きさは、実空間で横Ｗ［ｍ］×縦Ｈ［ｍ］の大きさとする。但し、画面上での探索領域ＭＡＳＫ２の大きさは、（９）式として示す各式により求めるものとする。
Ｕｐ＝（ｆ×Ｕ）／（ｚ×ｐ）
Ｗｐ＝（ｆ×Ｗ）／（ｚ×ｐ）
Ｈｐ＝（ｆ×Ｈ）／（ｚ×ｐ） ・・・（９）
【００４７】
次に、探索領域ＭＡＳＫ２の距離ＭＡＳＫ２＿Ｚを相関演算により算出し（ステップＳ５１）、（１０）式を満たして検出された２値化対象物ＯＢＪ［Ｉ］のいずれか（ＩはＯＢＪを区別するための番号、また図１０ではＩ＝１とする）と、探索領域ＭＡＳＫ２との距離の差分が規定値ＴＨ７より小さく、探索領域ＭＡＳＫ２に捉えられた物体が２値化対象物と同一距離であるか否かを判定する（ステップＳ５２）。
｜ＭＡＳＫ２＿Ｚ−Ｚｔ［Ｉ］｜＜ＴＨ７ ・・・（１０）
但し、規定値ＴＨ７も、規定値ＴＨ５と同様にヘッドライトやテールライトとウィンドウシールドまでの距離、及び視差精度を考慮した値とする。
【００４８】
また、探索領域ＭＡＳＫ２にウィンドシールドが含まれている場合、通常ガラスは赤外線を反射するので、例えば図１０に示すように、探索領域ＭＡＳＫ２の内部に設定された領域Ａ及び領域Ｂの平均輝度値Ａｖｅ＿ＡまたはＡｖｅ＿Ｂのうちのいずれかは低い傾向を示す。ここで、領域Ａ及び領域Ｂの高さは、探索領域ＭＡＳＫ２と等しく、また横方向の位置は、領域Ａの左エッジが探索領域ＭＡＳＫ２の左エッジに、領域Ｂの右エッジが探索領域ＭＡＳＫ２の右エッジに接する位置とする。
【００４９】
従って、ステップＳ５２において、探索領域ＭＡＳＫ２に捉えられた物体が２値化対象物と同一距離であった場合（ステップＳ５２のＹＥＳ）、（１１）式を満たして探索領域ＭＡＳＫ２内の領域Ａの平均輝度値Ａｖｅ＿Ａが規定値ＴＨ８より小さいか否か、または（１２）式を満たして探索領域ＭＡＳＫ２内の領域Ｂの平均輝度値Ａｖｅ＿Ｂが規定値ＴＨ８より小さいか否かを判定する（ステップＳ５３）。
Ａｖｅ＿Ａ＜ＴＨ８ ・・・（１１）
Ａｖｅ＿Ｂ＜ＴＨ８ ・・・（１２）
【００５０】
また、ステップＳ５２において、探索領域ＭＡＳＫ２に捉えられた物体が２値化対象物と同一距離でなかった場合（ステップＳ５２のＮＯ）、またはステップＳ５３において、探索領域ＭＡＳＫ２内の領域Ａの平均輝度値Ａｖｅ＿Ａと探索領域ＭＡＳＫ２内の領域Ｂの平均輝度値Ａｖｅ＿Ｂとが両方とも規定値ＴＨ８以上であった場合（ステップＳ５３のＮＯ）、捉えられた２値化対象物は車両ではないと判定して（ステップＳ５４）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００５１】
なお、上述のステップＳ４３において、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、ステップＳ４７において探索領域ＭＡＳＫ１にウィンドシールドが含まれているか否かを判定せずに、対称な２値化対象物を含む物体を車両と認識しても良い。
また、２値化対象物から削除したい車両の形状に合わせて、探索領域の大きさや位置を任意に調整できるようにしても良い。
更に、図９に示すＯＢＪ［４］、ＯＢＪ［５］の位置に、連続走行時間の少ないタイヤ等の平均輝度値の低い物体を探索するようにしても良い。
【００５２】
なお、本実施の形態では、画像処理ユニット１が、灯体抽出手段と、同一距離対象物抽出手段と、車両判別手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１３、及び図８のＳ４１〜Ｓ４３が灯体抽出手段に相当し、図８のＳ４４〜Ｓ４６、Ｓ５０〜Ｓ５２が同一距離対象物抽出手段に相当する。また、図８のＳ４７〜Ｓ４８、Ｓ５３〜Ｓ５４が車両判別手段に相当する。
【００５３】
以上説明したように、本実施の形態のナイトビジョンシステムは、赤外線カメラにより撮影された画像のグレースケール画像から、２値化処理により２値化対象物を抽出する。そして、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在する場合、対称な位置に存在する２つの２値化対象物の間の上部に、ウィンドウシールドの存在を確認し、ウィンドシールドが存在する場合は２値化対象物を含めて、この物体は車両１００であると認識する。また、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在しない場合も、１つの２値化対象物の左右どちらかの上部に、ウィンドウシールドの存在を確認し、ウィンドシールドが存在する場合は２値化対象物を含めて、この物体は車両１００であると認識する。
【００５４】
これにより、車両構造物における熱を発する物体と熱を発しない物体との組み合わせを用いて、比較的簡単な手順で、赤外線カメラで捉えられた対象物から歩行者とは明らかに異なる特徴を持つ車両を予め除外し、歩行者認識の精度を向上させることができるという効果が得られる。
【００５５】
（第２の実施の形態）
次に、図面を参照して本発明の第２の実施の形態について説明する。
本発明の第２の実施の形態のナイトビジョンシステムが、第１の実施の形態のナイトビジョンシステムと比較して異なる部分は、第１の実施の形態で図８のフローチャートを用いて説明したナイトビジョンシステムの画像処理ユニット１における人工構造物判定処理動作が、図１１及び図１２にフローチャートを示す人工構造物判定処理動作に変更されることである。
なお、第２の実施の形態のナイトビジョンシステムの構成や、人工構造物判定処理動作以外の動作については、第１の実施の形態のナイトビジョンシステムと同一であるので、ここでは説明を省略する。
【００５６】
次に、図１１及び図１２のフローチャートを用いて、第２の実施の形態のナイトビジョンシステムの画像処理ユニット１における人工構造物判定処理動作を具体的に説明する。
第２の実施の形態の人工構造物判定処理動作では、第１の実施の形態の人工構造物判定処理動作と同様に、ステップＳ６１からステップＳ６３に示す処理を行う。
すなわち、まず画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）、面積Ｓ、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ６１）。
【００５７】
次に、図３に示したフローチャートのステップＳ７において抽出された２値化対象物の中に、ステップＳ６１において取得された２値化対象物中で、対称な位置に存在する２値化対象物を探索する（ステップＳ６２）。具体的には、図１３に示すようなＯＢＪ［Ｉ］（ＩはＯＢＪを区別するための番号）の中で、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして２値化対象物を、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］と判定する。
【００５８】
そして、対称な位置に存在する２つの２値化対象物の有無を判定し（ステップＳ６３）、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ６３のＹＥＳ）、該２つの２値化対象物の間の同一の高さ部分、または該２つの２値化対象物の間でかつ下部にある２値化対象物と同一距離の物体ＯＢＪ［Ｚ］を取得する（ステップＳ６４）。
ここで、図１３において、例えば第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２値化対象物ＯＢＪ［１］とＯＢＪ［２］とが車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、２値化対象物ＯＢＪ［１］とＯＢＪ［２］との間の同一の高さ部分、またはその下部には、図１３でＯＢＪ［３］として示す位置にフロントグリルや排気管が存在するはずである。
【００５９】
そこで、（１３）式を満たして対称な位置に存在する２値化対象物ＯＢＪ[Ｘ]、ＯＢＪ［Ｙ］のいずれか一方（本実施の形態ではＯＢＪ［Ｘ］、また図１３ではＸ＝１とする）との距離の差分が規定値ＴＨ９より小さく、２値化対象物と同一距離である物体ＯＢＪ［Ｚ］が存在するか否かを判定する（ステップＳ６６）。
｜Ｚｔ［Ｚ］−Ｚｔ［Ｘ］｜＜ＴＨ９ ・・・（１３）
但し、規定値ＴＨ９は、ヘッドライトやテールライトとフロントグリルや排気管までの距離、及び視差精度を考慮した値とする。
【００６０】
また、物体ＯＢＪ［Ｚ］にフロントグリルや排気管が含まれている場合、車両のエンジンにおいて発生した熱や排気の熱により、物体ＯＢＪ［Ｚ］の重心輝度値は高い傾向を示す。
従って、ステップＳ６６において、２値化対象物と同一距離である物体ＯＢＪ［Ｚ］が存在した場合（ステップＳ６６のＹＥＳ）、（１４）式を満たして物体ＯＢＪ［Ｚ］の重心輝度値が規定値ＴＨ１０より大きいか否かを判定する（ステップＳ６７）。
Ａｖｅ’＞ＴＨ１０ ・・・（１４）
そして、物体ＯＢＪ［Ｚ］の重心輝度値が規定値ＴＨ１０より大きかった場合（ステップＳ６７のＹＥＳ）、捉えられた２値化対象物は車両１００であると判定して（ステップＳ６８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６１】
また、ステップＳ６６において、２値化対象物と同一距離である物体ＯＢＪ［Ｚ］が存在しなかった場合（ステップＳ６６のＮＯ）、またはステップＳ６７において、物体ＯＢＪ［Ｚ］の重心輝度値が規定値ＴＨ１０以下であった場合（ステップＳ６７のＮＯ）、捉えられた２値化対象物は車両ではないと判定して（ステップＳ６９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００６２】
一方、ステップＳ６３において、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物がなかった場合（ステップＳ６３のＮＯ）、１つの２値化対象物と比較する２値化対象物と同一距離の物体ＯＢＪ［Ｊ］を取得する（ステップＳ７０）。
ここで、例えば１つの２値化対象物ＯＢＪ［１］が車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、２値化対象物ＯＢＪ［１］の同一の高さ部分または下部には、図１３でＯＢＪ［３］として示す位置にフロントグリルや排気管が存在するはずである。
【００６３】
そこで、（１５）式を満たして検出されたいずれかの２値化対象物ＯＢＪ［Ｉ］との距離の差分が規定値ＴＨ１５より小さく、２値化対象物ＯＢＪ［Ｉ］と同一距離である物体ＯＢＪ［Ｊ］が存在するか否かを判定する（ステップＳ７２）。
｜Ｚｔ［Ｊ］−Ｚｔ［Ｉ］｜＜ＴＨ１５ ・・・（１５）
但し、規定値ＴＨ１５も、規定値ＴＨ９と同様にヘッドライトやテールライトとフロントグリルや排気管までの距離、及び視差精度を考慮した値とする。
【００６４】
次に、ステップＳ７２において、２値化対象物ＯＢＪ［Ｉ］と同一距離である物体ＯＢＪ［Ｊ］が存在した場合（ステップＳ７２のＹＥＳ）、（１６）式を満たして物体ＯＢＪ［Ｊ］の高さ位置は２値化対象物ＯＢＪ［Ｉ］の高さ位置以下か否かを判定する（ステップＳ７３）。
Ｙｔ［Ｊ］≦Ｙｔ［Ｉ］ ・・・（１６）
また、ステップＳ７３において、物体ＯＢＪ［Ｊ］の高さ位置が２値化対象物ＯＢＪ［Ｉ］の高さ位置以下であった場合（ステップＳ７３のＹＥＳ）、（１７）式を満たして物体ＯＢＪ［Ｊ］の重心輝度値が規定値ＴＨ１６より大きく高輝度であるか否かを判定する（ステップＳ７４）。
ＯＢＪ［Ｊ］の重心輝度値＞ＴＨ１６ ・・・（１６）
【００６５】
また、ステップＳ７４において、物体ＯＢＪ［Ｊ］の重心輝度値が規定値ＴＨ１６より大きく高輝度であった場合（ステップＳ７４のＹＥＳ）、（１７）式を満たして物体ＯＢＪ［Ｊ］の幅ΔＷｂ［Ｊ］が規定値ＴＨ１７より大きく、車両構造物として適当か否かを判定する（ステップＳ７５）。
ΔＷｂ［Ｊ］＞ＴＨ１７ ・・・（１７）
更に、ステップＳ７５において、物体ＯＢＪ［Ｊ］の幅ΔＷｂ［Ｊ］が、規定値ＴＨ１７より大きく、車両構造物として適当であった場合（ステップＳ７５のＹＥＳ）、（１８）式を満たして２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］の左右のエッジ間（左側に位置するものの左エッジと右側に位置するものの右エッジとの間）の最大幅が規定の車両の幅ＴＨ１８［ｍ］より大きくＴＨ１９［ｍ］より小さいか否かを判定する（ステップＳ７６）。
ＴＨ１７＜｜（Ｘｔ［Ｉ］＋ΔＷｂ［Ｉ］／２） −（Ｘｔ［Ｊ］−ΔＷｂ［Ｊ］／２）｜＜ＴＨ１８ ・・・（１８）
なお、（１８）式も（６）式と同様に、ＯＢＪ（Ｘ）がＯＢＪ（Ｙ）の右側に存在する場合を示す。
【００６６】
ステップＳ７６において、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］の左右のエッジ間の最大幅が、規定の車両の幅ＴＨ１８［ｍ］より大きくＴＨ１９［ｍ］より小さいかった場合（ステップＳ７６のＹＥＳ）、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］を含む対象物は車両１００であると判定して（ステップＳ６８）人工構造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。
【００６７】
一方、ステップＳ７２において、２値化対象物ＯＢＪ［Ｉ］と同一距離である物体ＯＢＪ［Ｊ］が存在しなかった場合（ステップＳ７２のＮＯ）、またはステップＳ７３において、物体ＯＢＪ［Ｊ］の高さ位置が２値化対象物ＯＢＪ［Ｉ］の高さより大きかった場合（ステップＳ７３のＮＯ）、またはステップＳ７４において、物体ＯＢＪ［Ｊ］の重心輝度値が規定値ＴＨ１６以下で高輝度でなかった場合（ステップＳ７４のＮＯ）のいずれかの場合、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］を含む対象物は車両ではないと判定して（ステップＳ６９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００６８】
同様に、ステップＳ７５において、物体ＯＢＪ［Ｊ］の幅ΔＷｂ［Ｊ］が、規定値ＴＨ１７以下で、車両構造物として適当でなかった場合（ステップＳ７５のＮＯ）、またはステップＳ７６において、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］の左右のエッジ間の最大幅が、規定の車両の幅ＴＨ１８［ｍ］以下か、またはＴＨ１９［ｍ］以上であった場合（ステップＳ７６のＮＯ）のいずれかの場合、２値化対象物ＯＢＪ［Ｉ］と物体ＯＢＪ［Ｊ］を含む対象物は車両ではないと判定して（ステップＳ６９）人工構造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３８へ進み、対象物は警報対象であると判定する。
【００６９】
なお、上述のステップＳ７３において、逆に２値化対象物ＯＢＪ［Ｉ］の高さ位置以上の高さ位置を持つ物体ＯＢＪ［Ｊ］を抽出するようにし、例えばタクシー車両のルーフに取り付けられた表示灯のような熱を発する物体と車両のライト（ヘッドライトやテールライト等の車両灯体）との組み合わせにより車両を認識するようにしても良い。
また、上述のステップＳ６３において、第１の実施の形態において示した（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、ステップＳ６７において対称な位置に存在する２つの２値化対象物の間にフロントグリルや排気管が存在するか否かを判定せずに、対称な２値化対象物を含む物体を車両と認識しても良い。
また、２値化対象物から削除したい車両の形状に合わせて、判定する２つの対象物の大きさや位置関係を任意に調整できるようにしても良い。
更に、図１３に示すＯＢＪ［４］、ＯＢＪ［５］の位置に、連続走行時間の多いタイヤ等の平均輝度値の高い物体を探索するようにしても良い。
【００７０】
なお、本実施の形態では、第１の実施の形態と同様に、画像処理ユニット１が、灯体抽出手段と、同一距離対象物抽出手段と、車両判別手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１３、及び図１１のＳ６１〜Ｓ６３が灯体抽出手段に相当し、図１１のＳ６４〜Ｓ６６、Ｓ７０〜Ｓ７２が同一距離対象物抽出手段に相当する。また、図１２のＳ６７〜Ｓ６９、Ｓ７３〜７６が車両判別手段に相当する。
【００７１】
以上説明したように、本実施の形態のナイトビジョンシステムは、赤外線カメラにより撮影された画像のグレースケール画像から、２値化処理により２値化対象物を抽出する。そして、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在する場合、対称な位置に存在する２つの２値化対象物の間の同一の高さ部分、またはその下部に、赤外線を発するフロントグリルや排気管の存在を確認し、フロントグリルや排気管が存在する場合は２値化対象物を含めて、この物体は車両であると認識する。また、取得された２値化対象物中に、対称な位置に存在する２値化対象物が存在しない場合も、１つの２値化対象物の左右どちらかの同一の高さ部分、またはその下部に、赤外線を発するフロントグリルや排気管の存在を確認し、フロントグリルや排気管が存在する場合は２値化対象物を含めて、この物体は車両であると認識する。
【００７２】
これにより、車両構造物における熱を発する物体同士の組み合わせを用いて、比較的簡単な手順でかつ更に正確に、赤外線カメラで捉えられた対象物から歩行者とは明らかに異なる特徴を持つ車両を予め除外し、歩行者認識の精度を向上させることができるという効果が得られる。
【００７３】
【発明の効果】
以上の如く、請求項１に記載のナイトビジョンシステムによれば、まず灯体抽出手段により、例えば車両の灯体と思われる第１の対象物をグレースケール画像上に認識した後、同一距離対象物抽出手段により、第１の対象物の周囲を探索して、第１の対象物と同一距離の第２の対象物を抽出する。そして、車両判別手段により、第１の対象物と第２の対象物との関係が、車両の特徴に当てはまるか否か、第２の対象物の位置及び該第２の対象物から発せられる赤外線量を判断することで、目的の第１及び第２の対象物を含む物体が車両か否かを判断することができる。
従って、赤外線カメラにより捉えられた画像中の対象物の大きさや位置のみならず、その対象物の発する赤外線量によって車両構造物を的確に判定し、予め対象物から除外することで、安定した歩行者の検出を行うことができるという効果が得られる。
【００７４】
請求項２に記載のナイトビジョンシステムによれば、第１の対象物と第２の対象物とが、車両の幅の距離以内で対称に配置された灯体、すなわち、例えば第１の対象物に車両の一方の灯体が、また第２の対象物に車両のもう一方の灯体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
従って、赤外線カメラにより捉えられた画像中から対称な位置に存在する物体を抽出することで、正確に車両を認識して対象物から除外し、簡単に歩行者の検出精度を向上させることができるという効果が得られる。
【００７５】
請求項３に記載のナイトビジョンシステムによれば、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両の排気管やフロントグリルのような高温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
従って、赤外線カメラにより捉えられた画像中から、車両に特徴的な熱を発する物体を抽出することで、物体の位置や発せられる赤外線量により正確に車両を認識して対象物から除外し、簡単に歩行者の検出精度を向上させることができるという効果が得られる。
【００７６】
請求項４に記載のナイトビジョンシステムによれば、第１の対象物と第２の対象物とが、車両の幅の距離以内で上下に配置された物体、すなわち、例えば第１の対象物に車両の灯体が、また第２の対象物に車両のウィンドシールドのような低温の物体が捉えられた場合であると判断して、目的の第１及び第２の対象物を含む物体が車両であることを認識することができる。
従って、赤外線カメラにより捉えられた画像中から、車両に特徴的な熱を発する物体と逆に熱を発しない物体とを抽出することで、物体の位置や発せられる赤外線量により正確に車両を認識して対象物から除外し、簡単に歩行者の検出精度を向上させることができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態のナイトビジョンシステムの構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 同実施の形態のナイトビジョンシステムの対象物検出・警報動作を示すフローチャートである。
【図４】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】 衝突が発生しやすい場合を示す図である。
【図７】 車両前方の領域区分を示す図である。
【図８】 同実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図９】 同実施の形態の対象物抽出及び車両判定について示す図である。
【図１０】 同実施の形態の対象物抽出及び車両判定について示す図である。
【図１１】 本発明の第２の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図１２】 本発明の第２の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図１３】 同実施の形態の対象物抽出及び車両判定について示す図である。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ１３、Ｓ４１〜Ｓ４３ 灯体抽出手段（第１の実施の形態）
Ｓ４４〜Ｓ４６、Ｓ５０〜Ｓ５２ 同一距離対象物抽出手段（第１の実施の形態）
Ｓ４７〜Ｓ４８、Ｓ５３〜Ｓ５４ 車両判別手段（第１の実施の形態）
Ｓ１〜Ｓ１３、Ｓ６１〜Ｓ６３ 灯体抽出手段（第２の実施の形態）
Ｓ６４〜Ｓ６６、Ｓ７０〜Ｓ７２ 同一距離対象物抽出手段（第２の実施の形態）
Ｓ６７〜Ｓ６９、Ｓ７３〜７６ 車両判別手段（第２の実施の形態）
Claims (4)
- ２つの赤外線カメラにより捉えられた画像を利用して、物体を認識するナイトビジョンシステムであって、
前記画像のグレースケール画像を２値化処理することにより、前記グレースケール画像から、少なくとも１つの灯体と思われる第１の対象物を熱源として抽出する灯体抽出手段と、
前記第１の対象物の周囲の領域と、前記第１の対象物との距離を比較して、前記第１の対象物と同一距離の第２の対象物を抽出する同一距離対象物抽出手段と、
前記第２の対象物の位置及び該第２の対象物から発せられる赤外線量と、予め設定された車両構造物の位置及び該車両構造物から発せられる赤外線量との比較により、前記画像中の車両を認識する車両判別手段と
を備えたことを特徴とするナイトビジョンシステム。 - 前記車両判別手段が、前記第１の対象物と高さが同一で、かつ前記第１の対象物と同一の赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする請求項１に記載のナイトビジョンシステム。
- 前記車両判別手段が、前記第１の対象物と高さが同一か、あるいは前記第１の対象物より高さが低く、かつ前記第１の対象物より高い赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識する
ことを特徴とする請求項１に記載のナイトビジョンシステム。 - 前記車両判別手段が、前記第１の対象物より高さが高く、かつ前記第１の対象物より低い赤外線量を発する前記第２の対象物を、所定の距離以内に発見した場合に、前記第１及び第２の対象物を含む物体を車両と認識することを特徴とする請求項１に記載のナイトビジョンシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002027367A JP3839329B2 (ja) | 2002-02-04 | 2002-02-04 | ナイトビジョンシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002027367A JP3839329B2 (ja) | 2002-02-04 | 2002-02-04 | ナイトビジョンシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003230134A JP2003230134A (ja) | 2003-08-15 |
| JP3839329B2 true JP3839329B2 (ja) | 2006-11-01 |
Family
ID=27748912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002027367A Expired - Fee Related JP3839329B2 (ja) | 2002-02-04 | 2002-02-04 | ナイトビジョンシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3839329B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011086807A1 (ja) | 2010-01-14 | 2011-07-21 | 本田技研工業株式会社 | 車両周辺監視装置 |
| CN107452012A (zh) * | 2017-07-28 | 2017-12-08 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4813304B2 (ja) * | 2006-09-19 | 2011-11-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
| WO2008065717A1 (fr) | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Système et procédé de détection de piéton |
| JP4627305B2 (ja) * | 2007-03-16 | 2011-02-09 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム |
| JP4887537B2 (ja) * | 2007-08-02 | 2012-02-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4623135B2 (ja) | 2008-05-08 | 2011-02-02 | 株式会社デンソー | 画像認識装置 |
| JP5056679B2 (ja) * | 2008-09-02 | 2012-10-24 | トヨタ自動車株式会社 | ナイトビューシステム |
| JP5602354B2 (ja) * | 2008-10-08 | 2014-10-08 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4871941B2 (ja) * | 2008-10-10 | 2012-02-08 | 本田技研工業株式会社 | 車両周辺監視装置 |
| CN103278134A (zh) * | 2013-04-29 | 2013-09-04 | 苏州百纳思光学科技有限公司 | 一种汽车远红外夜视测距系统 |
-
2002
- 2002-02-04 JP JP2002027367A patent/JP3839329B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011086807A1 (ja) | 2010-01-14 | 2011-07-21 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US8994824B2 (en) | 2010-01-14 | 2015-03-31 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
| CN107452012A (zh) * | 2017-07-28 | 2017-12-08 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
| CN107452012B (zh) * | 2017-07-28 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种行人识别方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003230134A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3987013B2 (ja) | 車両周辺監視装置 | |
| JP4060159B2 (ja) | 車両周辺監視装置 | |
| JP3987048B2 (ja) | 車両周辺監視装置 | |
| JP4104867B2 (ja) | ナイトビジョンシステム | |
| JP3987057B2 (ja) | 車両周辺監視装置 | |
| JP3934119B2 (ja) | 車両周辺監視装置 | |
| JP4410292B1 (ja) | 車両の周辺監視装置 | |
| US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP5529910B2 (ja) | 車両周辺監視装置 | |
| JP3756452B2 (ja) | 赤外線画像処理装置 | |
| JP4203512B2 (ja) | 車両周辺監視装置 | |
| US10565438B2 (en) | Vehicle periphery monitor device | |
| JP3839329B2 (ja) | ナイトビジョンシステム | |
| JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| JP3898157B2 (ja) | 赤外線画像認識装置 | |
| JP3939626B2 (ja) | 車両周辺監視装置 | |
| JP4647648B2 (ja) | 車両周辺監視装置 | |
| JP4567072B2 (ja) | 車両周辺監視装置 | |
| JP4871941B2 (ja) | 車両周辺監視装置 | |
| JP3939580B2 (ja) | 障害物警報装置 | |
| JP4472623B2 (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060802 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140811 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |