JPH07225127A

JPH07225127A - 車両用路上物体認識装置

Info

Publication number: JPH07225127A
Application number: JP6017699A
Authority: JP
Inventors: Kazuhiko Aono; 和彦青野; Toshiya Shinpo; 俊也真保; Yuichiro Hayashi; 祐一郎林; Kazuya Hayafune; 一弥早舩; Kiichi Yamada; 喜一山田
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 1994-02-14
Filing date: 1994-02-14
Publication date: 1995-08-22

Abstract

(57)【要約】【目的】本発明は、車両用路上物体認識装置に関し、
車両前方の物体を正しく認識できるようにすることを目
的とする。【構成】路面上を撮影する横置きステレオカメラ２
と、このカメラ２からの画像情報に基づいて物体を認識
する物体認識手段５とをそなえ、物体認識手段５が、カ
メラ２からの撮影画面を複数の列に分割した上で各列毎
に縦エッジ部分を認識して距離を測定するエッジ認識手
段１０と、各列単位で縦エッジ部分が存在する際にはそ
の距離を追跡して、予め設定された左右の離隔範囲内の
列間に、縦エッジ部分が一対存在し且つこの対をなす縦
エッジ部分までの距離がほぼ等しい場合に、この対をな
す各縦エッジ部分で規定される領域に物体が存在してい
ると推定する物体推定手段１１とをそなえ、上記の左右
の離隔範囲が、上記の縦エッジ部分までの距離情報に対
応して設定されるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、道路上の物体を認識し
て車両の自動操舵を行なう自動操舵車両に用いて好適
の、車両用路上物体認識装置に関する。

【０００２】

【従来の技術】近年、自動車の操舵機構において、車両
に種々のセンサを設け、これらのセンサからの情報に基
づいて操舵角制御信号を設定し、油圧や電動モータ等に
より操舵機構を積極的、且つ自動的に操舵させるような
自動操舵機構が多数提案されている。

【０００３】このような自動操舵車両のなかには、例え
ば上述のセンサの１つとして車両にステレオＣＣＤカメ
ラ（以下、ステレオカメラという）をそなえ、このステ
レオカメラの画像情報から車両前方（側方を含む）の物
体を認識するとともに、この物体までの距離や物体の大
きさを判断して、これに応じて所要の操舵や制動を行な
うような車両が提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うなステレオカメラの画像情報は、路面状態や太陽光等
の微妙な変化に影響されやすく、又路面上の白線等も物
体と同様に距離測定をしてしまうため、物体の存在の正
確な把握が困難であり、このため物体の位置や大きさの
認識が困難なものとなっているという課題がある。

【０００５】本発明は、このような課題に鑑み創案され
たもので、ステレオカメラからの画像情報に各種の補正
処理を施して、車両前方の物体を正しく認識できるよう
にした、車両用路上物体認識装置を提供することを目的
とする。

【０００６】

【課題を解決するための手段】このため、請求項１記載
の本発明の車両用路上物体認識装置は、車両の走行路面
上を撮影する横置きステレオカメラと、該横置きステレ
オカメラにより得られる画像情報に基づいて、該走行路
面上の物体を認識する物体認識手段とをそなえ、該物体
認識手段が、該横置きステレオカメラにより得られる撮
影画面を左右方向に複数の列に分割した上で、各列毎
に、該画像情報から互いに異なるパターンの境界部とし
て形成される縦エッジ部分を認識するエッジ認識手段
と、該縦エッジ部分までの距離を測定する距離測定手段
と、該エッジ認識手段による認識情報に基づいて、各列
単位で、該縦エッジ部分の存在の有無及び該縦エッジ部
分が存在する際にはその距離を追跡して、予め設定され
た左右の離隔範囲内の列間に、該縦エッジ部分が一対存
在し且つこの対をなす各縦エッジ部分までの距離がほぼ
等しい場合に、この対をなす各縦エッジ部分で規定され
る領域に該縦エッジ部分までの距離だけ離れて物体が存
在していると推定する物体推定手段とをそなえ、上記の
左右の離隔範囲が、上記の縦エッジ部分までの距離情報
に対応して設定されていることを特徴としている。

【０００７】また、請求項２記載の本発明の車両用路上
物体認識装置では、上記請求項１記載の構成に加えて、
該距離測定手段が、該横置きステレオカメラにより得ら
れる撮影画面を、上下方向に複数の行レンジ及び左右方
向に複数の列に分割することで多数のウインドゥに区画
し、上記の各ウインドゥ毎に、被写体までの距離を測定
することを特徴としている。

【０００８】また、請求項３記載の本発明の車両用路上
物体認識装置では、上記請求項１記載の構成に加えて、
該距離測定手段が、該横置きステレオカメラの左右の画
像情報から得られる同一被写体の左右方向へのずれ量に
基づいて、被写体までの距離を測定することを特徴とし
ている。また、請求項４記載の本発明の車両用路上物体
認識装置では、上記請求項３記載の構成に加えて、該距
離測定手段が、該被写体までの距離Ｒを、該左右の２つ
のカメラのレンズの焦点距離ｆと、該左右２つのカメラ
の光軸間の距離Ｌと、画像の画素ピッチＰと、左右の画
像が整合するまでに左右どちらか一方の画像をシフトし
た画素数ｎと、に基づいて、Ｒ＝（ｆ・Ｌ）／（ｎ・
Ｐ）の式により算出することを特徴としている。

【０００９】また、請求項５記載の本発明の車両用路上
物体認識装置では、上記請求項３又は４記載の構成に加
えて、該距離測定手段が、該縦エッジ部分についてのみ
距離測定をするように構成されて、該距離測定手段が、
該エッジ認識手段を兼ねていることを特徴としている。
また、請求項６記載の本発明の車両用路上物体認識装置
では、上記請求項１記載の構成に加えて、該物体認識手
段の処理対称とする画像領域が、該車両から遠い部分で
は左右の端部領域を除去されて左右方向の中央部の領域
のみに限定されていることを特徴としている。

【００１０】また、請求項７記載の本発明の車両用路上
物体認識装置では、上記請求項４記載の構成に加えて、
該物体認識手段が、処理対象とする画像領域を、該車両
から遠い部分で左右の端部領域を除去された左右方向の
中央部分に相当する第１の画像領域と、該車両から近い
部分の左半部分に相当する第２の画像領域と、該車両か
ら近い部分の右半部分に相当する第３の画像領域と、に
区分して、画像処理を行なうことを特徴としている。

【００１１】また、請求項８記載の本発明の車両用路上
物体認識装置では、上記請求項１記載の構成に加えて、
該物体推定手段が、上記の複数の列について該エッジ部
分の存在有無を順番にチェックして、該エッジ部分が存
在する列をチェックした後に該エッジ部分の存在しない
列を所要数だけ連続してチェックしたところで、チェッ
ク開始列からこの最後にチェックした列まで、物体存在
可能範囲に設定し、該物体存在可能範囲内のエッジ部分
の距離情報に基づいて、物体の存在及び物体までの距離
を推定することを特徴としている。

【００１２】また、請求項９記載の本発明の車両用路上
物体認識装置では、上記請求項８記載の構成に加えて、
該所要数が、該物体存在可能範囲の最終列を規定するエ
ッジ部分存在列における距離情報に基づいて設定される
ことを特徴としている。また、請求項１０記載の本発明
の車両用路上物体認識装置では、上記請求項８又は９記
載の構成に加えて、該物体推定手段が、該物体存在可能
範囲内に、エッジ部分存在列が複数存在している場合で
あって、該エッジ部分存在列に付加された距離情報に基
づいて距離が互いにほぼ等しい一対のエッジ部分存在列
が有ると判断できると、物体が該一対のエッジ部分存在
列間にあるものと推定することを特徴としている。

【００１３】さらに、請求項１１記載の本発明の車両用
路上物体認識装置では、上記請求項１０記載の構成に加
えて、該物体推定手段が、該物体存在可能範囲内に存在
する複数のエッジ部分存在列の距離情報の中から、２番
目に小さい距離情報を検出して、該２番目に小さい距離
情報にほぼ等しい距離情報の列データのみを有効データ
として扱うことを特徴としている。

【００１４】

【作用】上述の請求項１記載の本発明の車両用路上物体
認識装置では、車両に設置された横置きステレオカメラ
により走行路面上が撮影されると、この横置きステレオ
カメラからの画像情報に基づいて、物体認識手段により
走行路面上の物体が認識されるとともに、横置きステレ
オカメラにより得られる撮影画面が左右方向に複数の列
に分割される。

【００１５】そして、物体認識手段のエッジ認識手段に
おいて、上述の各列毎に、画像情報から互いに異なるパ
ターンの境界部として形成される縦エッジ部分が認識さ
れてこの縦エッジ部分までの距離が測定される。また、
物体認識手段の物体推定手段では、エッジ認識手段から
の認識情報に基づいて各列単位で縦エッジ部分の存在の
有無が認識され、縦エッジ部分が存在する際にはその距
離が追跡される。そして、予め上記の縦エッジ部分まで
の距離情報に対応して設定された左右の離隔範囲内の列
間に、縦エッジ部分が一対存在し且つこの対をなす縦エ
ッジ部分までの距離がほぼ等しい場合に、この対をなす
各縦エッジ部分で規定される領域に縦エッジ部分までの
距離だけ離れて物体が存在していると推定する。

【００１６】また、上述の請求項２記載の本発明の車両
用路上物体認識装置では、距離測定手段により横置きス
テレオカメラにより得られる撮影画面が、上下方向に複
数の行レンジ及び左右方向に複数の列に分割されること
で多数のウインドゥに区画される。そして、各ウインド
ゥ毎に、被写体までの距離が測定される。また、上述の
請求項３記載の本発明の車両用路上物体認識装置では、
横置きステレオカメラの左右の画像情報から得られる同
一被写体の左右方向へのずれ量に基づいて、距離測定手
段により、被写体までの距離が測定される。

【００１７】また、上述の請求項４記載の本発明の車両
用路上物体認識装置では、距離測定手段により、被写体
までの距離Ｒは、左右の２つのカメラのレンズの焦点距
離ｆと、左右２つのカメラの光軸間の距離Ｌと、画像の
画素ピッチＰと、左右の画像が整合するまでに左右どち
らか一方の画像をシフトした画素数ｎと、に基づいて、
Ｒ＝（ｆ・Ｌ）／（ｎ・Ｐ）の式により算出される。

【００１８】また、請求項５記載の本発明の車両用路上
物体認識装置では、距離測定手段が、エッジ認識手段を
兼ね、上記距離測定手段により縦エッジ部分についての
み距離測定が行なわれる。また、請求項６記載の本発明
の車両用路上物体認識装置では、物体認識手段の処理対
称とする画像領域が、車両から遠い部分では左右の端部
領域を除去されて左右方向の中央部の領域のみに限定さ
れる。

【００１９】また、請求項７記載の本発明の車両用路上
物体認識装置では、物体認識手段により、処理対象とす
る画像領域が、車両から遠い部分で左右の端部領域を除
去された左右方向の中央部分に相当する第１の画像領域
と、車両から近い部分の左半部分に相当する第２の画像
領域と、車両から近い部分の右半部分に相当する第３の
画像領域と、に区分されて、画像処理が行なわれる。

【００２０】また、請求項８記載の本発明の車両用路上
物体認識装置では、物体推定手段により、上記の複数の
列についてエッジ部分の存在有無が順番にチェックさ
れ、エッジ部分が存在する列がチェックされた後に、エ
ッジ部分の存在しない列が所要数だけ連続してチェック
されたところで、チェック開始列からこの最後にチェッ
クされた列までが物体存在可能範囲に設定される。そし
て、物体存在可能範囲内のエッジ部分の距離情報に基づ
いて、物体の存在及び物体までの距離が推定される。

【００２１】また、請求項９記載の本発明の車両用路上
物体認識装置では、上記の所要数が、物体存在可能範囲
の最終列を規定するエッジ部分存在列における距離情報
に基づいて設定される。また、請求項１０記載の本発明
の車両用路上物体認識装置では、物体推定手段が、物体
存在可能範囲内に、エッジ部分存在列が複数存在してい
る場合であって、エッジ部分存在列に付加された距離情
報に基づいて距離が互いにほぼ等しい一対のエッジ部分
存在列が有ると判断できると、物体が一対のエッジ部分
存在列間にあるものと推定する。

【００２２】さらに、請求項１１記載の本発明の車両用
路上物体認識装置では、物体推定手段が、物体存在可能
範囲内に存在する複数のエッジ部分存在列の距離情報の
中から、２番目に小さい距離情報を検出して、２番目に
小さい距離情報にほぼ等しい距離情報の列データのみを
有効データとして扱う。

【００２３】

【実施例】以下、図面により、本発明の一実施例につい
て説明すると、図１はその全体構成を示す模式的なブロ
ック図、図２はその画像情報処理の概要を説明するため
のアルゴリズム、図３はその処理画像を示す模式図、図
４はその作用を説明するためのフローチャートであって
不正確データを削除するための処理について説明するた
めのフローチャート、図５はその作用を説明するための
フローチャートであってレンジカット処理について説明
するためのフローチャート、図６はレンジカット処理に
ついて説明するための模式図、図７はその作用を説明す
るためのフローチャートであってウインドゥ間の縦方向
処理について説明するためのフローチャート、図８はそ
の作用を説明するためのフローチャートであってウイン
ドゥ間の横方向処理について説明するためのフローチャ
ート、図９〜図１１はともにウインドゥ間の横方向処理
についての処理画像の一例を示す模式図、図１２はその
作用を説明するためのフローチャートであって物体まで
の距離の算出処理について説明するためのフローチャー
ト、図１３はその横置きステレオカメラ（ＣＣＤカメ
ラ）の外観を示す模式図、図１４はその横置きステレオ
カメラ（ＣＣＤカメラ）により撮像された画像を示す模
式図であって（ａ）はその横置きステレオカメラの左側
のカメラで撮像された車両を示す図（ｂ）はその横置き
ステレオカメラの右側のカメラで撮像された車両を示す
図、図１５はその横置きステレオカメラ（ＣＣＤカメ
ラ）の左右の画像から物体までの距離の算出方法を説明
する図である。

【００２４】図１に示すように、車両１には、横置きス
テレオカメラ２が設置されている。このステレオカメラ
２は、図１３に示すように、水平方向に左右各１つずつ
のカメラ２Ｌ，２Ｒをそなえており、これらの２つのカ
メラ（ＣＣＤカメラ）２Ｌ，２Ｒから車両１の走行する
路面状況が撮像されると、この画像情報が物体認識手段
５の前方測距コントローラ３に取り込まれるようになっ
ている。

【００２５】また、この前方測距コントローラ３には、
距離測定手段７が接続されており、この距離測定手段７
において、ステレオカメラ２により撮像された物体と自
車両１との間の距離測定（測距）を行なうようになって
いる。そして、ここでは、物体の端部（エッジ部）を認
識して、このエッジ部までの距離を測定することによ
り、物体までの距離を測定するようになっている。

【００２６】つまり、図１に示すように、距離測定手段
７には、物体のエッジ部に認識するエッジ認識手段１０
が接続されており、実際には、エッジ認識手段１０おい
て物体のエッジ部を認識する作業と、距離測定手段７に
おいて物体までの距離を測定する作業は同一のものであ
る。また、このステレオカメラ２は隣接する車両レーン
の道路状況を完全に把握できるような画角（ここでは４
６°）が確保されている。

【００２７】ところで、このステレオカメラ２から前方
測距コントローラ３に入力された画像情報は、図３に示
すような３つの画像領域（これをエリアという）に分割
される。第１の画像領域としてのエリアＩは、車両１か
ら比較的離れた前方の画像情報である。また、第２，第
３の画像領域としてのエリアII，III は、車両１の手前
側の画像情報であって、エリアIIは車両１側から見て前
方左側、エリアIII は前方右側である。このように車両
１の手前側の画像領域を広く採り、車両１から遠い画像
領域を狭く採っているのは、同じ大きさの物体でも遠く
離れる程小さく見え、狭い視野でも画像情報が得られる
からである。

【００２８】エリアＩ〜III は、図３に示すように、上
下方向（縦方向）の線と左右方向（横方向）の線とによ
り細かい区画（以下、ウインドゥという）に分割されて
いる。図３に示すように、各ウインドゥには、それぞ
れに番号が付与されており、ウインドゥ〔ｘ〕〔ｙ〕と
いう形で各ウインドゥの位置を示すようになっている。
〔ｘ〕は画像領域の一番上のウインドゥ行（左右方向へ
のウインドゥの一列並び）の番号を０として、下に向か
って番号が大きくなるように設定されている。また、
〔ｙ〕は画像領域の左端のウインドゥ列（上下方向への
ウインドゥの一列並び）の番号を０として、図中右方向
に向かって番号が大きくなるように設定されている。

【００２９】そして、エッジ認識手段１０では、ステレ
オカメラ２からの画像情報に基づいて、各ウインドゥ列
毎に、画像が互いに異なるパターンの境界部として形成
される縦エッジ部分を認識して、この縦エッジ部分まで
の距離を測定するようになっている。なお、縦エッジと
は、具体的には、主に物体の左右端の部分である。そし
て、本装置は、これらのエリアＩ〜III 内の画像情報に
基づいて物体を認識するように構成されているものであ
る。

【００３０】図１に示すように、認識処理手段５には、
デュアルポートＲＡＭ４とコンピュータ６とが設けられ
ており、各エリアＩ〜III の画像情報は、デュアルポー
トＲＡＭ４に入力されるようになっている。そして、こ
のデュアルポートＲＡＭ４からの情報がコンピュータ６
に入力されるようになっている。このコンピュータ６
は、物体認識のための各種の処理を行なうものであっ
て、コンピュータ６内には、図１に示すように、レンジ
対応物体データ除外手段８と物体推定手段１１とが設け
られている。

【００３１】レンジ対応物体データ除外手段８は、画像
情報の各ウインドゥ行（又は、レンジという）毎に決ま
るレンジカット距離（レンジ対応基準距離）と距離測定
手段７で検出された被写体までの距離とを比較して、被
写体までの距離がレンジ対応基準距離よりも大きければ
この被写体については物体データから除外（これをレン
ジカット処理という）し、被写体までの距離が該レンジ
対応基準距離以内であればこの被写体を物体として認識
するものである。

【００３２】また、物体推定手段１１は、前述したエッ
ジ認識手段１０の認識情報に基づいて、画像情報の各ウ
インドゥ列単位で、縦エッジ部分の存在の有無を認識し
て、縦エッジ部分が存在する際にはその距離を追跡し
て、予め設定された左右の離隔範囲内のウインドゥ列間
に、縦エッジが一対存在し、且つこの対をなす各縦エッ
ジ部分までの距離がほぼ等しい場合に、この対をなす各
縦エッジ部分で規定される領域に、この縦エッジ部分ま
での距離だけ離れて物体が存在していると推定するもの
である。

【００３３】以下、認識処理手段５の各機能について説
明していく。距離測定手段７は、上述したように、ステ
レオカメラ２の左右２つのカメラの各画像情報から、各
ウインドゥ毎に距離測定していくものである。このステ
レオカメラ２による測距は、次のようにして行なわれ
る。すなわち、ステレオカメラ２の２つのカメラ２Ｌ，
２Ｒからは、図１４（ａ），（ｂ）に示すように２つの
画像が得られる。右側の画像のウインドゥで囲まれた画
像と同じ画像は、左側の画像の中に少し横方向にずれた
位置にある。そこで、ウインドゥで囲んだ右側の画像
を、左側の画像のサーチ領域内で１画素ずつシフトしな
がら、最も整合する画の位置を求めるのである。このと
き、図１５に示すように、カメラ２Ｌ，２Ｒのレンズの
焦点距離をｆ、左右カメラ１１，１２の光軸間の距離を
Ｌとし、ＣＣＤの画素ピッチ（画像の画素ピッチ）を
Ｐ、図１４（ａ），（ｂ）において左右の画像が整合す
るまでに右画像をシフトした画素数をｎとすると、ステ
レオカメラ２により撮像された物体までの距離Ｒは、三
角測量の原理により、次式により算出される。Ｒ＝（ｆ・Ｌ）／（ｎ・Ｐ）そして、このような距離測定を行なうことにより、物体
のエッジ部が認識されるのである。

【００３４】ここで、コンピュータ６内の画像情報処理
の流れについて図２のアルゴリズムを用いて簡単に説明
する。まず、ステップＳＡ１においてデュアルポートＲ
ＡＭ４から画像データが読み込まれる。このとき、画像
データは、図３に示すようなウインドゥに分割されてお
り、距離測定手段７により測定された各ウインドゥ毎の
距離データも取り込まれる。

【００３５】次に、ステップＳＡ２で測距性能外のデー
タを排除して不正確なデータをカットする。そして、ス
テップＳＡ３で路面上の白線や文字等の測距値を削除す
るレンジカット処理が行なわれる。これにより、路面上
の模様（白線や文字等）の測距値か削除されるようにな
っている。

【００３６】この後、ステップＳＡ４で各ウインドゥ間
の縦方向処理が行なわれる。この縦方向処理により、ス
テレオカメラ２により撮像された被写体を物体候補とす
るか、物体データから除外するかが判断される。なお、
縦方向処理は図３に示すような、上下方向に処理してい
くものである。これらステップＳＡ１〜ステップＳＡ４
が、レンジ対応物体データ除外手段８により処理される
ようになっている。

【００３７】そして、ステップＳＡ５において各ウイン
ドゥ間の横方向処理が行なわれ、これにより、物体の認
識や物体の大きさの判別が行なわれるのである。この横
方向処理は、上述の縦方向処理とは逆に、縦方向のウイ
ンドゥ列を図３に示すように左右方向に処理していくも
のである。そして、この各ウインドゥ間の横方向処理
は、エッジ認識手段１０と物体推定手段１１とより処理
されるようになっている。

【００３８】以下、上述のアルゴリズムの各ステップ毎
に説明する。〔不正確データのカット〕まず、デュアルポートＲＡＭ
４からコンピュータ６に取り込まれた画像情報は、レン
ジ対応物体データ除外手段８により不正確データカット
の処理が行なわれる。

【００３９】この不正確データのカット処理について説
明する。通常、カメラによる距離測定では、距離が大き
くなるほど（すなわち物体が小さく見えるほど）、デー
タの値は不正確なものとなる。そこで、本装置では、あ
る一定値（Ｌｃ）以上前方のデータ（ここでは、例えば
画角４６°の場合Ｌｃ＝３５ｍ）を予め排除するように
なっている。

【００４０】これを図４のフローチャートを用いて説明
すると、各ウインドゥの距離データがステップＳＢ１に
入力されると、この距離データが所定値Ｌｃよりも大き
いかどうかを判定する。各ウインドゥ〔ｘ〕〔ｙ〕の距
離データをｄａｔａ〔ｘ〕〔ｙ〕で示すと、この判定は
次式（１）により行なわれる。

【００４１】ｄａｔａ〔ｘ〕〔ｙ〕＞Ｌｃ・・・（１）そして、ｄａｔａ〔ｘ〕〔ｙ〕がＬｃよりも大きいと、
Ｙｅｓルートを通ってステップＳＢ２に進み、ｄａｔａ
〔ｘ〕〔ｙ〕＝０として距離データが削除される。ま
た、ｄａｔａ〔ｘ〕〔ｙ〕が所定値Ｌｃよりも小さいと
Ｎｏルートを通って距離データは削除されずに、次のス
テップに進むのである。

【００４２】なお、図３に示すように、エリアＩの方が
エリアII，III よりも横方向のウインドゥがそれぞれ３
行ずつ少なくなっているので、必然的にエリアＩの
〔ｙ〕は３〜１４までとなる。〔レンジカット処理〕次に、レンジ対応物体データ除外
手段８では、ステップＳＡ３のレンジカット処理を行な
う。このレンジカット処理は、路面上の白線や文字等の
測距値を削除して、不必要なデータを除外していく処理
である。

【００４３】ここで、レンジカット処理の考え方につい
て、図６を用いて説明する。車両前方の路面状況は、車
両１に設置されたステレオカメラ２により撮像される
が、図３に示すような画像情報をウインドゥ行毎にどの
程度前方までのデータを取り込むかを決定するものであ
る。例えば、図６では、ステレオカメラ２により撮像さ
れる領域が〜の領域（各領域はウインドゥ行に対応
するものである）に分割されており、この各領域〜
毎にそれぞれにレンジカット距離が設定されている。そ
して、設定されたレンジカット距離よりも画像情報の距
離データが遠方であると、このデータを削除するのであ
る。例えば、図６に示すの領域では、Ａ地点より遠方
は測距しないようになっている。これと同様にの領域
ではＢ地点よりも遠方、の領域ではＣ地点よりも遠方
は測距しないようになっている。

【００４４】これにより、図６に示すような状況では、
車両１の前方の物体（障害物）９はの領域で測距され
るようになっており、物体９の下方の道路上の模様や白
線等がの領域で測距されることがなく、物体９だけを
正しく認識できるようになっているのである。このレン
ジカット処理を図５のフローチャートを用いて説明する
と、各ウインドゥ行〔ｉ〕毎に、路面上の被写体を拾わ
ない距離Ｌ(i) が設定されており、この距離Ｌ(i) 以上
のデータを削除（レンジカット）するようになってい
る。なお、各ウインドゥ行〔ｉ〕のｉの値は、上記のウ
インドゥ番号のｘ値に相当するものであって、例えば一
番上のウインドゥ行（ｘ＝０）の距離データは、ｄａｔ
ａ

〔０〕〔ｙ〕で示される。

【００４５】そして、各ウインドゥ行〔ｉ〕の距離デー
タは、ステップＳＣ１で以下の式（２）により判断され
る。ｄａｔａ〔ｉ〕〔ｙ〕＞Ｌ(i) ・・・（２）そして、上記の式（２）が成り立つ場合は、ステップＳ
Ｃ２に進んでｄａｔａ〔ｉ〕〔ｙ〕＝０と設定される。
つまりウインドゥ列の距離データが削除されるのであ
る。

【００４６】また、ｄａｔａ〔ｉ〕〔ｙ〕がＬ(i) より
も小さいときは、次の処理に進む。そして、このような
レンジカット処理を全ての列について行なう。〔ウインドゥ間縦方向処理〕次に、物体推定手段１１で
は、各ウインドゥ間の縦方向処理（図２に示すステップ
ＳＡ４）を行なう。この縦方向処理は、各ウインドゥの
各列毎に行なわれるものである。そして、この縦方向処
理により、ウインドゥの各縦列毎の物体の距離が決定さ
れる。

【００４７】この処理は各列〔ｊ〕毎に行なわれるが、
各ウインドゥ列〔ｊ〕のｊの値は、上記のウインドゥ番
号のｙ値に相当するものであって、この実施例の場合、
ｊ＝１〜１７となる。また、図３中左端のウインドゥ行
（ｙ＝０）の距離データは、ｄａｔａ

〔０〕〔ｙ〕で示
される。そして、このウインドゥ間の縦方向処理は、図
７に示すフローチャートにしたがって行なわれる。

【００４８】まず、最初にｊ＝１の時について説明す
る。ステップＳＤ１において、初期値がｘ＝５，ｃ：ｄ
ａｔａ〔ｊ〕＝０と設定される。なお、ｃ：ｄａｔａ
〔ｊ〕は各縦列の距離データである。次に、ステップＳ
Ｄ２に進んで、その時のウインドゥ〔ｘ〕〔ｊ〕の距離
データが、その真上のウインドゥ〔ｘ−１〕〔ｊ〕の距
離データに近い（±２０％以内）かどうかが下式
（３），（４）にしたがって判断される。

【００４９】ｄａｔａ〔ｘ〕〔ｊ〕＜ｋ₁×ｄａｔａ〔ｘ−１〕〔ｊ〕・・・（３）ａｎｄｄａｔａ〔ｘ〕〔ｊ〕＞ｋ₂×ｄａｔａ〔ｘ−１〕〔ｊ〕・・・（４）（ただし、ｋ₂＜ｋ₁）なお、ｋ₁，ｋ₂は、距離データのばらつき度合いによ
り設定される固定値である。

【００５０】ここでは、ｘ＝５，ｊ＝１なので、図３の
左端の縦列において、一番したのウインドゥ（ｘ＝５）
の距離データが、その上に位置するウインドゥ（ｘ＝
４）の距離データに近いかどうかが判断されるのであ
る。そして、これが成り立つ場合、即ちその時のウイン
ドゥ〔ｘ〕〔ｊ〕と、この真上に位置するウインドゥ
〔ｘ−１〕〔ｊ〕との距離データが近いと判断できる場
合、ステップＳＤ３に進んで、ｃ：ｄａｔａ〔ｊ〕＝ｄ
ａｔａ〔ｘ〕〔ｊ〕と設定する。

【００５１】つまり、この時比較された上下２つのウイ
ンドゥのうち、下側のウインドゥ〔ｘ〕〔ｊ〕の距離デ
ータが、その縦列の距離データｃ：ｄａｔａ〔ｊ〕とし
て設定されるのである。また、ステップＳＤ２で、式
（３）又は（４）のどちらか一方でも成り立たない場合
は、Ｎｏルートを通ってステップＳＤ４に進み、ｃ：ｄ
ａｔａ〔ｊ〕が０かどうかが判断される。

【００５２】各列の最初の処理時（ｘ＝５の時）は、ス
テップＳＤ１でｃ：ｄａｔａ〔ｊ〕＝０と設定されてい
るので、ステップＳＤ５に進む。そして、この時のウイ
ンドゥの距離データが所定値Ｌｆよりも大きいかどうか
が下式（５）により判断される。ｄａｔａ〔ｘ〕〔ｊ〕＞Ｌｆ・・・・（５）そして、このウインドゥの距離データがＬｆよりも大き
い場合は、ステップＳＤ６に進んで、ｃ：ｄａｔａ
〔ｊ〕＝ｄａｔａ〔ｘ〕〔ｊ〕と設定する。

【００５３】つまり、ステップＳＤ２で、式（３），
（４）を満足する距離データが得られなかった場合であ
っても、その距離データが所定値Ｌｆ以上の場合に限
り、下位行のデータを優先的に縦列データとして採用し
ているのである。これは、遠方の小さな物体の場合、１
つのウインドゥ内に収まってしまうことが考えられるか
らである。そして、どの程度の高さの物体までを認識す
るかでＬｆの値を設定する。例えば、本実施例の場合
は、車両程度の高さの物体を認識しようとするものであ
って、Ｌｆ＝１０ｍに設定されている。

【００５４】そして、ステップＳＤ６で、ｃ：ｄａｔａ
〔ｊ〕が設定されると、ステップＳＤ７に進む。また、
ステップＳＤ４で、ｃ：ｄａｔａ〔ｊ〕≠０の場合、又
ステップＳＤ５でｄａｔａ〔ｘ〕〔ｊ〕がＬｆよりも小
さい場合は、ともにＮｏルートを通ってステップＳＤ７
に進む。このステップＳＤ７では、ｘの大きさが判定さ
れる。ここで、ｊが０〜２又は１５〜１７にある時は、
ｘ＞３かどうかを判断し、ｊが３〜１４にある時は、ｘ
＞１かどうかを判断する。つまり、図３に示すように、
左側３列（ｊ＝０〜２）と右側３列（ｊ＝１５〜１７）
は、ウインドゥがｘ＝３〜５の範囲でしか存在しないか
らである。

【００５５】そして、これが成り立つとステップＳＤ７
からステップＳＤ８に進んで、ｘの数を１つ減じてから
ステップＳＤ２に戻るようになっている。また、ステッ
プＳＤ７で上記の条件が成り立たない場合はＮｏルート
を通って、このウインドゥ間の縦方向処理を終了する。
このように、各縦方向の列毎に、一番下のウインドゥ
（ｘ＝５）から順次その真上にあるウインドゥと距離デ
ータの比較を行なっていき、各列毎に物体までの距離を
設定することにより、単発的に現れる不正確なデータを
取り除くことができるのである。

【００５６】〔ウインドゥ間横方向処理〕そして、さら
に物体推定手段１１においては、各ウインドゥ間の横方
向処理が行なわれる。各ウインドゥ間の横方向処理は、
図３に示すように画像領域の左右方向への処理であり、
各縦列の距離データに応じて、その縦列が物体の端部か
どうかの認識が行なわれるものである。

【００５７】そして、この横方向処理では、各ウインド
ゥ列毎の距離データに応じて閾値が設定される。各縦列
データの側方に、その閾値以上の縦列データが現れない
（データ＝０）場合、そこで物体が分かれていると判断
する。なお、縦列データに応じて閾値を変える理由は以
下である。・測距が可能となるのは縦方向に物体の縁部（縦エッ
ジ）がある部分のみで、物体の内部（左右の縦エッジの
中間部）は測距できないことが多い。・物体の内部では縦列データが現れなくなる場合、その
ウインドゥ数は、物体の大きさが同じであれば距離が近
くなる程、また、距離が同じであれば大きさ物体が大き
くなる程多くなる。

【００５８】したがって、どの程度の小さな物体までを
認識するかを決めれば閾値は決まる。この実施例では、
車両程度の大きさの物体までを認識できるように、以下
のように閾値Ｗｓを設定している。縦列データ５ｍ以下・・・・・閾値Ｗｓ＝６同５ｍ〜７ｍ・・・・・閾値Ｗｓ＝５同７ｍ〜９ｍ・・・・・閾値Ｗｓ＝４同９ｍ〜１４ｍ・・・・閾値Ｗｓ＝３同１４ｍ以上・・・・・閾値Ｗｓ＝２なお、この閾値は、認識する物体の大きさやウインドゥ
の大きさにによって変わるものである。

【００５９】そして、上記閾値に従い分かれた各物体に
ついて２番目に小さい縦列データを見つけ、その縦列デ
ータに近い最も左側と右側のウインドゥ間を物体として
認識するようになっている。また、縦列データが１つし
かない場合は、物体としては認識しない。以下、図８〜
図１１を用いて横方向の処理を説明する。

【００６０】例えば図９に示すように、ウインドゥ列
〔ｙ＝０，２，６，９〕にほぼ同じ距離データが現れた
場合、物体位置としては図９に示すもの以外に図１０
（ａ）や図１０（ｂ）に示すような物体として認識して
しまうことが考えられる。そこで、本装置ではこの横方
向処理により認識する物体の大きさの範囲を限定するこ
とで、正確な物体認識を行なえるようになっている。

【００６１】例えば、図９に示すウインドゥ２で測距さ
れた物体の距離データが大きい場合、図１０（ａ）や図
１０（ｂ）のように物体を認識することは、非常に大き
な物体が認識されたことを意味している。そこで、物体
の大きさを例えば車両程度の大きさに限定することによ
り、ウインドゥ〔ｙ＝２〕の距離データからウインドゥ
〔ｙ＝２〕とウインドゥ〔ｙ＝６〕と物体のデータが、
同一の物体のデータか否かが判断可能となるのである。

【００６２】そこで、図１１に示すように、ウインドゥ
ａ，ｂ，ｃのみに距離データが現れ、それ以外のデータ
が全て０の場合について、図８に示すフローチャートに
したがってその処理を説明する。まず、図８のステップ
ＳＥ１において、ｊ＝０，ｎ＝０，ｍｉｎ

〔０〕＝０と
設定する。ｊはウインドゥ列の番号、ｎは画像情報にお
ける被写体の数−１、ｍｉｎ〔ｎ〕は物体候補の存在の
する可能性がある左端の位置（ウインドゥ列番号）であ
る。

【００６３】次にステップＳＥ２に進んでカウンタがｋ
＝０と設定される。そして、ステップＳＥ３で、ｃ：ｄ
ａｔａ〔ｊ〕＝０かどうかが判断される。ｊの最初の値
は０であり、図１１の場合、ｃ：ｄａｔａ

〔０〕＝０で
あるので、Ｙｅｓルートを通って図８のステップＳＥ１
０に進んでｊが１つ加算され、ｊ＝となる。次に、ステ
ップＳＥ１１に進んで、ｊ＞１７かどうかが判定され
る。ここで、ｊ＝１なので、Ｎｏルートを通ってステッ
プＳＥ２に戻る。

【００６４】そして、図１１の場合、このルートをｊ＝
４になるまで繰り返し、ｊ＝４の時ステップＳＥ３で
ｃ：ｄａｔａ〔４〕＝ａ（≠０）となり、Ｎｏルートを
通ってステップＳＥ４に進む。このステップＳＥ４で
は、距離データａに応じて、閾値Ｗｓが設定され、図８
のステップＳＥ５に進む。ステップＳＥ５では、ｋが１
つ加算されｋ（＝ｋ＋１）＝１と設定され、ステップＳ
Ｅ６に進む。ステップＳＥ６ではｊ＋ｋが算出され、こ
の値が１７より大きいかどうかが判定される。この場合
ｊ＋ｋ＝４＋１（≦１７）であるので、Ｎｏルートによ
りステップＳＥ９に進む。

【００６５】ステップＳＥ９では、ｃ：ｄａｔａ〔ｊ＋
ｋ〕＝０かどうかが判定されるが、この場合、ｃ：ｄａ
ｔａ〔５〕＝ｂ（≠０）となるので、Ｎｏルートを通っ
てステップＳＥ１０に進み、このステップＳＥ１０でｊ
が１つ加算され（ｊ＝５）、ステップＳＥ１１を通っ
て、ステップＳＥ２に戻る。そして、ステップＳＥ２で
ｋの値が０にリセットされた後、ステップＳＥ３に進
み、ここでｃ：ｄａｔａ〔ｊ〕の値が判定される。今度
はｊ＝５となっているので、ｃ：ｄａｔａ〔５〕＝ｂと
なり、ＹｅｓルートでステップＳＥ４に進み、距離デー
タｂに応じた閾値Ｗｓが再び設定される。

【００６６】次にステップＳＥ５でｋ＝１に設定された
後ステップＳＥ６に進む。ステップＳＥ６ではｊ＋ｋ
（＝５＋１）＝６≦１７となるので、Ｎｏルートを通っ
てステップＳＥ９に進む。そして、図１１に示すよう
に、ｃ：ｄａｔａ〔６〕＝０であるので、Ｙｅｓルート
を通ってステップＳＥ１２に進む。そして、このステッ
プＳＥ１２で、カウントｋと閾値Ｗｓとが比較される。
そしてｋ≦Ｗｓの間は、ステップＳＥ１２からＮｏルー
トを通ってステップＳＥ５に戻る。

【００６７】図１１に示す例の場合、ｃ：ｄａｔａ
〔６〕〜ｃ：ｄａｔａ

〔９〕＝０であるので、距離デー
タｂに応じた閾値Ｗｓにしたがって、ステップＳＥ５，
ステップＳＥ６，ステップＳＥ９，ステップＳＥ１２の
ループを回る。例えば、距離データｂがｂ＝１０ｍだっ
たとすると、閾値Ｗｓ＝３となり、上記のループを３度
回る。

【００６８】そして、ｋ＝４の時、ステップＳＥ１２で
ｋ＞Ｗｓが成り立ち、Ｙｅｓルートを通ってステップＳ
Ｅ１３に進む。このステップＳＥ１３では、ｊ＝ｊ＋ｋ
により新たｊが設定される。したがって、ここではｊ＝
５＋４＝９となり、ステップＳＥ１４に進む。ステップ
ＳＥ１４では、ｍａｘ〔ｎ〕＝ｊ，ｍｉｎ〔ｎ＋１〕＝
ｊ＋１と設定される。なお、ｍａｘ〔ｎ〕は、画像情報
の左側から数えてｎ−１番目の物体候補の存在のする可
能性がある右端のウインドゥ列の位置である。

【００６９】この場合は、ｊ＝９であるのでｍａｘ

〔０〕＝９，ｍｉｎ〔１〕＝１０となる。また、ステッ
プＳＥ１で、初期値としてｍｉｎ

〔０〕＝０と設定され
ているので、左側から数えて最初の（即ちｎ＝０番目
の）物体候補が、ｊ＝０からｊ＝９までの間のウインド
ゥ列に存在する可能性があることを示し、次の２番目
（ｎ＝１）の物体候補がｊ＝１０以降のウインドゥ列に
存在する可能性があることを示している。

【００７０】この後ステップＳＥ１５でｎ＝ｎ＋１と設
定され、ｎが１つ加算される（ｎ＝１）。そして、次に
ステップＳＥ１０に進んで、ｊが１つ加算されてｊ＝１
０となり、ステップＳＥ１１からステップＳＥ２に戻
り、上述したような処理を繰り返すのである。ところ
で、上述の距離データｂが６ｍの場合にはどうなるかを
説明する。ｂ＝６ｍだとすると、閾値Ｗｓ＝５となる。
したがって、上記のループを４度回ってｋ＝５となった
後、ステップＳＥ９でｃ：ｄａｔａ〔１０〕＝ｃである
ので、ステップＳＥ１０へ進む。

【００７１】したがって、ｍａｘ

〔０〕は決まらなくな
り、ｊ＝５＋１＝６としてステップＳＥ２に戻りｍａｘ

〔０〕を引き続き検索する。以上のような処理をｊ＞１
７又はｊ＋ｋ＞１７になるまで続け、最終的にｎ＝（物
体数−１），ｍｉｎ〔０〜ｎ〕，ｍａｘ〔０〜ｎ〕が得
られ、ステップＳＥ８の物体（ここでは障害物としてい
る）までの距離の算出の処理に移るのである。

【００７２】次に、物体までの距離の算出処理につい
て、説明する。まず、上述のウインドゥ間横方向処理で
得られた、物体存在可能性の左端位置ｍｉｎ

〔０〕，右
端位置ｍａｘ

〔０〕の間で、２番目に小さい距離データ
を見つけだし、その距離データに近いウインドゥ距離デ
ータのみを有効データとして取り出す。

【００７３】そして、上述の有効データの左端ウインド
ゥ及び右端ウインドゥを物体の左右端と見なす。ここ
で、ｍｉｎ

〔０〕とｍａｘ

〔０〕との間で２番目に小さ
い距離データを探す理由は、ノイズ除去のためである。
物体の距離は、物体の左右端の様に縦エッジが明確にあ
るところでは、正確に得られるが、この左右の縦エッジ
の間では、誤測距が発生する可能性もある。したがっ
て、２番目に小さいデータを利用することにより、物体
の左右端のどちらか一方のデータに誤測距があった場合
でも、これを除去し、正確な距離データを得ることがで
きるようにしている。

【００７４】また、ｍｉｎ

〔０〕，ｍａｘ

〔０〕の間で
測距データが１つしか得られない場合は、このデータを
ノイズと見なして無視する。以上の処理を物体の数（ｎ
−１）分繰り返す。つまり、次にはｍｉｎ〔１〕，ｍａ
ｘ〔１〕の間で、２番目に小さい距離データを見つけ
て、以下、上述と同様の処理が繰り返されるのである。

【００７５】このような物体距離の算出処理をフローチ
ャートに示すと、図１２のようになる。まず、ステップ
ＳＦ１でｃｎｔ１＝０と設定される。次にステップＳＦ
２に進んでｃｎｔ１＞ｎかどうかが判定される。ここで
は、ステップＳＦ１でｃｎｔ１＝０と設定された直後で
あるので、ＮｏルートによりステップＳＦ３に進む。

【００７６】そして、ステップＳＦ３では、ｍｉｎ
〔ｎ〕〜ｍａｘ〔ｎ〕のウインドゥ列内に測距データが
２個以上あるかどうかが判断される。もし、測距データ
が２個未満であれば、Ｎｏルートを通ってステップＳＦ
１５に進み、ここでｃｎｔ１＝ｃｎｔ１＋１と設定され
てステップＳＦ２に戻る。また、測距データが２個以上
あれば、ステップＳＦ４に進み、ｍｉｎ〔ｎ〕〜ｍａｘ
〔ｎ〕のウインドゥ列の中で、２番目に小さい測距デー
タをｏｂｓｔ：ｄａｔａ〔ｎ〕と設定し、ステップＳＦ
５に進む。

【００７７】そして、ステップＳＦ５においてｃｎｔ２
＝ｍｉｎ〔ｎ〕と設定される。つま、り物体存在可能性
の左端のウインドゥ列番号がｃｎｔ２と設定されるので
ある。次にステップＳＦ６に進んで、下式（６）及び
（７）により、ｏｂｓｔ：ｄａｔａ〔ｎ〕の値がｃ：ｄ
ａｔａ〔ｃｎｔ２〕に近いデータかどうかが判定され
る。ｏｂｓｔ：ｄａｔａ〔ｎ〕＜ｋ₃×ｃ：ｄａｔａ〔ｃｎｔ２〕・・（７）ａｎｄｏｂｓｔ：ｄａｔａ〔ｎ〕＞ｋ₄×ｃ：ｄａｔａ〔ｃｎｔ２〕・・（８）（ただし、ｋ₄＜ｋ₃）ここで、ｋ₃，ｋ₄は、距離データのばらつき度合いに
より設定される固定値である。

【００７８】つまり、ｍｉｎ〔ｎ〕〜ｍａｘ〔ｎ〕のウ
インドゥ列の中で２番目に小さい測距データが、物体存
在可能性の左端測距データに近い値かどうかが判定され
るのである。ここで、この２番目に小さい測距データが
左端測距データに近い値でないと判断されると、ステッ
プＳＦ７に進んでｃｎｔ２＝ｃｎｔ２＋１と設定され、
再びステップＳＦ６に進む。そして、ステップＳＦ６の
式（６），（７）が成り立つまで、ステップＳＦ６，ス
テップＳＦ７のルーチンを繰り返す。この間ステップＳ
Ｆ７でｃｎｔ２の値が１ずつ増加していくので、この処
理は、２番目に小さい測距データとの比較を、図３に示
すウインドゥ列の左側から順次行なっているのである。

【００７９】ステップＳＦ６で式（６），（７）が成り
立つと、次にステップＳＦ８に進んで、ｍｉｎ：ｗｉｎ
〔ｎ〕＝ｃｎｔ２と設定される。そして、ステップＳＦ
９で新たにｍａｘ〔ｎ〕をｃｎｔ２と設定し、ステップ
ＳＦ１０で、ｏｂｓｔ：ｄａｔａ〔ｎ〕の値がｃ：ｄａ
ｔａ〔ｃｎｔ２〕に近いデータかどうかが判定される。

【００８０】つまり、ここでは、２番目に小さい測距デ
ータが、物体存在可能性の右端測距データに近い値かど
うかが判定されるのである。ここで、この２番目に小さ
い測距データが右端測距データに近い値でないと判断さ
れると、ステップＳＦ１１に進んでｃｎｔ２＝ｃｎｔ２
−１と設定され、再びステップＳＦ１０に戻る。そし
て、ステップＳＦ１０の条件式〔ステップＳＦ６内の式
（６），（７）と同じ〕が成り立つまで、ステップＳＦ
１０，ステップＳＦ１１のルーチンを繰り返す。

【００８１】このルーチンを繰り返す間に、ステップＳ
Ｆ１１においてｃｎｔ２の値が１ずつ減算されていくの
で、この処理は、２番目に小さい測距データとの比較
を、図３に示すウインドゥ列の右側から順次行なってい
ることになる。そして、ステップＳＦ１０の条件が成り
立つと、ステップＳＦ１２に進み、このステップＳＦ１
２において、このときのｃｎｔ２をｍａｘ：ｗｉｎ
〔ｎ〕と置く。

【００８２】次にステップＳＦ１３に進んで、ステップ
ＳＦ８で設定されたｍｉｎ：ｗｉｎ〔ｎ〕と上記ｍａ
ｘ：ｗｉｎ〔ｎ〕とが等しいかどうかが判定される。ｍ
ｉｎ：ｗｉｎ〔ｎ〕＝ｍａｘ：ｗｉｎ〔ｎ〕の時は、Ｙ
ｅｓルートを通ってステップＳＦ１４に進む。そして、
ステップＳＦ１４で、ｍｉｎ：ｗｉｎ〔ｎ〕とｍａｘ：
ｗｉｎ〔ｎ〕との測距データを０に設定して、このデー
タを削除した後、ステップＳＦ１５に進む。これは、ｍ
ｉｎ：ｗｉｎ〔ｎ〕＝ｍａｘ：ｗｉｎ〔ｎ〕が成り立つ
時は、左側から検索した縦エッジと右側から検索した縦
エッジとの測距データが等しい場合であり、このような
棒状の距離データをノイズとして消去しているのであ
る。

【００８３】また、ステップＳＦ１３でｍｉｎ：ｗｉｎ
〔ｎ〕≠ｍａｘ：ｗｉｎ〔ｎ〕の時は、ステップＳＦ１
５に進む。そして、このステップＳＦ１５で、ｃｎｔ１
が１つ加算されて、ステップＳＦ２に戻る。以降、ステ
ップＳＦ２でｃｎｔ１＞ｎとなるまでは、ステップＳＦ
２からステップＳＦ１５のルーチンを繰り返す。

【００８４】そして、ステップＳＦ２でｃｎｔ１＞ｎの
とき、Ｙｅｓルートを通って物体の距離算出処理が終了
する。なお、本装置では物体が重なり合っている場合に
は、近い距離の物体のみが認識される。但し、距離デー
タは得られているので、物体が存在していることは判断
できるのである。

【００８５】本発明の一実施例としての車両用路上物体
認識装置は、上述のように構成されているので、車両１
に設置された横置きステレオカメラ２により走行路面上
が撮影されると、この横置きステレオカメラ２からの画
像情報は、物体認識手段５の前方測距コントローラ３に
取り込まれるようになっている。そして、この前方測距
コントローラ３でステレオカメラ２により撮像された画
面がエリアＩ〜III に分割されるとともに、さらに各エ
リアＩ〜III 内が細かなウインドゥに分割される。

【００８６】そして、エッジ認識手段１０で、ステレオ
カメラ２からの画像情報に基づいて、各ウインドゥ列毎
に、縦エッジ部分を認識して、この縦エッジ部分までの
距離が測定され、これらの情報がデュアルポートＲＡＭ
４を介してコンピュータ６に入力される。そして、この
コンピュータ６のレンジ対応物体データ除外手段８によ
り、ステレオカメラ２で撮像された被写体を物体又は物
体候補として認識するか、この被写体を物体でないもの
として物体データから除外する処理が行なわれる。

【００８７】この後、物体推定手段１１において、前述
のエッジ認識手段１０の認識情報に基づいて、画像情報
の各ウインドゥ列単位で、縦エッジ部分が存在する際に
はその距離を追跡して、予め設定された左右の離隔範囲
内のウインドゥ列間に、縦エッジが一対存在し、且つこ
の対をなす各縦エッジ部分までの距離がほぼ等しい場合
に、この対をなす各縦エッジ部分で規定される領域に、
この縦エッジ部分までの距離だけ離れて物体が存在して
いると推定する。

【００８８】したがって、路面上の文字や白線等を画像
データから除去することができ、物体の距離や位置を認
識することができる。また、縦エッジが、設定された画
像範囲内に１つしか表れない場合に、この縦エッジがノ
イズとして消去されるので、より正確な物体認識を行な
うことができるのである。

【００８９】また、前方測距コントローラ３によりステ
レオカメラ２により撮像された画面をエリアＩ〜III に
分割し、各エリアＩ〜III 毎に処理を行なうことで物体
認識を迅速に行なうことができる。さらに、各エリアＩ
〜III をほぼ同等の大きさに分割することにより、ほぼ
同様な小型の処理系を３つ用いて処理を行なうことがで
きる。

【００９０】また、距離測定手段７が、ウインドゥ毎
に、被写体までの距離を測定することにより、狭い範囲
毎に距離測定を行なうことができ、正確なデータを得る
ことができる。また、距離測定手段７が、縦エッジ部分
についてのみ距離を測定し、距離測定手段７が、エッジ
認識手段を兼ねているので本装置の回路構成を簡素化す
ることができる。

【００９１】また、物体推定手段１１が、複数の列につ
いてエッジ部分の存在有無を順番にチェックして、エッ
ジ部分が存在する列をチェックした後にエッジ部分の存
在しない列を所要数だけ連続してチェックしたところ
で、チェック開始列からこの最後にチェックした列ま
で、物体存在可能範囲に設定し、物体存在可能範囲内の
エッジ部分の距離情報に基づいて、物体の存在及び物体
までの距離を推定するので、物体の距離や位置を正確に
認識することができる。

【００９２】また、上記の所要数が、物体存在可能範囲
の最終列を規定するエッジ部分存在列における距離情報
に基づいて設定されるので認識しようとする対象物をお
おまかに限定することができる。また、物体推定手段１
１が、物体存在可能範囲内に、エッジ部分存在列が複数
存在している場合であって、エッジ部分存在列に付加さ
れた距離情報に基づいて距離が互いにほぼ等しい一対の
エッジ部分存在列が有ると判断できると、物体が一対の
エッジ部分存在列間にあるものと推定するので、物体の
距離や位置を正確に認識することができる。

【００９３】さらに、物体推定手段１１が、物体存在可
能範囲内に存在する複数のエッジ部分存在列の距離情報
の中から、２番目に小さい距離情報を検出して、２番目
に小さい距離情報にほぼ等しい距離情報の列データのみ
を有効データとして扱うという構成により、データに含
まれるノイズを除去することができ、より正確な物体認
識を行なうことができる。

【００９４】

【発明の効果】以上詳述したように、請求項１記載の本
発明の車両用路上物体認識装置によれば、車両の走行路
面上を撮影する横置きステレオカメラと、該横置きステ
レオカメラにより得られる画像情報に基づいて、該走行
路面上の物体を認識する物体認識手段とをそなえ、該物
体認識手段が、該横置きステレオカメラにより得られる
撮影画面を左右方向に複数の列に分割した上で、各列毎
に、該画像情報から互いに異なるパターンの境界部とし
て形成される縦エッジ部分を認識するエッジ認識手段
と、該縦エッジ部分までの距離を測定する距離測定手段
と、該エッジ認識手段による認識情報に基づいて、各列
単位で、該縦エッジ部分の存在の有無及び該縦エッジ部
分が存在する際にはその距離を追跡して、予め設定され
た左右の離隔範囲内の列間に、該縦エッジ部分が一対存
在し且つこの対をなす各縦エッジ部分までの距離がほぼ
等しい場合に、この対をなす各縦エッジ部分で規定され
る領域に該縦エッジ部分までの距離だけ離れて物体が存
在していると推定する物体推定手段とをそなえ、上記の
左右の離隔範囲が、上記の縦エッジ部分までの距離情報
に対応して設定されるという構成により、路面上の文字
や白線等を画像データから除去することができ、物体の
距離や位置を正しく認識することができる。

【００９５】また、請求項２記載の本発明の車両用路上
物体認識装置によれば、上記請求項１記載の構成に加え
て、該距離測定手段が、該横置きステレオカメラにより
得られる撮影画面を、上下方向に複数の行レンジ及び左
右方向に複数の列に分割することで多数のウインドゥに
区画し、上記の各ウインドゥ毎に、被写体までの距離を
測定するという構成により、狭い範囲毎に距離測定を行
なうことができ、正確なデータを得ることができる。

【００９６】また、請求項３記載の本発明の車両用路上
物体認識装置によれば、上記請求項１記載の構成に加え
て、該距離測定手段が、該横置きステレオカメラの左右
の画像情報から得られる同一被写体の左右方向へのずれ
量に基づいて、被写体までの距離を測定するという構成
により、被写体までの距離を簡単に測定することができ
る。

【００９７】また、請求項４記載の本発明の車両用路上
物体認識装置によれば、上記請求項３記載の構成に加え
て、該距離測定手段が、該被写体までの距離Ｒを、該左
右の２つのカメラのレンズの焦点距離ｆと、該左右２つ
のカメラの光軸間の距離Ｌと、画像の画素ピッチＰと、
左右の画像が整合するまでに左右どちらか一方の画像を
シフトした画素数ｎと、に基づいて、Ｒ＝（ｆ・Ｌ）／
（ｎ・Ｐ）の式により算出するという構成により、被写
体までの距離を簡単、且つ正確に測定することができ
る。

【００９８】また、請求項５記載の本発明の車両用路上
物体認識装置によれば、上記請求項３又は４記載の構成
に加えて、該距離測定手段が、該縦エッジ部分について
のみ距離測定をするように構成されて、該距離測定手段
が、該エッジ認識手段を兼ねているという構成により、
本装置の回路構成を簡素化することができる。また、請
求項６記載の本発明の車両用路上物体認識装置によれ
ば、上記請求項１記載の構成に加えて、該物体認識手段
の処理対称とする画像領域が、該車両から遠い部分では
左右の端部領域を除去されて左右方向の中央部の領域の
みに限定されるという構成により、物体認識が必要では
ない部分では、画像処理が行なわれず、画像処理の情報
量を必要最小限にすることができる。これにより、必要
な部分での画像処理を素早く行なうことができる。

【００９９】また、請求項７記載の本発明の車両用路上
物体認識装置によれば、上記請求項４記載の構成に加え
て、該物体認識手段が、処理対象とする画像領域を、該
車両から遠い部分で左右の端部領域を除去された左右方
向の中央部分に相当する第１の画像領域と、該車両から
近い部分の左半部分に相当する第２の画像領域と、該車
両から近い部分の右半部分に相当する第３の画像領域
と、に区分して、画像処理を行なうという構成により、
全体の画像処理領域を略同じ大きさの３つの領域に区分
でき、それぞれの画像領域毎に画像処理を行なうことに
より、全体が広い画像領域であっても画像処理を素早く
行なうことができる。

【０１００】また、請求項８記載の本発明の車両用路上
物体認識装置によれば、上記請求項１記載の構成に加え
て、該物体推定手段が、上記の複数の列について該エッ
ジ部分の存在有無を順番にチェックして、該エッジ部分
が存在する列をチェックした後に該エッジ部分の存在し
ない列を所要数だけ連続してチェックしたところで、チ
ェック開始列からこの最後にチェックした列まで、物体
存在可能範囲に設定し、該物体存在可能範囲内のエッジ
部分の距離情報に基づいて、物体の存在及び物体までの
距離を推定するという構成により、物体の距離や位置を
正確に認識することができる。

【０１０１】また、請求項９記載の本発明の車両用路上
物体認識装置によれば、上記請求項８記載の構成に加え
て、該所要数が、該物体存在可能範囲の最終列を規定す
るエッジ部分存在列における距離情報に基づいて設定さ
れるという構成により、認識しようとする対象物をおお
まかに限定することができる。また、請求項１０記載の
本発明の車両用路上物体認識装置によれば、上記請求項
８又は９記載の構成に加えて、該物体推定手段が、該物
体存在可能範囲内に、エッジ部分存在列が複数存在して
いる場合であって、該エッジ部分存在列に付加された距
離情報に基づいて距離が互いにほぼ等しい一対のエッジ
部分存在列が有ると判断できると、物体が該一対のエッ
ジ部分存在列間にあるものと推定するという構成によ
り、物体の距離や位置を正確に認識することができる。

【０１０２】さらに、請求項１１記載の本発明の車両用
路上物体認識装置によれば、上記請求項１０記載の構成
に加えて、該物体推定手段が、該物体存在可能範囲内に
存在する複数のエッジ部分存在列の距離情報の中から、
２番目に小さい距離情報を検出して、該２番目に小さい
距離情報にほぼ等しい距離情報の列データのみを有効デ
ータとして扱うという構成により、データに含まれるノ
イズを除去することができ、より正確な物体認識を行な
うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例としての車両用路上物体認識
装置における全体構成を示す模式的なブロック図であ
る。

【図２】本発明の一実施例としての車両用路上物体認識
装置における画像情報処理の概要を説明するためのアル
ゴリズムである。

【図３】本発明の一実施例としての車両用路上物体認識
装置における処理画像を示す模式図である。

【図４】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
って不正確データを削除するための処理について説明す
るためのフローチャートである。

【図５】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
ってレンジカット処理について説明するためのフローチ
ャートである。

【図６】本発明の一実施例としての車両用路上物体認識
装置におけるレンジカット処理について説明するための
模式図である。

【図７】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
ってウインドゥ間の縦方向処理について説明するための
フローチャートである。

【図８】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
ってウインドゥ間の横方向処理について説明するための
フローチャートである。

【図９】本発明の一実施例としての車両用路上物体認識
装置におけるウインドゥ間の横方向処理についての処理
画像の一例を示す模式図である。

【図１０】本発明の一実施例としての車両用路上物体認
識装置におけるウインドゥ間の横方向処理についての処
理画像の一例を示す模式図である。

【図１１】本発明の一実施例としての車両用路上物体認
識装置におけるウインドゥ間の横方向処理についての処
理画像の一例を示す模式図である。

【図１２】本発明の一実施例としての車両用路上物体認
識装置における作用を説明するためのフローチャートで
あって物体までの距離の算出処理について説明するため
のフローチャートである。

【図１３】本発明の一実施例としての車両用路上物体認
識装置における横置きステレオカメラ（ＣＣＤカメラ）
の外観を示す模式図である。

【図１４】本発明の一実施例としての車両用路上物体認
識装置における横置きステレオカメラ（ＣＣＤカメラ）
により撮像された画像を示す模式図であって（ａ）はそ
の横置きステレオカメラの左側のカメラで撮像された車
両を示す図（ｂ）はその横置きステレオカメラの右側の
カメラで撮像された車両を示す図である。

【図１５】本発明の一実施例としての車両用路上物体認
識装置における横置きステレオカメラ（ＣＣＤカメラ）
の左右の画像から物体までの距離の算出方法を説明する
ための図である。

【符号の説明】

１車両２横置きステレオカメラ（ＣＣＤカメラ）２Ｌ左側カメラ２Ｒ右側カメラ３前方測距コントローラ４デュアルポートＲＡＭ５物体認識手段６コンピュータ７距離測定手段８レンジ対応物体データ除外手段９物体（障害物）１０エッジ認識手段１１物体推定手段

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｄ // Ｇ０５Ｄ 1/02 Ｋ (72)発明者早舩一弥東京都港区芝五丁目33番８号三菱自動車工業株式会社内 (72)発明者山田喜一東京都港区芝五丁目33番８号三菱自動車工業株式会社内

Claims

【特許請求の範囲】

【請求項１】車両の走行路面上を撮影する横置きステ
レオカメラと、該横置きステレオカメラにより得られる画像情報に基づ
いて、該走行路面上の物体を認識する物体認識手段とを
そなえ、該物体認識手段が、該横置きステレオカメラにより得られる撮影画面を左右
方向に複数の列に分割した上で、各列毎に、該画像情報
から互いに異なるパターンの境界部として形成される縦
エッジ部分を認識するエッジ認識手段と、該縦エッジ部分までの距離を測定する距離測定手段と、該エッジ認識手段による認識情報に基づいて、各列単位
で、該縦エッジ部分の存在の有無及び該縦エッジ部分が
存在する際にはその距離を追跡して、予め設定された左
右の離隔範囲内の列間に、該縦エッジ部分が一対存在し
且つこの対をなす各縦エッジ部分までの距離がほぼ等し
い場合に、この対をなす各縦エッジ部分で規定される領
域に該縦エッジ部分までの距離だけ離れて物体が存在し
ていると推定する物体推定手段とをそなえ、上記の左右の離隔範囲が、上記の縦エッジ部分までの距
離情報に対応して設定されていることを特徴とする、車
両用路上物体認識装置。
【請求項２】該距離測定手段が、該横置きステレオカ
メラにより得られる撮影画面を、上下方向に複数の行レ
ンジ及び左右方向に複数の列に分割することで多数のウ
インドゥに区画し、上記の各ウインドゥ毎に、被写体ま
での距離を測定することを特徴とする、請求項１記載の
車両用路上物体認識装置。
【請求項３】該距離測定手段が、該横置きステレオカ
メラの左右の画像情報から得られる同一被写体の左右方
向へのずれ量に基づいて、被写体までの距離を測定する
ことを特徴とする、請求項１記載の車両用路上物体認識
装置。
【請求項４】該距離測定手段が、該被写体までの距離
Ｒを、該左右の２つのカメラのレンズの焦点距離ｆと、
該左右２つのカメラの光軸間の距離Ｌと、画像の画素ピ
ッチＰと、左右の画像が整合するまでに左右どちらか一
方の画像をシフトした画素数ｎと、に基づいて、Ｒ＝
（ｆ・Ｌ）／（ｎ・Ｐ）の式により算出することを特徴
とする、請求項３記載の車両用路上物体認識装置。
【請求項５】該距離測定手段が、該縦エッジ部分につ
いてのみ距離測定をするように構成されて、該距離測定
手段が、該エッジ認識手段を兼ねていることを特徴とす
る、請求項３又は４記載の車両用路上物体認識装置。
【請求項６】該物体認識手段の処理対称とする画像領
域が、該車両から遠い部分では左右の端部領域を除去さ
れて左右方向の中央部の領域のみに限定されていること
を特徴とする、請求項１記載の車両用路上物体認識装
置。
【請求項７】該物体認識手段が、処理対象とする画像
領域を、該車両から遠い部分で左右の端部領域を除去さ
れた左右方向の中央部分に相当する第１の画像領域と、
該車両から近い部分の左半部分に相当する第２の画像領
域と、該車両から近い部分の右半部分に相当する第３の
画像領域と、に区分して、画像処理を行なうことを特徴
とする、請求項４記載の車両用路上物体認識装置。
【請求項８】該物体推定手段が、上記の複数の列につ
いて該エッジ部分の存在有無を順番にチェックして、該
エッジ部分が存在する列をチェックした後に該エッジ部
分の存在しない列を所要数だけ連続してチェックしたと
ころで、チェック開始列からこの最後にチェックした列
まで、物体存在可能範囲に設定し、該物体存在可能範囲
内のエッジ部分の距離情報に基づいて、物体の存在及び
物体までの距離を推定することを特徴とする、請求項１
記載の車両用路上物体認識装置。
【請求項９】該所要数が、該物体存在可能範囲の最終
列を規定するエッジ部分存在列における距離情報に基づ
いて設定されることを特徴とする、請求項８記載の車両
用路上物体認識装置。
【請求項１０】該物体推定手段が、該物体存在可能範
囲内に、エッジ部分存在列が複数存在している場合であ
って、該エッジ部分存在列に付加された距離情報に基づ
いて距離が互いにほぼ等しい一対のエッジ部分存在列が
有ると判断できると、物体が該一対のエッジ部分存在列
間にあるものと推定することを特徴とする、請求項８又
は９記載の車両用路上物体認識装置。
【請求項１１】該物体推定手段が、該物体存在可能範
囲内に存在する複数のエッジ部分存在列の距離情報の中
から、２番目に小さい距離情報を検出して、該２番目に
小さい距離情報にほぼ等しい距離情報の列データのみを
有効データとして扱うことを特徴とする、請求項１０記
載の車両用路上物体認識装置。