JPH05265547A - 車輌用車外監視装置 - Google Patents

Abstract

(57)【要約】 【目的】 撮像した画像から画像全体に渡って距離分布
を求め、この距離分布の情報から、立体物や道路形状
を、正確な位置や大きさとともに、信頼性高く検出す
る。 【構成】 ステレオ光学系１０によって車輌１の車外の
設置範囲内の対象を撮像し、ステレオ画像処理装置２０
へ入力する。ステレオ画像処理装置２０では、ステレオ
光学系１０で撮像した画像を処理して画像全体に渡る距
離分布を計算する。道路・立体物検出装置１００は、こ
の距離分布の情報に対応する被写体の各部分の三次元位
置を計算し、これらの三次元位置の情報を用いて道路の
形状と複数の立体物を確実にしかも信頼性高く検出す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車外の設定範囲内の対
象を撮像し、この撮像画像から道路形状及び車外の物体
を検出する車輌用車外監視装置に関する。

【０００２】

【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。

【０００３】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要である。また同時に、自車が走行していく道筋を認
識し、検出した物体が道路上の何処に存在しているのか
を知って危険か否かを判断する必要があり、例えば、道
路がカーブしている場合には、カーブに沿って障害物を
検出する必要がある。

【０００４】障害物を検出する装置としては、既に、レ
ーダー、超音波、レーザーレーダーなどが実用化されて
いる。しかし、これらの装置では、特定の方向に存在す
る物体しか検出できず、道路形状を認識したり、障害物
と道路の位置関係を知ることができないという欠点があ
る。

【０００５】従って、最近では、車輌に搭載したカメラ
等の撮像装置により車外の対象風景を撮像し、この撮像
した画像を画像処理して他の車輌等の物体と道路形状を
検出し、さらに、対象物までの距離を求める計測技術が
有力な手段として採用されるようになった。

【０００６】この画像による認識・計測技術は、単眼視
像からカメラ位置との関係を用いて対象物までの距離を
推定する技術と、複数のカメラにより、あるいは１つの
カメラの位置を変えることにより複数の画像を撮像し、
三角測量の原理で対象物までの距離を求める、いわゆる
ステレオ法による技術とに大別される。

【０００７】単眼視像による二次元画像から障害物や道
路形状を検出する技術は、種々提案されており、例え
ば、特開平１−２４２９１６号公報には、１台のＴＶカ
メラを車内のフロントウインド中央上部付近に取り付
け、これから得られる画像を用いて、画像中のあるサー
ベイ・ライン上の輝度分布パターンや、二次元的な輝度
分布パターンから障害物や道路の白線を検出し、ＴＶカ
メラの取り付け位置や、方向、視野などのパラメータか
らカメラ位置を仮定し、障害物や白線の三次元位置を推
定する技術が開示されている。

【０００８】しかしながら、実際の道路上で撮影される
画像には、周囲の建物や木々などの様々な物体や背景が
写っており、この中から、前方車や対向車、歩行者、電
柱、道路の白線などの様々な対象物を二次元的な特徴パ
ターンのみによって的確に検出することは困難であり、
実用化には十分な信頼性が得られない状況にある。ま
た、道路面に凹凸がある場合や道路に勾配がある場合、
さらには、車輌がピッチングしている場合には、ＴＶカ
メラのパラメータから白線や障害物の三次元位置を推定
する際に、大きな誤差を生じる次点がある。

【０００９】一方、複数の画像から三角測量の原理で距
離を求めるステレオ法の技術は、左右画像における同一
物体の位置の相対的なずれから距離を求めるので、正確
な距離を求めることができる。

【００１０】例えば、特開昭５９−１９７８１６号公報
には、２台のＴＶカメラを車輌前方に取り付け、各々の
ＴＶカメラの画像について、二次元的な輝度分布パター
ンから障害物を検出し、次に、２つの画像上における障
害物の位置のずれを求め、三角測量の原理によって障害
物の三次元位置を算出する技術が公開されている。しか
し、この先行技術では、各々の画像の中から対象となる
障害物を検出することは困難であり、前述した単眼視像
による技術と同様、必ずしも信頼性が十分とはいえな
い。

【００１１】また、特開昭４８−２９２７号公報、特開
昭５５−２７７０８号公報には、２台のＴＶカメラを車
輌前方に取り付け、まず、各々の画像を空間微分して明
暗変化点のみを抽出し、片方のカメラの画像の走査を所
定時間だけ遅延させてもう一方の画像と重ね合わせ、２
つの画像で一致する部分のうち、立体物が持つ明暗変化
の特徴から、立体物だけを抽出する技術が開示されてい
る。しかしながら、実際の画像は複雑であり、例えば、
画像に複数の立体物が写っている場合には多数の明暗変
化点が現れ、複数の立体物との対応を求めることが困難
となる。従って、これらの先行技術によっても、正確に
立体物を検出することは困難である。

【００１２】

【発明が解決しようとする課題】以上のように、実際の
複雑な状況においては、撮像した画像から立体物や道路
形状を正確に検出し、同時に、それらの距離や形状、三
次元の位置関係などを正確に検出することは極めて困難
である。

【００１３】本発明は上記事情に鑑みてなされたもの
で、撮像した画像から画像全体に渡って距離分布を求
め、この距離分布の情報から、立体物や道路形状を、正
確な位置や大きさとともに、信頼性高く検出することの
できる車輌用車外監視装置を提供することを目的とす
る。

【００１４】

【課題を解決するための手段】第１の発明による車輌用
車外監視装置は、車外の設定範囲を互いに異なる位置か
ら撮像する撮像系を備え、上記撮像系で撮像した複数枚
の画像を高速処理して画像全体に渡る距離分布を計算す
る画像処理手段と、上記画像処理手段からの距離分布の
情報に対応する被写体の各部分の三次元位置を計算し、
これらの三次元位置の情報を用いて道路の形状と複数の
立体物を高速で検出する道路・立体物検出手段とを備え
たことを特徴とする。

【００１５】第２の発明による車輌用車外監視装置は、
第１の発明において、上記道路・立体物検出手段によっ
て検出した立体物の三次元位置の時間変化から、検出し
た立体物と自車輌との位置関係量を高速で検出する位置
関係量検出手段と、上記道路・立体物検出手段によって
検出した道路形状から得られる自車輌の走行する道筋に
照らし、上記位置関係量検出手段で検出した位置関係量
から、上記道路・立体物検出手段によって検出した立体
物と自車輌との衝突の可能性を判断する衝突判断手段を
備えたことを特徴とする。

【００１６】第３の発明による車輌用車外監視装置は、
第１の発明または第２の発明における道路・立体物検出
手段に、上記画像処理手段からの距離分布の情報に基づ
いて、道路の白線の位置及び形状を推定する道路形状推
定手段と、上記道路形状推定手段で推定した道路の白線
を包合する三次元の空間領域を第１の三次元ウインドウ
として設定する第１の三次元ウインドウ設定手段と、上
記距離分布の情報の中から上記第１の三次元ウインドウ
内のデータのみを抽出し、道路モデルを構成する三次元
の直線要素を検出する直線要素検出手段と、上記直線要
素検出手段で検出した直線要素の妥当性を判定し、判定
基準に合致しない場合には上記直線要素を修正あるいは
変更し、上記道路モデルを決定する道路形状判定手段
と、上記道路形状判定手段で決定した道路モデルに基づ
いて、上記距離分布の情報の中から道路表面より上にあ
るデータのみを抽出するデータ抽出手段と、上記距離分
布の情報を有する画像を複数の領域に分割し、各領域毎
に、上記データ抽出手段で抽出したデータから物体の有
無と存在位置とを検出することにより、複数の物体を背
景と区別して検出する物体検出手段と、上記物体検出手
段で検出した物体を包合する三次元の空間領域を第２の
三次元ウインドウとして設定する第２の三次元ウインド
ウ設定手段と、上記距離分布の情報の中から上記第２の
三次元ウインドウ内のデータのみを抽出して物体の輪郭
像を検出するとともに、この輪郭像の形状寸法及び位置
を検出する物体輪郭像抽出手段とを備えたことを特徴と
する。

【００１７】第４の発明による車輌用車外監視装置は、
第３の発明の上記直線要素検出手段において、上記第１
の三次元ウインドウ内のデータのみを抽出した後、抽出
したデータに重み係数をかけ、最小自乗法により上記直
線要素に対する三次元の直線式を導出することを特徴と
する。

【００１８】第５の発明による車輌用車外監視装置は、
第３の発明の直線要素検出手段において、上記第１の三
次元ウインドウ内のデータのみを抽出した後、ハフ変換
によって上記直線要素に対する三次元の直線式を導出す
ることを特徴とする。

【００１９】第６の発明による車輌用車外監視装置は、
第３の発明において、上記物体輪郭像抽出手段で検出し
た物体の輪郭像の形状寸法及び位置から、物体の種類を
識別する物体識別手段を備えたことを特徴とする。

【００２０】

【作用】第１の発明では、車外の設定範囲を互いに異な
る位置から撮像し、撮像した複数枚の画像を高速処理し
て画像全体に渡る距離分布を計算すると、この距離分布
の情報に対応する被写体の各部分の三次元位置を計算
し、これらの三次元位置の情報を用いて道路の形状と複
数の立体物を高速で検出する。

【００２１】第２の発明では、第１の発明において、検
出した道路形状から得られる自車輌の走行する道筋に照
らし、検出した立体物と自車輌との位置関係量から、検
出した立体物と自車輌との衝突の可能性を判断する。

【００２２】第３の発明では、第１の発明または第２の
発明において、道路の形状と複数の立体物を検出するた
め、距離分布の情報に基づいて道路の白線の位置及び形
状を推定し、この推定した道路の白線を包合する三次元
の空間領域を第１の三次元ウインドウとして設定した
後、距離分布の情報の中から第１の三次元ウインドウ内
のデータのみを抽出し、道路モデルを構成する三次元の
直線要素を検出する。そして、この直線要素の妥当性を
判定し、判定基準に合致しない場合には直線要素を修正
あるいは変更し、道路モデルを決定する。さらに、決定
した道路モデルに基づいて距離分布の情報の中から道路
表面より上にあるデータのみを抽出し、この抽出したデ
ータから、距離分布の情報を有する画像を分割した各領
域毎に物体の有無と存在位置とを検出することにより、
複数の物体を背景と区別して検出する。その後、検出し
た物体を包合する三次元の空間領域を第２の三次元ウイ
ンドウとして設定し、距離分布の情報の中から第２の三
次元ウインドウ内のデータのみを抽出して物体の輪郭像
を検出するとともに、この輪郭像の形状寸法及び位置を
検出する。

【００２３】第４の発明では、第３の発明における直線
要素の検出を、第１の三次元ウインドウ内のデータのみ
を抽出した後、抽出したデータに重み係数をかけ、最小
自乗法により直線要素に対する三次元の直線式を導出す
ることにより行なう。

【００２４】第５の発明では、第３の発明における直線
要素の検出を、第１の三次元ウインドウ内のデータのみ
を抽出した後、ハフ変換によって直線要素に対する三次
元の直線式を導出することにより行なう。

【００２５】第６の発明では、第３の発明において、検
出した物体の輪郭像の形状寸法及び位置から、物体の種
類を識別する。

【００２６】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１〜図３７は本発明の第１実施例を示し、図１
は車外監視装置の全体構成図、図２は車輌の正面図、図
３は車外監視装置の回路ブロック図、図４はカメラと被
写体との関係を示す説明図、図５はステレオ画像処理装
置の具体例を示す回路構成図、図６はシティブロック距
離計算回路の説明図、図７は最小値検出回路のブロック
図、図８は車載のＣＣＤカメラで撮像した画像の例を示
す説明図、図９は距離画像の例を示す説明図、図１０は
車輌の上面図、図１１は車輌の側面図、図１２は道路・
立体物検出装置の機能ブロック図、図１３は道路モデル
の例を示す説明図、図１４は三次元ウインドウの形状を
示す説明図、図１５は二次元ウインドウの形状を示す説
明図、図１６は直線要素とデータのずれ量を示す説明
図、図１７はずれ量と重み係数の関係を示す説明図、図
１８は検出した道路形状の例を示す説明図、図１９は画
像の区分方法を示す説明図、図２０は検出物体とヒスト
グラムの関係を示す説明図、図２１は物体の存在領域の
検出結果と検出距離の例を示す説明図、図２２は物体検
出用の三次元ウインドウの形状を示す説明図、図２３は
物体検出用の二次元ウインドウの形状を示す説明図、図
２４は物体の輪郭を構成するデータの例を示す説明図、
図２５は物体の輪郭像と検出された外径寸法の例を示す
説明図、図２６はステレオ画像処理装置の動作を示すフ
ローチャート、図２７はシフトレジスタ内の保存順序を
示す説明図、図２８はシティブロック距離計算回路の動
作を示すタイミングチャート、図２９はずれ量決定部の
動作を示すタイミングチャート、図３０はステレオ画像
処理装置の動作を示すタイミングチャート、図３１〜図
３４は道路検出部の動作を示すフローチャートであり、
図３１は道路形状推定処理のフローチャート、図３２は
三次元ウインドウ発生処理のフローチャート、図３３は
直線要素検出処理のフローチャート、図３４は道路形状
判定処理のフローチャート、図３５〜図３７は物体認識
部の動作を示すフローチャートであり、図３５は物体検
出処理のフローチャート、図３６は三次元ウインドウ発
生処理のフローチャート、図３７は物体輪郭像抽出処理
のフローチャートである。

【００２７】［構 成］図１において、符号１は自動車
などの車輌であり、この車輌１に、車外の設置範囲内の
対象を撮像し、撮像画像から車外の物体を認識して監視
する車外監視装置２が搭載されている。

【００２８】この車外監視装置２は、車外の設定範囲内
の対象を撮像する撮像系としてのステレオ光学系１０
と、このステレオ光学系１０によって撮像した画像を処
理し、三次元の距離分布情報を算出する画像処理手段と
してのステレオ画像処理装置２０と、このステレオ画像
処理装置２０からの距離情報を入力し、その距離情報か
ら道路形状や複数の立体物の三次元位置を高速で検出す
る道路・立体物検出手段としての道路・立体物検出装置
１００とを備えており、例えば、図示しないアクチュエ
ータ類を制御する外部装置を接続することにより、認識
された物体が車輌１の障害物となる場合、運転者に対す
る警告、車体の自動衝突回避等の動作を行なうことがで
きるようになっている。

【００２９】上記ステレオ光学系１０は、撮像した画像
を電気信号に変換する撮像装置として、例えば電荷結合
素子（ＣＣＤ）等の固体撮像素子を用いたＣＣＤカメラ
を用いて構成されており、図２に示すように、遠距離の
左右画像用としての２台のＣＣＤカメラ１１ａ，１１ｂ
（代表してＣＣＤカメラ１１と表記する場合もある）
が、それぞれ車室内の天井前方に一定の間隔をもって取
り付けられるとともに、近距離の左右画像用としての２
台のＣＣＤカメラ１２ａ，１２ｂ（代表してＣＣＤカメ
ラ１２と表記する場合もある）が、それぞれ、遠距離用
のＣＣＤカメラ１１ａ，１１ｂの内側に一定の間隔をも
って取り付けられている。

【００３０】また、図３に示すように、上記ステレオ画
像処理装置２０は、上記ステレオ光学系１０からの左右
２枚の画像信号を入力し、画像の微小領域毎に２枚の画
像で同一の物体が写っている部分を検出し、その画像上
の位置のずれ量から物体までの距離を算出する処理を画
像全体に渡って実行する距離検出回路２０ａ、この距離
検出回路２０ａの出力である距離情報を記憶する距離画
像メモリ２０ｂなどから構成されている。

【００３１】また、道路・立体物検出装置１００は、距
離画像メモリ２０ｂに書き込まれた距離情報を読み出し
て各種の計算処理を行なうマイクロプロセッサ１００ａ
を中心に構成され、制御プログラムを格納する読み出し
専用メモリ（ＲＯＭ）１００ｂ、計算処理途中の各種パ
ラメータを記憶する読み書き両用メモリ（ＲＡＭ）１０
０ｃ、インターフェース回路１００ｄ、処理結果のパラ
メータを記憶する出力用メモリ１００ｅなどから構成さ
れており、上記インターフェース回路１００ｄには、車
輌１に取り付けられた車速センサ３と、ステアリングの
操舵角を検出する舵角センサ４とが接続されている。

【００３２】上記マイクロプロセッサ１００ａは、上記
距離画像メモリ２０ｂを介して距離画像を入力して計算
処理を実行し、処理結果である道路形状や障害物のパラ
メータを出力用メモリ１００ｅに出力する。道路・立体
物検出装置１００に接続される外部機器は、上記出力用
メモリ１００ｅを介して、これらのパラメータを受け取
る。

【００３３】ここで、上記ステレオ光学系１０として、
直近から例えば１００ｍ遠方までの距離計測を行なう場
合、車室内のＣＣＤカメラ１１、１２の取付位置を、例
えば、車輌１のボンネット先端から２ｍとすると、実際
には前方２ｍから１００ｍまでの位置を計測できれば良
い。

【００３４】すなわち、図４に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｚに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。

【００３５】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋δとなり、このδをずれ量とする
と、点Ｐまでの距離Ｚは、ずれ量δから以下の式で求め
ることができる。

【００３６】 Ｚ＝ｒ×ｆ／δ （１） この左右画像のずれ量δを検出するには、左右画像にお
ける同一物体の像を見つけ出す必要があり、本発明で
は、次に述べるステレオ画像処理装置２０において、画
像を小領域に分割し、それぞれの小領域内の輝度あるい
は色のパターンを左右画像で比較して一致する領域を見
つけ出し、全画面に渡って距離分布を求める。従って、
従来のように、エッジ、線分、特殊な形など、何らかの
特徴を抽出し、それらの特徴が一致する部分を見つけ出
すことによる情報量の低下を避けることができる。

【００３７】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（３）式に示すシテ
ィブロック距離Ｈによって評価することができ、平均値
の採用による情報量の低下もなく、乗算がないことから
演算速度を向上させることができる。

【００３８】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。

【００３９】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、上記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。

【００４０】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。

【００４１】上記ステレオ画像処理装置２０の具体的回
路例は、図５に示され、この回路例では、距離検出回路
２０ａに、上記ステレオ光学系１０で撮像したアナログ
画像をデジタル画像に変換する画像変換部３０、この画
像変換部３０からの画像データに対し、左右画像のずれ
量δを決定するためのシティブロック距離Ｈを画素を一
つずつずらしながら次々と計算するシティブロック距離
計算部４０、シティブロック距離Ｈの最小値ＨMIN 及び
最大値ＨMAX を検出する最小・最大値検出部５０、この
最小・最大値検出部５０で得られた最小値ＨMIN が左右
小領域の一致を示すものであるか否かをチェックしてず
れ量δを決定するずれ量決定部６０が備えられており、
また、距離画像メモリ２０ｂとして、デュアルポートメ
モリ９０が採用されている。

【００４２】上記画像変換部３０では、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、上記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。

【００４３】Ａ／Ｄコンバータ３１ａ，３１ｂは、例え
ば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。

【００４４】また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に
構成され、上記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。

【００４５】上記画像メモリ３３ａ，３３ｂは、後述す
るように、シティブロック距離計算部４０で画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。

【００４６】上記シティブロック距離計算部４０では、
上記画像変換部３０の左画像用の画像メモリ３３ａに、
共通バス８０を介して２組の入力バッファメモリ４１
ａ，４１ｂが接続されるとともに、右画像用の画像メモ
リ３３ｂに、共通バス８０を介して２組の入力バッファ
メモリ４２ａ，４２ｂが接続されている。

【００４７】上記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されている。

【００４８】また、上記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量δの決定の
際に用いられる。

【００４９】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図６
に詳細が示されるように、演算器４６を１６個ピラミッ
ド状に接続したパイプライン構造で、例えば８画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、２段〜４段は、そ
れぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。

【００５０】尚、図６においては、絶対値計算と１，２
段目の加算器は半分のみ表示している。

【００５１】また、上記各入力バッファメモリ４１ａ，
４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路８５から供給されるクロッ
クに従って、＃１アドレスコントローラ８６によって発
生されるアドレスが共通に与えられる。また、４組のシ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送
は、＃２アドレスコントローラ８７によって制御され
る。

【００５２】尚、シティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。

【００５３】上記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、上記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。

【００５４】図７に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力さ
れる。このラッチ５４の出力は、Ｂレジスタ４６ｂ及び
Ｄラッチ５５に出力され、演算器４６での最小値計算の
途中の値が、Ｂレジスタ４６ｂに保存されるとともに、
そのときのずれ量δがＤラッチ５５に保存されるように
なっている。

【００５５】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量δを保存しないこと以外は、
最小値検出回路５１と同様の構成である。

【００５６】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。

【００５７】上記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量δを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量δ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。

【００５８】上記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、上記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、上記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で上記スイッチ回路６５を作動し、ずれ
量δまたは“０”が上記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。

【００５９】上記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
上記最大値検出回路５２が接続され、上記Ｂバス６２ｂ
には、上記最小値検出回路５１が接続されている。さら
に、上記Ａバス６２ａ及びＢバス６２ｂには、上記各シ
フトレジスタ６４ａ，６４ｂが接続されている。

【００６０】また、上記スイッチ回路６５には、上記演
算器６１が接続されるとともに、上記ラッチ６３ａを介
して上記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて上記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。

【００６１】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量δを出力する。

【００６２】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量δとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量δを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。

【００６３】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMIN の近傍
の値との差でなく、最大値ＨMAX との差をチェック対象
とすることにより、曲面などの緩やかに輝度の変わる物
体に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。） 尚、このずれ量決定の処理も、通常のマイクロプロセッ
サでソフト的に行おうとすると、例えば２７ＭＩＰＳの
速さが必要となり、実行不可能である。

【００６４】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、距離画像メモリ２０ｂと
してのデュアルポートメモリ９０へ共通バス８０を介し
て書き込まれる。

【００６５】以上説明したステレオ画像処理装置２０か
ら出力される距離分布情報は、画像のような形態をして
おり（距離画像）、左右２台のＣＣＤカメラ１１ａ，１
１ｂで撮影した画像、例えば図８に示すような画像（図
８は片方のカメラで撮像した画像を示す）を上記ステレ
オ画像処理装置２０で処理すると、図９のような画像と
なる。

【００６６】図９に示す画像例では、画像サイズは横４
００画素×縦２００画素であり、距離データを持ってい
るのは黒点の部分で、これは図８の画像の各画素のう
ち、左右方向に隣合う画素間で明暗変化が大きい部分で
ある。画像上の座標系は、図９に示すように、左上隅を
原点として横方向をｉ座標軸，縦方向をｊ座標軸とし、
単位は画素である。

【００６７】この距離画像は、上記道路・立体物検出装
置１００に読み込まれ、自車線と隣接する左右の車線上
に存在する他の自動車や障害物などの複数の物体が検出
され、その位置と大きさ、位置の時間変化による自車と
の相対速度などが算出され、さらに、検出した物体の輪
郭像が抽出される。

【００６８】この場合、上記道路・立体物検出装置１０
０では、物体の三次元的な位置情報を利用し、道路と物
体の区別は道路表面からの高さによって行い、物体と背
景の区別は距離の値によって行なう。そのため、上記道
路・立体物検出装置１００では、まず、上記ステレオ画
像処理装置２０からの距離画像の座標系を、自車（車輌
１）を取り巻く実空間の座標系に変換し、検出した道路
形状や立体物に対し、位置や大きさを計算する。

【００６９】すなわち、図１０及び図１１に示すよう
に、実空間の座標系を車輌１固定の座標系とし、Ｘ軸を
車輌１の右側側方、Ｙ軸を車輌１の上方、Ｚ軸を車輌１
の前方、原点を２台のＣＣＤカメラ１１ａ（１２ｂ），
１１ｂ（１２ｂ）の中央の真下の道路面とすると、ＸＺ
平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致す
ることになり、画像中の距離情報（ｉ，ｊ，Ｚ）から被
写体の三次元位置（Ｘ，Ｙ，Ｚ）を算出するには、以下
の（３），（４）式により一種の座標変換を行なう。

【００７０】 Ｙ＝ＣＨ−Ｚ×ＰＷ×（ｊ−ＪＶ） （３） Ｘ＝ｒ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） （４） ここで、ＣＨ：ＣＣＤカメラ１１（ＣＣＤカメラ１２）
の取付け高さ、 ＰＷ：１画素当たりの視野角、 ＩV，ＪV：車輌１の真正面の無限遠点の画像上の座標で
ある。

【００７１】また、実空間の三次元座標（Ｘ，Ｙ，Ｚ）
から画像上の位置（ｉ，ｊ）を算出する式も、上記
（３），（４）式を変形し、次のようになる。

【００７２】 ｊ＝（ＣＨ−Ｙ）／（Ｚ×ＰＷ）＋ＪＶ （５） ｉ＝（Ｘ−ｒ／２）／（Ｚ×ＰＷ）＋ＩＶ （６） 尚、ＣＣＤカメラ１１の取り付け位置を、上記実空間の
ＸＹＺ座標系で示すと、例えば、右側のＣＣＤカメラ１
１ｂは、Ｘ＝０．４５ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０
ｍであり、左側のＣＣＤカメラ１１ａは、Ｘ＝−０．４
５ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０ｍとなる。

【００７３】上記道路・立体物検出装置１００の認識機
能は、図１２に示すように、道路検出部１１０と、物体
認識部１２０とに大別され、処理結果が、道路・立体物
パラメータ記憶部１３０としての出力メモリ１００ｅに
記憶され、図示しない外部装置に読み込まれる。

【００７４】上記道路検出部１１０は、さらに、道路形
状推定部１１１、三次元ウインドウ発生部１１２、直線
要素検出部１１３、及び、道路形状判定部１１４から構
成されており、上記物体認識部１２０は、さらに、物体
検出部１２１、三次元ウインドウ発生部１２２、及び、
物体輪郭像抽出部１２３から構成されている。

【００７５】道路形状推定部１１１は、上記距離画像に
含まれる距離分布の情報に基づいて、道路の白線の位置
及び形状を推定する道路形状推定手段としての機能を有
し、三次元ウインドウ発生部１１２は、推定した道路の
白線を包合する三次元の空間領域を第１の三次元ウイン
ドウとして設定する第１の三次元ウインドウ設定手段と
しての機能を有している。

【００７６】また、直線要素検出部１１３は、上記距離
分布の情報の中から上記第１の三次元ウインドウ内のデ
ータのみを抽出し、道路モデルを構成する三次元の直線
要素を検出する直線要素検出手段としての機能を有し、
道路形状判定部１１４は、検出した直線要素の妥当性を
判定し、判定基準に合致しない場合には上記直線要素を
修正あるいは変更し、上記道路モデルを決定する道路形
状判定手段としての機能を有している。

【００７７】また、物体検出部１２１は、決定した道路
モデルに基づいて、上記距離分布の情報の中から道路表
面より上にあるデータのみを抽出するデータ抽出手段、
及び、上記距離分布の情報を有する画像を複数の領域に
分割し、各領域毎に、抽出したデータから物体の有無と
存在位置とを検出することにより、複数の物体を背景と
区別して検出する物体検出手段としての機能を有し、三
次元ウインドウ発生部１２２は、検出した物体を包合す
る三次元の空間領域を第２の三次元ウインドウとして設
定する第２の三次元ウインドウ設定手段としての機能を
有している。

【００７８】また、物体輪郭像抽出部１２３は、上記距
離分布の情報の中から上記第２の三次元ウインドウ内の
データのみを抽出して物体の輪郭像を検出するととも
に、この輪郭像の形状寸法及び位置を検出する物体輪郭
像抽出手段、検出した立体物の三次元位置の時間変化か
ら、検出した立体物と自車輌との位置関係量を高速で検
出する位置関係量検出手段、及び、検出した道路形状か
ら得られる自車輌の走行する道筋に照らし、上記位置関
係量から検出した立体物と自車輌との衝突の可能性を判
断する衝突判断手段としての機能を有している。

【００７９】上記道路検出部１１０では、距離画像メモ
リ２０ｂに記憶された距離画像による三次元的な位置情
報を利用し、実際の道路上の白線だけを分離して抽出
し、内蔵した道路モデルのパラメータを、実際の道路形
状と合致するよう修正・変更して道路形状を認識する。

【００８０】実際の画像では、道路上の白線に先行車な
どが重なって写るが、画像に写った道路の白線を二次元
的な特徴を頼りに検出する従来の多くの装置では、白線
と立体物とを二次元的な特徴によって分離することは困
難な場合が多いが、本発明では白線の三次元的な位置情
報を利用することにより、確実に白線と立体物とを分離
することができる。

【００８１】すなわち、三次元空間では白線は道路の平
面上にあり、一方、先行車などの立体物は道路平面より
高い位置にある。そこで、道路面からの高さによって白
線と立体物を区別するのである。

【００８２】さらに、道路検出部１１０には道路モデル
が内蔵されており、この道路モデルは、認識対象範囲ま
での道路の自車線を、設定した距離によって複数個の区
間に分け、各区間毎に左右の白線を、後述する三次元の
直線式で近似して折れ線状に連結したものであり、左右
の折れ線で囲まれた範囲を自分の走行車線と判断する。
道路形状の認識とは、三次元の直線式のパラメータを導
出するプロセスともいえる。

【００８３】図１３は道路モデルの例であり、例えば、
前方８４ｍまでの道路を、第０区間Ｒ0，第１区間Ｒ1，
第２区間Ｒ2，…，第６区間Ｒ6の７区間に分け、左カー
ブを近似表現したものである。この道路モデルでは、７
個の区間で道路を近似表現することにより、直線路のみ
でなくカーブやＳ字路も十分な精度で表現でき、また、
各区間は直線で表現されるため、計算処理や取扱いが簡
単である。さらに、後述するように、各区間は、水平方
向及び垂直方向の直線式で表され、道路の上り下りや凹
凸などの、道路の上下方向の形状も表現できる。

【００８４】尚、上記道路モデルの各区間を区切る距離
の値は、走行する道路のカーブの曲率に応じて変更する
必要がある。一般の高速道路ではカーブの半径は最小で
２３０ｍ程度に設計されているため、このような場合、
各区間の区切り距離を、１０ｍ，１７ｍ，２５ｍ３５
ｍ，４８ｍ，６４ｍ，８４ｍにすると良好な結果が得ら
れる。

【００８５】次に、道路検出部１１０の機能を詳細に説
明する。道路形状推定部１１１では、前回（Δｔｓｅｃ
前）の道路形状の認識結果を基にし、車速センサ３、舵
角センサ４からの出力信号を使ってΔｔ秒間の車輌１の
動きを算出し、Δｔ秒後の車輌１の位置から見た道路形
状を推定する。

【００８６】すなわち、車速センサ３の出力信号をＶ
（ｍ／ｓｅｃ）、ステアリング・コラムに取り付けた舵
角センサ４の出力信号（操舵角）をη（ｒａｄ）とする
と、Δｔ秒間の車輌１の前進量ΔＺ（ｍ）と回転角（ヨ
ー角）Δθ（ｒａｄ）は、一般に次式で概算できる。

【００８７】 ΔＺ＝Ｖ×Δｔ （７） Δθ＝ΔＺ×ｔａｎ（η／ｒｓ）×１／ｗｂ （８） ここで、ｒｓ：ステアリングと前輪の回転比、 ｗｂ：車輌のホイールベースである。

【００８８】従って、前回の処理で検出した道路形状を
ΔＺだけ手前に移動し、さらに、Δθだけ車輌１の回転
と逆方向に道路形状を回転させることにより、Δｔ秒後
の道路の概略の位置と形状が推定できるのである。

【００８９】三次元ウインドウ発生部１１２では、推定
した道路形状ＲＤを表す左右の折れ線の内の一つの直線
要素Ｌｄを中心として、図１４に示すような直方体状の
第１の三次元空間領域すなわち第１の三次元ウインドウ
ＷＤ3A（以下、単に三次元ウインドウＷＤ3Aとする）を
設定し、この設定した三次元ウインドウＷＤ3Aが、図１
５に示すように、二次元の画像上でどのように見えるか
を計算し、ウインドウ輪郭線の内側（図１５中の斜線部
分）を二次元ウインドウＷＤ2Aとし、この中のデータの
みを検出対象とする。

【００９０】三次元ウインドウＷＤ3Aから二次元ウイン
ドウＷＤ2Aを求めるには、三次元ウインドウＷＤ3Aの８
個の頂点の各座標（Ｘｎ，Ｙｎ，Ｚｎ）から、前述した
（５）（６）式を用いて画像上の座標（ｉｎ，ｊｎ）を
計算し、これらの点を包絡する多角形を計算する。

【００９１】この三次元ウインドウＷＤ3Aは、長さを各
区間の区切り距離（例えば、第１区間Ｒ1では前方１０
〜１７ｍ）と等しくし、一方、高さと幅は、車速などの
状況に応じて変化させるが、道路形状の推定に誤差があ
り、実際の白線の位置とのずれが予想される場合には、
高さや幅を大きくして検出する範囲を広くする。しか
し、ウインドウを大きくし過ぎると、道路周辺の縁石や
草木なども検出してしまい、誤認識の原因となるため、
ウインドウの大きさを適切に選定することは重要であ
る。一般の高速道路の走行では、試験の結果、高さ０．
４ｍ〜０．８ｍ、幅０．４〜１．６ｍの範囲で変化させ
ると良いことがわかっている。

【００９２】このように、二次元の画像上では道路の白
線と立体物が重なり合っていても、三次元ウィンドウを
設定して道路の表面付近のデータのみを抽出することに
より、白線を立体物と区別して検出できる。また、道路
周辺には縁石や草木などもあるが、三次元ウィンドウを
設定して白線があると推定される位置の近辺のデータの
みを抽出することによって、道路上の白線をこれらの縁
石や草木などと区別して検出できる。さらには、二次元
ウィンドウを設定することにより、探索する領域及びデ
ータ数を少なくして処理時間を短縮することができるの
である。

【００９３】直線要素検出部１１３では、先に推定した
道路形状の直線要素Ｌｄに対し、被写体の三次元位置の
Ｘ方向のずれ量ΔＸ、Ｙ方向のずれ量ΔＹを計算し、こ
のずれ量ΔＸ，ΔＹに応じて設定した重み係数を各デー
タに掛け、最小自乗法により、水平方向（ＸＺ方向）及
び垂直方向（ＹＺ）方向の直線式を導出してパラメータ
を求める。

【００９４】詳細には、まず、二次元ウインドウＷＤ2A
内の画素を順次サーベイして行き、距離データを持って
いる画素について、前述の（３），（４）式を用いて被
写体の三次元位置（Ｘ，Ｙ，Ｚ）を計算し、距離Ｚの値
が三次元ウインドウＷＤ3Aの長さの範囲（例えば、第１
区間Ｒ1ではＺ＝１０〜１７ｍ）の外にある距離データ
は検出対象から除外する。

【００９５】すなわち、三次元ウインドウＷＤ3Aの向こ
う側や手前側にある物体の画像は、二次元ウインドウＷ
Ｄ2A内に写り込むため、二次元ウインドウＷＤ2A内でサ
ーベイされる被写体は、三次元ウインドウＷＤ3Aに包含
されるとは限らない。そこで、各画素の被写体の三次元
位置（Ｘ，Ｙ，Ｚ）を計算し、三次元ウインドウＷＤ3A
に含まれるか否かを判別するのである。

【００９６】続いて、先に推定した道路形状の直線要素
Ｌｄと被写体の三次元位置を比較して図１６に示すよう
なデータＤｉのＸ方向、Ｙ方向のずれ量ΔＸｉ、ΔＹｉ
を計算し、三次元ウインドウＷＤ3Aの幅、高さの範囲内
にあるデータのみを選別した後、Ｘ方向、Ｙ方向のずれ
量ΔＸｉ、ΔＹｉに応じたデータＤｉの重み係数を決定
する。

【００９７】上記重み係数は、図１７に示すように、例
えば、中心を１．０、周辺を０．０とする放物線状で、
Ｘ方向の重み係数ｆｘとＹ方向の重み係数ｆｙの積を、
そのデータＤｉの重み係数としている。また、重み係数
が０．０以上となるＸ方向、Ｙ方向の範囲は、三次元ウ
インドウＷＤ3Aの幅、高さと同一とするか、あるいは、
これらより大きくする。

【００９８】各データＤｉに対して、上記重み係数を掛
けた後、最小自乗法を用いて、以下の（９），（１０）
式に示す水平方向及び垂直方向の直線式を導出し、パラ
メータａ，ｂ，ｃ，ｄを求め、これを新しい直線要素Ｌ
ｄの候補とする。

【００９９】 水平方向：Ｘ＝ａ×Ｚ＋ｂ …………（９） 垂直方向：Ｙ＝ｃ×Ｚ＋ｄ …………（１０） 同時に、重み係数が設定値（例えば、０．０５〜０．１
程度）以上のデータについて、その個数と、それらのデ
ータが分布する距離Ｚの範囲を調べ、データ数が設定値
（例えば、１０個程度）以下の場合、または距離Ｚの範
囲が三次元ウインドウＷＤ3Aの長さ（例えば、第１区間
Ｒ1ではＺ＝１０ｍ〜１７ｍの長さ７ｍ）の1/2 以下の
場合には、正確な直線要素Ｌｄの候補は得られていない
と判断し、上記で求めた直線式は棄却し、候補なしとす
る。

【０１００】以上の処理を、左右および手前側から遠方
側の区間に向かって順次行い、道路モデルを構成する全
ての直線要素Ｌｄの候補を求める。この場合、三次元ウ
ィンドウの幅の設定が大き過ぎると、道路周辺の縁石や
草木などが三次元ウィンドウの端に掛かって来る場合が
あるが、この直線要素検出部１１３では、各データに重
み係数を掛けて三次元ウィンドウの周辺部の重みを小さ
くすることにより、万一、縁石や草木などが掛かってき
た場合にも、これらの影響を小さくし、安定して白線の
直線式が導出できるのである。

【０１０１】道路形状判定部１１４では、各区間につい
て、左右両方の直線要素Ｌｄの候補について、水平方向
及び垂直方向の平行度から妥当性を判定する。その判定
の結果、妥当と判定した場合には、両方を新しい直線要
素Ｌｄの候補として採用し、一方、左右いずれかの直線
要素Ｌｄの候補が正確でないと判定した場合には、直線
要素Ｌｄの代用、補完を行なう。そして、求められた各
直線要素Ｌｄのパラメータを道路・立体物パラメータ記
憶部１３０に出力する。

【０１０２】具体的には、まず、左側の直線要素Ｌｄに
対する（９）式のパラメータ（以下、左側を表すＬ、右
側を表すＲを各パラメータに付加して示す）ａＬと、右
側の直線要素Ｌｄに対する（９）式のパラメータａＲと
の差異から、水平方向の平行度を調べ、設定値（例え
ば、５°程度）以上の場合には、左右いずれかの直線要
素Ｌｄは不正確であると判定する。同様にして、パラメ
ータｃＲとパラメータｃＬの差異から垂直方向の平行度
を調べ、設定値（例えば、１°程度）以上の場合は、い
ずれかの直線要素は不正確であると判定する。

【０１０３】この判定の結果、水平方向及び垂直方向い
ずれの平行度も条件を満たす場合には、両方が新しい直
線要素として採用されるが、左右いずれかの直線要素Ｌ
ｄが不正確と判定されると、左右の各々の直線要素Ｌｄ
の候補と先に推定した道路形状の位置とを比較し、ずれ
量が少ない方を新しい直線要素Ｌｄとして採用し、他方
は棄却して候補なしとする。

【０１０４】そして、平行度の判定により左右いずれか
の直線要素Ｌｄが候補なしとされた場合、あるいは、道
路上の白線が破線状であったり、障害物に隠れて見えな
いためにデータが不足して左右いずれかの直線要素Ｌｄ
が候補なしと判定された場合には、検出された側の直線
要素Ｌｄを車線の幅だけ並行移動して代用する。さら
に、左右両方の直線要素Ｌｄが候補なしの場合には、先
に推定した道路形状の直線要素Ｌｄを代用する。これに
より、部分的に直線要素の検出失敗や誤検出が起こって
も、全体としては安定した道路形状が得られるのであ
る。

【０１０５】図１８は、道路検出部１１０によって検出
された道路形状を図式化した説明図あり、左右の白線に
沿って直線要素が検出されている。前方の車輌に隠れて
見えない部分も、上述したように補完することによって
良好に推定される。尚、左右の直線要素の間の横線は、
各区間の境界である。

【０１０６】次に、物体認識部１２０における物体検出
部１２１、三次元ウインドウ発生部１２２、及び、物体
輪郭像抽出部１２３の各機能を詳細に説明する。

【０１０７】物体検出部１２１では、ステレオ画像処理
装置２０からの距離画像を格子状に所定の間隔（例え
ば、８〜２０画素間隔）で区分し、各領域毎に、走行の
障害となる可能性のある立体物のデータのみを選別し、
その検出距離を算出する。

【０１０８】図１９は、車輌１から前方風景を撮像した
明暗画像の上に、格子状の領域を設定した説明図であ
り、実際には、図９の距離画像を、このように区分す
る。本実施例では、１２画素間隔で３３個の小領域に区
分する。すなわち、画像を多数の領域に分割して物体を
探すことにより、複数の物体を同時に検出することがで
きるようになっている。

【０１０９】各領域における被写体は、画像上の座標
（ｉ，ｊ）と距離データＺから、前述の（３），（４）
式を使って実空間の三次元位置（Ｘ，Ｙ，Ｚ）が算出さ
れ、さらに、先に検出した道路形状の式（１０）を使っ
て、距離Ｚに於ける道路表面の高さＹｒが計算される。
被写体の道路表面からの高さＨは、次の（１１）式で計
算することができる。

【０１１０】 Ｈ＝Ｙ−Ｙｒ （１１） 高さＨが０．１ｍ程度以下の被写体は、道路上の白線や
汚れ、影などであり、走行の障害になる物体ではないと
考えられるため、この被写体のデータは棄却する。ま
た、車輌の高さより上にある被写体も、歩道橋や標識な
どと考えられるので棄却し、道路上の障害となる立体物
のデータのみを選別する。これにより、二次元の画像上
で物体が道路などと重なり合っていても、道路表面から
の高さによってデータを区別し、物体のみを検出でき
る。

【０１１１】次に、このようにして抽出された立体物の
データに対して、予め設定された距離Ｚの区間に含まれ
るデータの個数を数え、距離Ｚを横軸とするヒストグラ
ムを作成する。図２０は先行車輌５００を検出物体とす
るヒストグラムである。

【０１１２】設定する距離Ｚの区間の長さや区間の個数
は、距離Ｚの検出限界や精度および検出対象の物体の形
状などを考慮して決定する必要があり、例えば高速道路
の走行を対象にする場合には、区間長さは、１０ｍ前方
では約１．５ｍ、１００ｍ前方では約１５ｍ程度にする
と良い。

【０１１３】上記ヒストグラムにおいては、入力される
距離画像中の距離データには、誤って検出された値も存
在するので、実際には物体の存在しない位置にも多少の
データが現れる。しかし、ある程度の大きさの物体があ
ると、その位置の度数は大きな値を示し、一方、物体が
何も存在しない場合には、誤った距離データのみによっ
て発生する度数は小さな値となる。

【０１１４】従って、作成されたヒストグラムの度数
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は、物体が存在しないと判断する
ことにより、画像のデータに多少のノイズが含まれてい
る場合においても、ノイズの影響を最小限にして物体を
検出できる。

【０１１５】物体が存在すると判断されると、検出され
た区間と、その前後に隣接する区間に含まれている立体
物のデータの距離Ｚの平均値を計算し、この値を物体ま
での距離と見なす。

【０１１６】このような物体までの距離検出の処理を全
領域について行なった後、各領域の物体の検出距離を調
べ、隣接する領域において物体までの検出距離の差異が
設定値以下の場合は同一の物体と見なし、一方、設定値
以上の場合は別々の物体と見なす。

【０１１７】具体的には、まず、左端の領域ＡＲ1を調
べ、物体が検出されている場合には、それを物体Ｓ1、
距離をＺ1とする。次に右隣の領域ＡＲ2を調べ、物体が
検出されていない場合には、物体Ｓ1は領域ＡＲ1の内部
とその近辺に存在し、その距離はＺ1と判定し、物体が
検出され、その検出距離がＺ2である場合には、距離Ｚ1
とＺ2の差を調べる。

【０１１８】そして、距離Ｚ1とＺ2の差が設定値以上の
場合、領域ＡＲ2で検出された物体は、先に検出された
物体Ｓ1とは異なると判定し、新たに物体Ｓ2、距離Ｚ2
とし、さらに右隣の領域を調べて行く。

【０１１９】一方、距離Ｚ1とＺ2の差が設定値以下の場
合には、領域ＡＲ2で検出された物体は、先に検出され
た物体Ｓ1であると判定し、その距離はＺ1とＺ2の平均
値とし、さらに右隣の領域を順次調べて行き、連続して
物体Ｓ1があると判定されれば、距離と存在領域を更新
してゆく。

【０１２０】従来、二次元の画像上で物体の周囲に遠方
の背景が写っている場合には物体のデータだけを抽出す
ることは困難であったが、本発明では、以上のような処
理を左端の領域ＡＲ1から右端の領域ＡＲ33まで行なっ
て距離の値によってデータを区別することにより、複数
の物体とその距離、存在領域を背景と区別して検出する
ことができ、さらには、二次元の画像上で複数の物体が
重なり合って写っている場合においても、各々の物体の
距離の違いによって、それらを区別して検出できるので
ある。

【０１２１】尚、上記設定値は、自動車を検出する場合
には４ｍ〜６ｍ程度、歩行者を検出する場合には１ｍ〜
２ｍ程度にすると良いことが実験的に得られている。

【０１２２】図２１は、以上の処理で検出した物体の存
在領域を枠線で示したものであり、、この例では３個の
物体が検出されている。尚、図の下側の数値は各物体の
検出距離である。

【０１２３】三次元ウインドウ発生部１２２では、上記
物体検出部１２１で検出された各々の物体について、図
２２に示すような三次元空間で、検出物体（先行車輌）
５００を包含する直方体状の第２の三次元空間領域すな
わち第２の三次元ウインドウＷＤ3B（以下、単に三次元
ウインドウＷＤ3Bとする）を設定し、この設定した三次
元ウインドウＷＤ3Bが、二次元の画像上でどのように見
えるかを計算し、ウインドウ輪郭線の内側を二次元ウイ
ンドウＷＤ2Bとして、この中のデータのみを検出対象と
する。

【０１２４】上記物体検出用の三次元ウインドウＷＤ3B
の横幅は、物体の存在領域より左右に１領域分だけ拡張
した範囲とする。これは、ある領域に物体の左右端の一
部分のみが掛かっている場合には、その物体はヒストグ
ラム上で大きな値とならず、別の物体が検出される可能
性があるため、このような場合を考慮してウインドウの
範囲を拡大しておくものである。

【０１２５】また、三次元ウインドウＷＤ3Bの距離Ｚ方
向の長さは、その物体の検出距離におけるヒストグラム
の区間長さを、その検出距離の前後に加えた範囲とす
る。三次元ウインドウＷＤ3Bの下端は、道路表面の高さ
に約０．１ｍを加えた位置とし、上端は物体検出のため
に区分した各領域の上端とする。

【０１２６】尚、物体検出用の三次元ウインドウＷＤ3B
から物体検出用の二次元ウインドウＷＤ2Bを求める処理
は、先に道路検出部１１０の三次元ウインドウ発生部１
１２において説明した処理と同様である。

【０１２７】図２３は、先に図２１で示した３個の検出
物体の内の１個について、二次元ウインドウＷＤ2Bを設
定した例を示したものである。

【０１２８】物体輪郭像抽出部１２３では、上記二次元
ウインドウＷＤ2B内の各データを順次サーベイし、三次
元ウインドウＷＤ3Bに含まれるデータのみを選別し、検
出した物体の輪郭像を抽出する処理を行ない、検出物体
の位置、速度、加速度など自車輌との位置関係量を検出
するとともに、衝突の危険性を判断する。

【０１２９】すなわち、まず、物体毎に二次元ウインド
ウＷＤ2B内の各データを順次サーベイし、距離データを
持っている画素について、前述の（３），（４）式を用
いて三次元位置（Ｘ，Ｙ，Ｚ）を計算した後、距離や高
さの値が三次元ウインドウＷＤ3Bの範囲内にあるデータ
のみを抽出し、他は棄却する。

【０１３０】このようにして抽出したデータを、二次元
の画像上に投影して表示すると図２４のようになる。さ
らに、これらのデータの外形を線分で連結すると、図２
５に示すような物体の輪郭像が得られる。この輪郭像の
左右端および上端の画像上での座標（ｉ，ｊ）を検出
し、続いて、その物体の検出距離Ｚと（３），（４）式
を用いて、三次元空間での物体の左右端と上端の位置を
算出すると、左右端の位置から物体の横幅が求まり、上
端の位置から物体の高さが求まる。図２５においては、
幅１．７ｍ、高さ１．３ｍの物体と判別できる。

【０１３１】また、物体の左右端の中心位置（Ｘ，Ｚ）
を計算し、これの距離Ｚの時間的な変化から、自車（車
輌１）から見た物体の前後方向の相対速度が算出され、
また、位置Ｘの左右方向の時間的な変化から左右方向の
相対速度が算出される。さらに、速度センサ３から入力
される自車の走行速度に物体の相対速度を加算すると、
道路面に対する物体の走行速度が算出され、この走行速
度の時間変化から各物体の加速度が算出される。

【０１３２】続いて、検出した各物体の位置と先に検出
した道路の車線の位置を比較し、その物体が自車線上に
あるのか、あるいは左右の車線上にあるのか、或いは道
路外にあるのかを調べ、それぞれに分類する。例えば、
前方を複数の車輌が走行し、さらに、道路がカーブして
いる場合には、その道筋に沿って各物体の位置を比較
し、自車線上で最も手前に存在する物体を先行車輌と判
断し、その物体までの距離を車間距離とする。

【０１３３】そして、各物体の検出された位置と前後方
向及び左右方向の走行速度と加速度から各物体の数秒後
の位置を推定し、同時に、自車輌は検出した道路の車線
あるいは現在の操舵角に従って走行すると仮定して自車
輌の数秒後の位置を推定することにより、各物体と自車
輌のそれぞれの位置を比較し、衝突の可能性を判断す
る。

【０１３４】以上のようにして求められた各物体の位
置、形状、速度、加速度、衝突の可能性などのパラメー
タは、道路・立体物パラメータ記憶部１３０に出力さ
れ、記憶される。

【０１３５】［動 作］次に、ステレオ画像処理装置２
０による距離情報の算出、及び、道路・立体物検出装置
１００の動作について説明する。

【０１３６】まず、ステレオ画像処理装置２０では、図
２６に示すフローチャートのステップS101で左右のＣＣ
Ｄカメラ１１ａ，１１ｂによって撮像した画像を入力す
ると、ステップS102で、入力した画像をＡ／Ｄ変換した
後、ＬＵＴ３２ａ，３２ｂで補正し、画像メモリ３３
ａ，３３ｂに記憶する。

【０１３７】これらの画像メモリ３３ａ，３３ｂに記憶
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。

【０１３８】次に、ステップS103へ進むと、左右画像用
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。

【０１３９】その際、左右の画像毎に、上記画像メモリ
３３ａ，３３ｂから上記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。

【０１４０】そして、図２７に示すように、上記シフト
レジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の
４×４画素の小領域の画像データ（１，１）…（４，
４）が保存され、一方のシフトレジスタ４３ａ（４４
ａ）には１、２ラインのデータが、もう一方のシフトレ
ジスタ４３ｂ（４４ｂ）には３、４ラインのデータが、
それぞれ１画素毎に奇数ライン、偶数ラインの順序で入
る。

【０１４１】上記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。

【０１４２】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図２８のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に８画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を２回行なう場合がある。

【０１４３】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。

【０１４４】次に、ステップS104へ進み、上記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。

【０１４５】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量δ＝０）が、図７に示す最小値検出回
路５１のＣラッチ５３を介して、演算器４６のＢレジス
タ４６ｂに入力される。次のクロックで出力されてきた
シティブロック距離Ｈ（ずれ量δ＝１）は、Ｃラッチ５
３と演算器４６のＡレジスタ４６ａとに入れられ、演算
器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が
始まる。

【０１４６】上記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量δがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量δ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。

【０１４７】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量δがＤラッチ
５５に保存されながら、ずれ量δが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。

【０１４８】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。

【０１４９】ステップS105では、上記ステップ104 でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量δが決定される。

【０１５０】すなわち、図２９のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。

【０１５１】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。

【０１５２】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。上記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。

【０１５３】輝度差の計算が始まるとき、上記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。

【０１５４】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。

【０１５５】上記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、上記スイッチ
回路６５からずれ量δあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。

【０１５６】上記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。

【０１５７】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。

【０１５８】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了し、一つ
の小領域に対して、シティブロック距離Ｈの最小値ＨMI
N 、最大値ＨMAX を求めるのに要する時間は充分に余裕
があり、さらに機能を追加することも可能である。

【０１５９】そして、ずれ量δが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量δを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。

【０１６０】この出力バッファメモリ６６ａ，６６ｂ
は、前述した入力バッファメモリ４１ａ，４１ｂ，４３
ａ，４３ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から上記デュア
ルポートメモリ９０へ距離分布情報を送り出す。

【０１６１】上記デュアルポートメモリ９０へ書き込ま
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離などのレンズパラメータとから、各
画素に対応する物体のＸＹＺ空間における三次元位置を
算出することができ、情報量の低下なく車外の対象物ま
での距離を正確に検出することができる。

【０１６２】次に、ステレオ画像処理装置２０のタイミ
ングについて、図３０に示すタイミングチャートに従っ
て説明する。

【０１６３】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。

【０１６４】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。

【０１６５】この間に、一方の入出力バッファメモリに
対してずれ量δの計算が行われる。そして、ずれ量δの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。

【０１６６】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量δが各チェックを経て距離分
布として出力される。

【０１６７】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。

【０１６８】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。

【０１６９】次に、道路・立体物検出装置１００の動作
について、道路検出部１１０の動作を図３１〜図３４の
フローチャーに従って、また、物体認識部１２０の動作
を図３５〜図３７のフローチャートに従って説明する。

【０１７０】道路検出部１１０では、まず、道路形状推
定処理を行なう。すなわち、図３１のステップS201で、
前回（Δｔｓｅｃ前）の道路形状パラメータを読み込む
と、次いで、ステップS202へ進み、車速センサ３の出力
信号Ｖ、舵角センサ４の出力信号ηを読み込む。

【０１７１】次に、ステップS203へ進むと、上記ステッ
プS202で読み込んだ車速センサ３の出力信号と舵角セン
サ４の出力信号ηを使ってΔｔ秒間の車輌１の動きを算
出し、ステップS204で、Δｔ秒後の車輌１の位置から見
た道路形状を推定して道路形状パラメータを修正する。

【０１７２】以上の道路形状推定処理が終わると、三次
元ウインドウ発生処理へ移行し、ステップS205で、道路
モデルの第１区間Ｒ1の左側の直線要素Ｌｄのパラメー
タ（ａ，ｂ，ｃ，ｄ）を読み込むと、ステップS206で、
この直線要素Ｌｄを中心とする三次元ウインドウＷＤ3A
を設定する。

【０１７３】その後、ステップS207へ進み、上記ステッ
プS206で設定した三次元ウインドウＷＤ3Aから二次元画
像上での二次元ウインドウＷＤ2Aを設定し、次のステッ
プS208以降へ進む。

【０１７４】ステップS208〜ステップS217は、直線要素
検出処理であり、ステップS208で、二次元ウインドウＷ
Ｄ2A内のデータを読み込むと、ステップS209で、各デー
タの三次元位置を計算し、ステップS210で、距離Ｚの値
が三次元ウインドウＷＤ3Aの長さの範囲内にあるデータ
を選別する。

【０１７５】そして、ステップS211へ進み、先に推定し
た道路形状の直線要素Ｌｄと被写体の三次元位置を比較
してＸ方向、Ｙ方向の位置のずれ量ΔＸ、ΔＹを計算
し、ステップS212で、これらのずれ量ΔＸ，ΔＹが、三
次元ウインドウＷＤ3Aの幅、高さの範囲内にあるデータ
のみを選別し、他は除外する。

【０１７６】その後、ステップS213へ進み、上記ステッ
プS212で計算したＸ方向、Ｙ方向のずれ量ΔＸ，ΔＹに
応じて、そのデータの重み係数を決定し、各データに、
ずれ量ΔＸ，ΔＹに応じた重み係数を付加する。

【０１７７】次に、ステップS214へ進むと、最小自乗法
を用いて水平方向（ＸＺ平面）および垂直方向（ＹＺ平
面）の直線式を導出し、パラメータ（ａ，ｂ，ｃ，ｄ）
を求め、これを新しい直線要素Ｌｄの候補とする。

【０１７８】そして、ステップS215で、道路モデルの右
側のラインの直線要素Ｌｄの候補が求められたか否かを
調べ、その結果がＮＯの場合には、ステップS216で、右
側の直線要素Ｌｄのパラメータを読み込んで前述のステ
ップS206へ戻り、結果がＹＥＳの場合には、ステップS2
17へ進む。

【０１７９】ステップS217では、求めた直線要素Ｌｄの
候補が最終区間の右側のものであるか否かを調べ、最終
区間でない場合には、ステップS218で、次の区間の左側
の直線要素Ｌｄのパラメータを読み込んで、前述のステ
ップS206へ戻り、同様の処理を繰り返す。

【０１８０】一方、上記ステップS217で、求めた直線要
素Ｌｄの候補が最終区間の右側のものであり、道路モデ
ルを構成する全ての直線要素Ｌｄの候補を求め終えた場
合には、上記ステップS217からステップS219以降へ進
み、道路形状判定処理を実行する。

【０１８１】すなわち、ステップS219で、第１区間Ｒ1
の直線要素Ｌｄのパラメータを読み込むと、ステップS2
20で、左右の直線要素Ｌｄの水平方向の平行度を調べ
て、その妥当性を判定し、ステップS221で、左右の直線
要素Ｌｄの垂直方向の平行度を調べ、その妥当性を判定
する。

【０１８２】その後、ステップS222へ進み、上記ステッ
プS220,S221における判定結果、左右いずれかの直線要
素が妥当でないと判定された場合、あるいは、道路上の
白線が破線状であったり、障害物に隠れて見えないため
にデータが不足して、左右いずれかの直線要素の候補が
ない場合に対し、検出された側の直線要素を車線の幅だ
け並行移動して代用することにより、欠落する直線要素
を補完し、ステップS223へ進む。

【０１８３】尚、左右両方の直線要素が無しの場合に
は、先に推定した道路形状の直線要素を代用する。

【０１８４】ステップS223では、最終区間か否かを調
べ、最終区間でない場合には、ステップS224で、次の区
間の左右の直線要素Ｌｄのパラメータを読み込んで前述
のステップS220へ戻り、最終区間の場合には、ステップ
S223からステップS224へ進んで、各直線要素Ｌｄのパラ
メータを出力用メモリに１００ｅへ書き込んで処理を終
了する。

【０１８５】次に、物体認識部１２０の動作について説
明する。まず、物体検出処理のため、ステップS301で道
路形状パラメータを読み込むと、ステップS302で、ステ
レオ画像処理装置２０からの距離画像を格子状の領域に
区分し、ステップS303で、最初の領域のデータを読み込
む。

【０１８６】次に、ステップS304へ進んで、領域内の最
初のデータをセットすると、ステップS305で、被写体の
三次元位置（Ｘ，Ｙ，Ｚ）、すなわち距離と高さを算出
し、ステップS306で、距離Ｚに於ける道路表面の高さを
算出し、ステップS307で、道路面より上にあるデータを
選別する。

【０１８７】そして、ステップS308へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS309で
領域内の次のデータをセットすると、前述のステップS3
05へ戻って処理を繰り返し、最終データの場合にはステ
ップS308からステップS310へ進む。

【０１８８】ステップS310〜ステップS315は、物体検出
処理であり、ステップS310で、ヒストグラムを作成する
と、ステップS311で、このヒストグラムの度数が判定値
以上で、かつ最大値となる区間を検出し、ヒストグラム
の度数が判定値以上で、かつ最大値となる区間が検出さ
れた場合、ステップS312で、その区間に物体が存在する
と判断し、その物体までの距離を検出する。

【０１８９】そして、ステップS313で、最終領域か否か
を調べ、最終領域でない場合には、ステップS314で、次
の領域のデータを読み込み、前述のステップS304へ戻っ
て同様の処理を続行し、最終領域である場合には、ステ
ップS315へ進み、各物体の距離と存在領域の検出を終了
し、ステップS316〜S318の三次元ウインドウ発生処理へ
進む。

【０１９０】ステップS316では、最初の物体のパラメー
タをセットし、次いで、ステップS317で、三次元ウイン
ドウＷＤ3Bの下端の高さ及び距離範囲を設定し、ステッ
プS318で、この三次元ウインドウＷＤ3Bに基づいて二次
元ウインドウＷＤ2B形状を算出してステップS319へ進
む。

【０１９１】ステップS319以下は、物体輪郭抽出処理で
あり、まず、ステップS319で、二次元ウインドウＷＤ2B
内のデータを読み出すと、ステップS320で、被写体の三
次元位置を算出し、ステップS321で、三次元ウインドウ
ＷＤ3B内に含まれるデータを選別して抽出する。

【０１９２】その後、ステップS322へ進み、上記ステッ
プS321で抽出したデータを二次元の画像上に投影する
と、ステップS323で、各データを線分で連結して輪郭像
を作成する。続いて、ステップS324で、物体の形状、寸
法、位置、速度を算出し、ステップ325で、道路の車線
と物体との位置関係を算出する。

【０１９３】そして、ステップS326で、最終物体か否か
を調べ、最終物体でない場合には、ステップS327で次の
物体のパラメータをセットして前述のステップS317へ戻
り、最終物体である場合には、ステップS328へ進んで、
各物体の位置、形状、速度、加速度、衝突の可能性等の
パラメータを出力用メモリ１００ｅに書き込み、処理を
終了する。

【０１９４】［第２実施例］図３８は、本発明の第２実
施例を示し、道路形状の直線要素のパラメータを算出す
る際に、ハフ変換を用いた処理を示すフローチャートで
ある。

【０１９５】ハフ変換は、ノイズの多い画像から安定し
て直線式を導出できる手法として一般的に利用されてい
るものであるが、この第２実施例では、前述した第１実
施例の図３３の直線要素検出処理に対し、ステップS212
で、三次元ウインドウＷＤ3A内にあるデータを選別する
と、ステップS212からステップS2140へ進んで、各デー
タに対し、まず、ＸとＺの関係をハフ変換して最も確度
の高い水平方向（ＸＺ平面）の直線式を導出し、続い
て、同様にＹとＺの関係をハフ変換して垂直方向（ＹＺ
平面）の直線式を導出する。このようにして直線式のパ
ラメータａ，ｂ，ｃ，ｄを求め、これを新しい直線要素
の候補として前述のステップS215へ進む。その他の処理
は、前述の第１実施例と同様である。

【０１９６】本発明においては、三次元ウインドウＷＤ
3Aを設定することによって白線以外のデータを排除する
ようにしているが、最小自乗法で直線式を求める前述の
第１実施例の場合、白線の真上に汚れや異物が乗ってい
ると、その影響を受けて白線の検出精度が低下するおそ
れがある。しかし、この第２実施例のようにハフ変換を
用いることにより、安定して直線式を導出することがで
きるのである。

【０１９７】［第３実施例］図３９は本発明の第３実施
例を示し、前述の第１実施例の道路・立体物検出装置１
００を、障害物の判定機能を付加した道路・障害物検出
装置２００としたものである。

【０１９８】すなわち、道路・障害物検出装置２００
は、前述の第１実施例の道路検出部１１０、障害物検出
部２１０、及び、出力用メモリ１００ｅからなる進路・
障害物パラメータ記憶部１３０から構成され、障害物検
出部２１０は、第１実施例の物体認識部１２０内に、検
出した物体の輪郭像の形状寸法及び位置から、物体の種
類を識別する物体識別手段の機能を有する障害物判定部
１２４を付加した構成となっている。

【０１９９】障害物判定部１２４では、物体輪郭像抽出
部１２３で検出された各物体の形状寸法、走行速度など
から、検出した物体が何であるかを判定する。例えば、
横幅と高さが約２ｍ以上であれば物体はトラックである
と判定でき、横幅が１．３〜２．０ｍ、 高さが２ｍ以
下であれば物体は乗用車と判定することができる。

【０２００】また、横幅が０．５〜１．０ｍ、高さが２
ｍ以下であれば物体はバイクまたは歩行者と判定でき、
走行速度が２０ｋｍ／ｈ以上あればバイクであると判定
することができる。さらに、輪郭像の横幅と高さの比
や、輪郭像の全体の高さと重心点の高さの比などを用い
て、物体をより詳細に識別・分類することもできる。

【０２０１】道路・障害物パラメータ記憶部１３０に
は、物体輪郭像抽出部１２３で検出された各物体の位
置、形状、速度などのパラメータに加えて、障害物判定
部１２４で判定された物体の種類のパラメータも記憶さ
れる。

【０２０２】この第３実施例では、障害物との衝突を予
測してドライバに警報を発したりブレーキやステアリン
グを制御して衝突を自動回避する装置を接続することに
より、現在の障害物の位置や速度の情報のみでなく、数
秒後の状態をより正確に予測できる。

【０２０３】例えば歩行者は突然移動方向を変える可能
性が高いが、一方、自動車は速度や方向を急激に変える
可能性は低いなどといったように、その動き方をより正
確に予測できるようになるのである。

【０２０４】

【発明の効果】以上説明したように本発明によれば、撮
像した画像から画像全体に渡る距離分布を高速に求め、
その距離分布から道路端や白線などの道路形状と周囲の
立体物の三次元位置とを正確にしかも信頼性高く検出す
ることができる。従って、走行の妨げとなる障害物の位
置や動きを考慮した、より高度な障害物回避を実現する
ことができるなど優れた効果が得られる。

【図面の簡単な説明】

【図１】図１〜図３７は本発明の第１実施例を示し、図
１は車外監視装置の全体構成図

【図２】車輌の正面図

【図３】車外監視装置の回路ブロック図

【図４】カメラと被写体との関係を示す説明図

【図５】ステレオ画像処理装置の具体例を示す回路構成
図

【図６】シティブロック距離計算回路の説明図

【図７】最小値検出回路のブロック図

【図８】車載のＣＣＤカメラで撮像した画像の例を示す
説明図

【図９】距離画像の例を示す説明図

【図１０】車輌の上面図

【図１１】車輌の側面図

【図１２】道路・立体物検出装置の機能ブロック図

【図１３】道路モデルの例を示す説明図

【図１４】三次元ウインドウの形状を示す説明図

【図１５】二次元ウインドウの形状を示す説明図

【図１６】直線要素とデータのずれ量を示す説明図

【図１７】ずれ量と重み係数の関係を示す説明図

【図１８】検出した道路形状の例を示す説明図

【図１９】画像の区分方法を示す説明図

【図２０】検出物体とヒストグラムの関係を示す説明図

【図２１】物体の存在領域の検出結果と検出距離の例を
示す説明図

【図２２】物体検出用の三次元ウインドウの形状を示す
説明図

【図２３】物体検出用の二次元ウインドウの形状を示す
説明図

【図２４】物体の輪郭を構成するデータの例を示す説明
図

【図２５】物体の輪郭像と検出された外径寸法の例を示
す説明図

【図２６】ステレオ画像処理装置の動作を示すフローチ
ャート

【図２７】シフトレジスタ内の保存順序を示す説明図

【図２８】シティブロック距離計算回路の動作を示すタ
イミングチャート

【図２９】ずれ量決定部の動作を示すタイミングチャー
ト

【図３０】ステレオ画像処理装置の動作を示すタイミン
グチャート

【図３１】図３１〜図３４は道路検出部の動作を示すフ
ローチャートであり、図３１は道路形状推定処理のフロ
ーチャート

【図３２】三次元ウインドウ発生処理のフローチャート

【図３３】直線要素検出処理のフローチャート

【図３４】道路形状判定処理のフローチャート

【図３５】図３５〜図３７は物体認識部の動作を示すフ
ローチャートであり、図３５は物体検出処理のフローチ
ャート

【図３６】三次元ウインドウ発生処理のフローチャート

【図３７】物体輪郭像抽出処理のフローチャート

【図３８】本発明の第２実施例を示し、直線要素検出処
理のフローチャート

【図３９】本発明の第３実施例を示し、道路・障害物検
出装置の機能ブロック図

【符号の説明】

１ 車輌 ２ 車外監視装置 １０ ステレオ光学系 ２０ ステレオ画像処理装置 １００ 道路・立体物検出装置 ２００ 道路・障害物検出装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/16 Ｃ 7828−3Ｈ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 車外の設定範囲を互いに異なる位置から
   撮像する撮像系を備え、 上記撮像系で撮像した複数枚の画像を高速処理して画像
   全体に渡る距離分布を計算する画像処理手段と、 上記画像処理手段からの距離分布の情報に対応する被写
   体の各部分の三次元位置を計算し、これらの三次元位置
   の情報を用いて道路の形状と複数の立体物を高速で検出
   する道路・立体物検出手段とを備えたことを特徴とする
   車輌用車外監視装置。
2. 【請求項２】 上記道路・立体物検出手段によって検出
   した立体物の三次元位置の時間変化から、検出した立体
   物と自車輌との位置関係量を高速で検出する位置関係量
   検出手段と、 上記道路・立体物検出手段によって検出した道路形状か
   ら得られる自車輌の走行する道筋に照らし、上記位置関
   係量検出手段で検出した位置関係量から、上記道路・立
   体物検出手段によって検出した立体物と自車輌との衝突
   の可能性を判断する衝突判断手段を備えたことを特徴と
   する請求項１記載の車輌用車外監視装置。
3. 【請求項３】 上記道路・立体物検出手段に、 上記画像処理手段からの距離分布の情報に基づいて、道
   路の白線の位置及び形状を推定する道路形状推定手段
   と、 上記道路形状推定手段で推定した道路の白線を包合する
   三次元の空間領域を第１の三次元ウインドウとして設定
   する第１の三次元ウインドウ設定手段と、 上記距離分布の情報の中から上記第１の三次元ウインド
   ウ内のデータのみを抽出し、道路モデルを構成する三次
   元の直線要素を検出する直線要素検出手段と、 上記直線要素検出手段で検出した直線要素の妥当性を判
   定し、判定基準に合致しない場合には上記直線要素を修
   正あるいは変更し、上記道路モデルを決定する道路形状
   判定手段と、 上記道路形状判定手段で決定した道路モデルに基づい
   て、上記距離分布の情報の中から道路表面より上にある
   データのみを抽出するデータ抽出手段と、 上記距離分布の情報を有する画像を複数の領域に分割
   し、各領域毎に、上記データ抽出手段で抽出したデータ
   から物体の有無と存在位置とを検出することにより、複
   数の物体を背景と区別して検出する物体検出手段と、 上記物体検出手段で検出した物体を包合する三次元の空
   間領域を第２の三次元ウインドウとして設定する第２の
   三次元ウインドウ設定手段と、 上記距離分布の情報の中から上記第２の三次元ウインド
   ウ内のデータのみを抽出して物体の輪郭像を検出すると
   ともに、この輪郭像の形状寸法及び位置を検出する物体
   輪郭像抽出手段とを備えたことを特徴とする請求項１ま
   たは請求項２記載の車輌用車外監視装置。
4. 【請求項４】 上記直線要素検出手段において、上記第
   １の三次元ウインドウ内のデータのみを抽出した後、抽
   出したデータに重み係数をかけ、最小自乗法により上記
   直線要素に対する三次元の直線式を導出することを特徴
   とする請求項３記載の車輌用車外監視装置。
5. 【請求項５】 上記直線要素検出手段において、上記第
   １の三次元ウインドウ内のデータのみを抽出した後、ハ
   フ変換によって上記直線要素に対する三次元の直線式を
   導出することを特徴とする請求項３記載の車輌用車外監
   視装置。
6. 【請求項６】 上記物体輪郭像抽出手段で検出した物体
   の輪郭像の形状寸法及び位置から、物体の種類を識別す
   る物体識別手段を備えたことを特徴とする請求項３記載
   の車外監視装置。