JPH07192199A

JPH07192199A - 車輌用走行案内装置

Info

Publication number: JPH07192199A
Application number: JP5330191A
Authority: JP
Inventors: Hideaki Tsuchiya; 英明土屋; Keiji Hanawa; 圭二塙; Keiji Saneyoshi; 敬二実吉
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 1993-12-27
Filing date: 1993-12-27
Publication date: 1995-07-28
Anticipated expiration: 2019-04-26
Also published as: DE4446452A1; GB9426131D0; GB2285719B; USRE37610E1; DE4446452B4; US5530420A; JP3522317B2; GB2285719A

Abstract

(57)【要約】【目的】車輌が狭路を通過する前に進行方向に存在す
る様々な立体物を確実に検出し、検出した立体物と自車
輌との間の隙間を運転者に知らせることにより、運転者
の負担を軽減して安全を確保する。【構成】ステレオ光学系１０によって撮像した左右１
組のステレオ画像対をステレオ画像処理手段１５で処理
して画像全体に渡る３次元の距離分布を算出すると、そ
の距離分布情報から道路上の立体物の３次元位置を立体
物検出手段１００で検出し、さらに、検出した前方の側
壁や立体物の縁と自車輌１側部の延長線との間の左右の
最近接距離を隙間距離として隙間距離算出手段１１０で
算出し、左右の隙間距離に係わる情報を報知手段１１５
によって運転者に知らせる。これにより、狭路を通過す
る前に運転者は安全に通過できるか否かを確認すること
ができ、運転者の負担を軽減して接触事故等を未然に回
避することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、峡路通過時の運転者の
負担を軽減し、安全を確保する車輌用走行案内装置に関
する。

【０００２】

【従来の技術】従来、自動車等の車輌においては、塀、
ガードレール、電柱、駐車車輌等が多数存在する狭路を
通過する際の運転者の感覚を補うものとして、例えば、
実開平５−６８７４２号公報に開示されているようなコ
ーナーポールや、棒状の部材が障害物に触れるとスイッ
チがオンする接触式スイッチからなる触覚センサ等を車
体に取り付ける場合があり、これにより、車幅や左右障
害物との間の隙間を確認することができる。

【０００３】また、最近では、車輌の側面や四隅に超音
波センサを取り付け、超音波を発射して障害物からの反
射波を受信することにより距離を計測し、計測した距離
を運転者に知らせて狭路を通過する際の負担を軽減しよ
うとする技術が開発されている。

【０００４】

【発明が解決しようとする課題】しかしながら、前述の
コーナーポールのように車体外部に目印となるようなも
のを取り付ける場合には、運転者の慣れを必要とするた
め、運転者の負担軽減効果が少ない。また、触覚センサ
のような接触式のものでは、物体に接触するまで位置の
確認ができず、障害物に接触してからではハンドル操作
が間に合わないといった事態が生じる。

【０００５】さらに、超音波を用いる技術では、空間分
解能が劣るため障害物の位置関係を知ることができない
ばかりでなく、歩行者の衣服や滑らかな壁等からは発射
した超音波が戻ってこないという物体依存性があり、道
路上に存在する様々な立体物に対処することは困難であ
る。

【０００６】本発明は前記事情に鑑みてなされたもの
で、車輌が狭路を通過する前に進行方向に存在する様々
な立体物を確実に検出し、検出した立体物と自車輌との
間の隙間を運転者に知らせることにより、運転者の負担
を軽減して安全を確保することのできる車輌用走行案内
装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、車輌に搭載し
た撮像系で撮像した車外の対象のステレオ画像対を処理
し、このステレオ画像対の対応位置のずれ量から三角測
量の原理によって画像全体に渡る距離分布を求めるステ
レオ画像処理手段と、前記ステレオ画像処理手段からの
距離分布の情報に対応する被写体の各部分の３次元位置
を計算し、計算した３次元位置の情報を用いて複数の立
体物を検出する立体物検出手段と、前記立体物検出手段
で検出した複数の立体物の自車輌側の縁と自車輌側部の
延長線との間の最近接距離を隙間距離として左右それぞ
れに算出する隙間距離算出手段と、前記隙間距離算出手
段で算出した左右の隙間距離に係わる情報を運転者に知
らせる報知手段とを備えたものである。

【０００８】

【作用】本発明では、車外の対象をステレオ撮像し、撮
像したステレオ画像対の対応位置のずれ量から三角測量
の原理によって画像全体に渡る距離分布を求めると、こ
の距離分布の情報に対応する被写体の各部分の３次元位
置を計算し、これらの３次元位置の情報を用いて複数の
立体物を検出する。そして、検出した複数の立体物の自
車輌側の縁と自車輌側部の延長線との間の最近接距離を
隙間距離として左右それぞれに算出し、この左右の隙間
距離に係わる情報を運転者に知らせる。

【０００９】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係り、図１は走行案内
装置の全体構成図、図２は走行案内装置の回路ブロック
図、図３はディスプレイの画面を示す説明図、図４は車
輌の正面図、図５はカメラと被写体との関係を示す説明
図、図６はイメージプロセッサの詳細回路図、図７はシ
ティブロック距離計算回路の説明図、図８は最小値検出
回路のブロック図、図９は車載のＣＣＤカメラで撮像し
た画像の例を示す説明図、図１０は距離画像の例を示す
説明図、図１１は車輌の上面図、図１２は車輌の側面
図、図１３は距離画像処理用コンピュータの機能ブロッ
ク図、図１４は画像の区分方法を示す説明図、図１５は
検出物体とヒストグラムの関係を示す説明図、図１６は
物体の存在領域の検出結果と検出距離の例を示す説明
図、図１７は物体検出用の３次元ウインドウの形状を示
す説明図、図１８は物体検出用の２次元ウインドウの形
状を示す説明図、図１９は物体の輪郭を構成するデータ
の例を示す説明図、図２０は物体の輪郭像と検出された
外形寸法の例を示す説明図、図２１は側壁検出における
探索領域の形状を示す説明図、図２２は画像上の側壁探
索領域を示す説明図、図２３は立体物データの分布状況
を示す説明図、図２４はハフ変換での直線の想定を示す
説明図、図２５はパラメータ空間の投票領域を示す説明
図、図２６は側壁候補領域を示す説明図、図２７はヒス
トグラムと側壁の存在範囲の関係を示す説明図、図２８
は側壁の検出結果を示す説明図、図２９は隙間距離算出
の説明図、図３０はイメージプロセッサの動作を示すフ
ローチャート、図３１はシフトレジスタ内の保存順序を
示す説明図、図３２はシティブロック距離計算回路の動
作を示すタイミングチャート、図３３はずれ量決定部の
動作を示すタイミングチャート、図３４はイメージプロ
セッサの全体の動作を示すタイミングチャート、図３５
及び図３６は物体検出処理のフローチャート、図３７及
び図３８は側壁検出処理のフローチャート、図３９は隙
間距離算出処理のフローチャートである。

【００１０】図１において、符号１は自動車等の車輌で
あり、この車輌１に、運転者に対する高度な支援制御を
行なうアクティブドライブアシスト（ＡＤＡ）システム
の一機能を担う走行案内装置２が搭載されており、塀、
ガードレール、電柱、駐車車輌等が存在する狭路を通過
する際の運転者の負担を軽減し、安全を確保するように
なっている。

【００１１】前記走行案内装置２は、車外の対象を撮像
する撮像系としての左右１組のカメラからなるステレオ
光学系１０と、このステレオ光学系１０によって撮像し
た左右１組のステレオ画像対を処理して画像全体に渡る
３次元の距離分布を算出するステレオ画像処理手段１５
と、このステレオ画像処理手段１５からの距離分布情報
を入力し、その距離分布情報から、塀、ガードレール等
の道路の境界となる連続した立体物としての側壁や、他
の車輌、歩行者、建築物等の道路上の立体物の３次元位
置を高速で検出する立体物検出手段１００と、この立体
物検出手段１００で検出した前方の側壁や立体物の縁と
自車輌１側部の延長線との間の左右の最近接距離を隙間
距離として算出する隙間距離算出手段１１０と、この隙
間距離算出手段１１０で算出した左右の隙間距離に係わ
る情報を運転者に知らせる報知手段１１５とを備えてい
る。

【００１２】図２は前記走行案内装置２のハードウエア
構成を示す回路ブロック図であり、前記ステレオ光学系
１０を、例えば電荷結合素子（ＣＣＤ）等の固体撮像素
子を用いたＣＣＤカメラを用い、後述するように、近距
離用としての左右１組のＣＣＤカメラ１１ａ，１１ｂ、
及び、遠距離用としての左右１組のＣＣＤカメラ１２
ａ，１２ｂにより構成し、このステレオ光学系１０に前
記ステレオ画像処理手段１５としての機能を実現するイ
メージプロセッサ２０が接続されている。

【００１３】さらに、前記イメージプロセッサ２０に、
前記立体物検出手段１００及び前記隙間距離算出手段１
１０としての機能を実現するための距離画像処理用コン
ピュータ１２０が接続され、この距離画像処理用コンピ
ュータ１２０に前記報知手段１１５としてのディスプレ
イ３が接続されている。

【００１４】前記イメージプロセッサ２０は、前記ステ
レオ光学系１０で撮像した２枚のステレオ画像対に対し
て微小領域毎に同一の物体が写っている部分を探索し、
対応する位置のずれ量を求めて物体までの距離を算出す
る距離検出回路２０ａと、この距離検出回路２０ａの出
力である距離情報を記憶する距離画像メモリ２０ｂとか
ら構成されている。

【００１５】また、前記距離画像処理用コンピュータ１
２０は、主として個々の物体を検出する処理を行なうた
めのマイクロプロセッサ１２０ａ、主として側壁を検出
する処理を行なうためのマイクロプロセッサ１２０ｂ、
主として隙間距離を算出する処理を行なうためのマイク
ロプロセッサ１２０ｃがシステムバス１２１を介して並
列に接続されたマルチマイクロプロセッサのシステム構
成となっている。

【００１６】そして、前記システムバス１２１には、前
記距離画像メモリ２０ｂに接続されるインターフェース
回路１２２と、制御プログラムを格納するＲＯＭ１２３
と、計算処理途中の各種パラメータを記憶するＲＡＭ１
２４と、処理結果のパラメータを記憶する出力用メモリ
１２５と、ディスプレイ（ＤＩＳＰ）３を制御するため
のディスプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）
１２６と、車速センサ４、ステアリングの操舵角を検出
する舵角センサ５、運転者に対するＡＤＡの支援モード
を選択するためのモード設定スイッチ６等の車輌１に備
えられたセンサ・スイッチ類からの信号を入力するイン
ターフェース回路１２７とが接続されている。

【００１７】前記距離画像処理用コンピュータ１２０に
おいては、各マイクロプロセッサ１２０ａ，１２０ｂ，
１２０ｃが使用するメモリの領域が分けられており、前
記イメージプロセッサ２０からの距離情報に基づいて物
体検出処理と側壁検出処理とを並列に実行し、運転者に
よって前記モード設定スイッチ６が操作されて規定の信
号が入力されると、検出した立体物のデータから隙間距
離算出処理を行なってディスプレイ３に表示する。

【００１８】図３に示すように、前記ディスプレイ３の
画面には、車輌前方の風景を、後述する距離画像の状態
で表示するモニタ部３ａが中央部に設けられており、こ
のモニタ部３ａの側部に、ＡＤＡの各モード（クルー
ズ、ガイド、アシスト、チェック）を表示するモード表
示部３ｂが設けられ、前記モード設定スイッチ６の操作
入力に応じて前記モニタ部３ａの該当する表示が点灯す
るようになっている。

【００１９】また、前記モニタ部３ａの上部には、デー
タ表示部３ｃと、楕円を４分割した形状で車輌の前後左
右を表わす位置表示部３ｄとが設けられ、前記モニタ部
３ａ下部には、ＡＤＡの各モードに応じて、車間距離、
速度、左隙間距離、右隙間距離等の文字とともに、算出
した数値を表示するモードデータ表示部３ｅが設けられ
ている。

【００２０】本発明においては、多数の立体物が存在す
る狭路を通過しなければならないような状況になったと
き、運転者が前記モード設定スイッチ６を操作してガイ
ドモードを選択すると、前記モード表示部３ｂの”ガイ
ド”の表示部分が点灯し、前記ステレオ光学系１０で撮
像したステレオ画像対を処理した距離画像に基づいて、
側壁、電柱、駐車車輌等の道路周辺の立体物の縁と自車
輌１側部の延長線との間の左右の距離が算出され、その
最小値が最近接距離すなわち隙間距離として求められる
ようになっている。

【００２１】そして、図３に示すように、モードデータ
表示部３ｅの左隙間距離、右隙間距離の文字の下に、隙
間距離の数値が表示され、前記位置表示部３ｄの左右部
分が点灯する。この位置表示部３ｄは、算出した隙間距
離が０以下の場合には、そのまま進行すると接触するこ
とを警告するため、該当する側が赤色で点灯され、隙間
距離が０よりも大きく２０ｃｍ程度以下の場合には、運
転者の不用意なハンドル操作によって接触が起こる危険
性があるので該当する側が黄色で点灯され、隙間距離が
２０ｃｍ程度よりも大きい場合は、そのまま進行しても
接触のおそれが十分に少ないことを示すため、該当する
側が緑色で点灯される。

【００２２】すなわち、側壁、電柱、駐車車輌等が存在
する狭路を通過する前にモード設定スイッチ６を操作す
ることにより、運転者はディスプレイ３の画面で安全に
通過できるか否かを確認することができ、運転者の負担
を軽減して接触事故等を未然に回避することができるの
である。さらには、隙間距離を運転者が定量的に把握で
きるため、車輌位置感覚の学習が容易となり、安全運転
の促進を図ることができる。

【００２３】尚、簡易的には、前記ディスプレイ３に代
えて、例えば隙間距離の値に応じて点灯部分が変化する
バーグラフ等による表示器を採用しても良く、また、隙
間距離に係わる情報を運転者に知らせる報知手段１１５
として、視覚的な表示に代えて、音、音声等によるもの
を採用しても良い。

【００２４】以下、イメージプロセッサ２０による画像
処理に係わる機能、距離画像処理用コンピュータ１２０
による立体物検出に係わる機能、及び、モード設定スイ
ッチ６によりガイドモードが選択された場合の隙間距離
算出に係わる機能について説明する。尚、画像処理用コ
ンピュータ１２０における隙間距離算出は、検出した立
体物が自車輌１の進行方向に障害物として立ちふさがっ
ていない場合に実行される。

【００２５】前記ステレオ光学系１０を構成する左右１
組のカメラは、図４に示すように、近距離の左右画像用
としての２台のＣＣＤカメラ１１ａ，１１ｂ（代表して
ＣＣＤカメラ１１と表記する場合もある）が、それぞれ
車室内の天井前方に一定の間隔をもって取り付けられる
とともに、遠距離の左右画像用としての２台のＣＣＤカ
メラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記
する場合もある）が、それぞれ、近距離用のＣＣＤカメ
ラ１１ａ，１１ｂの外側に一定の間隔をもって取り付け
られている。

【００２６】前記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１、１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。

【００２７】そこで、近距離用のＣＣＤカメラ１１ａ，
１１ｂでは、前方２ｍから２０ｍまでの位置を計測し、
遠距離用のＣＣＤカメラ１２ａ，１２ｂでは、前方１０
ｍから１００ｍまでの位置を計測すれば、近距離用ＣＣ
Ｄカメラ１１と遠距離用ＣＣＤカメラ１２とで前方１０
ｍから２０ｍの間にオーバーラップを有して信頼性を確
保しつつ、全ての範囲を計測することができる。

【００２８】以下に、イメージプロセッサ２０による距
離の算出方法を、近距離用ＣＣＤカメラ１１を例に説明
するが、遠距離用ＣＣＤカメラ１２に対しても同様の処
理により距離の算出が行われる。尚、本実施例による走
行案内装置２では、直前の立体物を検出する為に、近距
離用ＣＣＤカメラ１１を用いる。

【００２９】すなわち、図５に示すように、近距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。

【００３０】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。Ｄ＝ｒ×ｆ／ｘ（１）この左右画像のずれ量ｘは、エッジ、線分、特殊な形
等、何らかの特徴を抽出し、それらの特徴が一致する部
分を見つけ出すことによっても検出できるが、情報量の
低下を避けるため、前記イメージプロセッサ２０では、
左右画像における同一物体の像を見つけ出す際に画像を
小領域に分割し、それぞれの小領域内の輝度あるいは色
のパターンを左右画像で比較して対応する領域を見つけ
出すことにより、小領域毎の距離分布を全画面に渡って
求める。

【００３１】左右画像の一致度の評価すなわちステレオ
マッチングは、右画像、左画像のｉ番目画素の輝度（色
を用いても良い）を、それぞれ、Ａi、Ｂiとすると、例
えば、以下の（２）式に示すシティブロック距離Ｈによ
って行なうことができ、左右画像の各小領域間のシティ
ブロック距離Ｈの最小値が所定の条件を満たすとき、互
いの小領域が対応すると判断することができる。Ｈ＝Σ｜Ａi−Ｂi｜（２）このシティブロック距離Ｈによるステレオマッチングで
は、平均値を減算することによる情報量の低下もなく、
乗算がないことから演算速度を向上させることができる
が、分割すべき小領域の大きさが大き過ぎると、その領
域内に遠方物体と近くの物体が混在する可能性が高くな
り、検出される距離が曖昧になる。従って、画像の距離
分布を得るためにも領域は小さい方が良いが、小さ過ぎ
ると逆に一致度を調べるための情報量が不足する。この
ため、例えば、１００ｍ先にある幅１．７ｍの車輌が、
隣の車線の車輌と同じ領域内に含まれないように、４つ
に分割される画素数を領域横幅の最大値とすると、前記
ステレオ光学系１０に対して４画素となる。この値を基
準に最適な画素数を実際の画像で試行した結果、縦横共
に４画素となる。

【００３２】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、近距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。

【００３３】前記イメージプロセッサ２０の回路詳細
は、図６に示され、この回路では、距離検出回路２０ａ
に、前記ステレオ光学系１０で撮像したアナログ画像を
デジタル画像に変換する画像変換部３０、この画像変換
部３０からの画像データに対し、左右画像のずれ量ｘを
決定するためのシティブロック距離Ｈを画素を一つずつ
ずらしながら次々と計算するシティブロック距離計算部
４０、シティブロック距離Ｈの最小値ＨMIN及び最大値
ＨMAXを検出する最小・最大値検出部５０、この最小・
最大値検出部５０で得られた最小値ＨMINが左右小領域
の一致を示すものであるか否かをチェックしてずれ量ｘ
を決定するずれ量決定部６０が備えられており、また、
距離画像メモリ２０ｂとしてデュアルポートメモリ９０
が採用されている。

【００３４】前記画像変換部３０では、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、前記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。尚、前記画像
メモリ３３ａ，３３ｂは、後述するように、シティブロ
ック距離計算部４０で画像の一部を繰り返し取り出して
処理するため、比較的低速のメモリから構成することが
でき、コスト低減を図ることができる。

【００３５】各Ａ／Ｄコンバータ３１ａ，３１ｂは、例
えば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。

【００３６】また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に
構成され、前記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。

【００３７】前記シティブロック距離計算部４０では、
前記画像変換部３０の左画像用の画像メモリ３３ａに、
共通バス８０を介して２組の入力バッファメモリ４１
ａ，４１ｂが接続されるとともに、右画像用の画像メモ
リ３３ｂに、共通バス８０を介して２組の入力バッファ
メモリ４２ａ，４２ｂが接続されている。

【００３８】前記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されている。

【００３９】また、前記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。

【００４０】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図７
に詳細が示されるように、演算器４６を１６個ピラミッ
ド状に接続したパイプライン構造で、例えば８画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、２段〜４段は、そ
れぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。尚、図７におい
ては、絶対値計算と１，２段目の加算器は半分のみ表示
している。

【００４１】また、前記各入力バッファメモリ４１ａ，
４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路８５から供給されるクロッ
クに従って、＃１アドレスコントローラ８６によって発
生されるアドレスが共通に与えられる。また、４組のシ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送
は、＃２アドレスコントローラ８７によって制御され
る。

【００４２】前記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMINを検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAXを検出する
最大値検出回路５２とを備えており、前記シティブロッ
ク距離計算回路４５と同様の高速ＣＭＯＳ型演算器を最
小値、最大値検出用として２個使用した構成となってお
り、シティブロック距離Ｈの出力と同期が取られるよう
になっている。

【００４３】図８に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力さ
れる。このラッチ５４の出力は、Ｂレジスタ４６ｂ及び
Ｄラッチ５５に出力され、演算器４６での最小値計算の
途中の値が、Ｂレジスタ４６ｂに保存されるとともに、
そのときのずれ量δがＤラッチ５５に保存されるように
なっている。尚、最大値検出回路５２については、論理
が逆になることと、ずれ量δを保存しないこと以外は、
最小値検出回路５１と同様の構成である。

【００４４】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX、最小値ＨMINと比較、更新することによって、
最後のシティブロック距離Ｈの出力とほぼ同時に、その
小領域におけるシティブロック距離Ｈの最大値ＨMAX、
最小値ＨMINが求まるようになっている。

【００４５】前記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値ＨAを保持するラッチ６３ｂ、第２の規
定値としてのしきい値ＨBを保持するラッチ６３ｃ、第
３の規定値としてのしきい値ＨCを保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。

【００４６】前記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、前記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、前記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で前記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が前記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。

【００４７】前記Ａバス６２ａには、各しきい値ＨA、
ＨB、ＨCを保持するラッチ６３ｂ，６３ｃ，６３ｄ、前
記最大値検出回路５２が接続され、前記Ｂバス６２ｂに
は、前記最小値検出回路５１が接続されている。さら
に、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シ
フトレジスタ６４ａ，６４ｂが接続されている。

【００４８】また、前記スイッチ回路６５には、前記演
算器６１が接続されるとともに、前記ラッチ６３ａを介
して前記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて前記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。

【００４９】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMINが本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。

【００５０】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。（１）ＨMIN≦ＨA（ＨMIN＞ＨAのときには距離を検出で
きず。）（２）ＨMAX −ＨMIN ≧ＨB （得られた最小値ＨMINが
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMIN の近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、曲面等の緩やかに輝度の変わる物体に
対しても距離検出が行なえる。）（３）右画像の小領域内の横方向の隣接画素間の輝度差
＞ＨC （しきい値ＨC を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値ＨC は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。）このずれ量決定部６０から出力される最終結果である距
離分布情報は、距離画像メモリ２０ｂとしてのデュアル
ポートメモリ９０へ共通バス８０を介して書き込まれ
る。

【００５１】以上のイメージプロセッサ２０から出力さ
れる距離分布情報は、画像のような形態をしており（距
離画像）、ＣＣＤカメラ１１で撮影した画像、例えば図
９に示すように、駐車車輌２００，３００やガードレー
ル４００等の立体物を撮像した画像（図９は片方のカメ
ラで撮像した画像を示す）を前記イメージプロセッサ２
０で処理すると、図１０のような画像となる。

【００５２】図１０に示す距離画像の例では、画像サイ
ズは横４００画素×縦２００画素であり、距離データを
持っているのは黒点の部分で、これは図９の画像の各画
素のうち、左右方向に隣合う画素間で明暗変化が大きい
部分である。画像上の座標系は、図１０に示すように、
左上隅を原点として横方向をｉ座標軸，縦方向をｊ座標
軸とし、単位は画素である。

【００５３】この距離画像は、距離画像処理用コンピュ
ータ１２０に読み込まれ、前方に存在する他の車輌や障
害物等の複数の物体が検出され、その位置と大きさが算
出され、検出した物体の輪郭像が抽出される。さらに
は、位置の時間変化による自車との相対速度等も算出す
ることができる。

【００５４】この場合、前記距離画像処理用コンピュー
タ１２０では、物体の３次元的な位置情報を利用し、道
路と物体の区別は道路表面からの高さによって行い、物
体と背景の区別は距離の値によって行なう。そのため、
前記距離画像処理用コンピュータ１２０では、まず、前
記イメージプロセッサ２０からの距離画像の座標系を、
自車（車輌１）を取り巻く実空間の座標系に変換し、検
出した立体物に対し、位置や大きさを計算する。

【００５５】すなわち、図１１及び図１２に示すよう
に、実空間の座標系を車輌１固定の座標系とし、Ｘ軸を
車輌１の右側側方、Ｙ軸を車輌１の上方、Ｚ軸を車輌１
の前方、原点を２台のＣＣＤカメラ１１ａ（１２ｂ），
１１ｂ（１２ｂ）の中央の真下の道路面とすると、ＸＺ
平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致す
ることになり、画像中の距離情報（ｉ，ｊ，Ｚ）から被
写体の３次元位置（Ｘ，Ｙ，Ｚ）を算出するには、以下
の（３），（４）式により一種の座標変換を行なう。Ｙ＝ＣＨ−Ｚ×ＰＷ×（ｊ−ＪＶ）（３）Ｘ＝ｒ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ）（４）ここで、ＣＨ：ＣＣＤカメラ１１（ＣＣＤカメ
ラ１２）の取付け高さ、ＰＷ：１画素当たりの視野角、ＪＶ，ＩＶ：車輌１の真正面の無限遠点の画像上の座標
である。

【００５６】

【００５７】また、実空間の３次元座標（Ｘ，Ｙ，Ｚ）
から画像上の位置（ｉ，ｊ）を算出する式も、前記
（３），（４）式を変形し、次のようになる。

【００５８】ｊ＝（ＣＨ−Ｙ）／（Ｚ×ＰＷ）＋ＪＶ（５）ｉ＝（Ｘ−ｒ／２）／（Ｚ×ＰＷ）＋ＩＶ（６）尚、ＣＣＤカメラ１１の取り付け位置を、前記実空間の
ＸＹＺ座標系で示すと、例えば、右側のＣＣＤカメラ１
１ｂは、Ｘ＝０．２０ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０
ｍであり、左側のＣＣＤカメラ１１ａは、Ｘ＝−０．２
０ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０ｍとなる。

【００５９】図１３は、前記距離画像処理用コンピュー
タ１２０の機能構成を示すものであり、主として、マイ
クロプロセッサ１２０ａによる物体認識部１３０、マイ
クロプロセッサ１２０ｂによる側壁検出部１４０、マイ
クロプロセッサ１２０ｃによる隙間距離算出部１６０に
大別され、物体認識部１３０及び側壁検出部１４０の処
理結果が、出力用メモリ１２５からなる立体物パラメー
タ記憶部１５０に記憶され、マイクロプロセッサ１２０
ｃ（隙間距離算出部１６０）、及び、ＡＤＡのための図
示しない他の装置に読み込まれる。

【００６０】さらに、前記物体認識部１３０の機能は、
物体検出部１３１、３次元ウインドウ発生部１３２、及
び、物体輪郭像抽出部１３３に細分され、物体検出部１
３１では、イメージプロセッサ２０からの距離画像を格
子状に所定の間隔（例えば、８〜２０画素間隔）で区分
し、各領域毎に、走行の障害となる可能性のある立体物
のデータのみを選別し、その検出距離を算出する。

【００６１】図１４は、車輌１から前方風景を撮像した
明暗画像の上に、格子状の領域を設定した説明図であ
り、実際には、図１０の距離画像を、このように区分す
る。本実施例では、１２画素間隔で３３個の小領域ＡＲ
1〜ＡＲ33に区分する。すなわち、画像を多数の領域に
分割して物体を探すことにより、複数の物体を同時に検
出することができるようになっている。

【００６２】各領域における被写体は、画像上の座標
（ｉ，ｊ）と距離データＺから、前述の（３），（４）
式を使って実空間の３次元位置（Ｘ，Ｙ，Ｚ）が算出さ
れ、さらに、距離Ｚに於ける被写体の道路表面からの高
さＨは、道路表面の高さをＹｒとすると、次の（７）式
で計算することができるが、図１１，１２に示すように
座標系が設定されているため、車輌１に特別な傾きや上
下移動が無い限り、Ｙｒ＝０．０ｍと設定することがで
きる。Ｈ＝Ｙ−Ｙｒ（７）

【００６３】高さＨが０．１ｍ程度以下の被写体は、道
路上の白線や汚れ、影などであり、走行の障害になる物
体ではないと考えられるため、この被写体のデータは棄
却する。また、車輌の高さより上にある被写体も、歩道
橋や標識などと考えられるので棄却し、道路上の障害と
なる立体物のデータのみを選別する。これにより、２次
元の画像上で物体が道路などと重なり合っていても、道
路表面からの高さによってデータを区別し、物体のみを
検出できる。

【００６４】次に、このようにして抽出された立体物の
データに対して、予め設定された距離Ｚの区間に含まれ
るデータの個数を数え、距離Ｚを横軸とするヒストグラ
ムを作成する。図１５は、例えば図９の画像例における
前方右側の駐車車輌３００を検出物体とするヒストグラ
ムであり、設定する距離Ｚの区間の長さや区間の個数
は、距離Ｚの検出限界や精度および検出対象の物体の形
状などを考慮して決定する。

【００６５】前記ヒストグラムにおいては、入力される
距離画像中の距離データには、誤って検出された値も存
在するので、実際には物体の存在しない位置にも多少の
データが現れる。しかし、ある程度の大きさの物体があ
ると、その位置の度数は大きな値を示し、一方、物体が
何も存在しない場合には、誤った距離データのみによっ
て発生する度数は小さな値となる。

【００６６】従って、作成されたヒストグラムの度数
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は、物体が存在しないと判断する
ことにより、画像のデータに多少のノイズが含まれてい
る場合においても、ノイズの影響を最小限にして物体を
検出できる。

【００６７】物体が存在すると判断されると、検出され
た区間と、その前後に隣接する区間に含まれている立体
物のデータの距離Ｚの平均値を計算し、この値を物体ま
での距離と見なす。このような物体までの距離検出の処
理を全領域について行なった後、各領域の物体の検出距
離を調べ、隣接する領域において物体までの検出距離の
差異が設定値以下の場合は同一の物体と見なし、一方、
設定値以上の場合は別々の物体と見なす。

【００６８】具体的には、まず、左端の領域ＡＲ1を調
べ、物体が検出されている場合には、それを物体Ｓ1、
距離をＺ1とする。次に右隣の領域ＡＲ2を調べ、物体が
検出されていない場合には、物体Ｓ1は領域ＡＲ1の内部
とその近辺に存在し、その距離はＺ1と判定し、物体が
検出され、その検出距離がＺ2である場合には、距離Ｚ1
とＺ2の差を調べる。

【００６９】そして、距離Ｚ1とＺ2の差が設定値以上の
場合、領域ＡＲ2で検出された物体は、先に検出された
物体Ｓ1とは異なると判定し、新たに物体Ｓ2、距離Ｚ2
とし、さらに右隣の領域を調べて行く。

【００７０】一方、距離Ｚ1とＺ2の差が設定値以下の場
合には、領域ＡＲ2で検出された物体は、先に検出され
た物体Ｓ1であると判定し、その距離はＺ1とＺ2の平均
値とし、さらに右隣の領域を順次調べて行き、連続して
物体Ｓ1があると判定されれば、距離と存在領域を更新
してゆく。

【００７１】従来、２次元の画像上で物体の周囲に遠方
の背景が写っている場合には物体のデータだけを抽出す
ることは困難であったが、以上のような処理を左端の領
域ＡＲ1から右端の領域ＡＲ33まで行なって距離の値に
よってデータを区別することにより、複数の物体とその
距離、存在領域を背景と区別して検出することができ、
さらに、２次元の画像上で複数の物体が重なり合って写
っている場合においても、各々の物体の距離の違いによ
って、それらを区別して検出できる。

【００７２】尚、前記設定値は、自動車を検出する場合
には４ｍ〜６ｍ程度、歩行者を検出する場合には１ｍ〜
２ｍ程度にすると良いことが実験的に得られている。

【００７３】図１６は、以上の処理で検出した物体の存
在領域を枠線で示したものであり、、この例では左側の
車輌２００及び右側の車輌３００の２個の物体が検出さ
れている。図の下側に示される数値は各物体の検出距離
である。

【００７４】３次元ウインドウ発生部１３２では、前記
物体検出部１３１で検出された各々の物体について、図
１７に示すような３次元空間で、検出物体（駐車車輌３
００）を包含する直方体状の３次元空間領域すなわち３
次元ウインドウＷＤ3を設定し、この設定した３次元ウ
インドウＷＤ3が２次元の画像上でどのように見えるか
を計算し、ウインドウ輪郭線の内側を２次元ウインドウ
ＷＤ2として、この中のデータのみを検出対象とする。

【００７５】前記３次元ウインドウＷＤ3の横幅は、物
体の存在領域より左右に１領域分だけ拡張した範囲とす
る。これは、ある領域に物体の左右端の一部分のみが掛
かっている場合には、その物体はヒストグラム上で大き
な値とならず、別の物体が検出される可能性があるた
め、このような場合を考慮してウインドウの範囲を拡大
しておくものである。

【００７６】また、３次元ウインドウＷＤ3の距離Ｚ方
向の長さは、その物体の検出距離におけるヒストグラム
の区間長さを、その検出距離の前後に加えた範囲とす
る。３次元ウインドウＷＤ3の下端は、道路表面の高さ
に約０．１ｍを加えた位置とし、上端は物体検出のため
に区分した各領域の上端とする。

【００７７】前記３次元ウインドウＷＤ3から前記２次
元ウインドウＷＤ2を求めるには、３次元ウィンドウＷ
Ｄ3の８個の頂点の各座標（Ｘｎ，Ｙｎ，Ｚｎ）から、
前述の（５），（６）式を用いて画像上の座標（ｉｎ，
ｊｎ）を計算し、これらの点を包絡する多角形を計算す
る。図１８は、先に図１６で示した検出物体の内の１個
（駐車車輌３００）について、２次元ウインドウＷＤ2
を設定した例を示したものである。

【００７８】物体輪郭像抽出部１３３では、前記２次元
ウインドウＷＤ2内の各データを順次サーベイし、３次
元ウインドウＷＤ3に含まれるデータのみを選別し、検
出した物体の輪郭像を抽出する処理を行ない、検出物体
の自車輌１との位置関係を検出する。

【００７９】すなわち、まず、物体毎に２次元ウインド
ウＷＤ2内の各データを順次サーベイし、距離データを
持っている画素について、前述の（３），（４）式を用
いて３次元位置（Ｘ，Ｙ，Ｚ）を計算した後、距離や高
さの値が３次元ウインドウＷＤ3の範囲内にあるデータ
のみを抽出し、他は棄却する。

【００８０】このようにして抽出したデータを、２次元
の画像上に投影して表示すると図１９のようになる。さ
らに、これらのデータの外形を線分で連結すると、図２
０に示すような物体の輪郭像が得られる。この輪郭像の
左右端および上端の画像上での座標（ｉ，ｊ）を検出
し、続いて、その物体の検出距離Ｚと（３），（４）式
を用いて、３次元空間での物体の左右端と上端の位置を
算出すると、左右端の位置から物体の横幅が求まり、上
端の位置から物体の高さが求まる。図２０においては、
幅１．７ｍ、高さ１．３ｍの物体と判別できる。

【００８１】一方、マイクロプロセッサ１２０ｂによる
側壁検出部１４０の機能は、立体物データ抽出部１４
１、側壁直線検出部１４２、及び、側壁範囲検出部１４
３に細分され、側壁と道路との区別を道路表面からの高
さによって行ない、側壁と遠方の背景との区別を、前後
方向と横方向の距離によって行なうことにより、側壁が
存在すると推定される周辺のデータのみを抽出し、続い
て側壁のデータは水平方向に直線的に並んでいる特徴に
注目してこれをハフ変換によって検出し、位置を求め
る。

【００８２】すなわち、前記立体物データ抽出部１４１
は、前記距離分布の情報の中から予め設定された道路表
面より上にあるデータのみを抽出し、前記側壁直線検出
部１４２は、抽出した立体物データの中から、予め設定
された側壁の探索領域内のデータのみを抽出し、これを
ハフ変換で処理して側壁の有無と側壁の位置を示す直線
式とを検出する。また、前記側壁範囲検出部１４３は、
側壁の位置を示す直線式に基づいて、側壁が存在すると
推定される側壁候補領域を設定し、この側壁候補領域内
の立体物データの分布状態から側壁の前後端の位置を検
出する。

【００８３】詳細には、側壁は立体物の一種であるか
ら、まず、立体物データ抽出部１４１で、道路表面より
上にある立体物のデータを距離画像の中から抽出する。
この際、高さＨが０．１ｍ程度以下の立体物は、前述し
たように、道路上の白線や汚れ、影等と考えられるた
め、この立体物のデータは棄却する。また、車輌の高さ
より上にある立体物も、歩道橋や標識等と考えられるの
で棄却し、道路上の立体物のデータのみを選別する。

【００８４】また、前記立体物データ抽出部１４１では
画面に写っている広範囲の立体物のデータが抽出される
が、これら全てを処理することは合理的でないため、側
壁直線検出部１４２では側壁を探索する領域に制限を設
ける。

【００８５】この場合、距離画像が計測される範囲を上
から見ると、ＣＣＤカメラ１１の視野に制限されて図２
１のようになっており、道路を通常走行している場合に
は、側壁は車輌１の左側と右側に、車輌１と概ね平行に
存在する。一方、遠くの側壁は、距離データの精度の面
から検出が困難になり、且つ、検出の必要性も小さい。
そこで、これらを考慮し、図示したような左側と右側の
２つの探索領域ＳＬ，ＳＲを設定し、左側と右側の側壁
を別々に検出して行く。

【００８６】すなわち、左右両側の側壁を検出するに
は、まず、側壁直線検出部１４２で左側の探索領域ＳＬ
を設定して側壁直線検出処理及び側壁範囲検出処理を行
なって左側の側壁を検出した後、再び側壁直線検出部１
４２で右側の探索領域ＳＲを設定し、同様の処理を繰り
返して右側の側壁を検出するのである。

【００８７】各探索領域ＳＬ，ＳＲに含まれる立体物デ
ータを抽出するには、前記立体物データ抽出部１４１で
抽出された各データの被写体の３次元位置（Ｘ，Ｚ座
標）を計算し、この３次元位置（Ｘ，Ｚ）と各探索領域
ＳＬ，ＳＲとを、それぞれ比較して判定する。

【００８８】例えば図２２に示すような状況では、画像
上に前記各探索領域ＳＬ，ＳＲを図示すると破線のよう
になり、これらの探索領域内にも、目的とする側壁の他
に様々な立体物が存在する。さらに、距離画像にはノイ
ズ状の偽データも含まれており、実際には物体が存在し
ない空間にデータのみが分散して存在する。これらのデ
ータを模式的に示すと図２３のようになり、この中で側
壁は、そのデータが直線状に並んでいる特徴がある。そ
こで、ハフ変換を使用してデータの列の直線式を検出す
ることによって側壁の検出を行なう。

【００８９】このハフ変換による直線式の検出について
説明すると、まず、図２４の立体物データＰi（座標Ｘ
i，Ｚi）に対し、このデータＰiの点を通る直線Ｆiを想
定する。この直線の式は、以下の（８）式で示される。Ｘ＝ａｆi×Ｚ＋ｂｆi （８）次に図２５に示すように、縦軸が式（８）の傾きａｆ、
横軸が切片ｂｆのパラメータ空間を設定し、式（８）の
パラメータａｆi，ｂｆiに相当する位置に投票を行う。

【００９０】ここで、傾きａｆiの値は、前述したよう
に側壁は車輌１と概ね平行と考えられるため、一般道路
では、例えば±２０゜(ａｆi：±０．３６）程度の範囲
で変化させれば実用上十分である。また、切片ｂｆi の
値は、左側の側壁を検出する場合、車輌１の左脇である
例えばＸ＝−１ｍから−１０ｍ程度の範囲、右側の側壁
を検出する場合には、例えばＸ＝＋１ｍから＋１０ｍ程
度の範囲に制限する。このように、制限範囲を例えば±
１０ｍ程度にするのは、あまり遠く離れた側壁の検出は
実用面の必要性が小さいためである。

【００９１】このような制限により、パラメータ空間上
で投票が行われる範囲は、図２５に示すような矩形領域
となり、この矩形領域はさらに格子状に分割されて各格
子毎に投票される。式（８）の傾きａｆiは、所定の変
化範囲内（例えば±１０゜〜±２０゜）であり、格子間
隔Δａｆ毎に順次変化させて設定する。切片ｂｆiは、
設定された傾きａｆiと立体物データＰiの座標（Ｘi，
Ｚi）を式（８）に代入して算出され、これが前記制限
範囲内であればパラメータ空間の該当する格子に投票さ
れる。

【００９２】検出される側壁の位置、すなわち直線式の
傾きと切片の検出精度は、格子間隔Δａｆ，Δｂｆによ
って決定され、格子間隔Δａｆ，Δｂｆの設定は、側壁
の情報を利用する外部装置側の要求に基づいて行なわれ
る。例えば、道路を通常走行する場合の衝突等の危険の
検知として利用する場合には、格子間隔Δａｆは１〜２
゜程度、格子間隔Δｂｆは０．３〜０．６ｍ程度が良
い。

【００９３】以上のようにして探索領域内の全立体物デ
ータに対してパラメータ空間への投票を行なう際、図２
４に示すように、直線的に並んだデータが存在すると、
このデータの列と一致するように設定した直線のパラメ
ータａｆi,ｂｆiに相当するパラメータ空間の格子は多
くの得票を得て、左右の投票領域ＳＬ，ＳＲ毎に局所極
大値が現れる。

【００９４】側壁が存在し、明確な立体物データの列が
あるとパラメータ空間の局所極大値は大きな値を示し、
一方、側壁が無く、複数の物体が分散して存在する状態
では局所極大値は小さい値を示す。従って、パラメータ
空間の左右の投票領域ＳＬ，ＳＲ毎に局所極大値を検出
し、検出した局所極大値が判定値以上であれば側壁が存
在すると判定することができる。判定値は設定する探索
領域の大きさや格子の間隔等を考慮して設定する。

【００９５】次に、前記側壁直線検出部１４２で側壁有
りと判定された場合には、側壁範囲検出部１４３で側壁
の前後端の位置を検出する。局所極大値の格子に相当す
るパラメータａｆ，ｂｆを読み出すと、側壁は、次の直
線式（９）に沿って存在すると推定され、図２４の例で
検出された直線式を図示すると図２６に示す直線Ｆfと
なる。Ｘ＝ａｆ×Ｚ＋ｂｆ（９）まず、直線Ｆｆを中心として幅０．３ｍ〜１．０ｍ程度
の領域を側壁候補領域Ｔｆとすると、この領域は、さら
に図２６のようにＺ方向に区分される。側壁候補領域Ｔ
ｆの幅は、前記パラメータ空間の格子の間隔Δｂｆにデ
ータの誤差等を考慮して設定する。

【００９６】次に、前記探索領域内の立体物データを順
次サーベイし、側壁候補領域Ｔｆ内にあるデータのみを
抽出した後、区分毎に立体物データの個数をカウント
し、ヒストグラムを作成する。これを模式的に示すと図
２７のようになり、側壁が存在する部分では大きな度数
を示す。従って、度数が判定値以上の区分を検出するこ
とによって、この範囲に側壁が存在すると判断すること
ができ、その両端の３次元位置を計算して側壁の前後端
位置とする。図２４の例では、探索領域ＳＲの上端が側
壁（ガードレール４００）の後端位置とみなされる。図
２８は以上の処理で検出した側壁を枠線で示したもので
あり、この例では、右側のガードレール４００が検出さ
れる。

【００９７】以上のようにして、距離画像から道路上の
各物体の位置、形状等のパラメータが求められ、立体物
パラメータ記憶部１５０に書き込まれると、マイクロプ
ロセッサ１２０ｃからなる隙間距離算出部１６０では、
自車輌１と検出した物体との間の左右の隙間距離を算出
する。

【００９８】例えば前述した図９の画像例では、駐車車
輌２００，３００の自車輌１側の前方の縁のＸ座標をＸ
L，ＸR、ガードレール４００の前方の端のＸ座標をＸWR
とすると、図２９に示すように、自車輌１の左側の延長
線と左側の駐車車輌２００の縁との間の距離ＤLは、自
車輌１の車幅をＷとして以下の（１０）式で算出され、
また、自車輌１の右側の延長線と右側の駐車車輌３００
との間の距離ＤRは（１１）式で算出され、さらに、自
車輌１の右側の延長線と右側のガードレール４００との
間の距離ＤWRは（１２）式で算出される。ＤL ＝｜ＸL ｜−Ｗ／２（１０）ＤR ＝｜ＸR ｜−Ｗ／２（１１）ＤWR＝｜ＸWR｜−Ｗ／２（１２）

【００９９】そして、（１０），（１１），（１２）式
による計算を各縁について行う。そして、左右それぞれ
の最小値を求めると、この最小値が最近接距離すなわち
隙間距離となり、この隙間距離に若干の余裕、例えば相
手車のバックミラー等のための余裕を加えてディスプレ
イ３に出力し、前述の図３のようにディスプレイ３に表
示させる。

【０１００】尚、図９の画像例では、ガードレール４０
０との距離ＤWRより駐車車輌３００との距離ＤRの方が
小さいので、右側隙間距離として駐車車輌３００との距
離ＤRを採用し、ディスプレイ３に出力する。

【０１０１】また、ディスプレイ３に表示する隙間距離
の数値には、例えば１ｍといったしきい値を設け、この
しきい値以上の数値は表示しないようになっている。こ
れは、隙間が十分大きい場合には、数値を表示する意味
が少ないからである。

【０１０２】次に、イメージプロセッサ２０及び距離画
像処理用コンピュータ１２０の動作について説明する。

【０１０３】図３０は、イメージプロセッサ２０の動作
の流れを示すフローチャートであり、まず、ステップS1
01で左右のＣＣＤカメラ１１ａ，１１ｂによって撮像し
た画像を入力すると、ステップS102で、入力したアナロ
グ画像をＡ／Ｄコンバータ３１ａ，３１ｂで所定の輝度
階調を有するデジタル画像にＡ／Ｄ変換した後、ＬＵＴ
３２ａ，３２ｂで、低輝度部分のコントラスト増強、左
右のＣＣＤカメラ１１ａ，１１ｂの特性補償等を行な
い、画像メモリ３３ａ，３３ｂに記憶する。

【０１０４】これらの画像メモリ３３ａ，３３ｂに記憶
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。

【０１０５】次に、ステップS103へ進むと、左右画像用
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。

【０１０６】その際、左右の画像毎に、前記画像メモリ
３３ａ，３３ｂから前記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。

【０１０７】図３１に示すように、前記シフトレジスタ
４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４×４画
素の小領域の画像データ（１，１）…（４，４）が保存
され、一方のシフトレジスタ４３ａ（４４ａ）には１、
２ラインのデータが、もう一方のシフトレジスタ４３ｂ
（４４ｂ）には３、４ラインのデータが、それぞれ１画
素毎に奇数ライン、偶数ラインの順序で入る。前記各シ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂは、それ
ぞれが独立した転送ラインを持ち、４×４画素のデータ
は例えば８クロックで転送される。

【０１０８】そして、これらのシフトレジスタ４３ａ，
４３ｂ，４４ａ，４４ｂから８段のうちの偶数段の内容
が同時にシティブロック距離計算回路４５に出力され、
シティブロック距離Ｈの計算が始まると、右画像のデー
タはシフトレジスタ４４ａ，４４ｂ内に保持されて、ク
ロック毎に奇数ライン、偶数ラインのデータが交互に出
力され、一方、左画像のデータはシフトレジスタ４３
ａ，４３ｂに転送され続け、奇数ライン、偶数ラインの
データが交互に出力されつつ、２クロック毎に１画素分
右のほうにずれたデータに置き換わっていく。この動作
を、例えば１００画素分ずれるまで（２００クロック）
繰り返す。

【０１０９】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。

【０１１０】シティブロック距離計算回路４５では、図
３２のタイミングチャートに示すように、まず、ピラミ
ッド型構造初段の絶対値演算器に８画素分のデータを入
力し、左右画像の輝度差の絶対値を計算する。すなわ
ち、右画素の輝度から対応する左画素の輝度を引き算
し、結果が負になった場合、演算命令を変えることによ
り、引く方と引かれる方を逆にして再び引き算を行なう
ことにより、絶対値の計算を行なう。従って、初段では
引き算を２回行なう場合がある。

【０１１１】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。

【０１１２】次に、ステップS104へ進み、前記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX、
最小値ＨMINを検出する。前述したように、この最大値
ＨMAXの検出と最小値ＨMINの検出とは、互いに論理が逆
になることと、ずれ量を保存しないこと以外は、全く同
じであるため、以下、代表して最小値ＨMINの検出につ
いて説明する。

【０１１３】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量ｘ＝０）が、図８に示す最小値検出回
路５１のＣラッチ５３を介して、演算器４６のＢレジス
タ４６ｂに入力される。次のクロックで出力されてきた
シティブロック距離Ｈ（ずれ量δ＝１）は、Ｃラッチ５
３と演算器４６のＡレジスタ４６ａとに入れられ、演算
器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が
始まる。

【０１１４】前記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量δがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量δ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。

【０１１５】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量δがＤラッチ
５５に保存されながら、ずれ量δが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。

【０１１６】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。

【０１１７】そして、前記ステップ104でシティブロッ
ク距離Ｈの最小値ＨMIN、最大値ＨMAXが確定すると、ス
テップS105では、ずれ量決定部６０にて、前述した３つ
の条件がチェックされ、ずれ量ｘが決定される。

【０１１８】すなわち、図３３のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMINが演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値ＨAがＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値ＨAよりも最小
値ＨMINの方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。

【０１１９】次に、Ａレジスタ７１に最大値ＨMAXがラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAXとＢレジスタ７２に保存されている最小値ＨMINとの
差が計算されて、その結果がＦレジスタ７３に出力され
る。次のクロックでＡレジスタ７１にしきい値ＨBがラ
ッチされ、Ｆレジスタ７３の値と比較される。Ａレジス
タ７１にラッチされたしきい値ＨBよりもＦレジスタ７
３の内容の方が小さければ同様にスイッチ回路６５がリ
セットされる。

【０１２０】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。前記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。

【０１２１】輝度差の計算が始まるとき、前記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。

【０１２２】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値ＨCがラッチされ、Ｆレジスタ７３の値と比較
される。

【０１２３】前記演算器６１での比較結果、Ａレジスタ
の内容（しきい値ＨC）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、前記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。

【０１２４】前記演算器６１で隣接画素間の輝度差とし
きい値ＨCとの比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。

【０１２５】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。

【０１２６】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN、最大値ＨMAXのチェックを含めて
も、例えば４３クロックで全ての計算が終了し、一つの
小領域に対して、シティブロック距離Ｈの最小値ＨMI
N、最大値ＨMAXを求めるのに要する時間は充分に余裕が
あり、さらに機能を追加することも可能となっている。

【０１２７】そして、ずれ量ｘが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、イメージプロセッサ２０における処理が終了
する。

【０１２８】この出力バッファメモリ６６ａ，６６ｂ
は、前述した入力バッファメモリ４１ａ，４１ｂ，４２
ａ，４２ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から前記デュア
ルポートメモリ９０へ距離分布情報を送り出す。

【０１２９】前記デュアルポートメモリ９０へ書き込ま
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離等のレンズパラメータとから、各画
素に対応する物体のＸＹＺ空間における３次元位置を算
出することができ、情報量の低下なく車外の対象物まで
の距離を正確に検出することができる。

【０１３０】ここで、イメージプロセッサ２０の全体の
タイミングについて、図３４に示すタイミングチャート
に従って説明する。

【０１３１】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。

【０１３２】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。

【０１３３】この間に、一方の入出力バッファメモリに
対してずれ量δの計算が行われる。そして、ずれ量δの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。

【０１３４】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量δが各チェックを経て距離分
布として出力される。

【０１３５】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。

【０１３６】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。

【０１３７】一方、図３５及び図３６のフローチャート
は、マイクロプロセッサ１２０ａで実行される物体検出
処理であり、ステップS201で道路表面の位置を設定する
と、ステップS202で、イメージプロセッサ２０からの距
離画像を格子状の領域に区分し、ステップS203で、最初
の領域のデータを読み込む。

【０１３８】次に、ステップS204へ進んで、領域内の最
初のデータをセットすると、ステップS205で、被写体の
３次元位置（Ｘ，Ｙ，Ｚ）、すなわち距離と高さを算出
し、ステップS206で、距離Ｚに於ける道路表面の高さを
算出し、ステップS207で、道路面より上にあるデータを
選別する。

【０１３９】そして、ステップS208へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS209で
領域内の次のデータをセットすると、前述のステップS2
05へ戻って処理を繰り返し、最終データの場合にはステ
ップS208からステップS210へ進む。

【０１４０】ステップS210では、ヒストグラムを作成
し、ステップS211で、このヒストグラムの度数が判定値
以上で、かつ最大値となる区間を検出する。ヒストグラ
ムの度数が判定値以上で、かつ最大値となる区間が検出
された場合、ステップS212で、その区間に物体が存在す
ると判断し、その物体までの距離を検出する。

【０１４１】そして、ステップS213で、最終領域か否か
を調べ、最終領域でない場合には、ステップS214で、次
の領域のデータを読み込み、前述のステップS204へ戻っ
て同様の処理を続行し、最終領域である場合には、ステ
ップS215へ進み、各物体の距離と存在領域の検出を終了
し、ステップS216以降へ進む。

【０１４２】ステップS216では、最初の物体のパラメー
タをセットし、次いで、ステップS217で、３次元ウイン
ドウＷＤ3の下端の高さ及び距離範囲を設定し、ステッ
プS218で、この３次元ウインドウＷＤ3に基づいて２次
元ウインドウＷＤ2の形状を算出してステップS219へ進
む。

【０１４３】ステップS219では、２次元ウインドウＷＤ
2内のデータを読み出し、ステップS220で被写体の３次
元位置を算出すると、ステップS221へ進んで、３次元ウ
インドウＷＤ3内に含まれるデータを選別して抽出す
る。

【０１４４】その後、ステップS222へ進み、前記ステッ
プS221で抽出したデータを２次元の画像上に投影する
と、ステップS223で、各データを線分で連結して輪郭像
を作成する。続いて、ステップS224で、物体の形状、寸
法、位置、速度を算出し、ステップS225で、最終物体か
否かを調べる。

【０１４５】最終物体でない場合には、ステップS226で
次の物体のパラメータをセットして前述のステップS217
へ戻り、最終物体である場合には、ステップS227へ進ん
で、各物体の位置、形状、速度、加速度、衝突の可能性
等のパラメータを出力用メモリ１２５に書き込み、処理
を終了する。

【０１４６】また、マイクロプロセッサ１２０ｂでは、
前記マイクロプロセッサ１２０ａによる物体検出処理と
並列して図３７及び図３８に示す側壁検出処理を行な
う。この側壁検出処理では、最初に、ステップS301で道
路表面の位置を設定すると、ステップS302で、距離画像
から最初の距離データを読み込む。

【０１４７】次に、ステップS303へ進み、被写体の位置
（Ｘ，Ｚ座標）と高さ（Ｙ座標）とを計算し、ステップ
S304で、距離Ｚに於ける道路表面の高さＨ（Ｙ座標）を
計算し、ステップS305で、道路面より上、且つ自車輌１
の高さ以下にあるデータを立体物データとして抽出す
る。

【０１４８】そして、ステップS306へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS307で
次の距離データを読み込むと前述のステップS303へ戻っ
て処理を繰り返し、最終データの場合にはステップS306
からステップS308へ進む。

【０１４９】ステップS308では、最初の立体物データを
読み込み、ステップS309で、被写体の位置（Ｘ，Ｚ座
標）を計算すると、続くステップS310で、計算した位置
（Ｘ，Ｚ座標）が探索領域内か否かを調べる。

【０１５０】計算した位置（Ｘ，Ｚ座標）が探索領域外
であるときには、前記ステップS310からステップS312へ
ジャンプし、探索領域内のとき、前記ステップS310から
ステップS311へ進んでパラメータ空間へ投票し、ステッ
プS312へ進む。

【０１５１】ステップS312では、処理した立体物データ
が最終データか否かを調べ、最終データでないときに
は、ステップS313で、次の立体物データを読み込んで、
前述のステップS309からの処理を繰り返し、最終データ
のとき、ステップS314へ進んで、パラメータ空間上の局
所極大値を検出する。

【０１５２】次いで、ステップS315へ進むと、検出した
局所極大値が判定値以上か否かを調べ、判定値よりも小
さいとき、ステップS316で側壁は存在しないと判定し、
判定値以上のとき、ステップS317で、側壁が存在すると
判定して、ステップS318へ進む。

【０１５３】ステップS318では、前記ステップS314で検
出した局所極大値の格子に相当するパラメータ、すなわ
ち局所極大点が示す直線式のパラメータ（ａｆ，ｂｆ）
を読み込み、次いで、ステップS319で側壁候補領域を設
定する。

【０１５４】そして、ステップS320へ進み、探索領域内
の最初の立体物データを読み込むと、ステップS321で、
被写体の位置（Ｘ，Ｚ座標）を計算し、ステップS322
で、側壁候補領域内にあるデータを抽出した後、ステッ
プS323で、処理したデータが探索領域内の最終データか
否かを調べる。

【０１５５】探索領域内の最終データでないときには、
前記ステップS323からステップS324へ分岐して探索領域
内の次の立体物データを読み込んで、前述のステップS3
21へ戻り、探索領域内の最終データであるときには、前
記ステップS323からステップS325へ進んで、側壁候補領
域内のデータを使ってヒストグラムを作成する。

【０１５６】次に、ステップS326へ進み、作成したヒス
トグラムの度数が判定値以上の区分を検出すると、ステ
ップS327で、ヒストグラムの度数が判定値以上の区間の
両端の３次元位置、すなわち側壁の前後端位置を算出
し、ステップS328で、側壁の有無、位置、方向、前後端
の位置等のパラメータを出力用メモリ１２５へ書き込ん
でプログラムを終了する。尚、このプログラムは、左側
の側壁について実行した後、右側の側壁について実行す
る。

【０１５７】以上の処理により、前方に存在する壁、駐
車車輌等の自車輌１からの位置と大きさがわかり、マイ
クロプロセッサ１２０ｃで図３９の隙間距離算出処理の
プログラムが実行される。

【０１５８】この隙間距離算出処理では、ステップS401
で、出力用メモリ１２５から道路上の各物体の自車輌１
側の縁の位置及び側壁の端部の位置を入力すると、ステ
ップS402で、各物体の縁及び側壁の端部と、自車輌１の
側部の延長線との間のＸ方向の距離を左右別々に求め
る。

【０１５９】次いで、ステップS403へ進み、前記ステッ
プS402で求めた各距離の最小値を左右別々に求め、ステ
ップS404で左右それぞれの最小値を隙間距離として若干
の余裕を加え、ディスプレイコントローラ１２６を介し
てディスプレイ３に数値を表示する。

【０１６０】

【発明の効果】以上説明したように本発明によれば、車
外の対象を撮像したステレオ画像対の対応位置のずれ量
から三角測量の原理によって画像全体に渡る距離分布を
求め、この距離分布の情報に対応する被写体の各部分の
３次元位置を計算し、計算した３次元位置の情報を用い
て複数の立体物を検出する。そして、検出した複数の立
体物の自車輌側の縁と自車輌側部の延長線との間の最近
接距離を隙間距離として左右それぞれに算出し、算出し
た左右の隙間距離に係わる情報を運転者に知らせるた
め、車輌が狭路を通過する前に進行方向に存在する様々
な立体物を確実に検出して自車輌との隙間距離を運転者
に知らせることができ、運転者の負担を軽減して安全を
確保することができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】走行案内装置の全体構成図

【図２】走行案内装置の回路ブロック図

【図３】ディスプレイの画面を示す説明図

【図４】車輌の正面図

【図５】カメラと被写体との関係を示す説明図

【図６】イメージプロセッサの詳細回路図

【図７】シティブロック距離計算回路の説明図

【図８】最小値検出回路のブロック図

【図９】車載のＣＣＤカメラで撮像した画像の例を示す
説明図

【図１０】距離画像の例を示す説明図

【図１１】車輌の上面図

【図１２】車輌の側面図

【図１３】距離画像処理用コンピュータの機能ブロック
図

【図１４】画像の区分方法を示す説明図

【図１５】検出物体とヒストグラムの関係を示す説明図

【図１６】物体の存在領域の検出結果と検出距離の例を
示す説明図

【図１７】物体検出用の３次元ウインドウの形状を示す
説明図

【図１８】物体検出用の２次元ウインドウの形状を示す
説明図

【図１９】物体の輪郭を構成するデータの例を示す説明
図

【図２０】物体の輪郭像と検出された外形寸法の例を示
す説明図

【図２１】側壁検出における探索領域の形状を示す説明
図

【図２２】画像上の側壁探索領域を示す説明図

【図２３】立体物データの分布状況を示す説明図

【図２４】ハフ変換での直線の想定を示す説明図

【図２５】パラメータ空間の投票領域を示す説明図

【図２６】側壁候補領域を示す説明図

【図２７】ヒストグラムと側壁の存在範囲の関係を示す
説明図

【図２８】側壁の検出結果を示す説明図

【図２９】隙間距離算出の説明図

【図３０】イメージプロセッサの動作を示すフローチャ
ート

【図３１】シフトレジスタ内の保存順序を示す説明図

【図３２】シティブロック距離計算回路の動作を示すタ
イミングチャート

【図３３】ずれ量決定部の動作を示すタイミングチャー
ト

【図３４】イメージプロセッサの全体の動作を示すタイ
ミングチャート

【図３５】物体検出処理のフローチャート

【図３６】物体検出処理のフローチャート（続き）

【図３７】側壁検出処理のフローチャート

【図３８】側壁検出処理のフローチャート（続き）

【図３９】隙間距離算出処理のフローチャート

【符号の説明】

１車輌２走行案内装置１０ステレオ光学系１５ステレオ画像処理手段１００立体物検出手段１１０隙間距離算出手段１１５報知手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０１Ｃ 21/00 ＮＧ０５Ｄ 1/02 ＳＫＧ０６Ｔ 1/00 7/00 Ｈ０４Ｎ 7/18 Ｃ

Claims

【特許請求の範囲】

【請求項１】車輌に搭載した撮像系(10)で撮像した車
外の対象のステレオ画像対を処理し、このステレオ画像
対の対応位置のずれ量から三角測量の原理によって画像
全体に渡る距離分布を求めるステレオ画像処理手段(15)
と、前記ステレオ画像処理手段(15)からの距離分布の情報に
対応する被写体の各部分の３次元位置を計算し、計算し
た３次元位置の情報を用いて複数の立体物を検出する立
体物検出手段(100)と、前記立体物検出手段(100)で検出した複数の立体物の自
車輌側の縁と自車輌側部の延長線との間の最近接距離を
隙間距離として左右それぞれに算出する隙間距離算出手
段(110)と、前記隙間距離算出手段(110)で算出した左右の隙間距離
に係わる情報を運転者に知らせる報知手段(115)とを備
えたことを特徴とする車輌用走行案内装置。