JPH1139596A - 車外監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 遠距離用のステレオカメラと近距離用のステ
レオカメラとを同時に使用し、広い範囲の立体物を同時
に検出する 【解決手段】 遠距離用ステレオカメラ及び近距離用ス
テレオカメラの両方で撮像を行い、イメージプロセッサ
２０で遠距離の距離画像と近距離の距離画像と生成す
る。そして、画像処理用コンピュータ３０で、各距離画
像を、それぞれ、格子状に所定の間隔で区分し、各区分
毎に道路表面より上のデータを立体物データとして抽出
して距離を算出した後、各区分毎の距離データに基づい
て個々の立体物を検出する処理を行い、遠距離と近距離
とで重複して検出した立体物のデータを整理して統合す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車外の対象を撮像
したステレオ画像対を処理して三次元の距離情報を有す
る距離画像を求め、この距離画像から複数の立体物を検
出する車外監視装置に関する。

【０００２】

【従来の技術】最近では、自動車にＴＶカメラやレーザ
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定して運転者に警報を発した
り、自動的にブレーキを作動させて停止させる、あるい
は、先行車との車間距離を安全に保つよう自動的に走行
速度を増減する等のＡＳＶ（Advanced Safety Vehicl
e；先進安全自動車）に係わる技術の開発が積極的に進
められている。

【０００３】ＴＶカメラの画像から前方の物体を検知す
る技術としては、本出願人によって先に提出された特開
平５−２６５５４７号公報の技術があり、この技術で
は、遠距離用の２台１組のステレオカメラと近距離用の
２台１組のステレオカメラとの合計４台のカメラを車両
に搭載し、ステレオ法による三次元計測処理を行ってい
る。

【０００４】この場合、ステレオカメラで物体を検出で
きる範囲は、図１３に代表的な例を示すように、遠距離
用では、車両前方２０ｍから１００ｍ程度であり、近距
離用では、例えば、車両前方５ｍから３０ｍ程度であ
る。

【０００５】すなわち、遠距離用のステレオカメラで
は、遠方（例えば１００ｍ先）の物体を検出できるが、
一般的に、距離が近すぎると（例えば２０ｍ以下）、物
体を検出できない特性がある。一方、近距離用のステレ
オカメラでは、広角レンズを用いて視野を広くし、左右
方向に広い範囲の物体を検出できるようにしており、ま
た、２台のカメラの左右の間隔を短くして自車両の直前
の物体も検出可能となるような設計としている。

【０００６】従って、近距離から遠距離までの全検出範
囲をカバーするためには、従来、上述のような特性の遠
・近の２組のステレオカメラを状況に応じて切り換えて
使用するようにしており、例えば、高速道路を高速で走
行している場合には、遠距離用のステレオカメラを使用
し、一方、一般道路を低速で走行している場合には、近
距離用のステレオカメラを使用する。

【０００７】

【発明が解決しようとする課題】しかしながら、遠・近
の２組のステレオカメラを状況に応じて切り換えて使用
する従来の技術では、遠距離用のステレオカメラと近距
離用のステレオカメラとを切り換える判断が難しく、例
えば、高速走行中で遠距離用のステレオカメラを使用し
ているときに、遠距離の検出範囲外となる自車両の直前
に他の車両が割り込んで来るような突発的な状況が発生
しても、直ちに割り込み車両を検出することはできず、
現実の交通状況に柔軟に対応することが困難であった。

【０００８】本発明は上記事情に鑑みてなされたもの
で、遠距離用のステレオカメラと近距離用のステレオカ
メラとを同時に使用し、広い範囲の立体物を同時に検出
することのできる車外監視装置を提供することを目的と
している。

【０００９】

【課題を解決するための手段】請求項１記載の発明は、
車外の対象を撮像したステレオ画像対を処理して三次元
の距離情報を有する距離画像を求め、この距離画像から
複数の立体物を検出する車外監視装置において、遠距離
用のステレオカメラで撮像した画像を処理して得られる
距離画像から検出される複数の立体物のデータと、近距
離用のステレオカメラで撮像した画像を処理して得られ
る距離画像から検出される複数の立体物のデータとを比
較し、同一の立体物を重複して検出しているか否かを判
定する手段と、遠距離用の距離画像から検出した立体物
のデータと近距離用の距離画像から検出した立体物のデ
ータとで同一の立体物を重複して検出していると判定し
たとき、一方のデータを消去し、複数の立体物のデータ
を全検出範囲で重複することなく統合する手段とを備え
たことを特徴とする。

【００１０】請求項２記載の発明は、車外の対象を撮像
したステレオ画像対を処理して三次元の距離情報を有す
る距離画像を求め、この距離画像から複数の立体物を検
出する車外監視装置において、２台１組の遠距離用ステ
レオカメラで撮像した画像を処理して得られる距離画像
を複数の区分に分割し、各区分毎に立体物の有無と存在
位置とを検出する手段と、２台１組の近距離用ステレオ
カメラで撮像した画像を処理して得られる距離画像を複
数の区分に分割し、各区分毎に立体物の有無と存在位置
とを検出する手段と、近距離用の距離画像と遠距離用の
距離画像とで互いに対応する区分を調べ、対応する区分
の立体物のデータを１つのデータに統合する手段と、統
合された区分毎の立体物の有無と存在位置から複数の立
体物を検出する手段とを備えたことを特徴とする。

【００１１】請求項３記載の発明は、請求項２記載の発
明において、上記２台１組の遠距離用ステレオカメラの
うちの距離画像を生成する側のカメラと、上記２台１組
の近距離用ステレオカメラのうちの距離画像を生成する
側のカメラとを、互いに接近させて配設することを特徴
とする。

【００１２】すなわち、本発明の車外監視装置では、遠
距離用のステレオカメラで撮像した画像を処理して得ら
れる距離画像、近距離用のステレオカメラで撮像した画
像を処理して得られる距離画像から、それぞれ、複数の
立体物のデータを検出し、互いの立体物のデータを比較
して同一の立体物を重複して検出しているか否かを判定
する。そして、同一の立体物を重複して検出していると
判定したとき、一方のデータを消去し、複数の立体物の
データを全検出範囲で重複することなく統合する。

【００１３】あるいは、遠距離用ステレオカメラで撮像
した画像を処理して得られる距離画像、近距離用ステレ
オカメラで撮像した画像を処理して得られる距離画像
を、それぞれ、複数の区分に分割し、各区分毎に立体物
の有無と存在位置とを検出し、近距離用の距離画像と遠
距離用の距離画像とで互いに対応する区分を調べた後、
対応する区分の立体物のデータを１つのデータに統合
し、統合された区分毎の立体物の有無と存在位置から複
数の立体物を検出する。この場合には、２台１組の遠距
離用ステレオカメラのうちの距離画像を生成する側のカ
メラと、２台１組の近距離用ステレオカメラのうちの距
離画像を生成する側のカメラとを互いに接近させて配設
することが望ましい。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図７は本発明の実施の第１
形態に係わり、図１は車外監視装置の全体構成図、図２
はステレオカメラの取り付け位置を示す説明図、図３は
車外監視装置の回路ブロック図、図４は立体物検出処理
の機能ブロック図、図５は車載のカメラで撮像した画像
の例を示す説明図、図６は距離画像の例を示す説明図、
図７は距離画像の区分を示す説明図である。

【００１５】図１において、符号１は自動車等の車両で
あり、この車両１に、車外の設置範囲内の対象を撮像
し、撮像画像から車外の物体を認識して監視する車外監
視装置２が搭載されている。この車外監視装置２は、車
外の対象物を異なる位置から撮像するための遠距離用ス
テレオカメラ及び近距離用ステレオカメラからなるステ
レオ光学系１０、このステレオ光学系１０で撮像した画
像を処理して三次元の距離分布情報を算出するイメージ
プロセッサ２０、及び、このイメージプロセッサ２０か
らの距離情報を入力し、その距離情報から道路形状や複
数の立体物の三次元位置を高速で検出し、その検出結果
に基づいて先行車や障害物を特定して衝突警報の判断処
理等を行う画像処理用コンピュータ３０等から構成され
ている。

【００１６】また、上記画像処理用コンピュータ３０に
は、車速センサ４、舵角センサ５等の現在の車両の走行
状態を検出するためのセンサが接続され、認識された物
体が自車両１の障害物となる場合、運転者の前方に設置
されたディスプレイ９へ表示して運転者に対する警告を
行う他、図示しないアクチュエータ類を制御する外部装
置を接続することで車体の自動衝突回避制御等が可能と
なっている。

【００１７】上記ステレオ光学系１０を構成するステレ
オカメラには、例えば電荷結合素子（ＣＣＤ）等の固体
撮像素子を用いたＣＣＤカメラが用いられ、図２に示す
ように、遠距離用の２台のＣＣＤカメラ１１ａ，１１ｂ
が、それぞれ車室内の天井前方に一定の間隔をもって取
り付けられるとともに、近距離用の２台のＣＣＤカメラ
１２ａ，１２ｂが、それぞれ、遠距離用のＣＣＤカメラ
１１ａ，１１ｂの内側に一定の間隔をもって取り付けら
れている。

【００１８】上記イメージプロセッサ２０では、遠距離
用のＣＣＤカメラ１１ａ，１１ｂで撮像した１対の画
像、及び、近距離用のＣＣＤカメラ１２ａ，１２ｂで撮
像した１対の画像に対し、一方を基準画像、他方を比較
画像として、各画像の相関を求め、同一物体に対する視
差から三角測量の原理によって距離を算出し、画像全体
に渡る３次元の距離分布を算出する。例えば、遠距離用
では、助手席側のＣＣＤカメラ１１ａを基準画像側のカ
メラとし、運転席側のＣＣＤカメラ１１ｂを比較画像側
のカメラとする。また、同様に、近距離用では、助手席
側のＣＣＤカメラ１２ａを基準画像側のカメラとし、運
転席側のＣＣＤカメラ１２ｂを比較画像側のカメラとす
る。

【００１９】上記画像処理用コンピュータ３０では、上
記イメージプロセッサ２０からの距離分布情報を読み込
んで道路形状や複数の立体物（車両や障害物等）の３次
元位置を高速で検出し、この検出物体との衝突や接触可
能性を上記車速センサ４や上記舵角センサ５等によって
検出した自車両の走行状態に基づいて判断し、その結果
を上記ディスプレイ９に表示して運転者に知らせる。

【００２０】上記イメージプロセッサ２０及び上記画像
処理用コンピュータ３０は、詳細には、図３に示すハー
ドウエア構成となっている。上記イメージプロセッサ２
０には、１組のステレオ画像対に対し、所定の小領域毎
に同一の物体が写っている部分を探索し、対応する位置
のズレ量を求めて物体までの距離を算出し、三次元の距
離分布情報として出力する距離検出回路２１ａ，２２ａ
が、それぞれ、遠距離用ＣＣＤカメラ１１ａ，１１ｂに
対する画像処理回路、近距離用ＣＣＤカメラ１２ａ，１
２ｂに対する画像処理回路として備えられ、さらに、各
距離検出回路２１ａ，２２ａから出力される距離分布情
報を記憶する距離画像メモリ２１ｂ，２２ｂが、それぞ
れ、遠距離用、近距離用として備えられている。

【００２１】上記距離検出回路２１ａ，２２ａから出力
される距離分布情報は、画像のような形態をしており
（距離画像）、車載のカメラで撮影した画像、例えば、
図５に模式的に示すように、遠距離用のＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を上記距離検出回路２１ａ
で処理し、基準となるＣＣＤカメラ１１ａの画像から図
６のような画像を生成する。

【００２２】図６に示す距離画像の例では、画像サイズ
は横６００画素×縦２００画素であり、距離データを持
っているのは黒点の部分で、これは図５の画像の各画素
のうち、左右方向に隣合う画素間で明暗変化が大きい部
分である。上記距離検出回路２１ａでは、この距離画像
を、１ブロックを４×４画素の小領域として横１５０×
縦５０のブロックからなる画像として扱い、各ブロック
毎に距離（画素ズレ数）の算出を行う。

【００２３】一方、上記画像処理用コンピュータ３０
は、道路形状等の検出処理を主とするマイクロプロセッ
サ３０ａと、検出した道路形状に基づいて個々の立体物
を検出する処理を主とするマイクロプロセッサ３０ｂ
と、検出した立体物の位置情報に基づいて先行車や障害
物を特定し、衝突や接触危険性を判断する処理を主とす
るマイクロプロセッサ３０ｃとがシステムバス３１を介
して並列に接続されたマルチマイクロプロセッサのシス
テム構成となっている。

【００２４】そして、上記システムバス３１には、上記
距離画像メモリ２１ｂ，２２ｂに接続されるインターフ
ェース回路３２と、制御プログラムを格納するＲＯＭ３
３と、計算処理途中の各種パラメータを記憶するＲＡＭ
３４と、処理結果のパラメータを記憶する出力用メモリ
３５と、上記ディスプレイ（ＤＩＳＰ）９を制御するた
めのディスプレイコントローラ（ＤＩＳＰ．ＣＯＮ
Ｔ．）３６と、上記車速センサ４、上記舵角センサ５等
からの信号を入力するＩ／Ｏインターフェース回路３７
とが接続されている。

【００２５】上記画像処理用コンピュータ３０では、画
素を単位とする距離画像上の座標系を、図６に示すよう
に、左下隅を原点として横方向をｉ座標軸，縦方向をｊ
座標軸として扱い、画素ズレ数をｄｐとする距離画像上
の点（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路
形状の認識や立体物の位置検出等の処理を行う。

【００２６】すなわち、実空間の三次元の座標系を、自
車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方
向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前
方、原点をＣＣＤカメラ１１ａ，１１ｂ（ＣＣＤカメラ
１２ａ，１２ｂ）の中央の真下の道路面とすると、Ｘ−
Ｚ平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致
することになり、以下の(1)〜(3)式により、距離画像上
の点（ｉ，ｊ，ｄｐ）を、実空間上の点（ｘ，ｙ，ｚ）
に座標変換することができる。 ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1) ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …(2) ｚ＝ＫＳ／ｄｐ …(3) 但し、ＣＤ ：カメラ取り付け間隔 ＰＷ ：１画素当たりの視野角 ＣＨ ：カメラ取付け高さ ＩV，ＪV：車両１の真正面の無限遠点の画像上の座標
（画素） ＫＳ ：距離係数（ＫＳ＝ＣＤ／ＰＷ） 尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，
ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。 ｉ ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4) ｊ ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5) ｄｐ＝ＫＳ／ｚ …(6)

【００２７】次に、上記画像処理用コンピュータ３０に
おける個々の処理について説明する。まず、上記マイク
ロプロセッサ３０ａによる道路検出処理では、距離画像
メモリ２１ｂ，２２ｂに記憶された距離画像からの３次
元的な位置情報を利用して実際の道路上の白線だけを分
離して抽出し、内蔵した道路モデルのパラメータを実際
の道路形状と合致するよう修正・変更して道路形状を認
識する。

【００２８】上記道路モデルは、認識対象範囲までの道
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線を３次元の直線式で近似して
折れ線状に連結したものであり、実空間の座標系におけ
る水平方向の直線式のパラメータａ，ｂ、及び、垂直方
向の直線式のパラメータｃ，ｄを求め、以下の(7)式に
示す水平方向の直線式、及び、以下の(8)式に示す垂直
方向の直線式を得る。 ｘ＝ａ・ｚ＋ｂ …(7) ｙ＝ｃ・ｚ＋ｄ …(8)

【００２９】また、上記マイクロプロセッサ３０ｂによ
る物体検出処理では、距離画像を格子状に所定の間隔で
区分し、各区分毎に、上記マイクロプロセッサ３０ａに
よって検出された道路形状に基づいて道路表面より上の
データを立体物データとして抽出し、立体物までの距離
を算出すると、各区分毎の立体物の距離データに基づい
て複数の立体物を検出する。

【００３０】この場合、従来のように交通状況に応じて
遠距離用ＣＣＤカメラ１１ａ，１１ｂと近距離用カメラ
１２ａ，１２ｂとを切り換えることなく、常時、遠距離
用ＣＣＤカメラ１１ａ，１１ｂ、及び、近距離用カメラ
１２ａ，１２ｂの両方で撮像を行い、遠距離の撮像画像
から生成した距離画像、及び、近距離の撮像画像から生
成した距離画像の両方について、それぞれ、上記処理を
行って立体物を検出する。そして、遠距離と近距離とで
重複して検出した立体物のデータを整理して統合し、後
段の処理へ渡す。

【００３１】一方、上記マイクロプロセッサ３０ｃによ
る衝突・接触判断処理では、自車線と隣接する左右の車
線上に存在する他の自動車や障害物等を抽出し、抽出し
た物体の位置と大きさ、位置の時間変化による自車両と
の相対速度等から、自車両との衝突危険性や接触可能性
を判断し、その結果を上記ディスプレイ９に表示して運
転者に警告を発する等の処理を行う。

【００３２】以下、上記マイクロプロセッサ３０ｂにお
ける立体物検出処理について詳述する。図４は、上記マ
イクロプロセッサ３０ｂにおける立体物検出処理に係わ
る機能構成を示すものであり、遠距離立体物検出部４
０、近距離立体物検出部４１、及び、立体物統合部４２
に大別することができる。

【００３３】遠距離立体物検出部４０では、遠距離用の
ＣＣＤカメラ１１ａ，１１ｂで撮像した画像から得られ
る距離画像を、図７に示すように、左右方向に所定間隔
（例えば、４〜１２画素間隔）で区分し、各区分毎に、
道路表面より上にある距離データを立体物データとして
抽出する。そして、各区分毎に、抽出されたデータを用
いてヒストグラムを作成し、このヒストグラムから各区
分を代表する立体物の存在位置と、その距離を求める。

【００３４】その後、各区分の立体物の検出距離を調
べ、隣接する区分において立体物までの検出距離の差異
が設定値以下の場合は同一の立体物と見なし、一方、設
定値以上の場合は別々の立体物と見なす。そして、検出
した立体物を包含する三次元ウィンドウを設定し、さら
に、この設定した三次元ウインドウが二次元の画像上で
どのように見えるかを計算して二次元ウィンドウを設定
する。そして、この二次元ウインドウ内の各データを順
次サーベイし、距離データを持っている画素について、
前述の(1)〜(3)式を用いて三次元位置（ｘ，ｙ，ｚ）を
計算した後、距離や高さの値が三次元ウインドウの範囲
内にあるデータのみを抽出し、他は棄却する。

【００３５】このようにして抽出したデータを、二次元
の画像上に投影し、これらのデータの外形を線分で連結
して立体物の輪郭像を求め、この輪郭像の左右端および
上端の画像上での座標（ｉ，ｊ，ｄｐ）から、その立体
物の検出距離（Ｚ座標）、左右端位置（Ｘ座標）、上端
の位置（Ｙ座標）を算出し、さらに、左右端位置から立
体物の横幅を求め、上端の位置から物体の高さを求め
る。

【００３６】また、近距離立体物検出部４１においても
同様の処理を行い、近距離用のＣＣＤカメラ１２ａ，１
２ｂで撮像した画像から生成した距離画像に基づいて、
複数の立体物の距離（Ｚ座標）、左右端位置（Ｘ座
標）、横幅、及び、高さ等を算出する。

【００３７】尚、以上の距離画像を生成する処理、距離
画像から道路形状を検出する処理、距離画像の区分毎の
立体物距離データから複数の立体物を検出する処理、及
び、衝突・接触判断処理については、本出願人によって
先に提出された特開平５−２６５５４７号公報に詳述さ
れている。

【００３８】ここで、遠距離用のＣＣＤカメラ１１ａ，
１１ｂによる検出範囲と近距離用のＣＣＤカメラ１２
ａ，１２ｂによる検出範囲とではオーバーラップする部
分があり、このオーバーラップ部分に存在する立体物
は、遠距離立体物検出部４０と近距離立体物検出部４１
との両方で重複して検出される可能性がある。

【００３９】このため、立体物統合部４２では、遠距離
の検出範囲で検出された立体物のデータと近距離の検出
範囲で検出された立体物のデータとを比較して検出の重
複を調べ、立体物データの整理を行う。

【００４０】すなわち、まず、遠距離立体物検出部４０
でＬｎ個の立体物が検出され、Ｌｉ（ｉ＝１〜ｎ）番目
の立体物のデータを、距離ＺＬｉ，Ｘ座標値ＸＬｉ，横
幅ＷＬｉとし、一方、近距離立体物検出部４１でＳｎ個
の立体物が検出され、Ｓｉ（ｉ＝１〜ｎ）番目の立体物
のデータを、距離ＺＳｉ，Ｘ座標値ＸＳｉ，横幅ＷＳｉ
とすると、遠距離の立体物Ｌｉのデータ（ＺＬｉ,ＸＬ
ｉ,ＷＬｉ）と近距離の立体物Ｓｉのデータ（ＺＳｉ,Ｘ
Ｓｉ,ＷＳｉ）とを比較する。

【００４１】その結果、立体物Ｌｉのデータと立体物Ｓ
ｉのデータとの差が判定値以内のときには、立体物Ｌｉ
と立体物Ｓｉとは同一の立体物であると判断し、立体物
Ｌｉあるいは立体物Ｓｉのいずれか一方のデータを消去
する。

【００４２】この処理を遠距離の立体物と近距離の立体
物との全ての組み合わせに対して実施し、重複して検出
された立体物の一方を全て除去する。その後、遠距離の
立体物及び近距離の立体物の両方の残りのデータを、全
検出範囲における立体物データとして統合し、データメ
モリに書き移す。

【００４３】これにより、遠方から近傍までの立体物
を、重複することなく常時検出することができ、状況に
応じた遠距離と近距離との切換が不要となる。すなわ
ち、例えば、高速走行中で遠距離用のＣＣＤカメラ１１
ａ，１１ｂを使用しているときに、遠距離の検出範囲外
となる自車両の直前に他の車両が割り込んで来るような
突発的な状況が発生しても、直ちに割り込み車両を検出
することができ、安全を確保することができる。

【００４４】この場合、遠距離の検出範囲と近距離の検
出範囲とで重複して検出された立体物は整理されるた
め、同一の立体物に対して重複して衝突・接触可能性の
判断を下すことはなく、誤った警報を発する等の不都合
を生じることはない。

【００４５】図８〜図１２は本発明の実施の第２形態に
係わり、図８はステレオカメラの取り付け位置を示す説
明図、図９は立体物検出処理の機能ブロック図、図１０
は交通状況の例を示す説明図、図１１は遠距離用カメラ
で撮像した画像の例を示す説明図、図１２は近距離用カ
メラで撮像した画像の例を示す説明図である。

【００４６】前述の第１形態では、区分毎の距離から個
々の立体物を検出する処理を、遠距離の検出範囲と、近
距離の検出範囲とに対して、それぞれ実施した後、重複
して検出した立体物を整理するようにしているが、本形
態では、遠距離の検出範囲と、近距離の検出範囲とで、
それぞれ、区分毎の立体物の距離データを求め、重複す
る距離データを整理統合した後、統合した距離データか
ら複数の立体物を検出するものである。

【００４７】本形態では、第１形態に対し、図８に示す
ように、近距離用の基準となるＣＣＤカメラ１２ａを、
遠距離用の基準となるＣＣＤカメラ１１ａの内側に接近
させて取り付け、距離画像を生成する側のカメラを遠距
離用と近距離用とで接近させる。これは、遠・近の２つ
の距離画像で同じ方向には同じ被写体が写るようにする
ことで、以下に説明する距離データの統合の際、遠・近
の２つの距離画像で互いに対応する区分を簡単な処理で
調べられるようにするためである。

【００４８】以下、本形態の立体物検出処理について説
明する。本形態の立体物検出処理に係わる機能構成は、
図９に示すように、遠距離用立体物距離検出部５０、近
距離用立体物距離検出部５１、立体物距離統合部５２、
立体物検出部５３に大別される。

【００４９】遠距離用立体物距離検出部５０、近距離用
立体物距離検出部５１は、それぞれ、第１形態の遠距離
立体物検出部４０、近距離立体物検出部４１における区
分毎に作成したヒストグラムから立体物の距離データを
求める処理と同様の処理を行うものであるが、第１形態
に対し、近距離用の距離画像の区分幅と遠距離用での距
離画像の区分幅とが同じ視野になるようにする。

【００５０】例えば、遠距離用ＣＣＤカメラ１１ａ，１
１ｂの１画素当たりの視野角が０．０４°、近距離用Ｃ
ＣＤカメラ１２ａ，１２ｂの１画素当たりの視野角が
０．０８°であるとすると、横６００画素の距離画像に
対し、遠距離用の区分幅が８画素の場合、１区分の視野
角は０．３２°となり、これと同じ視野角になる近距離
用の区分幅は、４画素（＝０．３２／０．０８）とな
る。

【００５１】例えば、図１０に示すような状況を、遠距
離用のＣＣＤカメラ１１ａで撮像した画像は図１１のよ
うになり、また、近距離用のＣＣＤカメラ１２ａで撮像
した画像は、図１２のようになる。これらの画像から生
成される遠・近の２つの距離画像（横６００画素×縦２
００画素）に対し、遠距離用立体物距離検出部５０で
は、遠距離用の距離画像を８画素幅で７５個の領域に区
分し、各区分毎に、各区分を代表する立体物の存在位置
と、その距離を求め、近距離用立体物距離検出部５１で
は、近距離用の距離画像を４画素幅で１５０個の領域に
区分し、各区分毎に、各区分を代表する立体物の存在位
置と、その距離を求める。

【００５２】次に、立体物距離統合部５２では、遠・近
の２つの距離画像で互いに対応する区分を調べ、対応す
る区分の立体物の距離データを統合する。この距離デー
タの統合化は、近距離用の各区分の距離データを新しい
距離データに更新することで行われる。従って、統合化
後は、近距離用の各区分の距離データは、近距離から遠
距離に渡る全検出範囲の距離データとなる。

【００５３】例えば、図１０に示す状況においては、遠
距離の検出範囲に存在する車両Ｃ、遠距離の検出範囲と
近距離の検出範囲との両方に存在する車両Ａ、近距離の
検出範囲に存在する車両Ｂに対する各区分毎の距離デー
タが、重複を除いて近距離用の各区分のデータとして更
新される。

【００５４】このため、まず、近距離用の区分ＫＳｉ
（ＫＳｉ＝１〜１５０）の方向、すなわち、図１０に示
すように、Ｚ−Ｘ平面で見たときの自車両の正面である
Ｚ軸となす角度θＳｉを求め、この角度θＳｉにより、
近距離用の区分ＫＳｉの方向と同じ方向を向いている遠
距離用の区分ＫＬｉを求める。

【００５５】すなわち、距離画像を生成する基準側のカ
メラが遠距離用と近距離用とで接近して取り付けている
ため、遠・近の２つの距離画像で同じ方向には同じ被写
体が写っており、方向が一致する区分が対応する区分と
なる。近距離用の区分ＫＳｉの方向θＳｉは、以下の
(9)式で求めることができ、対応する遠距離用の区分Ｋ
Ｌｉは、以下の(10)式で求めることができる。 θＳｉ＝（ＴＳ・ＫＳｉ−ＩＶＳ）・ＰＷＳ …(9) ＫＬｉ＝（θＳｉ／ＰＷＬ＋ＩＶＬ）／ＴＬ …(10) 但し、ＴＳ ：近距離用の区分の幅 ＴＬ ：遠距離用の区分の幅 ＩＶＳ：近距離用の画像上の車両真正面の無限遠点の座
標（画素） ＩＶＬ：遠距離用の画像上の車両真正面の無限遠点の座
標（画素） ＰＷＳ：近距離用の１画素当たりの視野角 ＰＷＬ：遠距離用の１画素当たりの視野角

【００５６】この場合、近距離用ＣＣＤカメラ１２ａ，
１２ｂの視野角は、遠距離用のＣＣＤカメラ１１ａ，１
１ｂの視野角より広いため、近距離用の区分ＫＳｉの方
向θＳｉが遠距離用のＣＣＤカメラ１１ａ，１１ｂの視
野外となり、近距離用の区分ＫＳｉに対応する遠距離用
の区分ＫＬｉが無い場合もある。このような場合には、
近距離用の区分ＫＳｉでの立体物の距離の検出値ＺＫＳ
ｉを、そのまま用いて統合後の距離とする。

【００５７】そして、近距離用の区分ＫＳｉでの立体物
の距離ＺＫＳｉと、対応する遠距離用の区分ＫＬｉでの
立体物の距離ＺＫＬｉを、以下のように統合し、区分Ｋ
Ｓｉの新しい距離ＺＫＳｉ'とする。

【００５８】（１）区分ＫＬｉ，ＫＳｉの両方とも立体
物の検出がない場合には、統合後も立体物無しとする。

【００５９】（２）区分ＫＬｉ，ＫＳｉの一方で立体物
の検出が無い場合には、検出が有った方の区分の距離を
新しい距離ＺＫＳｉ'とする。

【００６０】（３）区分ＫＬｉ，ＫＳｉの両方で立体物
を検出した場合には、それぞれの距離ＺＫＬｉ，ＺＫＳ
ｉの差Δに応じ、新しい距離データに統合する。

【００６１】（ａ）距離の差Δが判定値以下のとき（遠
距離用の区分ＫＬｉの距離ＺＫＬｉと近距離用の区分Ｋ
Ｓｉの距離ＺＫＳｉとが接近しているとき）には、以下
の(11)式により、平均値を新しい距離ＺＫＳｉ'とす
る。 ＺＫＳｉ'＝（ＺＫＬｉ＋ＺＫＳｉ）／２ …(11) （ｂ）距離の差Δが判定値を超えているときには、距離
の値の小さい方を、新しい距離ＺＫＳｉ'として採用す
る。

【００６２】以上の処理を、近距離用の全ての区分Ｓｉ
（Ｓｉ＝１〜１５０）について行い、立体物の距離を統
合して更新すると、次に、統合化された各区分毎の距離
を、立体物検出部５３で処理し、複数の立体物（図１０
においては、車両Ａ，Ｂ，Ｃ等）を検出する。この処理
は、第１形態における各区分を代表する立体物の距離デ
ータから複数の立体物を検出する処理と同様であり、立
体物を包合する三次元の空間領域を設定して物体の輪郭
像を求め、立体物の距離（Ｚ座標）、左右端位置（Ｘ座
標）、横幅、及び、高さ等を算出する。

【００６３】本形態では、区分毎の距離から複数の立体
物を検出する処理を、遠距離の検出範囲と近距離の検出
範囲とに対して、それぞれ実施する第１形態に対し、遠
距離の検出範囲の距離データと近距離の検出範囲の距離
データとを統合した後、複数の立体物を検出するため、
データ処理量を低減することができる。

【００６４】また、近距離の検出範囲から遠距離の検出
範囲にまたがって存在する大きな立体物、例えば、大型
トレーラやガードレール等に対しても、立体物の異なる
一部分を遠距離の検出範囲と近距離の検出範囲とで別々
に検出することがなく、一つの立体物として正確に検出
することができる。

【００６５】

【発明の効果】以上説明したように、請求項１記載の発
明あるいは請求項２記載の発明によれば、従来のように
交通状況に応じて遠距離用のステレオカメラと近距離用
のステレオカメラとを切り換えることなく、遠距離用の
ステレオカメラと近距離用のステレオカメラとを同時に
使用して、常時、近距離から遠距離までの広い範囲の立
体物を重複することなく検出することができるため、例
えば、高速走行中で遠距離用のステレオカメラを使用し
ているときに、遠距離の検出範囲外となる自車両の直前
に他の車両が割り込んで来るような突発的な状況が発生
しても、直ちに割り込み車両を検出することができ、現
実の交通状況に柔軟に対応することができる。

【００６６】この場合、請求項２記載の発明では、遠距
離の検出範囲の立体物の距離データと近距離の検出範囲
の立体物の距離データとを統合した後、複数の立体物を
検出するため、データ処理量を低減することができ、し
かも、近距離の検出範囲から遠距離の検出範囲にまたが
って存在する大きな立体物に対し、立体物の異なる一部
分を遠距離の検出範囲と近距離の検出範囲とで別々に検
出することなく、一つの立体物として正確に検出するこ
とができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の第１形態に係わり、車外監視装
置の全体構成図

【図２】同上、ステレオカメラの取り付け位置を示す説
明図

【図３】同上、車外監視装置の回路ブロック図

【図４】同上、立体物検出処理の機能ブロック図

【図５】同上、車載のカメラで撮像した画像の例を示す
説明図

【図６】同上、距離画像の例を示す説明図

【図７】同上、距離画像の区分を示す説明図

【図８】本発明の実施の第２形態に係わり、ステレオカ
メラの取り付け位置を示す説明図

【図９】同上、立体物検出処理の機能ブロック図

【図１０】同上、交通状況の例を示す説明図

【図１１】同上、遠距離用カメラで撮像した画像の例を
示す説明図

【図１２】同上、近距離用カメラで撮像した画像の例を
示す説明図

【図１３】ステレオカメラによる物体検出範囲の例を示
す説明図

【符号の説明】

１ …車両 ２ …車外監視装置 １１ａ，１１ｂ …遠距離用ステレオカメラ １２ａ，１２ｂ …近距離用ステレオカメラ ４０ …遠距離立体物検出部 ４１ …近距離立体物検出部 ４２ …立体物統合部 ５０ …遠距離用立体物距離検出部 ５１ …近距離用立体物距離検出部 ５２ …立体物距離統合部 ５３ …立体物検出部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 車外の対象を撮像したステレオ画像対を
   処理して三次元の距離情報を有する距離画像を求め、こ
   の距離画像から複数の立体物を検出する車外監視装置に
   おいて、 遠距離用のステレオカメラで撮像した画像を処理して得
   られる距離画像から検出される複数の立体物のデータ
   と、近距離用のステレオカメラで撮像した画像を処理し
   て得られる距離画像から検出される複数の立体物のデー
   タとを比較し、同一の立体物を重複して検出しているか
   否かを判定する手段と、 遠距離用の距離画像から検出した立体物のデータと近距
   離用の距離画像から検出した立体物のデータとで同一の
   立体物を重複して検出していると判定したとき、一方の
   データを消去し、複数の立体物のデータを全検出範囲で
   重複することなく統合する手段とを備えたことを特徴と
   する車外監視装置。
2. 【請求項２】 車外の対象を撮像したステレオ画像対を
   処理して三次元の距離情報を有する距離画像を求め、こ
   の距離画像から複数の立体物を検出する車外監視装置に
   おいて、 ２台１組の遠距離用ステレオカメラで撮像した画像を処
   理して得られる距離画像を複数の区分に分割し、各区分
   毎に立体物の有無と存在位置とを検出する手段と、 ２台１組の近距離用ステレオカメラで撮像した画像を処
   理して得られる距離画像を複数の区分に分割し、各区分
   毎に立体物の有無と存在位置とを検出する手段と、 近距離用の距離画像と遠距離用の距離画像とで互いに対
   応する区分を調べ、対応する区分の立体物のデータを１
   つのデータに統合する手段と、 統合された区分毎の立体物の有無と存在位置から複数の
   立体物を検出する手段とを備えたことを特徴とする車外
   監視装置。
3. 【請求項３】 上記２台１組の遠距離用ステレオカメラ
   のうちの距離画像を生成する側のカメラと、上記２台１
   組の近距離用ステレオカメラのうちの距離画像を生成す
   る側のカメラとを、互いに接近させて配設することを特
   徴とする請求項２記載の車外監視装置。