JP3349060B2

JP3349060B2 - 車外監視装置

Info

Publication number: JP3349060B2
Application number: JP08687897A
Authority: JP
Inventors: 圭二塙
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1997-04-04
Filing date: 1997-04-04
Publication date: 2002-11-20
Anticipated expiration: 2017-04-04
Also published as: JPH10283461A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車外の物体の距離
分布を示す疑似画像に基づいて車外の状況を認識する車
外監視装置に関する。

【０００２】

【従来の技術】最近では、自動車にＴＶカメラやレーザ
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定して運転者に警報を発した
り、自動的にブレーキを作動させて停止させる、あるい
は、先行車との車間距離を安全に保つよう自動的に走行
速度を増減する等のＡＳＶ（Advanced Safety Vehicl
e；先進安全自動車）に係わる技術の開発が積極的に進
められている。

【０００３】ＴＶカメラの画像から前方の物体を検知す
る技術としては、本出願人によって先に提出された特開
平５−２６５５４７号公報の技術がある。この技術で
は、車両の左右に取り付けた２台のステレオカメラの画
像を距離画像に変換し、この距離画像を所定の間隔で格
子状に区分し、各区分毎に立体物のデータを抽出して区
分毎の立体物までの距離を検出すると、次に、区分毎の
検出距離を調べ、隣接する区分で検出距離が接近してい
る場合には、それらの区分は１個の物体を検出している
と見なして１つのグループにまとめる。そして、立体物
の各グループに対し、物体が存在すると推定される位置
を包含する三次元空間の領域を設定し、その領域内に存
在する立体物のデータを抽出することによって、立体物
の輪郭像を抽出し、その立体物の位置や大きさを検出す
るようにしている。

【０００４】また、本出願人は、同様に、区分毎に立体
物のデータを抽出し、これらのデータをハフ変換によっ
て処理し、ガードレール等の道路に沿った立体物を検出
する技術を、特開平６−２６６８２８号公報において提
案している。

【０００５】

【発明が解決しようとする課題】しかしながら、道路走
行においては、先行車等の立体物と、道路脇のガードレ
ール等の立体物との両方を同時に認識する必要があり、
先に提案した技術では、２種類の処理を実施する必要が
あるため、計算処理量が大きくなる。

【０００６】また、混雑した一般道路では、斜め前方の
車両が急に割り込む等の危険な挙動に注意を払う必要が
あり、このような斜め前方の車両は、その車両の後部と
側面とが同時に画像に映るため、従来の技術では、車両
の側面部分の輪郭像が不安定になる傾向がある。さら
に、車両の側面のように短い物体を検出するには難があ
り、斜め前方の車両の位置や挙動を十分正確に検出する
ことは困難であった。

【０００７】本発明は上記事情に鑑みてなされたもの
で、先行車や障害物等の物体とガードレール等の道路に
沿った構造物とを同一の処理によって検出することで計
算処理を低減し、且つ、従来、正確な検出が困難であっ
た斜め前方の車両の位置や挙動を、正確に検出すること
のできる車外監視装置を提供することを目的としてい
る。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
距離検出手段の検出領域を複数に区分し、それぞれの区
分毎に得られた距離データに基づいて車外の立体物を認
識する車外監視装置において、隣接する区分の距離デー
タを比較して区分をグループ化する手段と、グループ化
された区分の距離データの並び方向を算出すると共に該
並び方向に基づいて上記グループを分割する手段と、分
割したグループ毎に上記距離データが上記立体物の後部
を示すか側部を示すかを判別する手段とを備えたことを
特徴とする。

【０００９】請求項２記載の発明は、請求項１記載の発
明において、上記グループを分割する手段は、距離デー
タの並び方向が変化する部分を境に当該グループを分割
することを特徴とする。

【００１０】請求項３記載の発明は、請求項１記載の発
明において、各グループについて、立体物の位置に係わ
るパラメータを算出する手段を備えたことを特徴とす
る。

【００１１】請求項４記載の発明は、請求項３記載の発
明において、各グループにおける立体物の相互の位置関
係に基づき、端点が近接し、距離データの並び方向が略
等しい立体物を有する複数のグループを同一立体物に関
するグループとして結合する手段を備えたことを特徴と
する。

【００１２】請求項５記載の発明は、請求項３記載の発
明において、立体物後部と判別されたグループにおける
立体物の端点位置と立体物側部と判別されたグループに
おける立体物の端点位置が近接している場合に、両グル
ープは同一立体物に関する後部と側部の組合わせとして
認識する手段を備えたことを特徴とする。

【００１３】請求項６記載の発明は、請求項１記載の発
明において、上記距離データは、ステレオカメラ装置に
より計測されたものであることを特徴とする。

【００１４】請求項７記載の発明は、請求項１記載の発
明において、上記距離データは、レーダ測距装置により
計測されたものであることを特徴とする。

【００１５】すなわち、本発明の車外監視装置では、距
離検出領域を複数に区分して各区分から得られた距離デ
ータに基づいて車外の立体物を認識する際、隣接する区
分の距離データを比較して区分をグループ化し、グルー
プ化された区分の距離データの並び方向に基づいてグル
ープを分割し、分割したグループ毎に距離データが立体
物の後部を示すか側部を示すかを判別する。

【００１６】この場合、各グループについて、距離デー
タの並び方向が変化する部分を境に当該グループを分割
し、分割されたグループ毎に距離データが立体物の後部
を示すか側部を示すかを判別することが望ましい。ま
た、各グループについて、立体物の位置に係わるパラメ
ータを算出することが望ましく、各グループにおける立
体物の相互の位置関係に基づき、端点が近接し、距離デ
ータの並び方向が略等しい立体物を有する複数のグルー
プを同一立体物に関するグループとして結合することが
望ましい。立体物後部と判別されたグループにおける立
体物の端点位置と立体物側部と判別されたグループにお
ける立体物の端点位置が近接している場合には、両グル
ープは同一立体物に関する後部と側部の組合わせとして
認識することができる。

【００１７】また、以上の処理は、ステレオカメラ装置
やレーダ測距装置により計測された距離データに基づい
て行うことができる。

【００１８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図１６は本発明の実施の第
１形態に係わり、図１は車外監視装置の全体構成図、図
２は車外監視装置の回路ブロック図、図３は立体物検出
の機能ブロック図、図４〜図７は立体物検出処理のフロ
ーチャート、図８は車載のカメラで撮像した画像の例を
示す説明図、図９は距離画像の例を示す説明図、図１０
は距離画像の区分を示す説明図、図１１は検出対象の状
況例を示す説明図、図１２は区分毎の立体物の検出距離
の例を示す説明図、図１３は区分毎の立体物の検出距離
をグループ化した例を示す説明図、図１４は距離データ
の並び方向によるグループの分割を示す説明図、図１５
は検出対象に対する検出結果を示す説明図、図１６は検
出結果をＸ−Ｚ平面で示した説明図である。

【００１９】図１において、符号１は自動車等の車両で
あり、この車両１に、車外の設置範囲内の対象を撮像
し、撮像画像から車外の物体を認識して監視する車外監
視装置２が搭載されている。この車外監視装置２は、車
外の対象物を異なる位置から撮像するためのステレオ光
学系１０、このステレオ光学系１０で撮像した画像を処
理して三次元の距離分布情報を算出するイメージプロセ
ッサ２０、及び、このイメージプロセッサ２０からの距
離情報を入力し、その距離情報から道路形状や複数の立
体物の三次元位置を高速で検出し、その検出結果に基づ
いて先行車や障害物を特定して衝突警報の判断処理等を
行う画像処理用コンピュータ３０等から構成されてい
る。

【００２０】また、上記画像処理用コンピュータ３０に
は、車速センサ４、舵角センサ５等の現在の車両の走行
状態を検出するためのセンサが接続され、認識された物
体が自車両１の障害物となる場合、運転者の前方に設置
されたディスプレイ９へ表示して運転者に対する警告を
行う他、図示しないアクチュエータ類を制御する外部装
置を接続することで車体の自動衝突回避制御等が可能と
なっている。

【００２１】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組の
ＣＣＤカメラ１０ａ，１０ｂからなり、上記イメージプ
ロセッサ２０では、ＣＣＤカメラ１０ａ，１０ｂで撮像
した１対の画像の相関を求め、同一物体に対する視差か
ら三角測量の原理により距離を求める、いわゆるステレ
オ法により画像全体に渡る３次元の距離分布を算出す
る。

【００２２】上記画像処理用コンピュータ３０では、上
記イメージプロセッサ２０からの距離分布情報を読み込
んで道路形状や複数の立体物（車両や障害物等）の３次
元位置を高速で検出し、この検出物体との衝突や接触可
能性を上記車速センサ４や上記舵角センサ５等によって
検出した自車両の走行状態に基づいて判断し、その結果
を上記ディスプレイ９に表示して運転者に知らせる。

【００２３】上記イメージプロセッサ２０及び上記画像
処理用コンピュータ３０は、詳細には、図２に示すハー
ドウエア構成となっている。上記イメージプロセッサ２
０は、上記ＣＣＤカメラ１０ａ，１０ｂで撮像した１組
みのステレオ画像対に対して所定の小領域毎に同一の物
体が写っている部分を探索し、対応する位置のずれ量を
求めて物体までの距離を算出し、三次元の距離分布情報
として出力する距離検出回路２０ａと、この距離検出回
路２０ａから出力される距離分布情報を記憶する距離画
像メモリ２０ｂとから構成されている。

【００２４】上記距離検出回路２０ａから出力される距
離分布情報は、画像のような形態をした疑似画像（距離
画像）であり、左右２台のＣＣＤカメラ１１ａ，１１ｂ
で撮影した画像、例えば図８に示すような画像（図８は
片方のカメラで撮像した画像を模式的に示す）を上記距
離検出回路２０ａで処理すると、図９のような距離画像
となる。

【００２５】図９に示す距離画像の例では、画像サイズ
は横６００画素×縦２００画素であり、距離データを持
っているのは黒点の部分で、これは図８の画像の各画素
のうち、左右方向に隣合う画素間で明暗変化が大きい部
分である。上記距離検出回路２０ａでは、この距離画像
を、１ブロックを４×４画素の小領域として横１５０×
縦５０のブロックからなる画像として扱い、各ブロック
毎に距離（画素ズレ数）の算出を行う。

【００２６】一方、上記画像処理用コンピュータ３０
は、道路形状等の検出処理を主とするマイクロプロセッ
サ３０ａと、検出した道路形状に基づいて個々の立体物
を検出する処理を主とするマイクロプロセッサ３０ｂ
と、検出した立体物の位置情報に基づいて先行車や障害
物を特定し、衝突や接触危険性を判断する処理を主とす
るマイクロプロセッサ３０ｃとがシステムバス３１を介
して並列に接続されたマルチマイクロプロセッサのシス
テム構成となっている。

【００２７】そして、上記システムバス３１には、上記
距離画像メモリ２０ｂに接続されるインターフェース回
路３２と、制御プログラムを格納するＲＯＭ３３と、計
算処理途中の各種パラメータを記憶するＲＡＭ３４と、
処理結果のパラメータを記憶する出力用メモリ３５と、
上記ディスプレイ（ＤＩＳＰ）９を制御するためのディ
スプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）３６
と、上記車速センサ４、上記舵角センサ５等からの信号
を入力するＩ／Ｏインターフェース回路３７とが接続さ
れている。

【００２８】上記画像処理用コンピュータ３０では、画
素を単位とする距離画像上の座標系を、図９に示すよう
に、左下隅を原点として横方向をｉ座標軸，縦方向をｊ
座標軸として扱い、画素ズレ数をｄｐとする距離画像上
の点（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路
形状の認識や立体物の位置検出等の処理を行う。

【００２９】すなわち、実空間の三次元の座標系を、自
車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方
向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前
方、原点を２台のＣＣＤカメラ１０ａ，１０ｂの中央の
真下の道路面とすると、Ｘ−Ｚ平面（Ｙ＝０）は、道路
が平坦な場合、道路面と一致することになり、以下の
(1)〜(3)式により、距離画像上の点（ｉ，ｊ，ｄｐ）
を、実空間上の点（ｘ，ｙ，ｚ）に座標変換することが
できる。ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1) ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …(2) ｚ＝ＫＳ／ｄｐ …(3) 但し、ＣＤ：ＣＣＤカメラ１０ａ，１０ｂの間隔ＰＷ：１画素当たりの視野角ＣＨ：ＣＣＤカメラ１０ａ，１０ｂの取付け高さＩV，ＪV：車両１の真正面の無限遠点の画像上の座標
（画素）ＫＳ：距離係数（ＫＳ＝ＣＤ／ＰＷ）尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，
ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。

【００３０】ｉ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4) ｊ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5) ｄｐ＝ＫＳ／ｚ …(6)

【００３１】次に、上記画像処理用コンピュータ３０に
おける個々の処理について説明する。まず、上記マイク
ロプロセッサ３０ａによる道路検出処理では、距離画像
メモリ２０ｂに記憶された距離画像からの３次元的な位
置情報を利用して実際の道路上の白線だけを分離して抽
出し、内蔵した道路モデルのパラメータを実際の道路形
状と合致するよう修正・変更して道路形状を認識する。

【００３２】上記道路モデルは、認識対象範囲までの道
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線を３次元の直線式で近似して
折れ線状に連結したものであり、実空間の座標系におけ
る水平方向の直線式のパラメータａ，ｂ、及び、垂直方
向の直線式のパラメータｃ，ｄを求め、以下の(7)式に
示す水平方向の直線式、及び、以下の(8)式に示す垂直
方向の直線式を得る。ｘ＝ａ・ｚ＋ｂ …(7) ｙ＝ｃ・ｚ＋ｄ …(8)

【００３３】また、上記マイクロプロセッサ３０ｂによ
る立体物検出処理では、距離画像を格子状に所定の間隔
で区分し、各区分毎に、上記マイクロプロセッサ３０ａ
によって検出された道路形状に基づいて道路表面より上
のデータを立体物データとして抽出し、立体物までの距
離を算出する。そして、各区分毎の距離を調べ、立体物
の後部、側部、及び、ガードレール等の道路に沿った構
造物を検出する等の処理を行う。

【００３４】図３は、上記マイクロプロセッサ３０ｂに
おける立体物検出に係わる機能構成を示すものであり、
距離データ検出部４０、距離グループ検出部４１、距離
グループ分割部４２、グループパラメータ算出部４３、
グループ結合部４４、同一立体物検出部４５、速度算出
部４６に大別することができる。

【００３５】この機能構成による立体物検出処理では、
距離データ検出部４０で、距離分布の情報の中から道路
表面より上にあるデータを立体物データとして抽出する
と、距離画像を左右方向に所定間隔で区分して各区分毎
にヒストグラムを作成し、このヒストグラムから各区分
を代表する立体物の存在位置と、その距離を求める。次
いで、距離グループ検出部４１では、区分毎の距離を画
像の左から右へ順次比較してゆき、前後方向（Ｚ軸方
向）及び横方向（Ｘ軸方向）の距離が接近しているもの
をグループとしてまとめる。

【００３６】さらに、距離グループ分割部４２で、各グ
ループについてデータの並び方向をチェックして方向が
大きく変化する部分でグループを分割する。そして、グ
ループパラメータ算出部４４で、グループ全体としての
距離データの並び方向（Ｚ軸との傾き）から個々のグル
ープを立体物あるいは側壁に分類し、立体物と分類され
たグループについて、グループ内の距離データから平均
距離や左端、右端のＸ座標等のパラメータを算出し、側
壁と分類されたグループについては、並び方向（Ｚ軸と
の傾き）や前後端の位置（Ｚ，Ｘ座標）等のパラメータ
を算出する。

【００３７】次に、グループ結合部４４で、各グループ
の相互の位置関係を調べ、端点の位置が接近し、且つ、
並び方向がほぼ一致しているグループを再結合し、改め
て再結合したグループのパラメータを算出する。また、
同一立体物検出部４５で、同一の立体物に対し、後部を
検出したグループと側面を検出したグループとを識別し
て１個の立体物を物体と側壁との組み合わせとして認識
し、物体と側壁の交点で形成する立体物のコーナー点の
位置を算出する。そして、速度算出部４６で、立体物の
Ｚ軸方向の移動速度及びＸ軸方向の移動速度を算出し、
立体物の位置、及び、立体物の移動速度等のパラメータ
を後段の処理へ渡す。

【００３８】尚、上記距離画像の生成、この距離画像か
ら道路形状を検出する処理、及び、衝突・接触判断処理
については、本出願人によって先に提出された特開平５
−２６５５４７号公報や特開平６−２６６８２８号公報
等に詳述されている。

【００３９】以下、上記マイクロプロセッサ３０ｂによ
る立体物検出処理について、図４〜図７のフローチャー
トに従って説明する。

【００４０】このプログラムでは、まず、ステップS101
〜ステップ115の距離データ検出処理で、距離画像を所
定間隔で格子状に区分した各区分毎に、立体物の存在
と、その距離の算出を行う。すなわち、ステップS101で
道路形状パラメータを読み込むと、ステップS102で、図
１０に示すように、距離画像を所定間隔（例えば、８〜
２０画素間隔）で格子状に区分し、ステップS103で、各
区分毎に立体物のデータを抽出し、その検出距離を算出
するため、最初の区分のデータを読み込む。

【００４１】次に、ステップS104へ進んで区分内の最初
のデータをセットすると、ステップS105で被写体の三次
元位置（ｘ，ｙ，ｚ）を前述の(1)〜(3)式によって求
め、ステップS106で、前述の道路形状の直線式(7),(8)
を使って距離ｚに於ける道路表面の高さｙｒを算出す
る。次に、ステップS107へ進み、以下の(9)式によって
算出した被写体の道路表面からの高さＨに基づいて、道
路面より上にあるデータを立体物データとして抽出す
る。Ｈ＝ｙ−ｙｒ …(9)

【００４２】この場合、高さＨが０．１ｍ程度以下の被
写体は、道路上の白線や汚れ、影等と考えられるため、
この被写体のデータは棄却する。また、自車両１の高さ
より上にある被写体も、歩道橋や標識などと考えられる
ので棄却し、道路上の立体物と推定されるデータのみを
選別する。

【００４３】その後、ステップS108へ進んで最終データ
か否かを調べ、最終データでないときには、ステップS1
09で区分内の次のデータをセットして前述のステップS1
05へ戻り、同様の処理を繰り返して道路面より上にある
データを抽出する。そして、１つの区分内で最終データ
の処理が完了すると、ステップS108からステップS110へ
進み、抽出された立体物データに対し、予め設定された
距離Ｚの区間に含まれるデータの個数を数えて距離ｚを
横軸とするヒストグラムを作成する。

【００４４】続くステップS111では、ヒストグラムの度
数が判定値以上で、かつ最大値となる区間を検出し、該
当する区間があれば、ステップS112において、その区間
に立体物が存在すると判断し、その立体物までの距離を
検出する。

【００４５】上記ヒストグラムでは、入力される距離画
像中の距離データには誤って検出された値も存在し、実
際には物体の存在しない位置にも多少のデータが現れ
る。しかしながら、ある程度の大きさの物体があると、
その位置の度数は大きな値を示し、一方、物体が何も存
在しない場合には誤った距離データのみによって発生す
る度数は小さな値となる。従って、作成されたヒストグ
ラムの度数が、予め設定した判定値以上かつ最大値をと
る区間があれば、その区間に物体が存在すると判断し、
度数の最大値が判定値以下の場合は物体が存在しないと
判断しても差し支えなく、画像のデータに多少のノイズ
が含まれている場合においても、ノイズの影響を最小限
にして物体を検出できる。

【００４６】その後、上記ステップS112からステップS1
13へ進んで最終区分に達したか否かを調べる。そして、
最終区分に達していないときには、上記ステップS112か
らステップS114へ進んで次の区分のデータを読み込む
と、前述のステップS104へ戻り、道路面より上にあるデ
ータの抽出、ヒストグラムの作成、及び、各区分内での
立体物の検出と距離の算出を行う。以上の処理を繰り返
し、やがて、最終区分に達すると、上記ステップS113か
らステップS115以降へ進む。

【００４７】図１２は、図１１に示す検出対象の画像を
以上の距離データ検出処理によって検出し、区分毎の距
離をＸ−Ｚ平面上に示した例であり、検出した距離に多
少の誤差が含まれるため、黒点で示すように、立体物の
自車両に面した部分に多少のバラツキを持ったデータと
して検出される。

【００４８】これらの距離データは、ステップS115〜ス
テップS121の距離グループ検出処理により、距離が接近
しているグループに分けられる。この処理では、各区分
の立体物の検出距離を調べ、隣接する区分において立体
物までの検出距離の差異が判定値以下の場合は同一の立
体物と見なし、一方、判定値を超えている場合は別々の
立体物と見なしてグループ分けを行う。

【００４９】このため、ステップS115では、まず、最初
の区分（例えば左端）を調べ、立体物が検出されている
場合には、距離データを読み込んで、この区分Ｒ１を、
グループＳ１、距離Ｚ１に分類する。次に、ステップS1
16へ進んで右隣の区分Ｒ２を調べ、立体物が検出されて
いない場合には、グループＳ１は区分Ｒ１の内部とその
近辺に存在し、その距離はＺ１と判定し、一方、区分Ｒ
２で立体物が検出されており、その検出距離がＺ２であ
る場合には、区分Ｒ１の距離Ｚ１と右隣の区分Ｒ２の距
離Ｚ２の差を計算する。

【００５０】その後、ステップS117へ進んで右隣の区分
との距離の差が判定値以下か否かを調べ、距離の差が判
定値以下で互いに接近しているときには、ステップS118
で、区分Ｒ２で検出された立体物は、先に検出されたグ
ループＳ１に属すると判定して同一グループにラベル付
けを行い、その距離をＺ１とＺ２との平均値としてステ
ップS120へ進む。

【００５１】一方、右隣の区分との距離の差が判定値を
超えているときには、上記ステップS117からステップS1
19へ進み、区分Ｒ２で検出された立体物は、先に検出さ
れたグループＳ１とは異なると判定して新しいグループ
（グループＳ２、距離Ｚ２）にラベル付けを行い、ステ
ップS120へ進む。

【００５２】ステップS120では、最終区分に達したか否
かを調べ、最終区分に達していないときには、ステップ
S121で次の区分の距離を読み込み、上記ステップS116へ
戻っり、さらに右隣の領域を調べてゆく。また、最終区
分に達したときには、ステップS120からステップS122以
降へ進む。

【００５３】以上の距離グループ検出処理により、例え
ば、図１２に示す距離データでは、図１３に示すよう
に、進行方向左側のガードレール付近の区分と、このガ
ードレールの脇に駐車している車両の後部及び側部付近
の区分とを含むグループ１、自車両の走行レーン内の先
行車両の後部付近の区分を含むグループ２、進行方向右
側の走行レーンの先行車両の後部及び側部付近の区分を
含むグループ３、進行方向右側の走行レーンの先行車両
の側部付近の区分を含むグループ４の４個のグループに
分けられる。

【００５４】図１３の例では、進行方向左側のガードレ
ールと、このガードレールの脇に駐車している車両との
位置が接近しているため、ガードレールの距離データ
と、このガードレールに脇に駐車している車両上の距離
データとが、同一のグループとして処理されてしまう。
従って、次のステップS122〜ステップS132におけるグル
ープ分割処理で距離データのＸ−Ｚ平面上での並び方向
を調べ、並び方向がＺ軸と平行な部分とＸ軸と平行な部
分とでグループを分割する。

【００５５】このグループ分割処理では、ステップS122
で、最初のグループのデータを読み込み、ステップS124
で、このグループ内の各区分の並び方向を算出すると、
ステップS125で各区分に“物体”、“側壁”のラベルを
付ける。具体的には、グループ内での左端の区分Ｋ１の
位置をＺ１，Ｘ１とし、Ｎ個だけ右側の区分の位置をＺ
ｐ，Ｘｐとすると、点Ｘ１，Ｚ１と点Ｘｐ，Ｚｐとの２
点を結ぶ直線のＺ軸に対する傾きＡ１を算出し、この直
線の傾きＡ１を設定値（例えば、４５°程度）と比較す
る。そして、直線の傾きＡ１が設定値以下でデータの並
びが略Ｚ軸方向の場合には、区分Ｋ１は“側壁”とラベ
ル付けし、上記直線の傾きＡ１が設定値を超え、データ
の並びが略Ｘ軸方向の場合には、“物体”とラベル付け
する。

【００５６】このラベル付けの際の区分の間隔Ｎは、Ｎ
＝２〜４区分程度とする。これは、Ｎ＝１すなわち右隣
の区分では、検出距離のバラツキのために並び方向が大
きくばらついてしまい、分割の判断が難しくなるためで
あり、少し離れた区分との並び方向を使うことにより、
方向の安定化を図る。そして、この“側壁”あるいは
“物体”のラベル付けを、グループ内の左端の区分から
順に、右端からＮ個左側の区分まで行い、各区分にラベ
ル付けをする。

【００５７】以上により、各区分のラベル付けが完了す
ると、上記ステップS124からステップS125へ進んで左端
の区分のラベルを読み込み、さらに、ステップS126で、
その右隣の区分のラベルを読み込む。次いで、ステップ
S127へ進み、左端のラベルと、その右隣のラベルが異な
るか否かを調べる。その結果、上記ステップS127におい
て、ラベルが同じときにはステップS129へジャンプし、
ラベルが異なるとき、ステップS128で“側壁”とラベル
付けされた区分と“物体”とラベル付けされた区分とを
分割して別のグループとし、ステップS129へ進む。分割
する区分の位置は、ラベルが“側壁”←→“物体”で変
化する位置のＮ／２区分だけ右側となる。

【００５８】尚、この場合、距離データのバラツキ等に
より部分的にラベルが変化する状況に対処するため、同
じラベルが判定値以上（例えば、３区分以上）連続して
並んでいる場合にのみ分割を行い、判定値未満の場合に
は、分割は行わない。

【００５９】ステップS129では、最終区分か否かを調
べ、最終区分でないとき、ステップS130で次の区分のラ
ベルを読み込んで上記ステップS126へ戻り、同様の処理
を繰り返す。そして、最終区分に達すると、上記ステッ
プS129からステップS131ヘ進み、最終グループに達した
か否かを調べる。その結果、最終グループに達していな
いときには、ステップS132で次のグループのデータを読
み込み、次のグループに対して同様にグループを分割す
る処理を行う。この処理を繰り返し、やがて、最終グル
ープに達すると、グループ分割処理を完了してステップ
S131からステップS133以降へ進む。

【００６０】以上のグループ分割処理により、図１３の
例では、同じ距離グループのグループ１として検出され
た進行方向左側のガードレール、及び、このガードレー
ルの脇に駐車している車両は、左側のガードレール付近
の区分が“側壁”、停車車両の後部が“物体”とラベル
付けされ、車両側面の付近の区分が“側壁”とラベル付
けされる。さらに、グループ３の進行方向右側の走行レ
ーンの先行車両では、車両側面の付近の区分が“側壁”
とラベル付けされ、車両後部が“物体”とラベル付けさ
れる。従って、図１４に示すように、分割前のグループ
１は、グループ１，５，６の３個のグループに分割さ
れ、分割前のグループ３は、グループ３，７の２個のグ
ループに分割される。

【００６１】次のステップS133〜ステップS138は、分割
された各グループに対し、側壁か物体かの分類を行って
各グループのパラメータを算出する処理であり、ステッ
プS133で最初のグループのデータを読み込むと、ステッ
プS135で、グループ内の各区分の位置（Ｘｉ，Ｚｉ）か
らハフ変換あるいは最小二乗法によって近似直線を求
め、グループ全体の傾きを算出する。

【００６２】次に、ステップS135へ進んで、グループ全
体の傾きから、Ｘ軸方向の傾きを有するグループを物
体、Ｚ軸方向の傾きを有するグループを側壁に分類し、
ステップS136で、各グループのパラメータを算出する。
このパラメータは、物体と分類されたグループでは、グ
ループ内の距離データから算出される平均距離や、左
端、右端のＸ座標等のパラメータであり、側壁と分類さ
れたグループでは、並びの方向（Ｚ軸との傾き）や前後
端の位置（Ｚ，Ｘ座標）等のパラメータである。

【００６３】尚、グループの分類は、前述のグループ分
割処理で付けられた各区分の“側壁”あるいは“物体”
のラベルによって行っても良い。

【００６４】そして、上記ステップS136からステップS1
37へ進んで最終グループに達したか否かを調べ、最終グ
ループでないときには、ステップS138で次のグループの
データを読み込んで上記ステップS134へ戻り、最終グル
ープに達すると、ステップS139以降の処理へ進む。

【００６５】ここで、立体物の１個の面、例えば連続し
たガードレール等では、区分毎の距離データのバラツキ
の影響を強く受けることがあり、先の距離グループ検出
処理あるいはグループ分割処理で複数のグループに分割
されてしまう場合がある。この対策として、以下のステ
ップS139〜ステップS147のグループ結合処理において、
先のグループパラメータ算出処理で算出されたグループ
パラメータによって各グループの相互の位置関係を調
べ、同種類のグループで端点の位置が接近し、且つ、並
び方向がほぼ等しい場合には、同一物体の同一の面であ
ると判断し、それらのグループを１個のグループに統合
する。そして、統合したグループとしての各種パラメー
タをグループパラメータ算出処理と同様にして再計算す
る。

【００６６】このため、ステップS139で、最初のグルー
プのパラメータを読み込み、ステップS140で、次のグル
ープのパラメータを読み込むと、ステップS141で、各グ
ループの端点の距離の差、及び、各グループの傾きの差
を算出する。そして、ステップS142で、各グループの端
点の距離の差、及び、各グループの傾きの差が、それぞ
れの判定値以内か否かを調べ、共に判定値以内のとき、
ステップS143へ進んで同一物体のグループとしてグルー
プを結合し、再度、改めてグループのパラメータを算出
してステップS146へ進む。

【００６７】一方、上記ステップS142で、各グループの
端点の距離の差、あるいは、各グループの傾きの差が判
定値以内でないときには、上記ステップS142からステッ
プS144へ進んで最終グループか否かを調べ、最終グルー
プでないときには、ステップS145で次のグループのパラ
メータを読み込んでステップS141へ戻り、最終グループ
のとき、ステップS146へ進む。

【００６８】ステップS146では、最終グループか否かを
調べ、最終グループでないとき、ステップS147で次のグ
ループのパラメータを読み込んで上記ステップS140へ戻
り、最終グループのとき、ステップS148以降へ進む。

【００６９】以上のグループ結合処理により、立体物の
１つの面を誤って分割して検出することが防止される。
このグループ結合処理の後、例えば、図１４に示すよう
に、グループ５とグループ６、グループ３とグループ７
等、同一立体物の後部と側面で別のグループに分離され
ているものに対し、下のステップS148〜ステップS157の
処理により、同一の立体物であることを検出し、１個の
立体物を、“物体”と“側壁”との組み合わせ（後部は
“物体”、側面は“側壁”とする）として認識する。

【００７０】この処理では、まず、ステップS148で、物
体と分類された最初のグループのパラメータを読み込
み、ステップS149で、側壁と分類された最初のグループ
のパラメータを読み込む。次いで、ステップS150へ進
み、物体と分類されたグループの端点の位置と、側壁と
分類されたグループの端点の位置との差を算出する。こ
の場合、各端点の位置は、“物体”が自動車の正面（Ｚ
軸に相当）より右側にある場合には、“物体”の左端の
位置と“側壁”の手前側の端点の位置との差を算出し、
“物体”が自車両の正面より左側にある場合には、“物
体”の右端の位置と“側壁”の手前側の端点の位置との
差を算出する。

【００７１】そして、ステップS151で、各グループの端
点の位置の差が判定値（例えば、１ｍ程度）以内で、互
いに接近しているか否かを調べ、判定値を超えていると
きには、ステップS152へ分岐して最終側壁か否かを調
べ、最終側壁でないときには、ステップS153で側壁と分
類された次のグループのパラメータを読み込んで上記ス
テップS150へ戻り、最終側壁のとき、ステップS156へ進
む。

【００７２】一方、上記ステップS151で、各グループの
端点の位置の差が判定値以内のときには、上記ステップ
S151からステップS154へ進んで同一立体物であると判定
する。すなわち、１個の立体物の後部と側面とが同時に
見える場合、その２つの面が作るコーナーは手前に凸と
なっているため、“物体”の左端の位置と“側壁”の手
前側の端点の位置、あるいは、“物体”の右端の位置と
“側壁”の手前側の端点の位置とは、本来、一致してい
る。従って、２つのグループの位置の差が上記判定値以
内にあるとき、この２つのグループは１個の立体物を分
けて検出した対であると判断することができる。

【００７３】その後、上記ステップS154からステップS1
55へ進み、同一の立体物と判断された“物体”と“側
壁”との対に対し、それぞれの近似直線を延長して交差
する点を立体物のコーナー点の位置として算出すると、
グループのパラメータとして記憶されている各端点の位
置を、このコーナー点の位置に変更する。そして、ステ
ップS156で、“物体”の最終グループか否かを調べ、
“物体”の最終グループでないときには、ステップS157
で、“物体”と分類された次のグループのパラメータを
読み込み、上記ステップS149へ戻って同様の処理を繰り
返す。一方、ステップS156で“物体”の最終のグループ
のときには、次のステップS158以降の処理へ進む。

【００７４】図１５は、図１１に示す検出対象例に対
し、“物体”及び“側壁”の検出結果を枠線で示したも
のであり、Ｘ−Ｚ平面で示すと、図１６のようになる。
図１６では、“物体”は太線の実線で示され、“側壁”
は太線の破線で示される。

【００７５】次に、ステップS158以降は、所定の時間間
隔（例えば、０．１ｓｅｃ）の処理サイクル毎に検出さ
れる“物体”や“側壁“の位置の変化から、これらの移
動速度を算出する速度算出処理であり、まず、ステップ
S158で、最初のグループのパラメータを読み込み、ステ
ップS159で同一立体物の対となっているか否かを調べ
る。

【００７６】そして、同一立体物の対となっていないと
きには、上記ステップS159からステップS160へ進み、
“物体”では左右端の中央、“側壁”では前後端の中央
を中心点の位置として、この中心点の位置の時間変化量
を算出すると、ステップS161で、前後方向の速度すなわ
ちＺ方向の速度Ｖｚを、中心点のＺ座標の時間変化量か
ら算出するともに、左右方向の速度すなわちＸ方向の速
度を、中心点のＸ座標の時間変化量から算出し、ステッ
プS164へジャンプする。

【００７７】ステップS164では、最終グループか否かを
調べ、最終グループでないときには、ステップS165で次
のグループのパラメータを読み込み、ステップS159へ戻
って同一立体物の対か否かを調べる。その結果、同一立
体物の対でないときには、前述のステップS160,S161を
経て中心点の位置に時間変化から前後・左右方向の速度
を算出し、最終グループか否かを調べるステップS164へ
戻る。

【００７８】一方、上記ステップS159で同一立体物の対
であるときには、上記ステップS159からステップS162へ
進んで、対応する“物体”又は“側壁”のパラメータを
読み込み、ステップS163で、“物体”から前後方向の速
度（Ｚ軸方向の速度Ｖｚ）を算出するとともに、“側
壁”から左右方向の速度（Ｘ軸方向の速度Ｖｘ）を算出
し、これらの速度Ｖｚ，Ｖｘを、同一立体物におけるＺ
軸方向、Ｘ軸方向の速度とする。そして、ステップS164
で、最終グループか否かを調べ、最終グループでないと
きには、以上の処理を繰り返し、最終グループのとき、
ステップS164からステップS166へ進んで、各グループの
パラメータをメモリに書き込み、立体物検出処理の全体
のプログラムを終了する。

【００７９】すなわち、“物体”では、Ｚ軸方向の位置
は複数の区分の距離の平均値的な値となり、速度Ｖｚは
安定しているが、Ｘ方向の位置は左右端のＸ座標のバラ
ツキの影響を受け、速度Ｖｘはバラツキが大きい傾向に
ある。一方、“側壁”では、Ｘ方向の位置は複数の区分
のＸ座標の平均値的な値となり、速度Ｖｘは安定してい
るが、Ｚ方向の位置は前後端のＺ座標のバラツキの影響
を受け、速度Ｖｚはバラツキが大きくなる傾向にある。
従って、両方の安定した速度のみを用いて同一立体物の
速度とするのである。

【００８０】以上の処理によって検出された物体や側壁
のデータは、車両がガードレール等に接触する危険や先
行車や障害物と衝突する危険を判断し、運転者に警報を
発したり、車両自動停止装置等に渡されるが、先行車や
障害物等の物体とガードレール等の道路に沿った構造物
とを同一の処理によって検出するため、計算処理量を低
減して迅速な処理を可能とし、システム全体の応答性を
向上して安全確保に寄与することができる。

【００８１】しかも、図１４のグループ５，６の駐車車
両や、グループ３，７の右側の走行レーンの先行車両
等、従来、正確な位置検出が困難であった斜め前方の車
両の後部と側面とを同時に検出し、前後方向（Ｚ軸方
向）、左右方向（Ｘ軸方向）、コーナー点の位置等を高
い精度で検出することができるため、混雑した道路等で
斜め前方の車両が自車両の前へ割り込んでくるような状
況が発生しても、斜め前方の車両のコーナー部との接触
や衝突を未然に回避することが可能となる。さらには、
図１４のグループ４のように、画像の視野に一部分が入
っているだけの車両の側面を検出することができ、自車
両の直前に割り込んでくる車両の早期検出に有効であ
る。

【００８２】図１７〜図２１は本発明の実施の第２形態
に係わり、図１７は車外監視装置の全体構成図、図１８
は車外監視装置の回路ブロック図、図１９はレーザビー
ムの走査方法を側面から示す説明図、図２０はレーザビ
ームの走査方法を上面から示す説明図、図２１はレーザ
レーダ測距装置で計測される立体物の二次元分布の例を
示す説明図である。

【００８３】前述の第１形態ではカメラの撮像画像を処
理して車外の物体を検出するようにしているが、これに
対し、本形態は、レーザビームの走査によって車外の物
体を検出するものである。すなわち、図１７に示すよう
に、本形態の車両５０に搭載される車外監視装置６０
は、前述の第１形態のステレオ光学系１０及びイメージ
プロセッサ２０に代えてレーザビームによるレーザレー
ダ測距装置７０を採用し、このレーザレーダ測距装置７
０に画像処理用コンピュータ３０を接続したものであ
る。

【００８４】上記レーザレーダ測距装置７０は、レーザ
ビームを投射し、このレーザビームが物体に当たって反
射してくる光を受光し、この所要時間から物体までの距
離を測定するものであり、本形態の車外監視装置６０に
は周知のレーザレーダ測距装置を適用することができ
る。

【００８５】本形態の車外監視装置６０では、レーザビ
ームの投射・受光と左右方向への走査機能を有するレー
ザ投光ユニット７１が車両の前部に取り付けられてお
り、図１８に示すように、レーザレーダ測距装置７０に
は、レーザービームの投光受光の所要時間から物体まで
の距離を計算し、また、レーザビームを走査する方向か
ら物体の二次元の位置を計算する距離検出回路７０ａ、
検出された物体の二次元の位置を書き込む二次元分布メ
モリ７０ｂ等から構成されている。

【００８６】図１９に示すように、レーザ投光ユニット
７１からはレーザビームが水平に投射され、道路表面よ
り高い位置にある立体物のみが検出される。また、図２
０に示すように、レーザビームは左右方向に走査され、
所定の走査範囲で一定の間隔毎にレーザビームが投光・
受光されて距離を検出する動作が繰り返され、立体物の
二次元分布が計測される。

【００８７】例えば、前方左側にガードレール、右前方
に他の車両がある状況を上記レーザレーダ測距装置７０
で計測すると、図２１に示すような立体物の二次元分布
の情報が得られる。これは、前述の第１形態における区
分毎の立体物の距離データと同様である。

【００８８】従って、レーザレーダ測距装置７０の出力
である立体物の二次元分布に対し、第１形態と同様の処
理を行なうことにより、物体や壁面を検出することがで
きる。本形態では、立体物のデータを処理が容易な形態
で得ることができ、計算処理量を更に低減することが可
能である。

【００８９】

【発明の効果】以上説明したように本発明によれば、先
行車や障害物等の物体とガードレール等の道路に沿った
構造物とを同一の処理によって検出して計算処理を低減
し、且つ、正確な検出が困難であった斜め前方の車両の
位置や挙動を正確に検出することができ、システム全体
の応答性を向上して安全確保に寄与することができる等
優れた効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の第１形態に係わり、車外監視装
置の全体構成図

【図２】同上、車外監視装置の回路ブロック図

【図３】同上、立体物検出の機能ブロック図

【図４】同上、立体物検出処理のフローチャート（その
１）

【図５】同上、立体物検出処理のフローチャート（その
２）

【図６】同上、立体物検出処理のフローチャート（その
３）

【図７】同上、立体物検出処理のフローチャート（その
４）

【図８】同上、車載のカメラで撮像した画像の例を示す
説明図

【図９】同上、距離画像の例を示す説明図

【図１０】同上、距離画像の区分を示す説明図

【図１１】同上、検出対象の状況例を示す説明図

【図１２】同上、区分毎の立体物の検出距離の例を示す
説明図

【図１３】同上、区分毎の立体物の検出距離をグループ
化した例を示す説明図

【図１４】同上、距離データの並び方向によるグループ
の分割を示す説明図

【図１５】同上、検出対象に対する検出結果を示す説明
図

【図１６】同上、検出結果をＸ−Ｚ平面で示した説明図

【図１７】本発明の第２形態に係わり、車外監視装置の
全体構成図

【図１８】同上、車外監視装置の回路ブロック図

【図１９】同上、レーザビームの走査方法を側面から示
す説明図

【図２０】同上、レーザビームの走査方法を上面から示
す説明図

【図２１】同上、レーザレーダ測距装置で計測される立
体物の二次元分布の例を示す説明図

【符号の説明】

１ …車外監視装置１０ａ，１０ｂ…ＣＣＤカメラ２０…イメージプロセッサ３０…画像処理用コンピュータ４０…距離データ検出部４１…距離グループ検出部４２…距離グループ分割部４３…グループパラメータ算出部４４…グループ結合部４５…同一立体物検出部４６…速度算出部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 B60R 21/00 624 G06T 7/00 G06T 7/00 250 G08G 1/16

Claims

(57)【特許請求の範囲】

【請求項１】距離検出手段の検出領域を複数に区分し、
それぞれの区分毎に得られた距離データに基づいて車外
の立体物を認識する車外監視装置において、隣接する区分の距離データを比較して区分をグループ化
する手段と、グループ化された区分の距離データの並び方向を算出す
ると共に該並び方向に基づいて上記グループを分割する
手段と、分割したグループ毎に上記距離データが上記立体物の後
部を示すか側部を示すかを判別する手段とを備えたこと
を特徴とする車外監視装置。
【請求項２】上記グループを分割する手段は、距離デー
タの並び方向が変化する部分を境に当該グループを分割
することを特徴とする請求項１記載の車外監視装置
【請求項３】各グループについて、立体物の位置に係
わるパラメータを算出する手段を備えたことを特徴とす
る請求項１記載の車外監視装置。
【請求項４】各グループにおける立体物の相互の位置
関係に基づき、端点が近接し、距離データの並び方向が
略等しい立体物を有する複数のグループを同一立体物に
関するグループとして結合する手段を備えたことを特徴
とする請求項３記載の車外監視装置。
【請求項５】立体物後部と判別されたグループにおけ
る立体物の端点位置と立体物側部と判別されたグループ
における立体物の端点位置が近接している場合に、両グ
ループは同一立体物に関する後部と側部の組合わせとし
て認識する手段を備えたことを特徴とする請求項３記載
の車外監視装置。
【請求項６】上記距離データは、ステレオカメラ装置
により計測されたものであることを特徴とする請求項１
記載の車外監視装置。
【請求項７】上記距離データは、レーダ測距装置によ
り計測されたものであることを特徴とする請求項１記載
の車外監視装置。