JP3349060B2 - 車外監視装置 - Google Patents

車外監視装置

Info

Publication number
JP3349060B2
JP3349060B2 JP08687897A JP8687897A JP3349060B2 JP 3349060 B2 JP3349060 B2 JP 3349060B2 JP 08687897 A JP08687897 A JP 08687897A JP 8687897 A JP8687897 A JP 8687897A JP 3349060 B2 JP3349060 B2 JP 3349060B2
Authority
JP
Japan
Prior art keywords
group
distance
dimensional object
vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP08687897A
Other languages
English (en)
Other versions
JPH10283461A (ja
Inventor
圭二 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP08687897A priority Critical patent/JP3349060B2/ja
Publication of JPH10283461A publication Critical patent/JPH10283461A/ja
Application granted granted Critical
Publication of JP3349060B2 publication Critical patent/JP3349060B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車外の物体の距離
分布を示す疑似画像に基づいて車外の状況を認識する車
外監視装置に関する。
【0002】
【従来の技術】最近では、自動車にTVカメラやレーザ
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定して運転者に警報を発した
り、自動的にブレーキを作動させて停止させる、あるい
は、先行車との車間距離を安全に保つよう自動的に走行
速度を増減する等のASV(Advanced Safety Vehicl
e;先進安全自動車)に係わる技術の開発が積極的に進
められている。
【0003】TVカメラの画像から前方の物体を検知す
る技術としては、本出願人によって先に提出された特開
平5−265547号公報の技術がある。この技術で
は、車両の左右に取り付けた2台のステレオカメラの画
像を距離画像に変換し、この距離画像を所定の間隔で格
子状に区分し、各区分毎に立体物のデータを抽出して区
分毎の立体物までの距離を検出すると、次に、区分毎の
検出距離を調べ、隣接する区分で検出距離が接近してい
る場合には、それらの区分は1個の物体を検出している
と見なして1つのグループにまとめる。そして、立体物
の各グループに対し、物体が存在すると推定される位置
を包含する三次元空間の領域を設定し、その領域内に存
在する立体物のデータを抽出することによって、立体物
の輪郭像を抽出し、その立体物の位置や大きさを検出す
るようにしている。
【0004】また、本出願人は、同様に、区分毎に立体
物のデータを抽出し、これらのデータをハフ変換によっ
て処理し、ガードレール等の道路に沿った立体物を検出
する技術を、特開平6−266828号公報において提
案している。
【0005】
【発明が解決しようとする課題】しかしながら、道路走
行においては、先行車等の立体物と、道路脇のガードレ
ール等の立体物との両方を同時に認識する必要があり、
先に提案した技術では、2種類の処理を実施する必要が
あるため、計算処理量が大きくなる。
【0006】また、混雑した一般道路では、斜め前方の
車両が急に割り込む等の危険な挙動に注意を払う必要が
あり、このような斜め前方の車両は、その車両の後部と
側面とが同時に画像に映るため、従来の技術では、車両
の側面部分の輪郭像が不安定になる傾向がある。さら
に、車両の側面のように短い物体を検出するには難があ
り、斜め前方の車両の位置や挙動を十分正確に検出する
ことは困難であった。
【0007】本発明は上記事情に鑑みてなされたもの
で、先行車や障害物等の物体とガードレール等の道路に
沿った構造物とを同一の処理によって検出することで計
算処理を低減し、且つ、従来、正確な検出が困難であっ
た斜め前方の車両の位置や挙動を、正確に検出すること
のできる車外監視装置を提供することを目的としてい
る。
【0008】
【課題を解決するための手段】請求項1記載の発明は、
距離検出手段の検出領域を複数に区分し、それぞれの区
分毎に得られた距離データに基づいて車外の立体物を認
識する車外監視装置において、隣接する区分の距離デー
タを比較して区分をグループ化する手段と、グループ化
された区分の距離データの並び方向を算出すると共に該
並び方向に基づいて上記グループを分割する手段と、分
割したグループ毎に上記距離データが上記立体物の後部
を示すか側部を示すかを判別する手段とを備えたことを
特徴とする。
【0009】請求項2記載の発明は、請求項1記載の発
明において、上記グループを分割する手段は、距離デー
タの並び方向が変化する部分を境に当該グループを分割
ることを特徴とする。
【0010】請求項3記載の発明は、請求項1記載の発
明において、各グループについて、立体物の位置に係わ
るパラメータを算出する手段を備えたことを特徴とす
る。
【0011】請求項4記載の発明は、請求項3記載の発
明において、各グループにおける立体物の相互の位置関
係に基づき、端点が近接し、距離データの並び方向が略
等しい立体物を有する複数のグループを同一立体物に関
するグループとして結合する手段を備えたことを特徴と
する。
【0012】請求項5記載の発明は、請求項3記載の発
明において、立体物後部と判別されたグループにおける
立体物の端点位置と立体物側部と判別されたグループに
おける立体物の端点位置が近接している場合に、両グル
ープは同一立体物に関する後部と側部の組合わせとして
認識する手段を備えたことを特徴とする。
【0013】請求項6記載の発明は、請求項1記載の発
明において、上記距離データは、ステレオカメラ装置に
より計測されたものであることを特徴とする。
【0014】請求項7記載の発明は、請求項1記載の発
明において、上記距離データは、レーダ測距装置により
計測されたものであることを特徴とする。
【0015】すなわち、本発明の車外監視装置では、距
離検出領域を複数に区分して各区分から得られた距離デ
ータに基づいて車外の立体物を認識する際、隣接する区
分の距離データを比較して区分をグループ化し、グルー
プ化された区分の距離データの並び方向に基づいてグル
ープを分割し、分割したグループ毎に距離データが立体
物の後部を示すか側部を示すかを判別する。
【0016】この場合、各グループについて、距離デー
タの並び方向が変化する部分を境に当該グループを分割
し、分割されたグループ毎に距離データが立体物の後部
を示すか側部を示すかを判別することが望ましい。
た、各グループについて、立体物の位置に係わるパラメ
ータを算出することが望ましく、各グループにおける立
体物の相互の位置関係に基づき、端点が近接し、距離デ
ータの並び方向が略等しい立体物を有する複数のグルー
プを同一立体物に関するグループとして結合することが
望ましい。立体物後部と判別されたグループにおける立
体物の端点位置と立体物側部と判別されたグループにお
ける立体物の端点位置が近接している場合には、両グル
ープは同一立体物に関する後部と側部の組合わせとして
認識することができる。
【0017】また、以上の処理は、ステレオカメラ装置
やレーダ測距装置により計測された距離データに基づい
て行うことができる。
【0018】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1〜図16は本発明の実施の第
1形態に係わり、図1は車外監視装置の全体構成図、図
2は車外監視装置の回路ブロック図、図3は立体物検出
の機能ブロック図、図4〜図7は立体物検出処理のフロ
ーチャート、図8は車載のカメラで撮像した画像の例を
示す説明図、図9は距離画像の例を示す説明図、図10
は距離画像の区分を示す説明図、図11は検出対象の状
況例を示す説明図、図12は区分毎の立体物の検出距離
の例を示す説明図、図13は区分毎の立体物の検出距離
をグループ化した例を示す説明図、図14は距離データ
の並び方向によるグループの分割を示す説明図、図15
は検出対象に対する検出結果を示す説明図、図16は検
出結果をX−Z平面で示した説明図である。
【0019】図1において、符号1は自動車等の車両で
あり、この車両1に、車外の設置範囲内の対象を撮像
し、撮像画像から車外の物体を認識して監視する車外監
視装置2が搭載されている。この車外監視装置2は、車
外の対象物を異なる位置から撮像するためのステレオ光
学系10、このステレオ光学系10で撮像した画像を処
理して三次元の距離分布情報を算出するイメージプロセ
ッサ20、及び、このイメージプロセッサ20からの距
離情報を入力し、その距離情報から道路形状や複数の立
体物の三次元位置を高速で検出し、その検出結果に基づ
いて先行車や障害物を特定して衝突警報の判断処理等を
行う画像処理用コンピュータ30等から構成されてい
る。
【0020】また、上記画像処理用コンピュータ30に
は、車速センサ4、舵角センサ5等の現在の車両の走行
状態を検出するためのセンサが接続され、認識された物
体が自車両1の障害物となる場合、運転者の前方に設置
されたディスプレイ9へ表示して運転者に対する警告を
行う他、図示しないアクチュエータ類を制御する外部装
置を接続することで車体の自動衝突回避制御等が可能と
なっている。
【0021】上記ステレオ光学系10は、例えば電荷結
合素子(CCD)等の固体撮像素子を用いた左右1組の
CCDカメラ10a,10bからなり、上記イメージプ
ロセッサ20では、CCDカメラ10a,10bで撮像
した1対の画像の相関を求め、同一物体に対する視差か
ら三角測量の原理により距離を求める、いわゆるステレ
オ法により画像全体に渡る3次元の距離分布を算出す
る。
【0022】上記画像処理用コンピュータ30では、上
記イメージプロセッサ20からの距離分布情報を読み込
んで道路形状や複数の立体物(車両や障害物等)の3次
元位置を高速で検出し、この検出物体との衝突や接触可
能性を上記車速センサ4や上記舵角センサ5等によって
検出した自車両の走行状態に基づいて判断し、その結果
を上記ディスプレイ9に表示して運転者に知らせる。
【0023】上記イメージプロセッサ20及び上記画像
処理用コンピュータ30は、詳細には、図2に示すハー
ドウエア構成となっている。上記イメージプロセッサ2
0は、上記CCDカメラ10a,10bで撮像した1組
みのステレオ画像対に対して所定の小領域毎に同一の物
体が写っている部分を探索し、対応する位置のずれ量を
求めて物体までの距離を算出し、三次元の距離分布情報
として出力する距離検出回路20aと、この距離検出回
路20aから出力される距離分布情報を記憶する距離画
像メモリ20bとから構成されている。
【0024】上記距離検出回路20aから出力される距
離分布情報は、画像のような形態をした疑似画像(距離
画像)であり、左右2台のCCDカメラ11a,11b
で撮影した画像、例えば図8に示すような画像(図8は
片方のカメラで撮像した画像を模式的に示す)を上記距
離検出回路20aで処理すると、図9のような距離画像
となる。
【0025】図9に示す距離画像の例では、画像サイズ
は横600画素×縦200画素であり、距離データを持
っているのは黒点の部分で、これは図8の画像の各画素
のうち、左右方向に隣合う画素間で明暗変化が大きい部
分である。上記距離検出回路20aでは、この距離画像
を、1ブロックを4×4画素の小領域として横150×
縦50のブロックからなる画像として扱い、各ブロック
毎に距離(画素ズレ数)の算出を行う。
【0026】一方、上記画像処理用コンピュータ30
は、道路形状等の検出処理を主とするマイクロプロセッ
サ30aと、検出した道路形状に基づいて個々の立体物
を検出する処理を主とするマイクロプロセッサ30b
と、検出した立体物の位置情報に基づいて先行車や障害
物を特定し、衝突や接触危険性を判断する処理を主とす
るマイクロプロセッサ30cとがシステムバス31を介
して並列に接続されたマルチマイクロプロセッサのシス
テム構成となっている。
【0027】そして、上記システムバス31には、上記
距離画像メモリ20bに接続されるインターフェース回
路32と、制御プログラムを格納するROM33と、計
算処理途中の各種パラメータを記憶するRAM34と、
処理結果のパラメータを記憶する出力用メモリ35と、
上記ディスプレイ(DISP)9を制御するためのディ
スプレイコントローラ(DISP.CONT.)36
と、上記車速センサ4、上記舵角センサ5等からの信号
を入力するI/Oインターフェース回路37とが接続さ
れている。
【0028】上記画像処理用コンピュータ30では、画
素を単位とする距離画像上の座標系を、図9に示すよう
に、左下隅を原点として横方向をi座標軸,縦方向をj
座標軸として扱い、画素ズレ数をdpとする距離画像上
の点(i,j,dp)を実空間の座標系に変換し、道路
形状の認識や立体物の位置検出等の処理を行う。
【0029】すなわち、実空間の三次元の座標系を、自
車(車両1)固定の座標系とし、X軸を車両1の進行方
向右側側方、Y軸を車両1の上方、Z軸を車両1の前
方、原点を2台のCCDカメラ10a,10bの中央の
真下の道路面とすると、X−Z平面(Y=0)は、道路
が平坦な場合、道路面と一致することになり、以下の
(1)〜(3)式により、距離画像上の点(i,j,dp)
を、実空間上の点(x,y,z)に座標変換することが
できる。 x=CD/2+z・PW・(i−IV) …(1) y=CH+Z・PW・(j−JV) …(2) z=KS/dp …(3) 但し、CD :CCDカメラ10a,10bの間隔 PW :1画素当たりの視野角 CH :CCDカメラ10a,10bの取付け高さ IV,JV:車両1の真正面の無限遠点の画像上の座標
(画素) KS :距離係数(KS=CD/PW) 尚、実空間上の点(x,y,z)から画像上の点(i,
j,dp)を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。
【0030】 i =(x−CD/2)/(z・PW)+IV …(4) j =(y−CH)/(z・PW)+JV …(5) dp=KS/z …(6)
【0031】次に、上記画像処理用コンピュータ30に
おける個々の処理について説明する。まず、上記マイク
ロプロセッサ30aによる道路検出処理では、距離画像
メモリ20bに記憶された距離画像からの3次元的な位
置情報を利用して実際の道路上の白線だけを分離して抽
出し、内蔵した道路モデルのパラメータを実際の道路形
状と合致するよう修正・変更して道路形状を認識する。
【0032】上記道路モデルは、認識対象範囲までの道
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線を3次元の直線式で近似して
折れ線状に連結したものであり、実空間の座標系におけ
る水平方向の直線式のパラメータa,b、及び、垂直方
向の直線式のパラメータc,dを求め、以下の(7)式に
示す水平方向の直線式、及び、以下の(8)式に示す垂直
方向の直線式を得る。 x=a・z+b …(7) y=c・z+d …(8)
【0033】また、上記マイクロプロセッサ30bによ
る立体物検出処理では、距離画像を格子状に所定の間隔
で区分し、各区分毎に、上記マイクロプロセッサ30a
によって検出された道路形状に基づいて道路表面より上
のデータを立体物データとして抽出し、立体物までの距
離を算出する。そして、各区分毎の距離を調べ、立体物
の後部、側部、及び、ガードレール等の道路に沿った構
造物を検出する等の処理を行う。
【0034】図3は、上記マイクロプロセッサ30bに
おける立体物検出に係わる機能構成を示すものであり、
距離データ検出部40、距離グループ検出部41、距離
グループ分割部42、グループパラメータ算出部43、
グループ結合部44、同一立体物検出部45、速度算出
部46に大別することができる。
【0035】この機能構成による立体物検出処理では、
距離データ検出部40で、距離分布の情報の中から道路
表面より上にあるデータを立体物データとして抽出する
と、距離画像を左右方向に所定間隔で区分して各区分毎
にヒストグラムを作成し、このヒストグラムから各区分
を代表する立体物の存在位置と、その距離を求める。次
いで、距離グループ検出部41では、区分毎の距離を画
像の左から右へ順次比較してゆき、前後方向(Z軸方
向)及び横方向(X軸方向)の距離が接近しているもの
をグループとしてまとめる。
【0036】さらに、距離グループ分割部42で、各グ
ループについてデータの並び方向をチェックして方向が
大きく変化する部分でグループを分割する。そして、グ
ループパラメータ算出部44で、グループ全体としての
距離データの並び方向(Z軸との傾き)から個々のグル
ープを立体物あるいは側壁に分類し、立体物と分類され
たグループについて、グループ内の距離データから平均
距離や左端、右端のX座標等のパラメータを算出し、側
壁と分類されたグループについては、並び方向(Z軸と
の傾き)や前後端の位置(Z,X座標)等のパラメータ
を算出する。
【0037】次に、グループ結合部44で、各グループ
の相互の位置関係を調べ、端点の位置が接近し、且つ、
並び方向がほぼ一致しているグループを再結合し、改め
て再結合したグループのパラメータを算出する。また、
同一立体物検出部45で、同一の立体物に対し、後部を
検出したグループと側面を検出したグループとを識別し
て1個の立体物を物体と側壁との組み合わせとして認識
し、物体と側壁の交点で形成する立体物のコーナー点の
位置を算出する。そして、速度算出部46で、立体物の
Z軸方向の移動速度及びX軸方向の移動速度を算出し、
立体物の位置、及び、立体物の移動速度等のパラメータ
を後段の処理へ渡す。
【0038】尚、上記距離画像の生成、この距離画像か
ら道路形状を検出する処理、及び、衝突・接触判断処理
については、本出願人によって先に提出された特開平5
−265547号公報や特開平6−266828号公報
等に詳述されている。
【0039】以下、上記マイクロプロセッサ30bによ
る立体物検出処理について、図4〜図7のフローチャー
トに従って説明する。
【0040】このプログラムでは、まず、ステップS101
〜ステップ115の距離データ検出処理で、距離画像を所
定間隔で格子状に区分した各区分毎に、立体物の存在
と、その距離の算出を行う。すなわち、ステップS101で
道路形状パラメータを読み込むと、ステップS102で、図
10に示すように、距離画像を所定間隔(例えば、8〜
20画素間隔)で格子状に区分し、ステップS103で、各
区分毎に立体物のデータを抽出し、その検出距離を算出
するため、最初の区分のデータを読み込む。
【0041】次に、ステップS104へ進んで区分内の最初
のデータをセットすると、ステップS105で被写体の三次
元位置(x,y,z)を前述の(1)〜(3)式によって求
め、ステップS106で、前述の道路形状の直線式(7),(8)
を使って距離zに於ける道路表面の高さyrを算出す
る。次に、ステップS107へ進み、以下の(9)式によって
算出した被写体の道路表面からの高さHに基づいて、道
路面より上にあるデータを立体物データとして抽出す
る。 H=y−yr …(9)
【0042】この場合、高さHが0.1m程度以下の被
写体は、道路上の白線や汚れ、影等と考えられるため、
この被写体のデータは棄却する。また、自車両1の高さ
より上にある被写体も、歩道橋や標識などと考えられる
ので棄却し、道路上の立体物と推定されるデータのみを
選別する。
【0043】その後、ステップS108へ進んで最終データ
か否かを調べ、最終データでないときには、ステップS1
09で区分内の次のデータをセットして前述のステップS1
05へ戻り、同様の処理を繰り返して道路面より上にある
データを抽出する。そして、1つの区分内で最終データ
の処理が完了すると、ステップS108からステップS110へ
進み、抽出された立体物データに対し、予め設定された
距離Zの区間に含まれるデータの個数を数えて距離zを
横軸とするヒストグラムを作成する。
【0044】続くステップS111では、ヒストグラムの度
数が判定値以上で、かつ最大値となる区間を検出し、該
当する区間があれば、ステップS112において、その区間
に立体物が存在すると判断し、その立体物までの距離を
検出する。
【0045】上記ヒストグラムでは、入力される距離画
像中の距離データには誤って検出された値も存在し、実
際には物体の存在しない位置にも多少のデータが現れ
る。しかしながら、ある程度の大きさの物体があると、
その位置の度数は大きな値を示し、一方、物体が何も存
在しない場合には誤った距離データのみによって発生す
る度数は小さな値となる。従って、作成されたヒストグ
ラムの度数が、予め設定した判定値以上かつ最大値をと
る区間があれば、その区間に物体が存在すると判断し、
度数の最大値が判定値以下の場合は物体が存在しないと
判断しても差し支えなく、画像のデータに多少のノイズ
が含まれている場合においても、ノイズの影響を最小限
にして物体を検出できる。
【0046】その後、上記ステップS112からステップS1
13へ進んで最終区分に達したか否かを調べる。そして、
最終区分に達していないときには、上記ステップS112か
らステップS114へ進んで次の区分のデータを読み込む
と、前述のステップS104へ戻り、道路面より上にあるデ
ータの抽出、ヒストグラムの作成、及び、各区分内での
立体物の検出と距離の算出を行う。以上の処理を繰り返
し、やがて、最終区分に達すると、上記ステップS113か
らステップS115以降へ進む。
【0047】図12は、図11に示す検出対象の画像を
以上の距離データ検出処理によって検出し、区分毎の距
離をX−Z平面上に示した例であり、検出した距離に多
少の誤差が含まれるため、黒点で示すように、立体物の
自車両に面した部分に多少のバラツキを持ったデータと
して検出される。
【0048】これらの距離データは、ステップS115〜ス
テップS121の距離グループ検出処理により、距離が接近
しているグループに分けられる。この処理では、各区分
の立体物の検出距離を調べ、隣接する区分において立体
物までの検出距離の差異が判定値以下の場合は同一の立
体物と見なし、一方、判定値を超えている場合は別々の
立体物と見なしてグループ分けを行う。
【0049】このため、ステップS115では、まず、最初
の区分(例えば左端)を調べ、立体物が検出されている
場合には、距離データを読み込んで、この区分R1を、
グループS1、距離Z1に分類する。次に、ステップS1
16へ進んで右隣の区分R2を調べ、立体物が検出されて
いない場合には、グループS1は区分R1の内部とその
近辺に存在し、その距離はZ1と判定し、一方、区分R
2で立体物が検出されており、その検出距離がZ2であ
る場合には、区分R1の距離Z1と右隣の区分R2の距
離Z2の差を計算する。
【0050】その後、ステップS117へ進んで右隣の区分
との距離の差が判定値以下か否かを調べ、距離の差が判
定値以下で互いに接近しているときには、ステップS118
で、区分R2で検出された立体物は、先に検出されたグ
ループS1に属すると判定して同一グループにラベル付
けを行い、その距離をZ1とZ2との平均値としてステ
ップS120へ進む。
【0051】一方、右隣の区分との距離の差が判定値を
超えているときには、上記ステップS117からステップS1
19へ進み、区分R2で検出された立体物は、先に検出さ
れたグループS1とは異なると判定して新しいグループ
(グループS2、距離Z2)にラベル付けを行い、ステ
ップS120へ進む。
【0052】ステップS120では、最終区分に達したか否
かを調べ、最終区分に達していないときには、ステップ
S121で次の区分の距離を読み込み、上記ステップS116へ
戻っり、さらに右隣の領域を調べてゆく。また、最終区
分に達したときには、ステップS120からステップS122以
降へ進む。
【0053】以上の距離グループ検出処理により、例え
ば、図12に示す距離データでは、図13に示すよう
に、進行方向左側のガードレール付近の区分と、このガ
ードレールの脇に駐車している車両の後部及び側部付近
の区分とを含むグループ1、自車両の走行レーン内の先
行車両の後部付近の区分を含むグループ2、進行方向右
側の走行レーンの先行車両の後部及び側部付近の区分を
含むグループ3、進行方向右側の走行レーンの先行車両
の側部付近の区分を含むグループ4の4個のグループに
分けられる。
【0054】図13の例では、進行方向左側のガードレ
ールと、このガードレールの脇に駐車している車両との
位置が接近しているため、ガードレールの距離データ
と、このガードレールに脇に駐車している車両上の距離
データとが、同一のグループとして処理されてしまう。
従って、次のステップS122〜ステップS132におけるグル
ープ分割処理で距離データのX−Z平面上での並び方向
を調べ、並び方向がZ軸と平行な部分とX軸と平行な部
分とでグループを分割する。
【0055】このグループ分割処理では、ステップS122
で、最初のグループのデータを読み込み、ステップS124
で、このグループ内の各区分の並び方向を算出すると、
ステップS125で各区分に“物体”、“側壁”のラベルを
付ける。具体的には、グループ内での左端の区分K1の
位置をZ1,X1とし、N個だけ右側の区分の位置をZ
p,Xpとすると、点X1,Z1と点Xp,Zpとの2
点を結ぶ直線のZ軸に対する傾きA1を算出し、この直
線の傾きA1を設定値(例えば、45°程度)と比較す
る。そして、直線の傾きA1が設定値以下でデータの並
びが略Z軸方向の場合には、区分K1は“側壁”とラベ
ル付けし、上記直線の傾きA1が設定値を超え、データ
の並びが略X軸方向の場合には、“物体”とラベル付け
する。
【0056】このラベル付けの際の区分の間隔Nは、N
=2〜4区分程度とする。これは、N=1すなわち右隣
の区分では、検出距離のバラツキのために並び方向が大
きくばらついてしまい、分割の判断が難しくなるためで
あり、少し離れた区分との並び方向を使うことにより、
方向の安定化を図る。そして、この“側壁”あるいは
“物体”のラベル付けを、グループ内の左端の区分から
順に、右端からN個左側の区分まで行い、各区分にラベ
ル付けをする。
【0057】以上により、各区分のラベル付けが完了す
ると、上記ステップS124からステップS125へ進んで左端
の区分のラベルを読み込み、さらに、ステップS126で、
その右隣の区分のラベルを読み込む。次いで、ステップ
S127へ進み、左端のラベルと、その右隣のラベルが異な
るか否かを調べる。その結果、上記ステップS127におい
て、ラベルが同じときにはステップS129へジャンプし、
ラベルが異なるとき、ステップS128で“側壁”とラベル
付けされた区分と“物体”とラベル付けされた区分とを
分割して別のグループとし、ステップS129へ進む。分割
する区分の位置は、ラベルが“側壁”←→“物体”で変
化する位置のN/2区分だけ右側となる。
【0058】尚、この場合、距離データのバラツキ等に
より部分的にラベルが変化する状況に対処するため、同
じラベルが判定値以上(例えば、3区分以上)連続して
並んでいる場合にのみ分割を行い、判定値未満の場合に
は、分割は行わない。
【0059】ステップS129では、最終区分か否かを調
べ、最終区分でないとき、ステップS130で次の区分のラ
ベルを読み込んで上記ステップS126へ戻り、同様の処理
を繰り返す。そして、最終区分に達すると、上記ステッ
プS129からステップS131ヘ進み、最終グループに達した
か否かを調べる。その結果、最終グループに達していな
いときには、ステップS132で次のグループのデータを読
み込み、次のグループに対して同様にグループを分割す
る処理を行う。この処理を繰り返し、やがて、最終グル
ープに達すると、グループ分割処理を完了してステップ
S131からステップS133以降へ進む。
【0060】以上のグループ分割処理により、図13の
例では、同じ距離グループのグループ1として検出され
た進行方向左側のガードレール、及び、このガードレー
ルの脇に駐車している車両は、左側のガードレール付近
の区分が“側壁”、停車車両の後部が“物体”とラベル
付けされ、車両側面の付近の区分が“側壁”とラベル付
けされる。さらに、グループ3の進行方向右側の走行レ
ーンの先行車両では、車両側面の付近の区分が“側壁”
とラベル付けされ、車両後部が“物体”とラベル付けさ
れる。従って、図14に示すように、分割前のグループ
1は、グループ1,5,6の3個のグループに分割さ
れ、分割前のグループ3は、グループ3,7の2個のグ
ループに分割される。
【0061】次のステップS133〜ステップS138は、分割
された各グループに対し、側壁か物体かの分類を行って
各グループのパラメータを算出する処理であり、ステッ
プS133で最初のグループのデータを読み込むと、ステッ
プS135で、グループ内の各区分の位置(Xi,Zi)か
らハフ変換あるいは最小二乗法によって近似直線を求
め、グループ全体の傾きを算出する。
【0062】次に、ステップS135へ進んで、グループ全
体の傾きから、X軸方向の傾きを有するグループを物
体、Z軸方向の傾きを有するグループを側壁に分類し、
ステップS136で、各グループのパラメータを算出する。
このパラメータは、物体と分類されたグループでは、グ
ループ内の距離データから算出される平均距離や、左
端、右端のX座標等のパラメータであり、側壁と分類さ
れたグループでは、並びの方向(Z軸との傾き)や前後
端の位置(Z,X座標)等のパラメータである。
【0063】尚、グループの分類は、前述のグループ分
割処理で付けられた各区分の“側壁”あるいは“物体”
のラベルによって行っても良い。
【0064】そして、上記ステップS136からステップS1
37へ進んで最終グループに達したか否かを調べ、最終グ
ループでないときには、ステップS138で次のグループの
データを読み込んで上記ステップS134へ戻り、最終グル
ープに達すると、ステップS139以降の処理へ進む。
【0065】ここで、立体物の1個の面、例えば連続し
たガードレール等では、区分毎の距離データのバラツキ
の影響を強く受けることがあり、先の距離グループ検出
処理あるいはグループ分割処理で複数のグループに分割
されてしまう場合がある。この対策として、以下のステ
ップS139〜ステップS147のグループ結合処理において、
先のグループパラメータ算出処理で算出されたグループ
パラメータによって各グループの相互の位置関係を調
べ、同種類のグループで端点の位置が接近し、且つ、並
び方向がほぼ等しい場合には、同一物体の同一の面であ
ると判断し、それらのグループを1個のグループに統合
する。そして、統合したグループとしての各種パラメー
タをグループパラメータ算出処理と同様にして再計算す
る。
【0066】このため、ステップS139で、最初のグルー
プのパラメータを読み込み、ステップS140で、次のグル
ープのパラメータを読み込むと、ステップS141で、各グ
ループの端点の距離の差、及び、各グループの傾きの差
を算出する。そして、ステップS142で、各グループの端
点の距離の差、及び、各グループの傾きの差が、それぞ
れの判定値以内か否かを調べ、共に判定値以内のとき、
ステップS143へ進んで同一物体のグループとしてグルー
プを結合し、再度、改めてグループのパラメータを算出
してステップS146へ進む。
【0067】一方、上記ステップS142で、各グループの
端点の距離の差、あるいは、各グループの傾きの差が判
定値以内でないときには、上記ステップS142からステッ
プS144へ進んで最終グループか否かを調べ、最終グルー
プでないときには、ステップS145で次のグループのパラ
メータを読み込んでステップS141へ戻り、最終グループ
のとき、ステップS146へ進む。
【0068】ステップS146では、最終グループか否かを
調べ、最終グループでないとき、ステップS147で次のグ
ループのパラメータを読み込んで上記ステップS140へ戻
り、最終グループのとき、ステップS148以降へ進む。
【0069】以上のグループ結合処理により、立体物の
1つの面を誤って分割して検出することが防止される。
このグループ結合処理の後、例えば、図14に示すよう
に、グループ5とグループ6、グループ3とグループ7
等、同一立体物の後部と側面で別のグループに分離され
ているものに対し、下のステップS148〜ステップS157の
処理により、同一の立体物であることを検出し、1個の
立体物を、“物体”と“側壁”との組み合わせ(後部は
“物体”、側面は“側壁”とする)として認識する。
【0070】この処理では、まず、ステップS148で、物
体と分類された最初のグループのパラメータを読み込
み、ステップS149で、側壁と分類された最初のグループ
のパラメータを読み込む。次いで、ステップS150へ進
み、物体と分類されたグループの端点の位置と、側壁と
分類されたグループの端点の位置との差を算出する。こ
の場合、各端点の位置は、“物体”が自動車の正面(Z
軸に相当)より右側にある場合には、“物体”の左端の
位置と“側壁”の手前側の端点の位置との差を算出し、
“物体”が自車両の正面より左側にある場合には、“物
体”の右端の位置と“側壁”の手前側の端点の位置との
差を算出する。
【0071】そして、ステップS151で、各グループの端
点の位置の差が判定値(例えば、1m程度)以内で、互
いに接近しているか否かを調べ、判定値を超えていると
きには、ステップS152へ分岐して最終側壁か否かを調
べ、最終側壁でないときには、ステップS153で側壁と分
類された次のグループのパラメータを読み込んで上記ス
テップS150へ戻り、最終側壁のとき、ステップS156へ進
む。
【0072】一方、上記ステップS151で、各グループの
端点の位置の差が判定値以内のときには、上記ステップ
S151からステップS154へ進んで同一立体物であると判定
する。すなわち、1個の立体物の後部と側面とが同時に
見える場合、その2つの面が作るコーナーは手前に凸と
なっているため、“物体”の左端の位置と“側壁”の手
前側の端点の位置、あるいは、“物体”の右端の位置と
“側壁”の手前側の端点の位置とは、本来、一致してい
る。従って、2つのグループの位置の差が上記判定値以
内にあるとき、この2つのグループは1個の立体物を分
けて検出した対であると判断することができる。
【0073】その後、上記ステップS154からステップS1
55へ進み、同一の立体物と判断された“物体”と“側
壁”との対に対し、それぞれの近似直線を延長して交差
する点を立体物のコーナー点の位置として算出すると、
グループのパラメータとして記憶されている各端点の位
置を、このコーナー点の位置に変更する。そして、ステ
ップS156で、“物体”の最終グループか否かを調べ、
“物体”の最終グループでないときには、ステップS157
で、“物体”と分類された次のグループのパラメータを
読み込み、上記ステップS149へ戻って同様の処理を繰り
返す。一方、ステップS156で“物体”の最終のグループ
のときには、次のステップS158以降の処理へ進む。
【0074】図15は、図11に示す検出対象例に対
し、“物体”及び“側壁”の検出結果を枠線で示したも
のであり、X−Z平面で示すと、図16のようになる。
図16では、“物体”は太線の実線で示され、“側壁”
は太線の破線で示される。
【0075】次に、ステップS158以降は、所定の時間間
隔(例えば、0.1sec)の処理サイクル毎に検出さ
れる“物体”や“側壁“の位置の変化から、これらの移
動速度を算出する速度算出処理であり、まず、ステップ
S158で、最初のグループのパラメータを読み込み、ステ
ップS159で同一立体物の対となっているか否かを調べ
る。
【0076】そして、同一立体物の対となっていないと
きには、上記ステップS159からステップS160へ進み、
“物体”では左右端の中央、“側壁”では前後端の中央
を中心点の位置として、この中心点の位置の時間変化量
を算出すると、ステップS161で、前後方向の速度すなわ
ちZ方向の速度Vzを、中心点のZ座標の時間変化量か
ら算出するともに、左右方向の速度すなわちX方向の速
度を、中心点のX座標の時間変化量から算出し、ステッ
プS164へジャンプする。
【0077】ステップS164では、最終グループか否かを
調べ、最終グループでないときには、ステップS165で次
のグループのパラメータを読み込み、ステップS159へ戻
って同一立体物の対か否かを調べる。その結果、同一立
体物の対でないときには、前述のステップS160,S161を
経て中心点の位置に時間変化から前後・左右方向の速度
を算出し、最終グループか否かを調べるステップS164へ
戻る。
【0078】一方、上記ステップS159で同一立体物の対
であるときには、上記ステップS159からステップS162へ
進んで、対応する“物体”又は“側壁”のパラメータを
読み込み、ステップS163で、“物体”から前後方向の速
度(Z軸方向の速度Vz)を算出するとともに、“側
壁”から左右方向の速度(X軸方向の速度Vx)を算出
し、これらの速度Vz,Vxを、同一立体物におけるZ
軸方向、X軸方向の速度とする。そして、ステップS164
で、最終グループか否かを調べ、最終グループでないと
きには、以上の処理を繰り返し、最終グループのとき、
ステップS164からステップS166へ進んで、各グループの
パラメータをメモリに書き込み、立体物検出処理の全体
のプログラムを終了する。
【0079】すなわち、“物体”では、Z軸方向の位置
は複数の区分の距離の平均値的な値となり、速度Vzは
安定しているが、X方向の位置は左右端のX座標のバラ
ツキの影響を受け、速度Vxはバラツキが大きい傾向に
ある。一方、“側壁”では、X方向の位置は複数の区分
のX座標の平均値的な値となり、速度Vxは安定してい
るが、Z方向の位置は前後端のZ座標のバラツキの影響
を受け、速度Vzはバラツキが大きくなる傾向にある。
従って、両方の安定した速度のみを用いて同一立体物の
速度とするのである。
【0080】以上の処理によって検出された物体や側壁
のデータは、車両がガードレール等に接触する危険や先
行車や障害物と衝突する危険を判断し、運転者に警報を
発したり、車両自動停止装置等に渡されるが、先行車や
障害物等の物体とガードレール等の道路に沿った構造物
とを同一の処理によって検出するため、計算処理量を低
減して迅速な処理を可能とし、システム全体の応答性を
向上して安全確保に寄与することができる。
【0081】しかも、図14のグループ5,6の駐車車
両や、グループ3,7の右側の走行レーンの先行車両
等、従来、正確な位置検出が困難であった斜め前方の車
両の後部と側面とを同時に検出し、前後方向(Z軸方
向)、左右方向(X軸方向)、コーナー点の位置等を高
い精度で検出することができるため、混雑した道路等で
斜め前方の車両が自車両の前へ割り込んでくるような状
況が発生しても、斜め前方の車両のコーナー部との接触
や衝突を未然に回避することが可能となる。さらには、
図14のグループ4のように、画像の視野に一部分が入
っているだけの車両の側面を検出することができ、自車
両の直前に割り込んでくる車両の早期検出に有効であ
る。
【0082】図17〜図21は本発明の実施の第2形態
に係わり、図17は車外監視装置の全体構成図、図18
は車外監視装置の回路ブロック図、図19はレーザビー
ムの走査方法を側面から示す説明図、図20はレーザビ
ームの走査方法を上面から示す説明図、図21はレーザ
レーダ測距装置で計測される立体物の二次元分布の例を
示す説明図である。
【0083】前述の第1形態ではカメラの撮像画像を処
理して車外の物体を検出するようにしているが、これに
対し、本形態は、レーザビームの走査によって車外の物
体を検出するものである。すなわち、図17に示すよう
に、本形態の車両50に搭載される車外監視装置60
は、前述の第1形態のステレオ光学系10及びイメージ
プロセッサ20に代えてレーザビームによるレーザレー
ダ測距装置70を採用し、このレーザレーダ測距装置7
0に画像処理用コンピュータ30を接続したものであ
る。
【0084】上記レーザレーダ測距装置70は、レーザ
ビームを投射し、このレーザビームが物体に当たって反
射してくる光を受光し、この所要時間から物体までの距
離を測定するものであり、本形態の車外監視装置60に
は周知のレーザレーダ測距装置を適用することができ
る。
【0085】本形態の車外監視装置60では、レーザビ
ームの投射・受光と左右方向への走査機能を有するレー
ザ投光ユニット71が車両の前部に取り付けられてお
り、図18に示すように、レーザレーダ測距装置70に
は、レーザービームの投光受光の所要時間から物体まで
の距離を計算し、また、レーザビームを走査する方向か
ら物体の二次元の位置を計算する距離検出回路70a、
検出された物体の二次元の位置を書き込む二次元分布メ
モリ70b等から構成されている。
【0086】図19に示すように、レーザ投光ユニット
71からはレーザビームが水平に投射され、道路表面よ
り高い位置にある立体物のみが検出される。また、図2
0に示すように、レーザビームは左右方向に走査され、
所定の走査範囲で一定の間隔毎にレーザビームが投光・
受光されて距離を検出する動作が繰り返され、立体物の
二次元分布が計測される。
【0087】例えば、前方左側にガードレール、右前方
に他の車両がある状況を上記レーザレーダ測距装置70
で計測すると、図21に示すような立体物の二次元分布
の情報が得られる。これは、前述の第1形態における区
分毎の立体物の距離データと同様である。
【0088】従って、レーザレーダ測距装置70の出力
である立体物の二次元分布に対し、第1形態と同様の処
理を行なうことにより、物体や壁面を検出することがで
きる。本形態では、立体物のデータを処理が容易な形態
で得ることができ、計算処理量を更に低減することが可
能である。
【0089】
【発明の効果】以上説明したように本発明によれば、先
行車や障害物等の物体とガードレール等の道路に沿った
構造物とを同一の処理によって検出して計算処理を低減
し、且つ、正確な検出が困難であった斜め前方の車両の
位置や挙動を正確に検出することができ、システム全体
の応答性を向上して安全確保に寄与することができる等
優れた効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の第1形態に係わり、車外監視装
置の全体構成図
【図2】同上、車外監視装置の回路ブロック図
【図3】同上、立体物検出の機能ブロック図
【図4】同上、立体物検出処理のフローチャート(その
1)
【図5】同上、立体物検出処理のフローチャート(その
2)
【図6】同上、立体物検出処理のフローチャート(その
3)
【図7】同上、立体物検出処理のフローチャート(その
4)
【図8】同上、車載のカメラで撮像した画像の例を示す
説明図
【図9】同上、距離画像の例を示す説明図
【図10】同上、距離画像の区分を示す説明図
【図11】同上、検出対象の状況例を示す説明図
【図12】同上、区分毎の立体物の検出距離の例を示す
説明図
【図13】同上、区分毎の立体物の検出距離をグループ
化した例を示す説明図
【図14】同上、距離データの並び方向によるグループ
の分割を示す説明図
【図15】同上、検出対象に対する検出結果を示す説明
【図16】同上、検出結果をX−Z平面で示した説明図
【図17】本発明の第2形態に係わり、車外監視装置の
全体構成図
【図18】同上、車外監視装置の回路ブロック図
【図19】同上、レーザビームの走査方法を側面から示
す説明図
【図20】同上、レーザビームの走査方法を上面から示
す説明図
【図21】同上、レーザレーダ測距装置で計測される立
体物の二次元分布の例を示す説明図
【符号の説明】
1 …車外監視装置 10a,10b…CCDカメラ 20…イメージプロセッサ 30…画像処理用コンピュータ 40…距離データ検出部 41…距離グループ検出部 42…距離グループ分割部 43…グループパラメータ算出部 44…グループ結合部 45…同一立体物検出部 46…速度算出部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 330 B60R 21/00 624 G06T 7/00 G06T 7/00 250 G08G 1/16

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】距離検出手段の検出領域を複数に区分し、
    それぞれの区分毎に得られた距離データに基づいて車外
    の立体物を認識する車外監視装置において、 隣接する区分の距離データを比較して区分をグループ化
    する手段と、 グループ化された区分の距離データの並び方向を算出
    ると共に該並び方向に基づいて上記グループを分割する
    手段と、 分割したグループ毎に上記 距離データが上記立体物の後
    部を示すか側部を示すかを判別する手段とを備えたこと
    を特徴とする車外監視装置。
  2. 【請求項2】上記グループを分割する手段は、距離デー
    タの並び方向が変化する部分を境に当該グループを分割
    ることを特徴とする請求項1記載の車外監視装置
  3. 【請求項3】 各グループについて、立体物の位置に係
    わるパラメータを算出する手段を備えたことを特徴とす
    請求項1記載の車外監視装置。
  4. 【請求項4】 各グループにおける立体物の相互の位置
    関係に基づき、端点が近接し、距離データの並び方向が
    略等しい立体物を有する複数のグループを同一立体物に
    関するグループとして結合する手段を備えたことを特徴
    とする請求項3記載の車外監視装置。
  5. 【請求項5】 立体物後部と判別されたグループにおけ
    る立体物の端点位置と立体物側部と判別されたグループ
    における立体物の端点位置が近接している場合に、両グ
    ループは同一立体物に関する後部と側部の組合わせとし
    て認識する手段を備えたことを特徴とする請求項3記載
    の車外監視装置。
  6. 【請求項6】 上記距離データは、ステレオカメラ装置
    により計測されたものであることを特徴とする請求項1
    記載の車外監視装置。
  7. 【請求項7】 上記距離データは、レーダ測距装置によ
    り計測されたものであることを特徴とする請求項1記載
    の車外監視装置。
JP08687897A 1997-04-04 1997-04-04 車外監視装置 Expired - Lifetime JP3349060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08687897A JP3349060B2 (ja) 1997-04-04 1997-04-04 車外監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08687897A JP3349060B2 (ja) 1997-04-04 1997-04-04 車外監視装置

Publications (2)

Publication Number Publication Date
JPH10283461A JPH10283461A (ja) 1998-10-23
JP3349060B2 true JP3349060B2 (ja) 2002-11-20

Family

ID=13899102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08687897A Expired - Lifetime JP3349060B2 (ja) 1997-04-04 1997-04-04 車外監視装置

Country Status (1)

Country Link
JP (1) JP3349060B2 (ja)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789698A (zh) * 2011-05-19 2012-11-21 富士重工业株式会社 环境识别装置以及环境识别方法
JP2013178664A (ja) * 2012-02-28 2013-09-09 Fuji Heavy Ind Ltd 車外環境認識装置
US8670612B2 (en) 2011-05-12 2014-03-11 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8737689B2 (en) 2011-05-12 2014-05-27 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8792678B2 (en) 2011-05-19 2014-07-29 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8855367B2 (en) 2011-05-12 2014-10-07 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8861787B2 (en) 2011-05-12 2014-10-14 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8867792B2 (en) 2011-05-19 2014-10-21 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8941738B2 (en) 2011-03-22 2015-01-27 Fuji Jukogyo Kabushiki Kaisha Vehicle exterior monitoring device and vehicle exterior monitoring method
US8976999B2 (en) 2011-02-16 2015-03-10 Fuji Jukogyo Kabushiki Kaisha Vehicle detection apparatus
US8989439B2 (en) 2011-05-12 2015-03-24 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
DE102014113372A1 (de) 2013-09-30 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Filtervorrichtung
DE102014113359A1 (de) 2013-09-30 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Filtervorrichtung und Umgebungserkennungssystem
DE102014113360A1 (de) 2013-09-30 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Filtervorrichtung und Umgebungserkennungssystem
US9099005B2 (en) 2011-05-12 2015-08-04 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US9117115B2 (en) 2011-11-24 2015-08-25 Fuji Jukogyo Kabushiki Kaisha Exterior environment recognition device and exterior environment recognition method
DE102015104098A1 (de) 2014-03-28 2015-10-01 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebungerkennungsvorrichtung
US9349070B2 (en) 2013-09-27 2016-05-24 Fuji Jukogyo Kabushiki Kaisha Vehicle external environment recognition device
DE102016111307A1 (de) 2015-06-26 2016-12-29 Fuji Jukogyo Kabushiki Kaisha Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
DE102016111304A1 (de) 2015-06-26 2016-12-29 Fuji Jukogyo Kabushiki Kaisha Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
US9542608B2 (en) 2011-09-27 2017-01-10 Fuji Jukogyo Kabushiki Kaisha Image processing apparatus
DE102016116601A1 (de) 2015-09-10 2017-03-16 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebung-Erkennungsvorrichtung
DE102016117780A1 (de) 2015-09-24 2017-03-30 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaussenumgebung-Erkennungsvorrichtung
DE102016121536A1 (de) 2015-11-25 2017-06-01 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebung-Erkennungsvorrichtung
DE102016121526A1 (de) 2015-11-25 2017-06-01 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebung-Erkennungsvorrichtung
US9792519B2 (en) 2011-05-12 2017-10-17 Subaru Corporation Environment recognition device and environment recognition method
US9975551B2 (en) 2013-08-05 2018-05-22 Subaru Corporation Vehicle exterior environment recognition device
US9978276B2 (en) 2013-08-05 2018-05-22 Subaru Corporation Vehicle exterior environment recognition device
EP3327624A1 (en) 2016-11-25 2018-05-30 Ricoh Company Ltd. Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means
DE102018110972A1 (de) 2017-05-17 2018-11-22 Subaru Corporation Fahrzeugaußenumgebung-Erkennungsvorrichtung
DE102018129388A1 (de) 2017-12-25 2019-06-27 Subaru Corporation Erkennungsvorrichtung für die äussere umgebung von fahrzeugen
DE102019101482A1 (de) 2018-03-22 2019-09-26 Subaru Corporation Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
US10789489B2 (en) 2017-07-26 2020-09-29 Subaru Corporation Vehicle exterior environment recognition apparatus
US10810757B2 (en) 2017-12-25 2020-10-20 Subaru Corporation Vehicle exterior environment recognition apparatus
US11010625B2 (en) 2018-09-03 2021-05-18 Subaru Corporation Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle
US11216678B2 (en) 2018-11-21 2022-01-04 Subaru Corporation Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method
US11295544B2 (en) 2019-10-17 2022-04-05 Subaru Corporation Vehicle exterior environment recognition apparatus
US11551457B2 (en) 2020-08-31 2023-01-10 Subaru Corporation Vehicle external environment recognition apparatus
US11628836B2 (en) 2019-10-03 2023-04-18 Subaru Corporation Vehicle exterior environment recognition apparatus
US11670093B2 (en) 2020-08-20 2023-06-06 Subaru Corporation Vehicle external environment recognition apparatus
US11756325B2 (en) 2019-11-22 2023-09-12 Subaru Corporation Vehicle exterior environment recognition apparatus
US11816902B2 (en) 2020-08-26 2023-11-14 Subaru Corporation Vehicle external environment recognition apparatus
US11842552B2 (en) 2020-03-06 2023-12-12 Subaru Corporation Vehicle exterior environment recognition apparatus
US11958483B2 (en) 2020-09-04 2024-04-16 Subaru Corporation Vehicle external environment recognition apparatus

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3315054B2 (ja) * 1997-04-04 2002-08-19 富士重工業株式会社 車外監視装置
JP3807583B2 (ja) * 1999-04-19 2006-08-09 本田技研工業株式会社 道路領域判定装置
JP3633368B2 (ja) * 1999-05-19 2005-03-30 日産自動車株式会社 障害物検出装置
JP4119041B2 (ja) * 1999-06-23 2008-07-16 松下電器産業株式会社 色情報を用いた車両検出装置
JP4425495B2 (ja) 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
JP3910582B2 (ja) * 2001-07-31 2007-04-25 株式会社キャドセンター 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP3933001B2 (ja) * 2002-07-24 2007-06-20 日産自動車株式会社 運転者将来状況予測装置
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2005018548A (ja) * 2003-06-27 2005-01-20 Alpine Electronics Inc 周辺車両表示装置
JP2008117073A (ja) * 2006-11-01 2008-05-22 Fuji Heavy Ind Ltd 割り込み車両検出装置
JP4914233B2 (ja) 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
JP4914234B2 (ja) 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
JP5221886B2 (ja) 2007-03-07 2013-06-26 富士重工業株式会社 物体検出装置
JP4568845B2 (ja) * 2007-04-26 2010-10-27 三菱電機株式会社 変化領域認識装置
JP4987573B2 (ja) 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP4933962B2 (ja) 2007-06-22 2012-05-16 富士重工業株式会社 分岐路進入判定装置
JP5234894B2 (ja) 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP4856612B2 (ja) 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP4856611B2 (ja) 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP4856656B2 (ja) 2008-01-22 2012-01-18 富士重工業株式会社 車両検出装置
JP4876080B2 (ja) 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP4956452B2 (ja) 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP5137617B2 (ja) 2008-02-27 2013-02-06 富士重工業株式会社 操舵支援装置
JP5073548B2 (ja) 2008-03-27 2012-11-14 富士重工業株式会社 車両用環境認識装置および先行車追従制御システム
JP5188430B2 (ja) * 2009-03-24 2013-04-24 富士重工業株式会社 画像処理装置
JP5371725B2 (ja) * 2009-12-16 2013-12-18 富士重工業株式会社 物体検出装置
JP2012226689A (ja) 2011-04-22 2012-11-15 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
WO2013042206A1 (ja) 2011-09-20 2013-03-28 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法
JP5499011B2 (ja) * 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
JP5727639B2 (ja) * 2014-02-07 2015-06-03 富士重工業株式会社 車両検出装置
JP6530685B2 (ja) * 2015-09-15 2019-06-12 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム
JP6519505B2 (ja) * 2016-03-15 2019-05-29 オムロン株式会社 物体検出装置、物体検出方法、及びプログラム
US11016499B2 (en) * 2016-07-29 2021-05-25 Pioneer Corporation Measurement device, measurement method and program
KR101876809B1 (ko) * 2016-12-15 2018-08-07 (주)더블유알티랩 이동 객체 탐지 시스템 및 방법
JP6786635B2 (ja) * 2018-05-15 2020-11-18 株式会社東芝 車両認識装置および車両認識方法
FR3094458B1 (fr) * 2019-03-29 2021-04-23 Psa Automobiles Sa Procédé et système d’éclairage adaptatif pour véhicule automobile
JP7344032B2 (ja) * 2019-07-19 2023-09-13 株式会社Subaru 画像処理装置
JP7344031B2 (ja) * 2019-07-19 2023-09-13 株式会社Subaru 画像処理装置
JP7318600B2 (ja) * 2020-07-06 2023-08-01 トヨタ自動車株式会社 車両及び他車両の認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6045882A (ja) * 1983-07-15 1985-03-12 Hitachi Ltd 通路認識方法
JP2671615B2 (ja) * 1991-02-18 1997-10-29 三菱電機株式会社 ガードレール検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3324821B2 (ja) * 1993-03-12 2002-09-17 富士重工業株式会社 車輌用車外監視装置
JP4082471B2 (ja) * 1997-04-04 2008-04-30 富士重工業株式会社 車外監視装置

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976999B2 (en) 2011-02-16 2015-03-10 Fuji Jukogyo Kabushiki Kaisha Vehicle detection apparatus
US8941738B2 (en) 2011-03-22 2015-01-27 Fuji Jukogyo Kabushiki Kaisha Vehicle exterior monitoring device and vehicle exterior monitoring method
US9099005B2 (en) 2011-05-12 2015-08-04 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8670612B2 (en) 2011-05-12 2014-03-11 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8737689B2 (en) 2011-05-12 2014-05-27 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US9792519B2 (en) 2011-05-12 2017-10-17 Subaru Corporation Environment recognition device and environment recognition method
US8855367B2 (en) 2011-05-12 2014-10-07 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8861787B2 (en) 2011-05-12 2014-10-14 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8989439B2 (en) 2011-05-12 2015-03-24 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
US8792678B2 (en) 2011-05-19 2014-07-29 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
CN102789698B (zh) * 2011-05-19 2014-10-22 富士重工业株式会社 环境识别装置以及环境识别方法
US8867792B2 (en) 2011-05-19 2014-10-21 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
CN102789698A (zh) * 2011-05-19 2012-11-21 富士重工业株式会社 环境识别装置以及环境识别方法
US9542608B2 (en) 2011-09-27 2017-01-10 Fuji Jukogyo Kabushiki Kaisha Image processing apparatus
US9117115B2 (en) 2011-11-24 2015-08-25 Fuji Jukogyo Kabushiki Kaisha Exterior environment recognition device and exterior environment recognition method
US8923560B2 (en) 2012-02-28 2014-12-30 Fuji Jukogyo Kabushiki Kaisha Exterior environment recognition device
JP2013178664A (ja) * 2012-02-28 2013-09-09 Fuji Heavy Ind Ltd 車外環境認識装置
US9978276B2 (en) 2013-08-05 2018-05-22 Subaru Corporation Vehicle exterior environment recognition device
DE102014110213B4 (de) 2013-08-05 2021-09-23 Subaru Corporation Fahrzeugaußenumgebungerkennungsvorrichtung
DE102014110206B4 (de) 2013-08-05 2022-05-05 Subaru Corporation Fahrzeugaußenumgebungerkennungsvorrichtung
US9975551B2 (en) 2013-08-05 2018-05-22 Subaru Corporation Vehicle exterior environment recognition device
US9349070B2 (en) 2013-09-27 2016-05-24 Fuji Jukogyo Kabushiki Kaisha Vehicle external environment recognition device
DE102014113359B4 (de) 2013-09-30 2022-12-01 Subaru Corporation Filtervorrichtung und Umgebungserkennungssystem
US9430707B2 (en) 2013-09-30 2016-08-30 Fuji Jukogyo Kabushiki Kaisha Filtering device and environment recognition system
US9524645B2 (en) 2013-09-30 2016-12-20 Fuji Jukogyo Kabushiki Kaisha Filtering device and environment recognition system
DE102014113372B4 (de) * 2013-09-30 2021-03-04 Subaru Corporation Filtervorrichtung
DE102014113360A1 (de) 2013-09-30 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Filtervorrichtung und Umgebungserkennungssystem
DE102014113372A1 (de) 2013-09-30 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Filtervorrichtung
US9659376B2 (en) 2013-09-30 2017-05-23 Subaru Corporation Filtering device
DE102014113359A1 (de) 2013-09-30 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Filtervorrichtung und Umgebungserkennungssystem
US9558412B2 (en) 2014-03-28 2017-01-31 Fuji Jukogyo Kabushiki Kaisha Vehicle exterior environment recognition device
DE102015104098A1 (de) 2014-03-28 2015-10-01 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebungerkennungsvorrichtung
DE102016111304B4 (de) 2015-06-26 2023-07-27 Subaru Corporation Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
DE102016111307A1 (de) 2015-06-26 2016-12-29 Fuji Jukogyo Kabushiki Kaisha Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
DE102016111304A1 (de) 2015-06-26 2016-12-29 Fuji Jukogyo Kabushiki Kaisha Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
DE102016111307B4 (de) 2015-06-26 2018-07-12 Subaru Corporation Fahrzeug-Außenumgebungs-Erkennungsvorrichtung
US10037473B2 (en) 2015-06-26 2018-07-31 Subaru Corporation Vehicle exterior environment recognition apparatus
US10121083B2 (en) 2015-06-26 2018-11-06 Subaru Corporation Vehicle exterior environment recognition apparatus
US10102437B2 (en) 2015-09-10 2018-10-16 Subaru Corporation Vehicle driving hazard recognition and avoidance apparatus and vehicle control device
DE102016116601A1 (de) 2015-09-10 2017-03-16 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebung-Erkennungsvorrichtung
DE102016116601B4 (de) * 2015-09-10 2019-11-07 Subaru Corporation Fahrzeugaußenumgebung-Erkennungsvorrichtung
CN107045619B (zh) * 2015-09-24 2018-07-06 株式会社斯巴鲁 车外环境识别装置
DE102016117780B4 (de) 2015-09-24 2018-10-04 Subaru Corporation Fahrzeugaussenumgebung-Erkennungsvorrichtung
CN107045619A (zh) * 2015-09-24 2017-08-15 株式会社斯巴鲁 车外环境识别装置
DE102016117780A1 (de) 2015-09-24 2017-03-30 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaussenumgebung-Erkennungsvorrichtung
US9904860B2 (en) 2015-09-24 2018-02-27 Subaru Corporation Vehicle exterior environment recognition apparatus
DE102016121536B4 (de) 2015-11-25 2019-06-13 Subaru Corporation Fahrzeugaußenumgebung-Erkennungsvorrichtung
US10286834B2 (en) 2015-11-25 2019-05-14 Subaru Corporation Vehicle exterior environment recognition apparatus
US10442343B2 (en) 2015-11-25 2019-10-15 Subaru Corporation Vehicle exterior environment recognition apparatus
DE102016121536A1 (de) 2015-11-25 2017-06-01 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebung-Erkennungsvorrichtung
DE102016121526A1 (de) 2015-11-25 2017-06-01 Fuji Jukogyo Kabushiki Kaisha Fahrzeugaußenumgebung-Erkennungsvorrichtung
EP3327624A1 (en) 2016-11-25 2018-05-30 Ricoh Company Ltd. Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means
US10643083B2 (en) 2017-05-17 2020-05-05 Subaru Corporation Vehicle exterior environment recognition apparatus
DE102018110972A1 (de) 2017-05-17 2018-11-22 Subaru Corporation Fahrzeugaußenumgebung-Erkennungsvorrichtung
US10789489B2 (en) 2017-07-26 2020-09-29 Subaru Corporation Vehicle exterior environment recognition apparatus
US10803605B2 (en) 2017-12-25 2020-10-13 Subaru Corporation Vehicle exterior environment recognition apparatus
US10810757B2 (en) 2017-12-25 2020-10-20 Subaru Corporation Vehicle exterior environment recognition apparatus
DE102018129388A1 (de) 2017-12-25 2019-06-27 Subaru Corporation Erkennungsvorrichtung für die äussere umgebung von fahrzeugen
US10839236B2 (en) 2018-03-22 2020-11-17 Subaru Corporation Vehicle exterior environment recognition apparatus
DE102019101482A1 (de) 2018-03-22 2019-09-26 Subaru Corporation Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
US11010625B2 (en) 2018-09-03 2021-05-18 Subaru Corporation Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle
US11216678B2 (en) 2018-11-21 2022-01-04 Subaru Corporation Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method
US11628836B2 (en) 2019-10-03 2023-04-18 Subaru Corporation Vehicle exterior environment recognition apparatus
US11295544B2 (en) 2019-10-17 2022-04-05 Subaru Corporation Vehicle exterior environment recognition apparatus
US11756325B2 (en) 2019-11-22 2023-09-12 Subaru Corporation Vehicle exterior environment recognition apparatus
US11842552B2 (en) 2020-03-06 2023-12-12 Subaru Corporation Vehicle exterior environment recognition apparatus
US11670093B2 (en) 2020-08-20 2023-06-06 Subaru Corporation Vehicle external environment recognition apparatus
US11816902B2 (en) 2020-08-26 2023-11-14 Subaru Corporation Vehicle external environment recognition apparatus
US11551457B2 (en) 2020-08-31 2023-01-10 Subaru Corporation Vehicle external environment recognition apparatus
US11958483B2 (en) 2020-09-04 2024-04-16 Subaru Corporation Vehicle external environment recognition apparatus

Also Published As

Publication number Publication date
JPH10283461A (ja) 1998-10-23

Similar Documents

Publication Publication Date Title
JP3349060B2 (ja) 車外監視装置
JP3516856B2 (ja) 車外監視装置
JP3315054B2 (ja) 車外監視装置
JP3337197B2 (ja) 車外監視装置
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
US10755116B2 (en) Image processing apparatus, imaging apparatus, and device control system
JP4082471B2 (ja) 車外監視装置
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
US8941738B2 (en) Vehicle exterior monitoring device and vehicle exterior monitoring method
US20200057897A1 (en) Obstacle sensing device
JP6705496B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP5145585B2 (ja) 物標検出装置
JPH1139596A (ja) 車外監視装置
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
GB2313971A (en) Obstacle tracking by moving vehicle
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
JP3872179B2 (ja) 車両の衝突防止装置
JP2008117073A (ja) 割り込み車両検出装置
JPH1139598A (ja) 車両の衝突防止装置
JP6340849B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
JP3600314B2 (ja) 車両の外部環境認識装置
EP4024330B1 (en) Object recognition method and object recognition device
JP3612821B2 (ja) 車載用距離測定装置
JP3586938B2 (ja) 車載用距離測定装置
KR20110139381A (ko) 차량 검출 방법

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080913

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080913

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090913

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090913

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100913

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100913

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110913

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120913

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130913

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term