JPH11213138A - 車外監視装置 - Google Patents
車外監視装置Info
- Publication number
- JPH11213138A JPH11213138A JP10018438A JP1843898A JPH11213138A JP H11213138 A JPH11213138 A JP H11213138A JP 10018438 A JP10018438 A JP 10018438A JP 1843898 A JP1843898 A JP 1843898A JP H11213138 A JPH11213138 A JP H11213138A
- Authority
- JP
- Japan
- Prior art keywords
- wall surface
- wall
- road
- distance
- node point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims description 16
- 238000012937 correction Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 44
- 239000007787 solid Substances 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 61
- 238000001514 detection method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 26
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
- G01S13/726—Multiple target tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
を構成する一連の立体物を壁面として検出する。 【解決手段】 イメージプロセッサ20からの距離画像
を認識処理用コンピュータ30に読み込み、距離画像を
所定間隔で区分した各区分毎にヒストグラムを作成して
立体物の存在位置と、その距離を求めてグループ化して
立体物のグループと側壁のグループに分類する。そし
て、側壁のグループのデータから道路の境界を構成する
壁面の位置を検出し、壁面モデルを構成する各ノード点
の位置を動的に決定・修正してゆくことで、道路がカー
ブしている場合にも、カーブした道路に沿った壁面を検
出することができる。
Description
した画像を処理して車外の状況を認識する車外監視装置
に関し、特に、ガードレール等の道路の境界となる連続
した立体物としての側壁を検出する車外監視装置に関す
る。
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定して運転者に警報を発した
り、自動的にブレーキを作動させて停止させる、あるい
は、先行車との車間距離を安全に保つよう自動的に走行
速度を増減する等のASV(Advanced Safety Vehicl
e;先進安全自動車)に係わる技術の開発が積極的に進
められている。
る技術としては、本出願人によって先に提出された特開
平5−265547号公報の技術があり、この技術で
は、車両の左右に取り付けた2台のステレオカメラの画
像を距離画像に変換し、この距離画像を所定の間隔で格
子状の領域に区分し、各区分毎に立体物を検出してい
る。また、本出願人は、同様に、区分毎に立体物のデー
タを抽出し、これらのデータをハフ変換によって処理
し、ガードレール等の道路に沿った立体物(側壁)を検
出する技術を、特開平6−266828号公報において
提案している。
技術では、立体物のデータをハフ変換等によって処理す
るため、カーブした道路に沿ったガードレール等は、比
較的近距離の範囲にある部分を直線として捉えるに過ぎ
ず、遠方まで認識することは困難であった。
で、道路がカーブしている場合にも、道路の境界を構成
する一連の立体物を壁面として検出することのできる車
外監視装置を提供することを目的としている。
車外の立体物の位置を検出して車外の状況を認識する車
外監視装置において、複数の立体物位置データをグルー
プ化して道路の境界を構成する壁面を検出する手段と、
複数のノード点を連結して上記壁面の輪郭を表す壁面モ
デルを形成する手段と、上記グループ化された立体物位
置データに基いて上記壁面モデルを修正する手段とを備
えたことを特徴とする。
明において、上記壁面モデルを修正する手段は、上記グ
ループ化された位置データに対して壁面パターンマッチ
ングにより各ノード点に対応する壁面位置を探索し、該
探索された壁面位置により対応するノード点の座標を修
正することを特徴とする。
明において、上記壁面モデルを修正する手段は、上記壁
面の外側に対して重み付けの大きい壁面パターンを用い
て上記パターンマッチングを行うことを特徴とする。
明において、上記壁面モデルを修正する手段は、上記パ
ターンマッチングによって壁面が検出されない場合、上
記立体物位置データが偏って存在する側に対応するノー
ド点の座標を修正することを特徴とする。
明において、上記壁面モデルを修正する手段は、上記グ
ループ化された立体物位置データに基いて上記壁面モデ
ルを修正した後、各ノード点の座標をその前後のノード
点を結ぶ直線に近づく方向に修正することを特徴とす
る。
出した複数の立体物の位置データをグループ化し、道路
の境界を構成する壁面を検出する。そして、グループ化
された立体物位置データに基いて、複数のノード点を連
結して形成した壁面の輪郭を表す壁面モデルを修正する
ことで、道路がカーブしている場合においても、道路に
沿ってカーブした壁面を検出することができる。
データに対してパターンマッチングにより各ノード点に
対応する壁面位置を探索し、該探索された壁面位置によ
り対応するノード点の座標を確定することで修正するこ
とができる。グループ化された立体物位置データに基づ
いて壁面モデルを修正した後は、各ノード点の座標をそ
の前後のノード点を結ぶ直線に近づく方向に修正するこ
とが望ましい。
に対して重み付けの大きい壁面パターンを用いて行なう
ことができ、パターンマッチングによって壁面が検出さ
れない場合には、立体物位置データが偏って存在する側
に対応するノード点の座標を修正することが望ましい。
施の形態を説明する。図1〜図20は本発明の実施の一
形態に係わり、図1は車外監視装置の全体構成図、図2
は車外監視装置の回路ブロック図、図3〜図5は立体物
・側壁グループ検出処理のフローチャート、図6は壁面
検出処理のフローチャート、図7及び図8は壁面位置修
正処理のフローチャート、図9は車載のカメラで撮像し
た画像の例を示す説明図、図10は距離画像の例を示す
説明図、図11は区分毎に検出した立体物の位置を示す
説明図、図12は側壁の検出結果を示す説明図、図13
は側壁の検出結果をX−Z平面で示した説明図、図14
は壁面モデルの説明図、図15は壁面パターンの探索法
を示す説明図、図16は重み係数パターンを示す説明
図、図17は一致度の計算結果を示す説明図、図18は
ノード点の連結を示す説明図、図19は壁面の検出結果
を示す説明図、図20は壁面の検出結果をX−Z平面で
示した説明図である。
あり、この車両1に、車外の対象を撮像し、撮像画像か
ら車外の状況を認識して監視する車外監視装置2が搭載
されている。この車外監視装置2は、車外の対象物を異
なる位置から撮像するためのステレオ光学系10、この
ステレオ光学系10で撮像した画像を処理して三次元の
距離分布情報を算出するイメージプロセッサ20、及
び、イメージプロセッサ20からの距離情報を入力し、
その距離情報から道路形状や複数の立体物の三次元位置
を高速で検出し、その検出結果に基づいて先行車や障害
物を特定して衝突警報の判断処理等を行う認識処理用コ
ンピュータ30等から構成されている。
は、車速センサ4、舵角センサ5等の現在の車両の走行
状態を検出するためのセンサが接続され、認識された物
体が自車両1の障害物となる場合、運転者の前方に設置
されたディスプレイ9へ表示して運転者に対する警告を
行う他、図示しないアクチュエータ類を制御する外部装
置を接続することで車体の自動衝突回避制御等が可能と
なっている。
合素子(CCD)等の固体撮像素子を用いた左右1組の
CCDカメラ10a,10bからなり、イメージプロセ
ッサ20では、CCDカメラ10a,10bで撮像した
1対の画像の相関を求め、同一物体に対する視差から三
角測量の原理により距離を求める、いわゆるステレオ法
により画像全体に渡る三次元の距離分布を算出する。
ジプロセッサ20からの距離分布情報を読み込んで道路
形状や複数の立体物(車両や障害物等)の三次元位置を
高速で検出し、この検出物体との衝突や接触可能性を車
速センサ4や舵角センサ5等によって検出した自車両の
走行状態に基づいて判断し、その結果をディスプレイ9
に表示して運転者に知らせる。
ンピュータ30は、詳細には、図2に示すハードウエア
構成となっている。イメージプロセッサ20は、CCD
カメラ10a,10bで撮像した1組みのステレオ画像
対に対して所定の小領域毎に同一の物体が写っている部
分を探索し、対応する位置のずれ量を求めて物体までの
距離を算出し、三次元の距離分布情報として出力する距
離検出回路20aと、この距離検出回路20aから出力
される距離分布情報を記憶する距離画像メモリ20bと
から構成されている。
離分布情報は、画像のような形態をした疑似画像(距離
画像)であり、左右2台のCCDカメラ11a,11b
で撮影した画像、例えば、図9に示すような画像(図9
は片方のカメラで撮像した画像を模式的に示す)を上記
距離検出回路20aで処理すると、図10のような距離
画像となる。
ズは横600画素×縦200画素であり、距離データを
持っているのは図中白点の部分で、これは図9の画像の
各画素のうち、左右方向に隣合う画素間で明暗変化が大
きい部分である。距離検出回路20aでは、この距離画
像を、1ブロックを4×4画素の小領域として横150
×縦50のブロックからなる画像として扱い、各ブロッ
ク毎に距離(画素ズレ数)の算出を行う。
路形状等の検出処理を主とするマイクロプロセッサ30
aと、検出した道路形状に基づいて個々の立体物を検出
する処理を主とするマイクロプロセッサ30bと、検出
した立体物の位置情報に基づいて先行車や障害物を特定
し、衝突や接触危険性を判断する処理を主とするマイク
ロプロセッサ30cとがシステムバス31を介して並列
に接続されたマルチマイクロプロセッサのシステム構成
となっている。
画像メモリ20bに接続されるインターフェース回路3
2と、制御プログラムを格納するROM33と、計算処
理途中の各種パラメータを記憶するRAM34と、処理
結果のパラメータを記憶する出力用メモリ35と、上記
ディスプレイ(DISP)9を制御するためのディスプ
レイコントローラ(DISP.CONT.)36と、車
速センサ4、舵角センサ5等からの信号を入力するI/
Oインターフェース回路37とが接続されている。
単位とする距離画像上の座標系を、図9に示すように、
左下隅を原点として横方向をi座標軸,縦方向をj座標
軸として扱い、画素ズレ数をdpとする距離画像上の点
(i,j,dp)を実空間の座標系に変換し、道路形状
の認識や立体物の位置検出等の処理を行う。
車(車両1)固定の座標系とし、X軸を車両1の進行方
向右側側方、Y軸を車両1の上方、Z軸を車両1の前
方、原点を2台のCCDカメラ10a,10bの中央の
真下の道路面とすると、X−Z平面(Y=0)は、道路
が平坦な場合、道路面と一致することになり、以下の
(1)〜(3)式により、距離画像上の点(i,j,dp)
を、実空間上の点(x,y,z)に座標変換することが
できる。 x=CD/2+z・PW・(i−IV) …(1) y=CH+Z・PW・(j−JV) …(2) z=KS/dp …(3) 但し、CD :CCDカメラ10a,10bの間隔 PW :1画素当たりの視野角 CH :CCDカメラ10a,10bの取付け高さ IV,JV:車両1の真正面の無限遠点の画像上の座標
(画素) KS :距離係数(KS=CD/PW) 尚、実空間上の点(x,y,z)から画像上の点(i,
j,dp)を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。
る個々の処理について説明する。まず、マイクロプロセ
ッサ30aによる道路検出処理では、距離画像メモリ2
0bに記憶された距離画像からの三次元的な位置情報を
利用し、内蔵した道路モデルのパラメータを実際の道路
形状と合致するよう修正・変更して道路形状を認識す
る。
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線やガードレール等を三次元の
直線式で近似して折れ線状に連結したものであり、実空
間の座標系における水平方向の直線式のパラメータa,
b、及び、垂直方向の直線式のパラメータc,dを求
め、以下の(7)式に示す水平方向の直線式、及び、以下
の(8)式に示す垂直方向の直線式を得る。 x=a・z+b …(7) y=c・z+d …(8)
体物検出処理では、距離画像を格子状に所定の間隔で区
分し、各区分毎に立体物のデータを抽出してヒストグラ
ムを作成し、このヒストグラムから各区分を代表する立
体物の存在位置と、その距離を求める。次に、区分毎の
距離を画像の左から右へ順次比較してゆき、前後方向
(Z軸方向)及び横方向(X軸方向)の距離が接近して
いるものをグループとしてまとめ、さらに、各グループ
についてデータの並び方向をチェックして方向が大きく
変化する部分でグループを分割する。
の並び方向(Z軸との傾き)から個々のグループを立体
物あるいは側壁に分類し、立体物と分類されたグループ
について、グループ内の距離データから平均距離や左
端、右端のX座標等のパラメータを算出し、側壁と分類
されたグループについては、並び方向(Z軸との傾き)
や前後端の位置(Z,X座標)等のパラメータを算出す
ることにより、立体物の後部や側部、ガードレール等の
道路に沿った構造物すなわち側壁を検出する等の処理を
行う。
路形状を検出する処理、及び、衝突・接触判断処理につ
いては、本出願人によって先に提出された特開平5−2
65547号公報や特開平6−266828号公報等に
詳述されている。
がカーブしている場合においても、道路に沿ってカーブ
した壁面を遠方まで認識することができる。以下、マイ
クロプロセッサ30bによる壁面検出に係わる処理につ
いて、図3〜図8に示すフローチャートを用いて説明す
る。
データを処理して立体物のグループと側壁のグループと
に分類するプログラムであり、まず、ステップS101〜ス
テップ115の処理で、距離画像を所定間隔で格子状に区
分した各区分毎に、立体物の存在と、その距離の算出を
行う。すなわち、ステップS101で、距離画像を所定間隔
(例えば、8〜20画素間隔)で格子状に区分し、ステ
ップS102で、各区分毎に立体物のデータを抽出し、その
検出距離を算出するため、最初の区分のデータを読み込
む。
のデータをセットすると、ステップS104で被写体の三次
元位置(x,y,z)を前述の(1)〜(3)式によって求
め、ステップS105で、前述の道路形状の直線式(7),(8)
を使って距離zに於ける道路表面の高さyrを算出す
る。尚、白線が無い道路等、当初、道路形状を認識でき
ないときには、道路表面は車両1に水平であると仮定し
て道路表面の高さyrを設定する。
によって算出した被写体の道路表面からの高さHに基づ
いて、道路面より上にあるデータを立体物データとして
抽出する。この場合、高さHが0.1m程度以下の被写
体は、道路上の白線や汚れ、影等と考えられるため、こ
の被写体のデータは棄却する。また、自車両1の高さよ
り上にある被写体も、歩道橋や標識などと考えられるの
で棄却し、道路上の立体物と推定されるデータのみを選
別する。 H=y−yr …(9)
か否かを調べ、最終データでないときには、ステップS1
08で区分内の次のデータをセットして前述のステップS1
04へ戻り、同様の処理を繰り返して道路面より上にある
データを抽出する。そして、1つの区分内で最終データ
の処理が完了すると、ステップS107からステップS109へ
進み、抽出された立体物データに対し、予め設定された
距離zの区間に含まれるデータの個数を数えて距離zを
横軸とするヒストグラムを作成する。
数が判定値以上で、かつ最大値となる区間を検出し、該
当する区間があれば、ステップS111において、その区間
に立体物が存在すると判断し、その立体物までの距離を
検出する。上記ヒストグラムでは、入力される距離画像
中の距離データには誤って検出された値も存在し、実際
には物体の存在しない位置にも多少のデータが現れる。
しかしながら、ある程度の大きさの物体があると、その
位置の度数は大きな値を示し、一方、物体が何も存在し
ない場合には誤った距離データのみによって発生する度
数は小さな値となる。
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は物体が存在しないと判断しても
差し支えなく、画像のデータに多少のノイズが含まれて
いる場合においても、ノイズの影響を最小限にして物体
を検出できる。
12へ進んで最終区分に達したか否かを調べる。そして、
最終区分に達していないときには、上記ステップS112か
らステップS113へ進んで次の区分のデータを読み込む
と、前述のステップS103へ戻り、道路面より上にあるデ
ータの抽出、ヒストグラムの作成、及び、各区分内での
立体物の検出と距離の算出を行う。以上の処理を繰り返
し、やがて、最終区分に達すると、上記ステップS112か
らステップS114以降へ進む。
した立体物の位置を示し、これらの立体物の距離データ
は、ステップS114〜ステップS120の処理により、距離が
接近しているグループに分けられる。この処理では、各
区分の立体物の検出距離を調べ、隣接する区分において
立体物までの検出距離の差異が判定値以下の場合は同一
の立体物と見なし、一方、判定値を超えている場合は別
々の立体物と見なしてグループ分けを行う。
の区分(例えば左端)を調べ、立体物が検出されている
場合には、距離データを読み込んで、この区分R1を、
グループG1、距離Z1に分類する。次に、ステップS1
15へ進んで右隣の区分R2を調べ、立体物が検出されて
いない場合には、グループG1は区分R1の内部とその
近辺に存在し、その距離はZ1と判定し、一方、区分R
2で立体物が検出されており、その検出距離がZ2であ
る場合には、区分R1の距離Z1と右隣の区分R2の距
離Z2の差を計算する。
との距離の差が判定値以下か否かを調べ、距離の差が判
定値以下で互いに接近しているときには、ステップS117
で、区分R2で検出された立体物は、先に検出されたグ
ループG1に属すると判定して同一グループにラベル付
けを行い、その距離をZ1とZ2との平均値としてステ
ップS119へ進む。
超えているときには、上記ステップS116からステップS1
18へ進み、区分R2で検出された立体物は、先に検出さ
れたグループG1とは異なると判定して新しいグループ
(グループG2、距離Z2)にラベル付けを行い、ステ
ップS119へ進む。
かを調べ、最終区分に達していないときには、ステップ
S120で次の区分の距離を読み込んで上記ステップS115へ
戻っり、さらに右隣の領域を調べてゆく。また、最終区
分に達したときには、ステップS119からステップS121以
降へ進む。
脇に車両が駐車している状況等において、ガードレール
の距離データと、このガードレールに脇に駐車している
車両上の距離データとが同一のグループとして処理され
てしまう場合がある。従って、次のステップS121〜ステ
ップS131における処理で距離データのX−Z平面上での
並び方向を調べ、並び方向がZ軸と平行な部分とX軸と
平行な部分とでグループを分割する。
プS121で、最初のグループのデータを読み込み、ステッ
プS122で、このグループ内の各区分の並び方向を算出す
ると、ステップS123で各区分に“物体”、“側壁”のラ
ベルを付ける。具体的には、グループ内での左端の区分
K1の位置をZ1,X1とし、N個だけ右側の区分の位
置をZp,Xpとすると、点X1,Z1と点Xp,Zp
との2点を結ぶ直線のZ軸に対する傾きA1を算出し、
この直線の傾きA1を設定値(例えば、45°程度)と
比較する。そして、直線の傾きA1が設定値以下でデー
タの並びが略Z軸方向の場合には、区分K1は“側壁”
とラベル付けし、上記直線の傾きA1が設定値を超え、
データの並びが略X軸方向の場合には、“物体”とラベ
ル付けする。
〜4区分程度とする。これは、N=1すなわち右隣の区
分では、検出距離のバラツキのために並び方向が大きく
ばらついてしまい、分割の判断が難しくなるためであ
り、少し離れた区分との並び方向を使うことにより、方
向の安定化を図る。そして、この“側壁”あるいは“物
体”のラベル付けを、グループ内の左端の区分から順
に、右端からN個左側の区分まで行い、各区分にラベル
付けをする。
ると、上記ステップS123からステップS124へ進んで左端
の区分のラベルを読み込み、さらに、ステップS125で、
その右隣の区分のラベルを読み込む。次いで、ステップ
S126へ進み、左端のラベルと、その右隣のラベルが異な
るか否かを調べる。その結果、ラベルが同じときにはス
テップS126からステップS128へジャンプし、ラベルが異
なるとき、ステップS126からステップS127へ進んで“側
壁”とラベル付けされた区分と“物体”とラベル付けさ
れた区分とを分割して別のグループとし、ステップS128
へ進む。分割する区分の位置は、ラベルが“側壁”←→
“物体”で変化する位置のN/2区分だけ右側となる。
より部分的にラベルが変化する状況に対処するため、同
じラベルが判定値以上(例えば、3区分以上)連続して
並んでいる場合にのみ分割を行い、判定値未満の場合に
は、分割は行わない。
べ、最終区分でないとき、ステップS129で次の区分のラ
ベルを読み込んで上記ステップS125へ戻り、同様の処理
を繰り返す。そして、最終区分に達すると、上記ステッ
プS128からステップS130ヘ進み、最終グループに達した
か否かを調べる。その結果、最終グループに達していな
いときには、ステップS131で次のグループのデータを読
み込み、次のグループに対して同様にグループを分割す
る処理を行う。この処理を繰り返し、やがて、最終グル
ープに達すると、グループ分割の処理を完了してステッ
プS130からステップS132以降へ進む。
された各グループに対し、側壁か物体かの分類を行って
各グループのパラメータを算出する処理であり、ステッ
プS132で最初のグループのデータを読み込むと、ステッ
プS133で、グループ内の各区分の位置(Xi,Zi)か
らハフ変換あるいは最小二乗法によって近似直線を求
め、グループ全体の傾きを算出する。
体の傾きから、X軸方向の傾きを有するグループを物
体、Z軸方向の傾きを有するグループを側壁に分類し、
ステップS135で、各グループのパラメータを算出する。
このパラメータは、物体と分類されたグループでは、グ
ループ内の距離データから算出される平均距離や、左
端、右端のX座標等のパラメータであり、側壁と分類さ
れたグループでは、並びの方向(Z軸との傾き)や前後
端の位置(Z,X座標)等のパラメータである。尚、グ
ループの分類は、前述のグループ分割処理で付けられた
各区分の“側壁”あるいは“物体”のラベルによって行
っても良い。
36へ進んで最終グループに達したか否かを調べ、最終グ
ループでないときには、ステップS137で次のグループの
データを読み込んで上記ステップS133へ戻り、最終グル
ープに達したとき、プログラムを抜ける。
の検出結果となり、区分毎の距離をX−Z平面上に示す
と、図13に示すような直線状の側壁グループとして捉
えられ、カーブした道路に沿った部分は認識されない。
従って、図6の壁面検出処理のプログラムでは、以上に
よって得られた側壁グループのデータを用い、カーブし
た道路にそった壁面を認識する。
で、自車両との位置関係を調べて側壁のグループの中か
らガードレール等の壁面を検出していると推定されるグ
ループを選出し(左右各1個以下)、ステップS202以降
で、この選出した側壁グループのデータ(位置と方向)
を手掛かりにし、壁面モデルを用いて壁面を探索・拡張
する。
自車両の前方の所定範囲を設定間隔毎に設けたノード点
で結んで壁面の輪郭を表現したものであり、例えば前方
10mから90mまでを2m間隔の41個のノード点で
輪郭を構成し、各ノード点は自車両側から順に番号を付
して管理される。各ノード点のZ座標は固定とし、その
X座標を後述する手順により決定する。
ップS201で選択された側壁グループの手前側の端点のZ
座標から対応するノード点Nsとして求め、このノード
点NsのX座標を、側壁の位置に合わせて設定すると、
次に、ステップS203へ進み、次のノード点Ns+iの位置
(X座標)を設定する。このノード点Ns+iの設定
は、i=1でノード点Nsと隣のノード点Ns+1を設定す
るときには、側壁グループの傾きの方向に沿った位置と
し、i≧2でノード点Ns+2以降のノード点を設定する
ときには、その前の2つのノード点で決定される方向に
沿った位置とする。
すように、ステップS203で設定されたノード点Ns+iの
座標(Xns+i,Zns+i)を中心として、所定の範
囲でパターンマッチングにより壁面の位置を探索する。
この探索範囲は、例えばX方向にXns+i±3〜5m
程度、Z方向にZns+i±1m程度であり、探索範囲
内にある区分毎の立体物Piを抽出する。
して壁面パターンのマッチングを行う。図16はこのパ
ターンマッチングにて使用される壁面パターン(重み係
数パターン)の一例を示している(図16は左側の壁面
に対応するパターンであり、右側の壁面検出には左側と
対称のパターンを用いる)。この壁面パターンの横軸は
X座標方向の距離、縦軸は重み係数を示しており、この
壁面パターンの中心点を探索範囲内でX座標方向へずら
しながらマッチング度の最も高い位置を探索する。具体
的には、各立体物Piの壁面パターン中心点からのX座
標方向偏差に対応する重みWiを求め、その総和をマッ
チング度Fとして算出する。そして、このマッチング度
Fが最大となるときの壁面パターンの中心点位置が壁面
の位置と認識される。但し、マッチング度Fの最大値が
判定値以下の場合には壁面なしと判断する。
ステップS205へ進み、マッチング度Fが最大となるとき
の壁面パターンの中心点のX座標(Xpw)をノード点
Ns+iに対応する壁面位置のX座標として確定する。
れた側壁グループ内の最後のノード点か否かを調べ、最
後のノード点でないとき、ステップS203へ戻って次のノ
ード点を設定し同様の処理を繰り返す。また、最後のノ
ード点に達すると、ステップS207へ進んでステップS202
〜S205で確定されたノード点の中で最も番号の小さいも
の(最も自車両に近いもの)と最も番号の大きいもの
(最も自車両から遠いもの)とを探し、それらを検出範
囲の始点Ns、終点Neとしてプログラムを抜ける。この
プログラムは、左側の側壁グループについて実行された
後、右側の側壁グループについて実行される。図14の
例では、自車両右側で第9ノードから第26ノードまで
壁面が検出され、第9ノードを始点Nsとして第26ノ
ードを終点Neとする各ノード点が有効なノード点とし
て管理される。
らに、前述の図3〜図5のプログラムで得られる側壁グ
ループの新たなデータを用い、図7及び図8に示すプロ
グラムによって修正される。
ップS301で、前回の処理で得られた有効なノード点の始
点Nsが壁面モデルの1番目のノード点N1よりも大きい
か否かを調べ、Ns=N1で1番目のノード点N1まで既
に壁面が検出されているときにはステップS306へジャン
プし、Ns>N1のとき、ステップS302へ進んで手前側の
方向に戻ってノード点Ns-iを設定し、ステップS303で
壁面パターンを探索すると、その探索結果に従ってステ
ップS304で壁面のX座標を確定する。
進んで1番目のノード点に達したか否かを調べ、1番目
のノード点N1に達していないときには、ステップS302
〜S304を繰り返してノード点N1までの壁面位置の探索
を続け、1番目のノード点N1までの処理を終えると、
ステップS306へ進んで有効なノード点の終点Neが壁面
モデルの最後のノード点Nse(例えば、壁面モデルを4
1個のノード点で構成する場合には、ノード点N41)よ
り小さいか否かを調べる。
で既に壁面が検出されているときには、ステップS306か
らステップS311へジャンプし、Ne<Nseのとき、ステ
ップS306からステップS307へ進んで終点Ne以降のノー
ド点Ne+iを順次設定し、ステップS308で壁面のパター
ンマッチングを行うと、そのマッチング結果に従ってス
テップS309で壁面のX座標を確定する。そして、ステッ
プS310で、最後のノード点Nseに達したか否かを調べて
最後のノード点Nseまでの壁面位置のマッチングを続
け、最後のノード点Nseまでの処理を終えると、ステッ
プS311へ進む。
プS307〜S309におけるノード点の設定、壁面パターンの
マッチング、探索結果に応じた壁面のX座標の確定は、
前述の壁面検出処理のプログラムにおけるステップS20
3,S204,S205の処理と同様である。
ド点N1から最後のノード点Nseまでの各ノード点の位
置(X座標)を修正する処理であり、まず、ステップS3
11で最初のノード点N1のデータをセットし、ステップS
312へ進む。ステップS312〜ステップS321までの処理
は、ステップS322で順次ノード点のデータがセットされ
ることにより、最初のノード点N1から最後のノード点
Nseまで繰り返し実行される。
る壁面を検索し、ステップS313で、パターンマッチング
により壁面が検出されているか否かを調べる。そして、
パターンマッチングにより壁面が検出されているとき、
ステップS313からステップS314へ進んで読み出した壁面
位置Xpwとノード点の位置Xniとの差が設定値以内
(例えば、±1m以内)であるか否かを調べ、差が設定
値以内であるとき、ステップS315でノード点を壁面位置
に移動し(Xni←Xpw)、差が設定値を超えている
ときには、ステップS316でノード点を壁面の方向に所定
量(例えば、±0.3m程度)だけ移動する(Xni←
Xni±0.3m)。
出されていないときには、上記ステップS313からステッ
プS317へ分岐し、ノード点の位置Xniに対し、左側に
存在する立体物のデータXpi(Xni<Xpi)の個
数C0と、右側に存在する立体物のデータXpi(Xn
i>Xpi)の個数C1とをカウントし、ステップS318
で、立体物のデータの個数が多く、立体物が片寄って存
在する側にノード点を所定量(例えば、0.8m)移動
する(Xni←Xni±0.8)。
が検出されない場合には、ノード点の左右方向で立体物
が検出されている方向にノード点を所定量移動させるこ
とにより、ノード点の位置が壁面から大きく離れてしま
った場合にもノード点の位置を壁面が存在する可能性の
ある方向に近づけることができる。
により、ノード点の位置を移動すると、次にステップS3
19へ進み、現在のノード点Niに対して1つ遠方側のノ
ード点Ni+1と、現在のノード点Niに対して1つ近傍側
のノード点Ni-1とを結ぶ直線の中点の位置(X座標)
Xcを求め、ステップS320で、図18に示すように、現
在のノード点Niと遠方側のノード点Ni+1とを結ぶ直
線、及び、現在のノード点Niと近傍側のノード点Ni+1
とを結ぶ直線の2本の直線があたかもバネで連結されて
おり、真直になろうとするかのように、ノード点を中点
の方向に移動する。この場合の移動量は、中点の位置X
cとノード点の位置Xniとの差の1/2〜1/5程度
に留める。
れる壁面の位置には、データのバラツキ等の影響で凹凸
が存在するが、多くの場合、実際に道路の境界を形成す
るガードレール等の壁面は滑らかにカーブしている。こ
のため、上述のようなバネの作用を加えることで細かい
凹凸を平滑化し、滑らかなカーブ形状を得ることができ
る。この場合、ノード点の全体の形状を平滑化する一般
的な手法として最小二乗法等があるが、上述のバネ作用
による手法は計算処理が簡素であり、処理速度を向上す
ることができる。
ド点Nseに達したか否かを調べ、最後のノード点Nseに
達していないときには、ステップS322で次のノード点の
データをセットしてステップS312へ戻り、以上の処理を
繰り返す。そして、最後のノード点Nseまでの処理が終
了すると、ステップS321からステップS323へ進んですべ
てのノード点において移動量が判定値(例えば、±0.
1m)以内になったか否かを調べる。
ド点が1つでも存在するときには、ステップS311へ戻っ
て1番目のノード点から最後のノード点まで以上の位置
の修正処理を繰り返し、すべてのノード点の移動量が判
定値以内となったとき、ステップS324で、ノード点の検
出範囲の始点Ns及び終点Neを求めてプログラムを抜け
る。これにより、部分的な誤検出等は、繰り返しの中で
修正され、全体として最もふさわしい壁面の形状が得ら
れる。尚、このプログラムも、左側の側壁グループにつ
いて実行された後、右側の側壁グループについて実行さ
れる。
た道路に沿った壁面を遠方まで捉えた検出結果を示し、
X−Z平面上では、壁面モデルの修正結果は図20に示
すようになる。この壁面モデルによるカーブした壁面の
検出結果では、図13に示すような直線として側壁を捉
える場合に比較し、例えば約2倍といった遠方まで壁面
を検出することができる。
に対応することができ、ガードレールのみではなく、道
路周辺の植え込み、住宅の塀等、様々な物体を連ねて道
路の境界を構成する一連の立体物を壁面として検出する
ことができる。従って、以上の壁面検出結果を用いるこ
とにより、白線が無い道路や雪道等の白線を認識できな
い道路においても、道路形状を認識することができる。
路がカーブしている場合にも、道路の境界を構成する一
連の立体物を壁面として検出することができ、この壁面
検出結果を用いることで白線が無い道路や雪道等の白線
を認識できない道路においても道路形状を認識すること
ができ、車外状況を常に的確に把握することができる等
優れた効果が得られる。
ト(その1)
ト(その2)
ト(その3)
Claims (5)
- 【請求項1】 車外の立体物の位置を検出して車外の状
況を認識する車外監視装置において、 複数の立体物位置データをグループ化して道路の境界を
構成する壁面を検出する手段と、 複数のノード点を連結して上記壁面の輪郭を表す壁面モ
デルを形成する手段と、 上記グループ化された立体物位置データに基いて上記壁
面モデルを修正する手段とを備えたことを特徴とする車
外監視装置。 - 【請求項2】 上記壁面モデルを修正する手段は、上記
グループ化された位置データに対して壁面パターンマッ
チングにより各ノード点に対応する壁面位置を探索し、
該探索された壁面位置により対応するノード点の座標を
修正することを特徴とする請求項1記載の車外監視装
置。 - 【請求項3】 上記壁面モデルを修正する手段は、上記
壁面の外側に対して重み付けの大きい壁面パターンを用
いて上記パターンマッチングを行うことを特徴とする請
求項2記載の車外監視装置。 - 【請求項4】 上記壁面モデルを修正する手段は、上記
パターンマッチングによって壁面が検出されない場合、
上記立体物位置データが偏って存在する側に対応するノ
ード点の座標を修正することを特徴とする請求項2記載
の車外監視装置。 - 【請求項5】 上記壁面モデルを修正する手段は、上記
グループ化された立体物位置データに基いて上記壁面モ
デルを修正した後、各ノード点の座標をその前後のノー
ド点を結ぶ直線に近づく方向に修正することを特徴とす
る請求項1記載の車外監視装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01843898A JP3516856B2 (ja) | 1998-01-30 | 1998-01-30 | 車外監視装置 |
US09/238,228 US6370261B1 (en) | 1998-01-30 | 1999-01-27 | Vehicle surroundings monitoring apparatus |
EP99101574A EP0933725B1 (en) | 1998-01-30 | 1999-01-29 | Vehicle surroundings monitoring apparatus |
DE69937699T DE69937699T2 (de) | 1998-01-30 | 1999-01-29 | Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges |
US10/028,882 US6888953B2 (en) | 1998-01-30 | 2001-12-20 | Vehicle surroundings monitoring apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01843898A JP3516856B2 (ja) | 1998-01-30 | 1998-01-30 | 車外監視装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002275530A Division JP3697435B2 (ja) | 2002-09-20 | 2002-09-20 | 車外監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11213138A true JPH11213138A (ja) | 1999-08-06 |
JP3516856B2 JP3516856B2 (ja) | 2004-04-05 |
Family
ID=11971657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01843898A Expired - Lifetime JP3516856B2 (ja) | 1998-01-30 | 1998-01-30 | 車外監視装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US6370261B1 (ja) |
EP (1) | EP0933725B1 (ja) |
JP (1) | JP3516856B2 (ja) |
DE (1) | DE69937699T2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002189075A (ja) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
WO2010032523A1 (ja) | 2008-09-17 | 2010-03-25 | 株式会社 日立製作所 | 道路境界検出判断装置 |
WO2010061773A1 (ja) * | 2008-11-28 | 2010-06-03 | 日立オートモティブシステムズ株式会社 | カメラ装置 |
WO2010137569A1 (ja) | 2009-05-29 | 2010-12-02 | 日立オートモティブシステムズ株式会社 | 車両制御装置および車両制御方法 |
WO2011080943A1 (ja) * | 2009-12-28 | 2011-07-07 | 日立オートモティブシステムズ株式会社 | 路肩検出装置及び路肩検出装置を用いた車両 |
WO2012059955A1 (ja) * | 2010-11-04 | 2012-05-10 | トヨタ自動車株式会社 | 道路形状推定装置 |
WO2015163028A1 (ja) * | 2014-04-25 | 2015-10-29 | 日立建機株式会社 | 鉱山用作業車両用の路面推定装置および路面推定システム |
EP3330892A1 (en) | 2016-11-30 | 2018-06-06 | Ricoh Company Ltd. | Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means |
WO2018116841A1 (ja) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP2020127217A (ja) * | 2018-08-07 | 2020-08-20 | 住友建機株式会社 | ショベル |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3516856B2 (ja) * | 1998-01-30 | 2004-04-05 | 富士重工業株式会社 | 車外監視装置 |
DE19926559A1 (de) * | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
US6542840B2 (en) * | 2000-01-27 | 2003-04-01 | Matsushita Electric Industrial Co., Ltd. | Calibration system, target apparatus and calibration method |
US6515597B1 (en) * | 2000-01-31 | 2003-02-04 | Matsushita Electric Industrial Co. Ltd. | Vicinity display for car |
JP4414054B2 (ja) * | 2000-03-27 | 2010-02-10 | 本田技研工業株式会社 | 物体認識装置 |
JP4925498B2 (ja) * | 2000-07-12 | 2012-04-25 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
JP4953498B2 (ja) | 2000-07-12 | 2012-06-13 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
US6977630B1 (en) * | 2000-07-18 | 2005-12-20 | University Of Minnesota | Mobility assist device |
US7375728B2 (en) * | 2001-10-01 | 2008-05-20 | University Of Minnesota | Virtual mirror |
JP3733875B2 (ja) * | 2000-09-29 | 2006-01-11 | 日産自動車株式会社 | 道路白線認識装置 |
JP3736346B2 (ja) * | 2000-12-26 | 2006-01-18 | 日産自動車株式会社 | 車線検出装置 |
DE10103870B4 (de) * | 2001-01-30 | 2004-02-05 | Daimlerchrysler Ag | Verfahren zur Bilderkennung bei Kraftfahrzeugen |
US20020134151A1 (en) * | 2001-02-05 | 2002-09-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for measuring distances |
JP2002374441A (ja) * | 2001-06-13 | 2002-12-26 | Mitsubishi Electric Corp | 車窓内センサ |
US7552008B2 (en) * | 2001-07-18 | 2009-06-23 | Regents Of The University Of Minnesota | Populating geospatial database for onboard intelligent vehicle applications |
DE10141220A1 (de) * | 2001-08-23 | 2003-04-10 | Valeo Schalter & Sensoren Gmbh | Umfelderkennungssystem |
JP3909691B2 (ja) * | 2002-09-12 | 2007-04-25 | 株式会社日立製作所 | 車載用画像処理装置 |
JP4176430B2 (ja) * | 2002-09-18 | 2008-11-05 | 富士重工業株式会社 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
JP4235051B2 (ja) * | 2003-08-29 | 2009-03-04 | トヨタ自動車株式会社 | 駐車支援装置 |
DE10346336A1 (de) * | 2003-10-06 | 2005-04-21 | Bosch Gmbh Robert | Multisensor-Ortungsgerät |
US7409294B2 (en) * | 2003-10-17 | 2008-08-05 | Applied Concepts, Inc. | Traffic alert police radar |
JP3941770B2 (ja) * | 2003-10-28 | 2007-07-04 | 株式会社デンソー | 衝突可能性判定装置 |
JP3925488B2 (ja) * | 2003-11-11 | 2007-06-06 | 日産自動車株式会社 | 車両用画像処理装置 |
JP4638143B2 (ja) * | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | 車両用運転支援装置 |
US7406182B2 (en) * | 2004-03-31 | 2008-07-29 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program |
US8862379B2 (en) * | 2004-09-20 | 2014-10-14 | The Boeing Company | Vehicle collision shield |
DE102004047485A1 (de) * | 2004-09-30 | 2006-04-06 | Robert Bosch Gmbh | Fahrerassistenzsystem |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
JP4513691B2 (ja) * | 2005-08-23 | 2010-07-28 | 株式会社デンソー | 撮像モジュール |
JP2007091025A (ja) * | 2005-09-28 | 2007-04-12 | Fuji Heavy Ind Ltd | 車両の前方監視装置 |
FR2893173B1 (fr) * | 2005-11-10 | 2008-01-18 | Valeo Vision Sa | Procede d'evaluation, par un vehicule automobile, des caracteristiques d'un element frontal. |
JP2007147458A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ltd | 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体 |
JP4632987B2 (ja) * | 2006-03-28 | 2011-02-16 | 株式会社パスコ | 道路画像解析装置及び道路画像解析方法 |
WO2007124502A2 (en) * | 2006-04-21 | 2007-11-01 | Sarnoff Corporation | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
JP4902368B2 (ja) * | 2007-01-24 | 2012-03-21 | 三洋電機株式会社 | 画像処理装置及び画像処理方法 |
JP4914234B2 (ja) * | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 先行車両検出装置 |
CN101458078A (zh) * | 2007-12-10 | 2009-06-17 | 鸿富锦精密工业(深圳)有限公司 | 一种汽车防撞系统及方法 |
JP4956452B2 (ja) * | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
JP4876080B2 (ja) * | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
US20110153266A1 (en) * | 2009-12-23 | 2011-06-23 | Regents Of The University Of Minnesota | Augmented vehicle location system |
JP5276637B2 (ja) * | 2010-09-08 | 2013-08-28 | 富士重工業株式会社 | 車線推定装置 |
JP2012141691A (ja) * | 2010-12-28 | 2012-07-26 | Fujitsu Ten Ltd | 映像処理装置 |
JP5386539B2 (ja) * | 2011-05-12 | 2014-01-15 | 富士重工業株式会社 | 環境認識装置 |
JP5276140B2 (ja) * | 2011-05-19 | 2013-08-28 | 富士重工業株式会社 | 環境認識装置および環境認識方法 |
US10188856B1 (en) | 2011-12-07 | 2019-01-29 | Cyberonics, Inc. | Implantable device for providing electrical stimulation of cervical vagus nerves for treatment of chronic cardiac dysfunction |
JP5863105B2 (ja) * | 2011-12-13 | 2016-02-16 | アルパイン株式会社 | 車両移動量推定装置および障害物検出装置 |
US9452290B2 (en) | 2012-11-09 | 2016-09-27 | Cyberonics, Inc. | Implantable neurostimulator-implemented method for managing tachyarrhythmia through vagus nerve stimulation |
US9643008B2 (en) | 2012-11-09 | 2017-05-09 | Cyberonics, Inc. | Implantable neurostimulator-implemented method for enhancing post-exercise recovery through vagus nerve stimulation |
US8923964B2 (en) | 2012-11-09 | 2014-12-30 | Cyberonics, Inc. | Implantable neurostimulator-implemented method for enhancing heart failure patient awakening through vagus nerve stimulation |
JP6376429B2 (ja) * | 2012-11-13 | 2018-08-22 | 株式会社リコー | 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体 |
JP6344638B2 (ja) * | 2013-03-06 | 2018-06-20 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
US9643011B2 (en) | 2013-03-14 | 2017-05-09 | Cyberonics, Inc. | Implantable neurostimulator-implemented method for managing tachyarrhythmic risk during sleep through vagus nerve stimulation |
US9830681B2 (en) * | 2014-01-31 | 2017-11-28 | Hover Inc. | Multi-dimensional model dimensioning and scale error correction |
DE102014208967A1 (de) * | 2014-05-13 | 2015-11-19 | Bayerische Motoren Werke Aktiengesellschaft | Umfeldkarte für Fahrflächen mit beliebigem Höhenverlauf |
JP2016103249A (ja) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | 運転支援装置および運転支援方法 |
US9576185B1 (en) * | 2015-09-14 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Classifying objects detected by 3D sensors for autonomous vehicle operation |
JP6623729B2 (ja) * | 2015-12-04 | 2019-12-25 | 株式会社ソシオネクスト | 測距システム、移動体及び部品 |
EP3293668B1 (en) * | 2016-09-13 | 2023-08-30 | Arriver Software AB | A vision system and method for a motor vehicle |
US10740627B2 (en) | 2017-05-10 | 2020-08-11 | Fotonation Limited | Multi-camera vision system and method of monitoring |
US10331960B2 (en) | 2017-05-10 | 2019-06-25 | Fotonation Limited | Methods for detecting, identifying and displaying object information with a multi-camera vision system |
US11615566B2 (en) | 2017-05-10 | 2023-03-28 | Fotonation Limited | Multi-camera vehicle vision system and method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04262498A (ja) * | 1991-02-18 | 1992-09-17 | Mitsubishi Electric Corp | ガードレール検出装置 |
JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5142659A (en) * | 1989-04-18 | 1992-08-25 | Texas Instruments Incorporated | Estimation of local surface geometry from relative range images for object recognition |
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
JP3212218B2 (ja) * | 1994-05-26 | 2001-09-25 | 三菱電機株式会社 | 車両用障害物検出装置 |
JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
JPH1031799A (ja) * | 1996-07-15 | 1998-02-03 | Toyota Motor Corp | 自動走行制御装置 |
JP3337197B2 (ja) * | 1997-04-04 | 2002-10-21 | 富士重工業株式会社 | 車外監視装置 |
JP3516856B2 (ja) * | 1998-01-30 | 2004-04-05 | 富士重工業株式会社 | 車外監視装置 |
US6429789B1 (en) * | 1999-08-09 | 2002-08-06 | Ford Global Technologies, Inc. | Vehicle information acquisition and display assembly |
-
1998
- 1998-01-30 JP JP01843898A patent/JP3516856B2/ja not_active Expired - Lifetime
-
1999
- 1999-01-27 US US09/238,228 patent/US6370261B1/en not_active Expired - Lifetime
- 1999-01-29 DE DE69937699T patent/DE69937699T2/de not_active Expired - Lifetime
- 1999-01-29 EP EP99101574A patent/EP0933725B1/en not_active Expired - Lifetime
-
2001
- 2001-12-20 US US10/028,882 patent/US6888953B2/en not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04262498A (ja) * | 1991-02-18 | 1992-09-17 | Mitsubishi Electric Corp | ガードレール検出装置 |
JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002189075A (ja) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
WO2010032523A1 (ja) | 2008-09-17 | 2010-03-25 | 株式会社 日立製作所 | 道路境界検出判断装置 |
JP2010072807A (ja) * | 2008-09-17 | 2010-04-02 | Hitachi Ltd | 道路境界検出判断装置 |
US8411900B2 (en) | 2008-09-17 | 2013-04-02 | Hitachi Automotive Systems, Ltd. | Device for detecting/judging road boundary |
WO2010061773A1 (ja) * | 2008-11-28 | 2010-06-03 | 日立オートモティブシステムズ株式会社 | カメラ装置 |
CN102227758A (zh) * | 2008-11-28 | 2011-10-26 | 日立汽车系统株式会社 | 摄像装置 |
US8781643B2 (en) | 2009-05-29 | 2014-07-15 | Hitachi Automotive Systems, Ltd. | Vehicle control device and vehicle control method |
WO2010137569A1 (ja) | 2009-05-29 | 2010-12-02 | 日立オートモティブシステムズ株式会社 | 車両制御装置および車両制御方法 |
WO2011080943A1 (ja) * | 2009-12-28 | 2011-07-07 | 日立オートモティブシステムズ株式会社 | 路肩検出装置及び路肩検出装置を用いた車両 |
JP2011138244A (ja) * | 2009-12-28 | 2011-07-14 | Hitachi Automotive Systems Ltd | 路肩検出装置及び路肩検出装置を用いた車両 |
US8873803B2 (en) | 2009-12-28 | 2014-10-28 | Hitachi Automotive Systems, Ltd. | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
JPWO2012059955A1 (ja) * | 2010-11-04 | 2014-05-12 | トヨタ自動車株式会社 | 道路形状推定装置 |
JP5569591B2 (ja) * | 2010-11-04 | 2014-08-13 | トヨタ自動車株式会社 | 道路形状推定装置及び道路形状推定方法 |
WO2012059955A1 (ja) * | 2010-11-04 | 2012-05-10 | トヨタ自動車株式会社 | 道路形状推定装置 |
WO2015163028A1 (ja) * | 2014-04-25 | 2015-10-29 | 日立建機株式会社 | 鉱山用作業車両用の路面推定装置および路面推定システム |
EP3330892A1 (en) | 2016-11-30 | 2018-06-06 | Ricoh Company Ltd. | Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means |
WO2018116841A1 (ja) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP2018101200A (ja) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
US11024051B2 (en) | 2016-12-19 | 2021-06-01 | Hitachi Automotive Systems, Ltd. | Object detection device |
JP2020127217A (ja) * | 2018-08-07 | 2020-08-20 | 住友建機株式会社 | ショベル |
Also Published As
Publication number | Publication date |
---|---|
EP0933725B1 (en) | 2007-12-12 |
US6888953B2 (en) | 2005-05-03 |
EP0933725A3 (en) | 2004-05-06 |
JP3516856B2 (ja) | 2004-04-05 |
DE69937699T2 (de) | 2008-11-27 |
US6370261B1 (en) | 2002-04-09 |
DE69937699D1 (de) | 2008-01-24 |
EP0933725A2 (en) | 1999-08-04 |
US20030099377A1 (en) | 2003-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3516856B2 (ja) | 車外監視装置 | |
JP3349060B2 (ja) | 車外監視装置 | |
JP3337197B2 (ja) | 車外監視装置 | |
CN106463064B (zh) | 物体识别装置和使用该物体识别装置的车辆行驶控制装置 | |
EP3179445B1 (en) | Outside environment recognition device for vehicles and vehicle behavior control device using same | |
JP3315054B2 (ja) | 車外監視装置 | |
JP5145585B2 (ja) | 物標検出装置 | |
JP4082471B2 (ja) | 車外監視装置 | |
JPH1139596A (ja) | 車外監視装置 | |
JP6340850B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JPH06266828A (ja) | 車輌用車外監視装置 | |
US10740592B2 (en) | Three-dimensional object ground-contact determining apparatus | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP2008117073A (ja) | 割り込み車両検出装置 | |
CN109827516B (zh) | 一种通过车轮来测量距离的方法 | |
JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
JP4956099B2 (ja) | 壁検出装置 | |
JP2002334330A (ja) | 車両認識装置 | |
US10953885B2 (en) | Road surface detecting apparatus | |
JP3925285B2 (ja) | 走行路環境検出装置 | |
JPH09106500A (ja) | 車輌の運転支援装置 | |
CN105574470B (zh) | 一种侧后方车辆识别方法及装置 | |
JP3697435B2 (ja) | 車外監視装置 | |
JP2001082954A (ja) | 画像処理装置及び画像処理測距方法 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040121 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100130 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110130 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |