JP3209828B2 - 車間距離計測装置とステレオ画像取り込み装置 - Google Patents

車間距離計測装置とステレオ画像取り込み装置

Info

Publication number
JP3209828B2
JP3209828B2 JP14702693A JP14702693A JP3209828B2 JP 3209828 B2 JP3209828 B2 JP 3209828B2 JP 14702693 A JP14702693 A JP 14702693A JP 14702693 A JP14702693 A JP 14702693A JP 3209828 B2 JP3209828 B2 JP 3209828B2
Authority
JP
Japan
Prior art keywords
vehicle
edge
inter
horizontal
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14702693A
Other languages
English (en)
Other versions
JPH06331351A (ja
Inventor
祥弘 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP14702693A priority Critical patent/JP3209828B2/ja
Priority to EP94108081A priority patent/EP0626654A3/en
Publication of JPH06331351A publication Critical patent/JPH06331351A/ja
Application granted granted Critical
Publication of JP3209828B2 publication Critical patent/JP3209828B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、先行車両までの車間距
離を計測するために用いられる車間距離計測装置および
ステレオ画像の取り込みに用いられるステレオ画像取り
込み装置に関する。
【0002】
【従来の技術】従来、この種の車間距離計測装置として
は、特開昭60−236013号公報および特開昭60
−236014号公報に記載されているように、2枚の
画像の各走査線上にパタンマッチングや動的計画法の手
法を直接用いることによって対応探索を行ない、画像の
ずれを求めることによって距離を計測するようにしてい
た。
【0003】
【発明が解決しようとする課題】このような従来の車間
距離計測装置では、走査線上で広く対応を求めているた
めに処理時間がかかるだけでなく、車両以外の部分によ
る影響を受け易く、計測した車間距離に誤差を含む場合
も多いという問題を有していた。
【0004】本発明は以上のような従来の装置の課題を
解決するもので、車両の特徴として、T字、L字又は、
十字エッジを抽出し、高次元での特徴対応を行うことに
より、雑音に強く高精度に車間距離を計測出来る車間距
離計測装置を提供することを第1の目的としている。
【0005】さらにまた、水平エッジのずれを用いて2
台のビデオカメラの垂直方向の差を求め、さらに、安定
したステレオ画像の取り込みが可能なステレオ画像取り
込み装置を提供することを第2の目的としている。
【0006】
【課題を解決するための手段】本発明は上記第1の目的
を達成するために、車両に装着され車外の道路および車
両を撮像する2台のビデオカメラと、得られた各画像中
にあるT字、L字又は、十字エッジを抽出するT字エッ
ジ抽出手段と、前記T字エッジ抽出手段によって抽出さ
れたT字、L字又は、十字エッジを用いて2枚の画像間
の対応を求める対応探索手段と、前記対応探索手段によ
って求められた対応関係から他車両までの距離を算出す
る距離算出手段とを備えたことを特徴とする車間距離計
測装置を第1の手段とする。
【0007】また、第2の目的を達成するために、車両
に装着され車外の道路および車両を撮像する2台のビデ
オカメラと、前記2台のビデオカメラから取り込まれた
各画像内の水平エッジを抽出する水平エッジ抽出手段
と、前記水平エッジ抽出手段によって抽出された各画像
内の対応する水平エッジを比較し垂直方向の差を検出す
る手段とを備え、前記差を検出する手段の出力を用い
て、ビデオカメラの角度を調整することを特徴とするス
テレオ画像取り込み装置によってステレオ画像を取り込
ことを第2の手段とする。
【0008】
【0009】
【作用】本発明は上記した第1の手段により、高次元の
特徴であるT字、L字又は、十字エッジを用いて対応を
求めるので、雑音の影響を受けにくい車間距離の計測を
行なうことができる
【0010】また、第2の手段により、2台のビデオカ
メラの垂直方向の差を検出し、安定したステレオ画像の
取り込みが出来る。
【0011】
【実施例】以下、本発明の実施例と参考例について図面
を参照して説明する。
【0012】図1は、本発明の第1の参考例を示す図で
ある。図に示すように、ビデオカメラ1および2は車両
前方の画像を撮像するものであり、一定の間隔をおいて
設置される。ここで2台のビデオカメラ1,2の設置方
向は各々のビデオカメラの光軸が平行であれば、水平あ
るいは垂直方向に並んで設置されなくても良い。ただし
本参考例においては、路面に対して水平に2台のビデオ
カメラが設置されているものとして説明する。車両領域
抽出手段3は車両前方の画像から車両部分を抽出するも
のであり、水平エッジ抽出手段4は抽出された車両領域
中の水平エッジ成分を抽出するものである。水平輪郭近
似手段5は水平エッジ抽出手段4によって抽出された水
平エッジ成分を用いて水平輪郭を直線で近似し、対応探
索手段6によって水平輪郭近似手段5によって近似され
た水平輪郭を基準とした2枚の画像間の対応が求められ
る。距離算出手段7は対応探索手段6によって求められ
た対応関係に基き先行車両までの車間距離を算出するも
のである。
【0013】上記構成において、図2を参照しながら
参考例の動作を説明する。まず、装置が始動されると、
ステップ21においてビデオカメラ1およびビデオカメ
ラ2から1組の車両前方画像がステレオ画像として取り
込まれる。図3にビデオカメラ1および2から取り込ま
れた1組のステレオ画像を示している。
【0014】次にステップ22に進み、車両領域抽出手
段3による車両領域抽出処理が行なわれる。この車両領
域抽出処理は、輝度情報を用いてアスファルト領域から
アスファルト以外の領域を切り出すことで行なうことが
できる。または動的輪郭モデル等を用いて車両の領域を
特定してもよい。図4に図3に示した画像から矩形領域
として切り出された車両領域を示す。
【0015】次にステップ23に進み、ステップ22に
おいて車両領域が抽出されたかどうかが判断される。こ
こでアスファルト領域内にレーンを示す白線以外の領域
が存在しない場合にはそのままステップ21に戻って次
の画像が取り込まれ、車両領域が抽出された場合にはス
テップ24に進む。
【0016】ステップ24では、水平エッジ抽出手段4
による水平エッジ抽出処理が行なわれる。水平エッジの
抽出は例えばエッジ抽出フィルタの1つであるsobe
lフィルタを用いて、水平な角度を持つエッジ成分のみ
を抽出することによって行なうことができる。図5に図
4に示した画像領域中から抽出された水平エッジ成分を
示す。
【0017】次に、ステップ25に進み、水平輪郭近似
手段5による水平輪郭近似処理が行なわれる。水平輪郭
の近似は例えばハフ変換を用いて行なうことができ、ス
テップ24で得られた水平エッジ成分から水平な線分を
求めることによって水平輪郭を直線で近似することがで
きる。ここでハフ変換を用いずにエッジ追跡法や最小2
乗法等の手法を用いて水平な線分を求めることも可能で
ある。図6に図5に示した水平エッジから求められた水
平輪郭を示す。
【0018】次にステップ26に進み、ステップ25に
おいて水平輪郭が得られたかどうかが判断される。ここ
で、ステップ25において水平輪郭が見つからなかった
場合にはそのままステップ21に戻って次の画像が取り
込まれ、水平輪郭が直線近似された場合にはステップ2
7に進む。
【0019】ステップ27では、対応探索手段6による
対応探索処理が行なわれる。対応探索処理は2枚の画像
中から対応する水平輪郭を求め、切り出された車両領域
内の各水平輪郭が存在する走査線上で相関を求めること
によって行なうことができる。ここで対応する水平輪郭
は、例えば画像の垂直方向の間隔を調べることによって
調べることができ、図6においては各々の水平輪郭どう
しの間隔から、61Lと61R、62Lと62R、63
Lと63R、64Lと64R、65Lと65R、66L
と66Rが対応付けられる。そこで、図4に示した左カ
メラによる画像中の車両領域内の61Lの水平輪郭が存
在する走査線上の輝度分布と、右カメラによる画像中の
車両領域内の61Rの水平輪郭が存在する走査線上の輝
度分布との相関が最大になるずれ量を求め、これを視差
として定義することができる。また同様に、他の水平輪
郭の組についても視差を求めることができる。
【0020】次にステップ28に進み、距離算出手段7
による距離算出処理が行なわれる。距離の算出はステッ
プ27で求めた視差を用いて水平輪郭毎に行なうことが
でき、
【0021】
【数1】距離=(ビデオカメラの設置間隔・レンズ焦点
距離)/(視差・距離変換定数) によって算出することができる。ここで、距離変換定数
は得られた距離を実距離に変換するための定数である。
距離の算出は各水平輪郭について行なわれるため、例え
ば先行車両までの車間距離は得られた距離のうちで最も
近いものを採用することで定義することができる。ここ
で、各水平輪郭間の距離分布は滑らかに変化するため、
各水平輪郭に対して求められた距離を結ぶことによって
車両領域に対する距離分布を求めることも可能である。
【0022】ステップ28において車間距離が算出され
た後、再びステップ21に戻り、次の画像が取り込ま
れ、同様の処理が繰り返される。
【0023】以上説明したように本参考例によれば、車
両の特徴である水平輪郭を用いて画像間の対応を求める
ため、車両以外の画素の影響を受け難い車間距離の算出
を実現することができる。また本参考例においては、予
め車両領域を抽出し、抽出された領域内部で水平輪郭を
近似したが、画像全体で求めた水平エッジに対して水平
輪郭を近似し、車両の特徴である水平輪郭が集中してい
る部分を逆に車両領域として切り出し、車間距離を求め
ても良い。
【0024】次に、本発明の第2の参考例、すなわち、
水平輪郭上の垂直エッジ成分を用いて画像間の対応を求
める車間距離計測装置の参考例を図7を参照しながら説
明する。
【0025】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第1の参考例
と同様の処理により水平輪郭が近似される。垂直エッジ
抽出手段8は近似された水平輪郭上にある垂直エッジ成
分を抽出するものであり、対応探索手段6が垂直エッジ
抽出手段8によって抽出された垂直エッジ成分を用いて
2枚の画像間の対応を求め、求められた対応関係から距
離算出手段7が車間距離を算出するものである。
【0026】上記構成において、図8を参照しながら、
参考例の動作を説明すると、まず上記参考例と同様、
ステップ21においてビデオカメラ1および2から1組
の車両前方画像がステレオ画像として取り込まれる。
【0027】次にステップ22からステップ26まで、
上記第1の参考例と同様の処理が行なわれ、水平輪郭が
得られた場合にステップ81に進む。
【0028】ステップ81では垂直エッジ抽出手段8に
よる垂直エッジ抽出処理が行なわれる。垂直エッジ成分
の抽出は、ステップ24における水平エッジ成分抽出処
理と同様にsobelフィルタを用い、垂直な角度を持
つエッジ成分をステップ25で得られた水平輪郭上に求
めることで行なうことができる。ここで、水平輪郭上の
垂直エッジ成分は全て求められる必要はなく、強い強度
を持つ1点あるいは数点が求められれば良い。また、垂
直エッジを抽出する領域をステップ22で抽出された車
両領域内の水平輪郭に対応する走査線上として設定する
こともできる。図9に図6に示した水平輪郭上で最も強
いエッジ強度を持つ代表点(黒丸)として抽出された垂
直エッジ成分を示す。
【0029】次にステップ27に進み、対応探索手段6
による対応探索処理が行なわれる。本参考例における対
応探索処理はステップ81で求められた垂直エッジ成分
を用いて行なわれ、図9においては91Lと91R、9
2Lと92R、93Lと93R、94Lと94R、95
Lと95R、96Lと96Rが各々対応する。ここで、
各垂直エッジ成分の画像間のずれの平均から大きく外れ
た垂直エッジ成分の組を否対応として除外することによ
って精度を向上させることができ、対応関係を持つ垂直
エッジ成分についてのみ画像間のずれを視差として求め
る。
【0030】次にステップ28に進み、上記第1の参考
と同様に車間距離が求められた後、ステップ21に戻
る。
【0031】以上説明したように本参考例によれば、水
平輪郭上の代表的な垂直エッジ成分のみを用いて対応関
係を求めるため、精度の高い車間距離の計測を実現する
ことができる。
【0032】次に、本発明の第3の参考例、すなわち、
水平輪郭上に検出された対称点を用いて視差を求める車
間距離計測装置の参考例を図10を参照しながら説明す
る。
【0033】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第1の参考例
と同様の処理により水平輪郭が近似される。対称点検出
手段9は近似された水平輪郭上にある対称点を抽出し視
差を求めるものであり、求められた視差を用いて距離算
出手段7が車間距離を算出するものである。
【0034】上記構成において、図11を参照しなが
ら、本参考例の動作を説明すると、まず上記参考例と同
様、ステップ21においてビデオカメラ1および2から
1組の車両前方画像がステレオ画像として取り込まれ
る。
【0035】次にステップ22からステップ26まで、
上記第1の参考例と同様の処理が行なわれ、水平輪郭が
得られた場合にステップ111に進む。
【0036】ステップ111においては対称点検出手段
9による対称点検出処理が行なわれる。対称点の検出は
ステップ24で得られた水平エッジ成分またはsobe
lフィルタに代表されるエッジ抽出フィルタを用いて水
平輪郭上で新たに抽出されたエッジ成分を用いて行なう
ことができる。この対称点検出処理について図12およ
び図13を用いて説明する。まず図12に示すように基
準点Pを設け、これに対する対称点Qを順次検索する。
この時の点Pおよび点Qに関して、画像端から対称点候
補となる点Rまでの距離をρとし、図13に示すような
ヒストグラムに頻度を累積していく。同様の処理を全て
のエッジ成分について行なうことにより図13のような
頻度ヒストグラムを得る。このヒストグラムにおける最
大値RRがこの水平輪郭における対称点となる。ここ
で、対称点の検出は水平輪郭上で行なわず、ステップ2
2で抽出された車両領域上で行なうようにしても良い。
図14に図6に示した水平輪郭上に検出された対称点を
示す。図14において、141Lと141R、142L
と142R、143Lと143R、144Lと144
R、145Lと145R、146Lと146Rが各々対
応する対称点となり、各々の対称点のずれが視差とな
る。
【0037】次にステップ28に進み、上記第1の参考
と同様に車間距離が求められた後、ステップ21に戻
る。
【0038】以上説明したように本参考例によれば、水
平輪郭上の対称点を用いるため、簡単な処理で視差を算
出し、車間距離の計測を行なうことができる。
【0039】次に、本発明の第4の参考例、すなわち、
抽出された車両領域内にある垂直エッジを用いて垂直輪
郭を近似し、近似した垂直輪郭から視差を求める車間距
離計測装置の参考例を図15を参照しながら説明する。
【0040】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第1の参考例
と同様の処理により車両領域が抽出され、垂直エッジ抽
出手段10が抽出された車両領域内の垂直エッジ成分を
抽出する。垂直輪郭近似手段11は抽出された垂直エッ
ジ成分を用いて垂直輪郭を近似するものであり、対応探
索手段6が近似された垂直輪郭の画像間の対応から求め
た視差を用いて距離算出手段7が車間距離を算出するも
のである。
【0041】上記構成において、図16を参照しなが
ら、本参考例の動作を説明すると、まず上記参考例と同
様、ステップ21においてビデオカメラ1および2から
1組の車両前方画像がステレオ画像として取り込まれ
る。
【0042】次にステップ22からステップ23まで、
上記第1の参考例と同様の処理が行なわれ、車両領域が
抽出された場合にステップ161に進む。
【0043】ステップ161においては垂直エッジ抽出
手段10による垂直エッジ抽出処理が行なわれる。垂直
エッジの抽出は、sobelフィルタに代表されるエッ
ジ抽出フィルタを用いることにより、ステップ22で抽
出された車両領域内の垂直エッジ成分を抽出することに
よって行なわれる。図17に図4に示した車両領域から
抽出された垂直エッジを示す。
【0044】次にステップ162に進み、垂直輪郭近似
手段11による垂直輪郭近似処理が行なわれる。垂直輪
郭の近似はステップ161で抽出された垂直エッジ成分
に対し、上記第1の参考例におけるステップ25と同
様、ハフ変換等の直線抽出手法を用いることによって行
なうことができる。図18に図17の垂直エッジ成分か
ら得られた垂直輪郭を示す。
【0045】次にステップ163に進み、ステップ16
2において垂直輪郭が得られたかどうかが判断される。
ここで、ステップ162において垂直輪郭が見つからな
かった場合にはそのままステップ21に戻って次の画像
が取り込まれ、垂直輪郭が直線近似された場合にはステ
ップ27に進む。
【0046】ステップ27においては対応探索手段6に
よる対応探索処理が行なわれる。本参考例における対応
探索処理は、ステップ162において得られた垂直輪郭
を用いて行なわれ、垂直輪郭どうしの間隔および位置か
ら対応関係が求められる。図18においては、181L
と181R、182Lと182R、183Lと183
R、184Lと184Rが対応する垂直輪郭となり、各
々の垂直輪郭の画像間でのずれの平均または最大値を視
差として得ることができる。
【0047】次にステップ28に進み、上記第1の参考
と同様に車間距離が求められた後、ステップ21に戻
る。
【0048】以上説明したように本参考例によれば、垂
直輪郭のずれから視差を求めることにより、簡単な処理
で高速に車間距離の計測を行なうことができる。
【0049】次に、本発明の第5の参考例、すなわち、
垂直輪郭から求めた外接輪郭を用いて視差を求める車間
距離計測装置の参考例を図19を参照しながら説明す
る。
【0050】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第4の参考例
と同様の処理により垂直輪郭が近似され、外接輪郭検出
手段12が近似された垂直輪郭から外接輪郭を検出し、
外接輪郭の画像間でのずれを利用して距離算出手段7が
車間距離を算出するものである。
【0051】上記構成において、図20を参照しなが
ら、本参考例の動作を説明すると、まず上記参考例と同
様、ステップ21においてビデオカメラ1および2から
1組の車両前方画像がステレオ画像として取り込まれ
る。
【0052】次にステップ22からステップ163ま
で、上記第4の参考例と同様の処理が行なわれる。
【0053】次にステップ201に進み、外接輪郭検出
手段12による外接輪郭検出処理が行なわれる。外接輪
郭の検出は、上記第4の参考例におけるステップ162
において近似された垂直輪郭のうちで最も外側に位置す
る2本の輪郭を検出することによって行なうことができ
る。図21に図18に示した垂直輪郭から得られた外接
輪郭を示す。ここで、各々の外接輪郭の対応関係は明確
であり、図21においては211Lと211R、212
Lと212Rが対応する。また、各々の外接輪郭の組に
おける画像間でのずれから視差が求められる。
【0054】次にステップ28に進み、上記第1の参考
と同様に車間距離が求められた後、ステップ21に戻
る。
【0055】以上説明したように本参考例によれば、垂
直輪郭のうちで最も外側に位置する外接輪郭を用いるこ
とにより、複雑な対応関係を求めることなく視差を算出
し、車間距離の計測を行なうことができる。
【0056】次に、本発明の第1の目的を解決する手段
の一実施例、すなわち、T字エッジを用いて視差を求め
る車間距離計測装置の参考例を図22を参照しながら説
明する。
【0057】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第1の参考例
と同様の処理により車両領域が抽出され、T字エッジ抽
出手段13が抽出する車両領域内のT字エッジを用いて
対応探索手段6が視差を求め、距離算出手段7が車間距
離を算出するものである。
【0058】上記構成において、図23を参照しなが
ら、本実施例の動作を説明すると、まず上記参考例と同
様、ステップ21においてビデオカメラ1および2から
1組の車両前方画像がステレオ画像として取り込まれ
る。
【0059】次にステップ22からステップ23まで、
上記第1の参考例と同様の処理が行なわれ、車両領域が
抽出されなかった場合にはそのままステップ21へ戻っ
て次の画像が取り込まれ、車両領域が抽出された場合に
はステップ231へ進む。
【0060】ステップ231においては、T字エッジ抽
出手段13によるT字エッジ抽出処理が行なわれる。T
字エッジの抽出はsobelフィルタに代表されるエッ
ジ抽出フィルタを用いて抽出されたエッジ画像に予め準
備したT字エッジ検出用マスクパタンをあてはめてマッ
チングをとることによって行なわれる。図24に図4に
示した車両領域から抽出されたエッジ成分、図25に3
×3のT字エッジ検出用マスクパタン、図26に図24
に示したエッジ成分から抽出されたT字エッジを示す。
ここで、T字エッジの抽出にマスクパタンを用いたが、
エッジ成分の連結性を調べることによってエッジ端を見
つけ、その周辺にT字エッジ部を探索するような手法を
用いることもできる。
【0061】次にステップ232に進み、T字エッジが
抽出されたかどうかが判断される。ここで、T字エッジ
が抽出されなかった場合にはそのままステップ21に戻
って次の画像が取り込まれ、T字エッジが抽出された場
合にはステップ27に進む。
【0062】ステップ27においては、対応探索手段6
による対応探索処理が行なわれる。本参考例における対
応探索処理はステップ231で抽出されたT字エッジを
用いて行なわれ、T字エッジの向きおよび画像内での位
置から対応関係が求められる。図26に示したT字エッ
ジにおいては、260Lと260R、261Lと261
R、262Lと262R、263Lと263R、264
Lと264R、265Lと265R、266Lと266
R、267Lと267R、268Lと268R、269
Lと269Rが各々対応関係となり、画像間のずれから
視差が求められる。
【0063】次にステップ28に進み、上記第1の参考
と同様に車間距離が求められた後、ステップ21に戻
る。
【0064】以上説明したように本実施例によれば、T
字エッジのずれから視差を求めることにより、車両の部
分的特徴を利用した雑音に強い車間距離の計測を行なう
ことができる。またここで、本実施例においてはT字エ
ッジを用いたが、L字エッジや十字エッジ等を特徴量と
して用いても良い。
【0065】次に、本発明の第6の参考例、すなわち、
矩形エッジを用いて視差を求める車間距離計測装置の
考例を図27を参照しながら説明する。
【0066】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第1の参考例
と同様の処理により車両領域が抽出され、矩形エッジ抽
出手段14が抽出する車両領域内の矩形エッジを用いて
対応探索手段6が視差を求め、距離算出手段7が車間距
離を算出するものである。
【0067】上記構成において、図28を参照しながら
動作を説明すると、まず上記参考例と同様、ステップ2
1においてビデオカメラ1および2から1組の車両前方
画像がステレオ画像として取り込まれる。
【0068】次にステップ22からステップ23まで、
上記第1の参考例と同様の処理が行なわれ、車両領域が
抽出されなかった場合にはそのままステップ21へ戻っ
て次の画像が取り込まれ、車両領域が抽出された場合に
はステップ281へ進む。
【0069】ステップ281においては、矩形エッジ抽
出手段14による矩形エッジ抽出処理が行なわれる。矩
形エッジの抽出は上記第6の参考例と同様にsobel
フィルタに代表されるエッジ抽出フィルタを用いて抽出
されたエッジ画像に対して行なわれる。ここで、矩形エ
ッジは水平および垂直エッジによって構成されるため、
上記第1の参考例におけるステップ25において得られ
た水平輪郭および上記第4の参考例におけるステップ1
62において得られた垂直輪郭の組合せにより抽出する
ことができる。このとき、2枚の画像内で同じ面積を持
つような矩形を抽出することにより、不要な矩形エッジ
の抽出を避け、対応関係を求め易くすることが可能であ
る。図29に図24に示したエッジ画像から抽出された
矩形エッジを示す。
【0070】次にステップ282に進み、矩形エッジが
抽出されたかどうかが判断される。ここで、矩形エッジ
が抽出されなかった場合にはそのままステップ21に戻
って次の画像が取り込まれ、矩形エッジが抽出された場
合にはステップ27に進む。
【0071】ステップ27においては、対応探索手段6
による対応探索処理が行なわれる。本参考例における対
応探索処理はステップ281で抽出された矩形エッジを
用いて行なわれ、矩形エッジの囲む面積および画像内で
の位置から対応関係が求められる。図29に示した矩形
エッジにおいては、291Lと291R、292Lと2
92Rが各々対応関係となり、画像間のずれから視差が
求められる。
【0072】次にステップ28に進み、上記第1の参考
と同様に車間距離が求められた後、ステップ21に戻
る。
【0073】以上説明したように本参考例によれば、矩
形エッジのずれから視差を求めることにより、車両の部
分的特徴を利用した雑音に強い車間距離の計測を行なう
ことができる。ここで、本参考例においては矩形エッジ
としてテールランプ部分を抽出した例を示したが、トラ
ック等の場合には最も大きな面積を持つ車両自体を抽出
するようにしても良い。また、各画像内で同じ面積を持
つ矩形エッジの組を1つだけ抽出することによって対応
探索処理を省くことも可能である。
【0074】次に、本発明の第2の目的を解決する手段
の一実施例、すなわち、近似された水平輪郭のずれを用
いてビデオカメラの垂直方向の傾きを制御するステレオ
画像取り込み装置の実施例を図30を参照しながら説明
する。
【0075】図に示すように、ビデオカメラ1および2
より取り込まれた1組の車両前方画像から第1の参考例
と同様の処理により水平輪郭が近似される。ただし、本
実施例における水平輪郭は車両領域に限定する必要はな
く、画像全体から抽出するようにしても良い。傾き差検
出手段15は近似された水平輪郭のずれを求めることに
より2台のビデオカメラの垂直方向の傾き差を検出し、
アクチュエータ16または17によりビデオカメラ1ま
たは2の垂直方向の傾きを調整するものである。
【0076】上記構成において、図31を参照しながら
動作を説明すると、まず上記参考例と同様、ステップ2
1においてビデオカメラ1および2から1組の車両前方
画像がステレオ画像として取り込まれる。
【0077】次にステップ24からステップ26まで、
上記第1の参考例と同様の処理が行なわれ、水平輪郭が
抽出されなかった場合にはそのままステップ21へ戻っ
て次の画像が取り込まれ、水平輪郭が抽出された場合に
はステップ311へ進む。
【0078】ステップ311においては、傾き差検出手
段15による傾き差検出処理が行なわれる。傾き差の検
出はステップ25で抽出された水平輪郭を用いて行なわ
れ、上記第1の参考例と同様に求めた2枚の画像間で対
応する水平輪郭の画像上端または下端からの位置の差を
2台のビデオカメラの傾き差として検出する。
【0079】次にステップ312において2台のビデオ
カメラの傾きに差がない場合にはそのままステップ21
に戻って次の画像が取り込まれ、傾き差がある場合には
ステップ313に進む。
【0080】ステップ313ではステップ311で検出
されたビデオカメラの垂直方向の傾き差を基に調整量が
決定され、アクチュエータ16または17によってビデ
オカメラ1または2の傾きが調整され、ステップ21に
戻る。
【0081】以上説明したように本実施例によれば、水
平輪郭のずれを利用することによって2台のビデオカメ
ラの傾き差を求め、角度を調整することによって安定し
たステレオ画像の取り込みを行なうことができる。な
お、本発明の各手段は、コンピュータを用いてソフトウ
ェア的に実現し、あるいはそれら各機能を有する専用の
ハード回路を用いて実現する事が出来る。
【0082】
【発明の効果】以上の実施例から明かなように本発明に
よれば、画像中のT字、L字又は、十字エッジを用いる
ことにより、雑音に強く誤差の少ない車間距離計測を行
なうことが可能である。
【0083】また、水平輪郭上の垂直エッジや対称点を
用い、対応処理を容易なものにすることによって簡単で
高速な車間距離の計測が可能である。
【0084】また、車両の特徴として垂直輪郭、外接垂
直輪郭を用いることにより、視差の算出が容易な車間距
離の計測が可能である。
【0085】さらに、画像中のT字エッジや矩形エッジ
を用いることにより、雑音に強く誤差の少ない車間距離
計測を行なうことが可能である。
【0086】またさらに、ステレオ画像間の水平輪郭の
ずれを利用してビデオカメラの垂直方向の角度を調整す
ることにより、安定したステレオ画像の取り込みが可能
である。
【図面の簡単な説明】
【図1】本発明の一参考例の車間距離計測装置の基本構
成を示すブロック図である。
【図2】同車間距離計測装置の動作フローチャートであ
る。
【図3】同車間距離計測装置のビデオカメラから取り込
まれたステレオ画像を示す図である。
【図4】同車間距離計測装置のステレオ画像内の車両領
域を示す図である。
【図5】同車間距離計測装置のステレオ画像内の水平エ
ッジを示す図である。
【図6】同車間距離計測装置のステレオ画像内の水平輪
郭を示す図である。
【図7】本発明の一参考例の同車間距離計測装置の基本
構成を示すブロック図である。
【図8】同車間距離計測装置の動作フローチャートであ
る。
【図9】同車間距離計測装置のステレオ画像内の水平輪
郭上の垂直エッジを示す図である。
【図10】本発明の一参考例の同車間距離計測装置の基
本構成を示すブロック図である。
【図11】同車間距離計測装置の動作フローチャートで
ある。
【図12】同車間距離計測装置の対称点検出処理を説明
する図である。
【図13】同車間距離計測装置の対称点検出のための頻
度ヒストグラムを示す図である。
【図14】同車間距離計測装置のステレオ画像内の水平
輪郭上の対称点を示す図である。
【図15】本発明の一参考例の同車間距離計測装置の基
本構成を示すブロック図である。
【図16】同車間距離計測装置の動作フローチャートで
ある。
【図17】同車間距離計測装置のステレオ画像内の垂直
エッジを示す図である。
【図18】同車間距離計測装置のステレオ画像内の垂直
輪郭を示す図である。
【図19】本発明の一参考例の同車間距離計測装置の基
本構成を示すブロック図である。
【図20】同車間距離計測装置の動作フローチャートで
ある。
【図21】同車間距離計測装置のステレオ画像内の外接
垂直輪郭を示す図である。
【図22】本発明の一参考例の同車間距離計測装置の基
本構成を示すブロック図である。
【図23】同車間距離計測装置の動作フローチャートで
ある。
【図24】同車間距離計測装置のステレオ画像内のエッ
ジ抽出結果を示す図である。
【図25】同車間距離計測装置のT字エッジ抽出のため
のマスクパタンを示す図である。
【図26】同車間距離計測装置のステレオ画像内のT字
エッジを示す図である。
【図27】本発明の一参考例の同車間距離計測装置の基
本構成を示すブロック図である。
【図28】同車間距離計測装置の動作フローチャートで
ある。
【図29】同車間距離計測装置のステレオ画像内の矩形
エッジを示す図である。
【図30】本発明の一参考例のステレオ画像取り込み装
置の基本構成を示すブロック図である。
【図31】同ステレオ画像取り込み装置の動作フローチ
ャートである。
【符号の説明】
1 ビデオカメラ 2 ビデオカメラ 3 車両領域抽出手段 4 水平エッジ抽出手段 5 水平輪郭近似手段 6 対応探索手段 7 距離算出手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G08G 1/16 G01B 11/24 A H04N 7/18 G06F 15/62 415 (56)参考文献 特開 昭63−26517(JP,A) 特開 平2−140613(JP,A) 特開 平2−260890(JP,A) 特開 平4−151343(JP,A) 特開 平4−244791(JP,A) 特開 平4−313014(JP,A) 特開 平4−360607(JP,A) 特開 平5−282430(JP,A) 特開 平6−160041(JP,A) 特開 平6−273170(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01C 3/06 G01B 11/24 G06T 7/00 G08G 1/00 H04N 7/18

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】車両に装着され車外の道路および車両を撮
    像する2台のビデオカメラと、得られた各画像内にある
    T字、L字又は、十字エッジを抽出するT字エッジ抽出
    手段と、前記T字エッジ抽出手段によって抽出されたT
    字、L字又は、十字を用いて2枚の画像間の対応を求め
    る対応探索手段と、前記対応探索手段によって求められ
    た対応関係から他車両までの距離を算出する距離算出手
    段とを備えたことを特徴とする車間距離計測装置。
  2. 【請求項2】車両に装着され車外の道路および車両を撮
    像する2台のビデオカメラと、前記2台のビデオカメラ
    から取り込まれた各画像内の水平エッジを抽出する水平
    エッジ抽出手段と、前記水平エッジ抽出手段によって抽
    出された各画像内の対応する水平エッジを比較し垂直方
    向の差を検出する手段とを備え、前記差を検出する手段
    の出力を用いて、ビデオカメラの角度を調整することを
    特徴とするステレオ画像取り込み装置。
JP14702693A 1993-05-25 1993-05-25 車間距離計測装置とステレオ画像取り込み装置 Expired - Fee Related JP3209828B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP14702693A JP3209828B2 (ja) 1993-05-25 1993-05-25 車間距離計測装置とステレオ画像取り込み装置
EP94108081A EP0626654A3 (en) 1993-05-25 1994-05-25 Device for measuring the distance between vehicles by stereoscopic vision.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14702693A JP3209828B2 (ja) 1993-05-25 1993-05-25 車間距離計測装置とステレオ画像取り込み装置

Publications (2)

Publication Number Publication Date
JPH06331351A JPH06331351A (ja) 1994-12-02
JP3209828B2 true JP3209828B2 (ja) 2001-09-17

Family

ID=15420869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14702693A Expired - Fee Related JP3209828B2 (ja) 1993-05-25 1993-05-25 車間距離計測装置とステレオ画像取り込み装置

Country Status (2)

Country Link
EP (1) EP0626654A3 (ja)
JP (1) JP3209828B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
JP3287166B2 (ja) * 1995-02-07 2002-05-27 富士電機株式会社 距離測定装置
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
JP3757500B2 (ja) * 1996-11-13 2006-03-22 日産自動車株式会社 先行車追従装置
US6163022A (en) * 1997-05-20 2000-12-19 Matsushita Electric Industrial Co., Ltd. Imaging apparatus, distance measurement apparatus and method for measuring distance
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
JP4531921B2 (ja) * 2000-04-06 2010-08-25 日本信号株式会社 距離測定装置
DE10063756A1 (de) * 2000-12-21 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung
JP2002216113A (ja) * 2001-01-16 2002-08-02 Fujitsu Ten Ltd 物体認識装置
JP4541609B2 (ja) * 2001-09-06 2010-09-08 富士重工業株式会社 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP3649327B2 (ja) * 2002-02-27 2005-05-18 富士重工業株式会社 フェールセーフ機能を有するステレオ式車外監視装置
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1662440A1 (en) 2004-11-30 2006-05-31 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for determining the position of an object from a digital image
DE102004062275A1 (de) 2004-12-23 2006-07-13 Aglaia Gmbh Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera
JP2006322795A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2007131178A (ja) * 2005-11-10 2007-05-31 Sumitomo Electric Ind Ltd 障害物位置特定システム
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
JP5163091B2 (ja) * 2007-12-14 2013-03-13 トヨタ自動車株式会社 車両用物体監視装置、及び車両用画像解析装置
CN102592454A (zh) * 2012-02-29 2012-07-18 北京航空航天大学 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
US9955136B2 (en) * 2012-10-22 2018-04-24 Yamaha Hatsudoki Kabushiki Kaisha Distance measuring device and vehicle provided therewith
CN103465857A (zh) * 2013-09-17 2013-12-25 上海羽视澄蓝信息科技有限公司 一种基于手机的汽车主动安全的预警方法
CN104915672B (zh) * 2014-03-13 2018-08-03 北京大学 一种基于高分辨率遥感图像的矩形建筑物提取方法及系统
AT518940B1 (de) * 2016-08-03 2019-11-15 Zkw Group Gmbh Verfahren und Vorrichtung zum Messen eines Abstands zwischen einem ersten Fahrzeug und einem zweiten, dem ersten Fahrzeug unmittelbar vorausfahrenden, Fahrzeug
CN107948620B (zh) * 2017-12-28 2020-06-23 智车优行科技(北京)有限公司 基于高级驾驶辅助系统的双目摄像头调试方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2715442B2 (ja) * 1988-05-09 1998-02-18 株式会社デンソー 走行車両認識装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置

Also Published As

Publication number Publication date
EP0626654A2 (en) 1994-11-30
EP0626654A3 (en) 1995-07-19
JPH06331351A (ja) 1994-12-02

Similar Documents

Publication Publication Date Title
JP3209828B2 (ja) 車間距離計測装置とステレオ画像取り込み装置
US8238657B2 (en) System and method for detecting obstacle
US5020114A (en) Object discriminating apparatus and method therefor
JP3156817B2 (ja) 車両周辺監視装置
EP1087336A2 (en) Apparatus and method for stereoscopic image processing
JP2002359838A (ja) 運転支援装置
JP2002197469A (ja) 車線検出装置
JP2000329852A (ja) 障害物認識装置
JP2000241440A (ja) 車速計測方法および装置
JP3562751B2 (ja) 前方車両検出方法及び装置
JP2000207693A (ja) 車載用障害物検出装置
JP3540005B2 (ja) 障害物検出装置
JPH0973545A (ja) 白線認識装置
JP3516118B2 (ja) 物体認識方法および物体認識装置
JP3319401B2 (ja) 走行路認識装置
JP3465531B2 (ja) 物体認識方法およびその装置
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
JP3475700B2 (ja) 物体認識方法、物体認識装置、および車輌認識装置
JP7293100B2 (ja) カメラシステム
JP3104645B2 (ja) 道路白線検出方法及び道路白線検出装置
JP3447461B2 (ja) 移動障害物検出装置及びその方法
JP3419968B2 (ja) 画像認識装置及び方法
JPH09178855A (ja) 障害物検出方法
JPH10283478A (ja) 特徴抽出方法およびその方法を用いた物体認識装置
JPH10261065A (ja) 車線認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070713

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees