JPH11203445A - 車両用画像処理装置 - Google Patents

車両用画像処理装置

Info

Publication number
JPH11203445A
JPH11203445A JP10003787A JP378798A JPH11203445A JP H11203445 A JPH11203445 A JP H11203445A JP 10003787 A JP10003787 A JP 10003787A JP 378798 A JP378798 A JP 378798A JP H11203445 A JPH11203445 A JP H11203445A
Authority
JP
Japan
Prior art keywords
vehicle
lane
contour
edge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10003787A
Other languages
English (en)
Other versions
JP2986439B2 (ja
Inventor
Atsushi Iizaka
篤 飯阪
Nobuhiko Yasui
伸彦 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP10003787A priority Critical patent/JP2986439B2/ja
Priority to US09/228,401 priority patent/US6546118B1/en
Publication of JPH11203445A publication Critical patent/JPH11203445A/ja
Application granted granted Critical
Publication of JP2986439B2 publication Critical patent/JP2986439B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 車両がピッチ角変動する場合でも車両の目標
進行方向を正確に計測することができる車両用画像処理
装置を提供する。 【解決手段】 デジタル撮像装置1から得られる前方の
道路画像信号から車線のエッジを強調するエッジ抽出器
11と、エッジ抽出器11による結果に基づき車線の輪
郭を抽出するための閾値を設定する閾値設定器12と、
エッジ抽出器11による結果と閾値設定器12による閾
値とから車線の輪郭を抽出して、輪郭データを生成する
輪郭抽出器13と、輪郭データからノイズ成分を除去す
るノイズ輪郭除去器14と、ノイズ成分が除去された輪
郭データから車線標示線を検出する白線検出器16と、
検出した車線標示線から車両の姿勢を推定する姿勢変化
検出器17と、白線検出器16による結果と姿勢推定結
果とに基づき車両の目標進行方向を検出する目標進行方
向検出器18とを有する車両用画像処理装置。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両用画像処理装
置に関するものであり、より詳しくは、例えば無人走行
車両の操舵制御装置等において、道路上のレーンマーカ
ー(車線標示線)を検出して該レーンマーカーに追従す
るように車両を制御するための制御装置等に用いられる
車両用画像処理装置に関するものである。
【0002】
【従来の技術】近年、車両に搭載され、車両進行方向の
情景を撮影して得た画像を処理し、該車両の運転ないし
は操舵制御に必要な種々の情報を得るようにした車両用
画像処理装置が普及しつつある。具体的には、例えばデ
ジタル撮像装置を用いて車両前方の道路を撮影して得た
原画像から、レーンマーカーに対応する画像を抽出し、
該レーンマーカーの画像に基づいて車線内における該車
両の位置ないしは姿勢を検出し、該検出結果に基づいて
該車両の目標進行方向を設定するようにした車両用画像
処理装置が一般に知られている(例えば、特開平3−1
37798号公報参照)。
【0003】そして、例えば特開平3−137798号
公報に開示された従来の車両用画像処理装置では、車両
ないしは撮像装置のピッチ角が一定であり、かつ路面に
対する車両ないしは撮像装置の高さ(以下、これを撮像
高という)が一定であることを前提として画像処理を行
い、車線内での車両の位置ないしは姿勢を検出するよう
にしている。したがって、車両走行中にピッチ角あるい
は撮像高が変化ないしは変動すると、車線内での該車両
の位置ないしは姿勢の検出に誤差が生じるといった問題
がある。そこで、この問題を解決すべく、撮像装置によ
って撮影された原画像中の車両近傍の白線を直線で近似
して消失点(FOE)を検出し、この消失点に基づいて
ピッチ角変化ないしは撮像高変化を計測し、この計測値
に基づいて車線内での該車両の位置ないしは姿勢を検出
するようにした車両用画像処理装置が提案されている
(例えば、特開平5−151340号公報参照)。
【0004】
【発明が解決しようとする課題】しかしながら、消失点
に基づいてピッチ角変化ないしは撮像高変化を計測する
ようにした従来の車両用画像処理装置では、レーンマー
カーがほぼ直線である場合は、車両のピッチ角変化ない
しは撮像高変化を正確に計測することができるものの、
道路の湾曲等によりレーンマーカーが曲線となっている
場合は、消失点を正確に検出することができないので、
ピッチ角変化ないしは撮像高変化を正確に計測すること
ができず、このため車線内での該車両の位置ないしは姿
勢を正確に検出することができないといった問題があ
る。
【0005】本発明は上記従来の問題を解決するために
なされたものであって、レーンマーカーが曲線である場
合でも車両のピッチ角変化ないしは上下移動量(撮像高
変化)を正確に計測することができ、ひいては車線内で
の該車両の位置ないしは姿勢を正確に検出することがで
きる車両用画像処理装置を提供することを解決すべき課
題とする。
【0006】
【課題を解決するための手段】上記課題を解決するため
になされた本発明によれば、(a)車両に搭載され、車
両進行方向の情景(道路及びその周辺)を撮影して該情
景に対応する原画像データを生成する撮像手段と、
(b)撮像手段によって生成された原画像データから、
車両が走行している道路内の車線(レーン)の幅方向両
端部に形成された2本の車線標示線(レーンマーカー)
の輪郭に対応する画像データを抽出して輪郭画像データ
を生成する輪郭抽出手段と、(c)輪郭抽出手段によっ
て生成された輪郭画像データに対して座標変換処理を施
して、所定の平面座標系において車線標示線の輪郭の平
面図をあらわす座標変換画像データを生成する座標変換
手段と、(d)座標変換手段によって生成された座標変
換画像データを用いて、2本の車線標示線が互いに平行
であることに基づいて、該車両のピッチ角変化を検出す
る姿勢変化検出手段とを有することを特徴とする車両用
画像処理装置が提供される。
【0007】この車両用画像処理装置においては、座標
変換手段によって、車線標示線の画像から該車線標示線
(輪郭)の平面図が形成されるが、車線の両端部の2本
の車線標示線は互いに平行であるので、車両のピッチ角
が一定であれば、2本の車線標示線の画像は上記平面図
上で平行となる。しかしながら、ピッチ角が変化する
と、2本の車線標示線は該平面図上で平行にはならな
い。例えば、ピッチ角あるいは撮像高が変化して、撮像
手段の光軸が路面と交差する位置が正規の位置より前方
にずれると、平面図上では2本の車線標示線の間隔は前
方ほど狭くなる。他方、撮像手段の光軸が路面と交差す
る位置が正規の位置より後方にずれると、平面図上では
2本の車線標示線の間隔は前方ほど広くなる。したがっ
て、平面図上での2本の車線標示線の間隔の変化に基づ
いてピッチ角変化あるいは撮像高変化を計測することが
できることになる。かくして、この車両用画像処理装置
では、車線標示線(レーンマーカー)が曲線である場合
でも、姿勢変化検出手段によって、平面図上での2本の
車線標示線の間隔の変化に基づいて、ピッチ角変化ある
いは撮像高変化が検出される。よって、車線内での該車
両の位置ないしは姿勢を正確に検出することができる。
【0008】上記車両用画像処理装置においては、
(e)座標変換手段が、平面座標系として、平面視にお
ける撮像手段の位置を原点とし、車両の幅方向を第1の
座標軸(X軸)とし、車両の前後方向を第2の座標軸
(Z軸)とする平面座標を設定するようになっていて、
(f)姿勢変化検出手段が、座標変換画像データに基づ
いて、車線の幅方向の寸法を第1の座標軸方向にとり、
車線の伸長方向の位置を第2の座標軸方向にとった点を
複数個点綴した上で、これらの点に整合(フィット)す
るないしは当てはまる1本の直線を設定し、該直線の第
2の座標軸に対する傾斜角に基づいてピッチ角変化ある
いは車両の上下方向の移動量(撮像高変化)を検出する
ようになっているのが好ましい。このようにすれば、上
記直線と第2の座標軸とのなす角度を求めるだけの簡単
な演算で容易にピッチ角変化あるいは撮像高変化を計測
することができる。
【0009】また、上記車両用画像処理装置において
は、ピッチ角変化及び車両の上下方向の移動量のうちの
少なくとも一方を考慮して車両の目標進行方向を検出す
る目標方向検出手段を備えているのが好ましい。このよ
うにすれば、車両が進行すべき方向ないしは進行するこ
とができる方向を検出することができるので、該情報を
自動操舵装置等で有効に利用することができる。
【0010】なお、上記車両用画像処理装置において
は、姿勢変化検出手段が、上記直線から外れている輪郭
点をノイズと判定するようになっているのが好ましい。
このようにすれば、ノイズを排除することができるの
で、ピッチ角変化あるいは撮像高変化の計測精度が高め
られる。
【0011】上記車両用画像処理装置の輪郭抽出手段
は、具体的には、例えば、(g)撮像手段によって生成
された原画像データ中の車線のエッジを強調するエッジ
抽出手段と、(h)エッジ抽出手段によるエッジの検出
結果に基づき、車線のエッジを抽出するための閾値を設
定する閾値設定手段と、(i)エッジ強調手段によるエ
ッジの検出結果と、閾値設定手段によって設定された閾
値とに基づいて、車線のエッジ強度のピークとなる画素
を車線標示線の輪郭点データとして抽出する輪郭点抽出
手段と、(j)輪郭点抽出手段によって抽出された輪郭
点データを補間して、車線標示線の輪郭に対応する輪郭
画像データを検出する車線標示線検出手段とによって構
成される。
【0012】
【発明の実施の形態】以下、本発明の実施の形態を具体
的に説明する。図1(a)は、本発明にかかる車両用画
像処理装置の基本構成を示すブロック図である。図1
(a)に示すように、この車両用画像処理装置には、デ
ジタル撮像装置1と、該デジタル撮像装置1によって撮
影(撮像)された原画像を処理する画像処理部2とが設
けられている。ここで、デジタル撮像装置1は車両前部
に前向きに搭載(設置)され、車両前方の道路画像(情
景)を撮影(撮像)してデジタル画像信号を生成するよ
うになっている。また、画像処理部2は、例えばマイク
ロコンピュータで構成され、デジタル撮像装置1から出
力されるデジタル形式の原画像信号(映像信号)に対し
て所定の画像処理を施し、該車両が走行すべきないしは
走行することができる走行路等を検出するようになって
いる。この画像処理部2の検出結果は、図示しない車両
制御部等の外部装置に伝送され、自動操舵制御ないしは
自動走行制御等に用いられる。なお、図1(b)は、後
記のとおり、画像処理部2の具体的な構成を示すブロッ
ク図である。
【0013】デジタル撮像装置1は、Ph及びPvを、
それぞれ画面上における水平方向(横方向)及び垂直方
向(縦方向)の画素の数とすれば、Ph×Pvの画素マ
トリックスからなる対象物の原画像を連続的に得ること
ができる。ここで、画素数Ph及びPvを増やせば、画
像解像度を高めることができるので、目標進行方向検出
動作等の精度を高めることができる。しかしながら、画
素数を増やすと、製造コストが高くなるという問題が生
じるので、これらの画素数Ph及びPvは、必要とされ
る分解能と製造コストとに応じて臨機応変に決定される
べきである。この実施の形態では、一例として、Ph及
びPvは、それぞれ640及び255に設定されている
が、これに限定されるものではないのはもちろんであ
る。
【0014】図2は、本発明にかかるデジタル撮像装置
1及び画像処理部2を搭載した車両3(自動車)の側面
図である。以下では、車両3の周囲の3次元空間におけ
る位置関係を、デジタル撮像装置1の位置を原点Oとし
た上で、該原点Oを通って車両3の左右方向(幅方向)
に伸びる軸をX軸とし、車両3の上下方向に伸びる軸を
Y軸とし、車両3の前後方向に伸びる軸をZ軸とする立
体座標系(以下、これを「X−Y−Z立体座標系」とい
う)であらわすことにする。なお、このX−Y−Z立体
座標系においては、X軸は右側が正方向であり、Y軸は
上側が正方向であり、Z軸は前側が正方向である。
【0015】図2に示すように、デジタル撮像装置1の
光軸Axは、車両3が正規の姿勢にあるとき(車両3に
ピッチ角変化がなく、かつ上下移動がないとき)には、
平面視では車両3が道路4上を移動する方向すなわちZ
軸方向と一致するが、立面視では水平方向(Z軸方向)
に対して所定の角度θ(以下、これを「光軸傾斜角θ」
という)だけ前方に向かって下向きに傾斜するように設
定されている。ここで、デジタル撮像装置1としては、
これによって得られる原画像が、Z軸方向について車両
3の前方5m程度の位置から無限遠までの道路面が写る
ような画角を有するものが用いられる。そして、デジタ
ル撮像装置1の光軸傾斜角θは、車両3の前方5m程度
の位置から無限遠までの道路面を撮影することができる
ように好ましく設定されている。
【0016】図3に、デジタル撮像装置1によって撮影
された車両前方の情景の原画像の一例を示す。図3から
明らかなとおり、車両3が走行している道路4は、2車
線道路であり、3本の車線標示線Lm1、Lm2、Lm3
(レーンマーカー)により、左右2つの車線(レーン)
に区分されている。ここで、車両3は2車線道路4の左
側の車線を走行している。これらの車線標示線Lm1、
Lm2、Lm3は、通常は路面上に白色又は黄色のペイ
ントを用いて描かれている。なお、図3において、Sb
は路側帯をあらわし、Stは道路側壁(防音壁)をあら
わし、Lsは該画像処理を行う上での上限をあらわして
いる。つまり、Lsより上側の領域は、当該車両3から
かなり遠い距離(例えば、前方70m以遠)にあるの
で、画像処理の対象とはしないようにしている。また、
AはLsより下側の走査線数を示している。
【0017】以下では、図4に示すように、デジタル画
像装置1によって撮影された平面的な原画像(ないしは
該原画像を表示する画面)中における位置関係を、光軸
Axに沿ってデジタル撮像装置1に入った光が結像する
点すなわち原画像(画面)の中心点を原点oとし、原点
oを通って画像水平方向(横方向)に伸びる軸をx軸と
し、画像垂直方向(上下方向)に伸びる軸をy軸とする
平面座標系(以下、これを「x−y平面座標系」とい
う)であらわすことにする。なお、このx−y平面座標
系において、x軸は右側が正方向であり、y軸は上側が
正方向である。
【0018】以下、画像処理部2の具体的な構成を説明
する。図1(b)に示すように、画像処理部2には、エ
ッジ抽出器11と、閾値設定器12と、輪郭抽出器13
と、ノイズ輪郭除去器14と、座標変換器15と、白線
検出器16と、姿勢変化検出器17(姿勢推定器)と、
目標進行方向検出器18とが設けられている。
【0019】ここで、エッジ抽出器11は、デジタル撮
像装置1に接続され、該デジタル撮像装置1から出力さ
れた前方の道路画像のデジタル画像信号(原画像)を受
け取る。そして、エッジ抽出器11は、デジタル撮像装
置1から受け取ったデジタル画像信号に対して、図5に
示す空間フィルタを用いてフィルタ処理を施し、原画像
中において輝度が急激に変化する画素を強調(ないしは
抽出)する。
【0020】図5に示すように、この空間フィルタは1
次元配列のフィルタであり、原画像の走査線方向に奇数
個のフィルタ要素が配列され、各フィルタ要素はそれぞ
れパラメータを有している。そして、中央のフィルタ要
素のパラメータは0に設定され、中央より左側のフィル
タ要素のパラメータは1に設定され、中央より右側のフ
ィルタ要素のパラメータは−1に設定されている。図5
から明らかなとおり、この実施の形態では、一例として
7つのフィルタ要素を備えた空間フィルタを使用してい
るが、このフィルタ要素の数は、原画像中に現れる白線
の走査線方向の画素数に応じて、該白線のエッジがより
強調される一方、該白線以外の微小な輝度変化が強調さ
れにくいように好ましく設定される。なお、空間フィル
タは1次元配列のフィルタに限定されるものではない。
この空間フィルタを用いたフィルタ処理は、デジタル撮
像装置1からエッジ抽出器11に入力された原画像全体
について施され、これによりエッジが強調された画像
(以下、これを「エッジ強調画像」という)が生成され
る。
【0021】閾値設定器12はエッジ抽出器11に接続
され、該エッジ抽出器11から出力されたエッジ強調画
像を受け取る。そして、閾値設定器12は、エッジ強調
画像から、車線標示線Lm1〜Lm3の輪郭部分のエッ
ジ画素を効果的に抽出するための閾値を設定する。ここ
で、閾値は画像の左側部分と右側部分とについて個別的
に設定され、画像の左側部分の閾値EthL(y)と右側部
分の閾値EthR(y)とは、それぞれ、次の式1、式2に
基づいて走査線毎に設定される。なお、画像中における
位置関係は、前記のとおり、図4に示すようなx−y平
面座標系におけるx座標及びy座標であらわされる。
【0022】
【数1】 EthL(y)= C・EmaxL(y)+(1−C)・EmeanL(y)………式1
【数2】 EthR(y)= C・EminR(y)+(1−C)・EmeanR(y)………式2
【0023】なお、式1において、EmaxL(y)とEmea
nL(y)とは、それぞれ、例えば図6(a)、(b)中に
AsL又はAuLで示すような、所定の左側の限定領域にお
けるエッジ強調画像の、y位置における走査線の最大エ
ッジ強度と、正のエッジ強度を示す画素の平均エッジ強
度とをあらわす。また、式2において、EminR(y)と
EmeanR(y)とは、それぞれ、例えば図6(a)、
(b)中にAsR又はAuRで示すような、所定の右側の限
定領域におけるエッジ強調画像の、y位置における走査
線の最小エッジ強度と、負のエッジ強度を示す画素の平
均エッジ強度とをあらわす。さらに、式1又は式2おい
て、Cは0よりも大きく1よりも小さい所定の定数であ
り、この実施の形態ではCは0.6に設定されている。
【0024】輪郭抽出器13は、エッジ抽出器11と閾
値設定器12とに接続され、両者からそれぞれエッジ強
調画像と閾値とを受け取る。そして、輪郭抽出器13
は、エッジ強調画像の中で、例えば図6(a)、(b)
に示すような左側の限定領域内及び右側の限定領域内の
画素を、それぞれ、閾値EthL(y)及びEthR(y)に基
づいて、車線を画成する車線標示線の輪郭点を抽出す
る。この輪郭点の抽出は、各限定領域について、それぞ
れ、画像中央側の端部から外向きに走査することにより
行われる。
【0025】図7に示すように、車両3が走行している
車線の左側の車線標示線Lm1(白線)の輪郭点を検出
するために行われる、画像中の左側の限定領域での輪郭
点の抽出は、およそ次のような手順で行われる。すなわ
ち、該限定領域の右端から左向きに走査してゆき、最初
に閾値EthL(y)より大きいエッジ強度を示した画素を
検出した後、エッジ強度がさらに増加していれば該走査
を続行する。そして、新たに走査した左側の画素の方が
エッジ強度が小さい場合は、その画素を輪郭点とする。
すなわち、車線標示線のエッジはある程度の幅を持って
存在するので、そのピークを輪郭点として検出する。
【0026】他方、車両3が走行している車線の右側の
車線標示線Lm2(白線)の輪郭点を検出するために行
われる、画像中の右側の限定領域での輪郭点の抽出は、
およそ次のような手順で行われる。すなわち、該限定領
域の左端から右向きに走査してゆき、最初に閾値EthR
(y)より小さいエッジ強度を示した画素を検出した
後、エッジ強度がさらに減少していれば該走査を続行す
る。そして、新たに走査した右側の画素の方がエッジ強
度が大きい場合は、その画素を輪郭点とする。図8に、
このようにして検出された輪郭点の一例を示す。かくし
て、輪郭抽出器13は、車線標示線の輪郭点を示す輪郭
抽出信号を生成する。
【0027】前記の図6(a)、(b)は、それぞれ、
閾値設定処理と輪郭抽出処理とを行う限定領域をあらわ
している。ここで、図6(a)は、該車両用画像処理装
置の始動直後に設定される領域である。図6(a)に示
すように、該画像は、画像処理の上限を示す水平方向の
線Ls(図3参照)より下側の領域において、垂直方向
の中心線Lcによって、左側の限定領域AsLと右側の限
定領域AsRとに分割される。この中心線Lcは、エッジ
強調画像において、x軸方向の中心部に位置し、したが
って各限定領域の水平方向の寸法はPh/2であらわさ
れる。しかしながら、垂直方向の中心線Lcは、このよ
うな位置に限定されるものではない。
【0028】ノイズ輪郭除去器14は、輪郭抽出器13
に接続され、該輪郭抽出器13から出力された輪郭抽出
信号(輪郭点)を受け取る。そして、ノイズ輪郭除去器
14は、輪郭抽出器13によって抽出された輪郭点の中
で所定の距離Dc以内にあるもの同士を1つのグループ
まとめるといった処理すなわちクラスタリングを行っ
て、該グループから孤立(独立)している輪郭点をノイ
ズとして除去する。ここで、Dcは、湾曲している車線
を画成する連続した車線標示線上の輪郭点を1つのグル
ープに帰属させることができ、かつノイズ成分を車線標
示線上の輪郭点のグループには帰属させないような好ま
しい値に設定される。
【0029】座標変換器15は、ノイズ輪郭除去器14
に接続され、該ノイズ変換器14から出力された、ノイ
ズが除去された(クラスタリングされた)車線標示線の
輪郭点の画像データを受け取る。そして、座標変換器1
5は、次の式3〜式5を用いて、x−y平面座標系にお
ける車線標示線の輪郭データを、実距離の平面座標系に
座標変換する。つまり、図4のx−y平面座標系の輪郭
点を、図3のX−Y−Z立体座標系においてY軸方向の
位置が路面である平面座標系(以下、これを「X−Z平
面座標系」という)の点に変換する。
【0030】
【数3】 X=(x/F)(Zcosθ−Ysinθ)……………………………………式3
【数4】 Z=Y(Fcosθ+ysinθ)/(ycosθ−Fsinθ)…………………式4
【数5】 Y=−H………………………………………………………………………式5 なお、式3〜式5において、Fはデジタル撮像装置1の
レンズの焦点距離であり、θは光軸傾斜角すなわちZ軸
とデジタル撮像装置1(カメラ)の光軸Axのなす角度
であり、Hは路面からデジタル撮像装置1までの高さで
ある。
【0031】白線検出器16は座標変換器15に接続さ
れ、該座標変換器15から出力された、X−Z平面座標
系における車線標示線の輪郭点データを受け取る。そし
て、白線検出器16は、X−Z平面座標系における車線
標示線の輪郭を検出する。
【0032】図9に、白線検出器16によって検出され
たX−Z平面座標系における車線標示線の輪郭の一例を
示す。図9において、M1は車両3が走行している車線
の左側の車線標示線の輪郭をあらわし、M2は該車線の
右側の車線標示線の輪郭をあらわしている。ここで、車
両3のピッチ角変化ないしは上下移動(撮像高変化)が
ない場合は、図9中にM'1とM'2とで示すように、左
右の車線標示線の間隔すなわち車線の幅は一定となる。
すなわち、左側の車線標示線の輪郭M'1と右側の車線
標示線の輪郭M'2とは互いに平行となる。しかしなが
ら、車両3にピッチ角変化あるいは上下移動(撮像高変
化)が生じると、左右の車線標示線の輪郭M1、M2は
互いに平行とはならない。例えば、車両3のピッチ角変
化あるいは上下移動により、デジタル撮像装置1の光軸
Axが路面と交差する位置が正規の位置より前方にずれ
ると両車線標示線の輪郭M1、M2の間隔(車線の幅)
はZ座標が大きくなるほど狭くなり、後方にずれると両
車線標示線の輪郭M1、M2の間隔はZ座標が大きくな
るほど広くなる。なお、図9に示す例では、左右の車線
標示線の輪郭M1、M2の間隔は、Z座標が大きくなる
ほど広くなっているので、デジタル撮像装置1の光軸A
xが路面と交差する位置が正規の位置より後方にずれて
いることになる。
【0033】したがって、X−Z平面座標系における両
車線標示線の輪郭M1、M2の間隔の変化に基づいて、
車両3のピッチ角変化又は上下移動を計測することがで
きることになる。なお、このようなピッチ角変化あるい
は上下移動は、後で説明するように、姿勢変化検出器1
7によって検出される。
【0034】姿勢変化検出器17は白線検出器16に接
続され、該白線検出器16から出力されたX−Z平面座
標系における車線標示線の輪郭データを受けとる。そし
て、姿勢変化検出器17は、図10に示すように、該車
線標示線の輪郭データを処理して、該車線の幅(レーン
幅)をX座標とし、該車線の伸長方向の位置をZ座標と
する点をX−Z平面座標系に点綴した上で、これらの点
綴点Pにフィットする(ないしは当てはまる)1本の直
線N1を設定する。なお、この直線N1は、例えば、一
般に知られている最小二乗法、Hough変換法等を用
いて容易に設定することができる。
【0035】そして、姿勢変化検出器17は、直線N1
と、Z軸に平行な直線N2とがはさむ角ωを検出する。
なお、直線N2は、Z=0の位置で直線N1と交わるZ
軸に平行な直線であり、車両3にピッチ角変化あるいは
上下移動がない場合は、点綴点Pは実質的に直線N2に
一致することになる。さらに、姿勢検出手段17は、こ
の角ωに基づいて、車両3のピッチ角変化あるいは上下
移動量を検出する。
【0036】目標進行方向検出器18は姿勢変化検出器
17に接続され、該姿勢変化検出器17から出力された
車両3のピッチ角変化ないしは上下移動量を受け取る。
そして、目標進行方向検出器18は、車両3のピッチ角
変化ないしは上下移動量に基づいて、該車両3の車線内
における位置ないしは姿勢を検出し、該車両3の進行す
べき方向ないしは進行することができる方向を検出し、
これを自動操舵装置等の外部装置に出力する。
【0037】このように、この車両用画像処理装置で
は、車線標示線が湾曲している場合でも、X−Z平面座
標系における2本の車線標示線の間隔の変化に基づい
て、車両のピッチ角変化あるいは上下移動量を正確に検
出することができ、ひいては車線内での車両の位置ない
しは姿勢を正確に検出することができる。
【図面の簡単な説明】
【図1】 (a)は本発明にかかる車両用画像処理装置
の構成を示すブロック図であり、(b)は(a)に示す
車両用画像処理装置の画像処理部の構成を示すブロック
図である。
【図2】 本発明にかかる車両用画像処理装置を搭載し
た車両の側面図である。
【図3】 図1に示すデジタル撮像装置によって撮影さ
れた原画像の一例を示す図である。
【図4】 図3に示す原画像における座標系を示す図で
ある。
【図5】 空間フィルタの構成を示す図である。
【図6】 (a)、(b)は、それぞれ、図3に示す原
画像の領域の分割方法を示す図である。
【図7】 原画像の走査方法を示す図である。
【図8】 原画像から抽出された車線標示線の輪郭画像
を示す図である。
【図9】 x−y平面座標系からX−Z平面座標系に座
標変換された車線標示線の輪郭画像を示す図である。
【図10】 図9に示す輪郭画像を処理して得られた、
車線幅のZ方向に対する変化を示す図である。
【符号の説明】
1…デジタル撮像装置、2…画像処理部、3…車両、4
…道路、11…エッジ抽出器、12…閾値設定器、13
…輪郭抽出器、14…ノイズ輪郭除去器、15…座標変
換器、16…白線検出器、17…姿勢変化検出器、18
…目標進行方向検出器。

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 車両に搭載され、車両進行方向の情景を
    撮影して該情景に対応する原画像データを生成する撮像
    手段と、 上記撮像手段によって生成された原画像データから、上
    記車両が走行している道路内の車線の幅方向両端部に形
    成された2本の車線標示線の輪郭に対応する画像データ
    を抽出して輪郭画像データを生成する輪郭抽出手段と、 上記輪郭抽出手段によって生成された輪郭画像データに
    対して座標変換処理を施して、所定の平面座標系におい
    て上記車線標示線の輪郭の平面図をあらわす座標変換画
    像データを生成する座標変換手段と、 上記座標変換手段によって生成された座標変換画像デー
    タを用いて、上記2本の車線標示線が互いに平行である
    ことに基づいて、該車両のピッチ角変化を検出する姿勢
    変化検出手段とを有することを特徴とする車両用画像処
    理装置。
  2. 【請求項2】 上記座標変換手段が、上記平面座標系と
    して、平面視における上記撮像手段の位置を原点とし、
    上記車両の幅方向を第1の座標軸とし、上記車両の前後
    方向を第2の座標軸とする平面座標を設定するようにな
    っていて、 上記姿勢変化検出手段が、上記座標変換画像データに基
    づいて、上記車線の幅方向の寸法を上記第1の座標軸方
    向にとり、上記車線の伸長方向の位置を上記第2の座標
    軸方向にとった点を複数個点綴した上で、これらの点に
    整合する1本の直線を設定し、該直線の上記第2の座標
    軸に対する傾斜角に基づいて上記ピッチ角変化を検出す
    るようになっていることを特徴とする、請求項1に記載
    された車両用画像処理装置。
  3. 【請求項3】 上記姿勢変化検出手段が、上記直線に基
    づいて、上記車両の上下方向の移動量を検出するように
    なっていることを特徴とする、請求項2に記載された車
    両用画像処理装置。
  4. 【請求項4】 上記ピッチ角変化を考慮して上記車両の
    目標進行方向を検出する目標方向検出手段を有すること
    を特徴とする、請求項1又は2に記載された車両用画像
    処理装置。
  5. 【請求項5】 上記ピッチ角変化と上記上下方向の移動
    量とを考慮して、上記車両の目標進行方向を検出する目
    標方向検出手段を有することを特徴とする、請求項3に
    記載された車両用画像処理装置。
  6. 【請求項6】 上記姿勢変化検出手段が、上記直線から
    外れている輪郭点をノイズと判定するようになっている
    ことを特徴とする、請求項2又は3に記載された車両用
    画像処理装置。
  7. 【請求項7】 上記輪郭抽出手段が、 上記撮像手段によって生成された原画像データ中の車線
    のエッジを強調するエッジ抽出手段と、 上記エッジ抽出手段によるエッジの検出結果に基づき、
    上記車線のエッジを抽出するための閾値を設定する閾値
    設定手段と、 上記エッジ抽出手段によるエッジの検出結果と、上記閾
    値設定手段によって設定された閾値とに基づいて、上記
    車線のエッジ強度のピークとなる画素を上記車線標示線
    の輪郭点データとして抽出する輪郭点抽出手段と、 上記輪郭点抽出手段によって抽出された輪郭点データを
    補間して、上記車線標示線の輪郭に対応する輪郭画像デ
    ータを検出する車線標示線検出手段とを備えていること
    を特徴とする、請求項1〜6のいずれか1つに記載され
    た車両用画像処理装置。
JP10003787A 1998-01-12 1998-01-12 車両用画像処理装置 Expired - Fee Related JP2986439B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10003787A JP2986439B2 (ja) 1998-01-12 1998-01-12 車両用画像処理装置
US09/228,401 US6546118B1 (en) 1998-01-12 1999-01-12 Image processing apparatus for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10003787A JP2986439B2 (ja) 1998-01-12 1998-01-12 車両用画像処理装置

Publications (2)

Publication Number Publication Date
JPH11203445A true JPH11203445A (ja) 1999-07-30
JP2986439B2 JP2986439B2 (ja) 1999-12-06

Family

ID=11566905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10003787A Expired - Fee Related JP2986439B2 (ja) 1998-01-12 1998-01-12 車両用画像処理装置

Country Status (2)

Country Link
US (1) US6546118B1 (ja)
JP (1) JP2986439B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049921A (ja) * 2000-05-24 2002-02-15 Matsushita Electric Ind Co Ltd 描画装置
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法
JP2007293892A (ja) * 2001-11-30 2007-11-08 Hitachi Ltd レーンマーク認識方法
JP2007299414A (ja) * 2001-11-30 2007-11-15 Hitachi Ltd レーンマーク認識装置
US7304651B2 (en) 2000-05-24 2007-12-04 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image for drive assistance
US7653987B2 (en) * 2006-04-11 2010-02-02 Honda Motor Co., Ltd. Wire-holding device
CN109683613A (zh) * 2018-12-24 2019-04-26 驭势(上海)汽车科技有限公司 一种用于确定车辆的辅助控制信息的方法与设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575346B2 (ja) * 1999-09-03 2004-10-13 日本電気株式会社 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体
JP3992452B2 (ja) * 2000-11-09 2007-10-17 日立ソフトウエアエンジニアリング株式会社 変化検出装置、変化検出方法及び該方法に係るプログラムを記憶した記憶媒体並びにシステム
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
JP4374211B2 (ja) * 2002-08-27 2009-12-02 クラリオン株式会社 レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
US7482916B2 (en) * 2004-03-15 2009-01-27 Anita Au Automatic signaling systems for vehicles
JP4358147B2 (ja) * 2005-04-28 2009-11-04 本田技研工業株式会社 車両及びレーンマーク認識装置
EP2109061B1 (en) * 2005-05-20 2013-02-27 Toyota Jidosha Kabushiki Kaisha Image processing apparatus for vehicle
US8208021B2 (en) * 2005-12-28 2012-06-26 Honda Motor Co., Ltd. Vehicle and lane mark detection device
JP4248558B2 (ja) * 2006-03-24 2009-04-02 トヨタ自動車株式会社 道路区画線検出装置
JP4222411B2 (ja) * 2006-11-08 2009-02-12 日本電気株式会社 消失点検出システム、消失点検出方法および消失点検出用プログラム
US8867788B2 (en) * 2010-07-29 2014-10-21 Honda Motor Co., Ltd. Vehicle periphery monitoring device
CN101941399B (zh) * 2010-09-17 2012-05-30 长安大学 一种车辆车道变换辅助装置及其辅助判断方法
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
US9008359B2 (en) * 2012-06-28 2015-04-14 International Business Machines Corporation Detection of static object on thoroughfare crossings
US9063548B1 (en) 2012-12-19 2015-06-23 Google Inc. Use of previous detections for lane marker detection
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
JP6512920B2 (ja) * 2015-04-21 2019-05-15 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法
EP3098753A1 (en) 2015-05-28 2016-11-30 Tata Consultancy Services Limited Lane detection
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
CN106203341B (zh) * 2016-07-11 2019-05-21 百度在线网络技术(北京)有限公司 一种无人车的车道线识别方法及装置
DE102018120198A1 (de) * 2018-08-20 2020-02-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Luftfahrzeug
CN113486796B (zh) * 2018-09-07 2023-09-05 百度在线网络技术(北京)有限公司 无人车位置检测方法、装置、设备、存储介质及车辆
CN110962856B (zh) * 2018-09-30 2021-07-27 毫末智行科技有限公司 用于确定车辆的环境目标所处的区域的方法及装置
KR20210148756A (ko) * 2020-06-01 2021-12-08 삼성전자주식회사 경사 추정 장치 및 이의 동작 방법
CN116612459B (zh) * 2023-07-18 2023-11-17 小米汽车科技有限公司 目标检测方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514257B2 (ja) 1989-10-24 1996-07-10 日産自動車株式会社 道路案内線の特徴算出点設定装置
JP2850607B2 (ja) 1991-11-28 1999-01-27 日産自動車株式会社 車両用走行路検出装置
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
US5596494A (en) * 1994-11-14 1997-01-21 Kuo; Shihjong Method and apparatus for acquiring digital maps
US5716032A (en) * 1996-04-22 1998-02-10 United States Of America As Represented By The Secretary Of The Army Unmanned aerial vehicle automatic landing system
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049921A (ja) * 2000-05-24 2002-02-15 Matsushita Electric Ind Co Ltd 描画装置
US7304651B2 (en) 2000-05-24 2007-12-04 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image for drive assistance
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法
JP2007293892A (ja) * 2001-11-30 2007-11-08 Hitachi Ltd レーンマーク認識方法
JP2007299414A (ja) * 2001-11-30 2007-11-15 Hitachi Ltd レーンマーク認識装置
US7362883B2 (en) 2001-11-30 2008-04-22 Hitachi, Ltd. Lane marker recognition method
JP4671991B2 (ja) * 2001-11-30 2011-04-20 日立オートモティブシステムズ株式会社 レーンマーク認識装置
US7653987B2 (en) * 2006-04-11 2010-02-02 Honda Motor Co., Ltd. Wire-holding device
CN109683613A (zh) * 2018-12-24 2019-04-26 驭势(上海)汽车科技有限公司 一种用于确定车辆的辅助控制信息的方法与设备
CN109683613B (zh) * 2018-12-24 2022-04-29 驭势(上海)汽车科技有限公司 一种用于确定车辆的辅助控制信息的方法与设备

Also Published As

Publication number Publication date
JP2986439B2 (ja) 1999-12-06
US6546118B1 (en) 2003-04-08

Similar Documents

Publication Publication Date Title
JP2986439B2 (ja) 車両用画像処理装置
JP3630100B2 (ja) 車線検出装置
JP3759429B2 (ja) 障害物検出装置及びその方法
JP3337197B2 (ja) 車外監視装置
JP3671825B2 (ja) 車間距離推定装置
JP4937030B2 (ja) 車両用画像処理装置
EP1667086A1 (en) Device for detecting road traveling lane
EP1667085A1 (en) Device for detecting road traveling lane
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
JPH09264954A (ja) レーダを用いた画像処理システム
JP5561064B2 (ja) 車両用対象物認識装置
JP2005148817A (ja) 車両用画像処理装置
JPH11351862A (ja) 前方車両検出方法及び装置
JPH0792423B2 (ja) ヘッドライトの光軸調整方法
JP3961584B2 (ja) 区画線検出装置
JP3521859B2 (ja) 車両周辺画像処理装置及び記録媒体
JP2000293693A (ja) 障害物検出方法および装置
JP3911983B2 (ja) 後方監視装置
JP3807651B2 (ja) 白線認識装置
JP3319401B2 (ja) 走行路認識装置
JPH1011580A (ja) 車両用車線認識装置
JP2004185425A (ja) レーンマーク識別方法及び装置
JP4754434B2 (ja) 路面推定装置
JP3985610B2 (ja) 車両用走行路認識装置
JPH0996525A (ja) 車載用距離測定装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111001

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees