JPH11203445A - 車両用画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 車両がピッチ角変動する場合でも車両の目標
進行方向を正確に計測することができる車両用画像処理
装置を提供する。 【解決手段】 デジタル撮像装置１から得られる前方の
道路画像信号から車線のエッジを強調するエッジ抽出器
１１と、エッジ抽出器１１による結果に基づき車線の輪
郭を抽出するための閾値を設定する閾値設定器１２と、
エッジ抽出器１１による結果と閾値設定器１２による閾
値とから車線の輪郭を抽出して、輪郭データを生成する
輪郭抽出器１３と、輪郭データからノイズ成分を除去す
るノイズ輪郭除去器１４と、ノイズ成分が除去された輪
郭データから車線標示線を検出する白線検出器１６と、
検出した車線標示線から車両の姿勢を推定する姿勢変化
検出器１７と、白線検出器１６による結果と姿勢推定結
果とに基づき車両の目標進行方向を検出する目標進行方
向検出器１８とを有する車両用画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両用画像処理装
置に関するものであり、より詳しくは、例えば無人走行
車両の操舵制御装置等において、道路上のレーンマーカ
ー（車線標示線）を検出して該レーンマーカーに追従す
るように車両を制御するための制御装置等に用いられる
車両用画像処理装置に関するものである。

【０００２】

【従来の技術】近年、車両に搭載され、車両進行方向の
情景を撮影して得た画像を処理し、該車両の運転ないし
は操舵制御に必要な種々の情報を得るようにした車両用
画像処理装置が普及しつつある。具体的には、例えばデ
ジタル撮像装置を用いて車両前方の道路を撮影して得た
原画像から、レーンマーカーに対応する画像を抽出し、
該レーンマーカーの画像に基づいて車線内における該車
両の位置ないしは姿勢を検出し、該検出結果に基づいて
該車両の目標進行方向を設定するようにした車両用画像
処理装置が一般に知られている（例えば、特開平３−１
３７７９８号公報参照）。

【０００３】そして、例えば特開平３−１３７７９８号
公報に開示された従来の車両用画像処理装置では、車両
ないしは撮像装置のピッチ角が一定であり、かつ路面に
対する車両ないしは撮像装置の高さ（以下、これを撮像
高という）が一定であることを前提として画像処理を行
い、車線内での車両の位置ないしは姿勢を検出するよう
にしている。したがって、車両走行中にピッチ角あるい
は撮像高が変化ないしは変動すると、車線内での該車両
の位置ないしは姿勢の検出に誤差が生じるといった問題
がある。そこで、この問題を解決すべく、撮像装置によ
って撮影された原画像中の車両近傍の白線を直線で近似
して消失点（ＦＯＥ）を検出し、この消失点に基づいて
ピッチ角変化ないしは撮像高変化を計測し、この計測値
に基づいて車線内での該車両の位置ないしは姿勢を検出
するようにした車両用画像処理装置が提案されている
（例えば、特開平５−１５１３４０号公報参照）。

【０００４】

【発明が解決しようとする課題】しかしながら、消失点
に基づいてピッチ角変化ないしは撮像高変化を計測する
ようにした従来の車両用画像処理装置では、レーンマー
カーがほぼ直線である場合は、車両のピッチ角変化ない
しは撮像高変化を正確に計測することができるものの、
道路の湾曲等によりレーンマーカーが曲線となっている
場合は、消失点を正確に検出することができないので、
ピッチ角変化ないしは撮像高変化を正確に計測すること
ができず、このため車線内での該車両の位置ないしは姿
勢を正確に検出することができないといった問題があ
る。

【０００５】本発明は上記従来の問題を解決するために
なされたものであって、レーンマーカーが曲線である場
合でも車両のピッチ角変化ないしは上下移動量（撮像高
変化）を正確に計測することができ、ひいては車線内で
の該車両の位置ないしは姿勢を正確に検出することがで
きる車両用画像処理装置を提供することを解決すべき課
題とする。

【０００６】

【課題を解決するための手段】上記課題を解決するため
になされた本発明によれば、（ａ）車両に搭載され、車
両進行方向の情景（道路及びその周辺）を撮影して該情
景に対応する原画像データを生成する撮像手段と、
（ｂ）撮像手段によって生成された原画像データから、
車両が走行している道路内の車線（レーン）の幅方向両
端部に形成された２本の車線標示線（レーンマーカー）
の輪郭に対応する画像データを抽出して輪郭画像データ
を生成する輪郭抽出手段と、（ｃ）輪郭抽出手段によっ
て生成された輪郭画像データに対して座標変換処理を施
して、所定の平面座標系において車線標示線の輪郭の平
面図をあらわす座標変換画像データを生成する座標変換
手段と、（ｄ）座標変換手段によって生成された座標変
換画像データを用いて、２本の車線標示線が互いに平行
であることに基づいて、該車両のピッチ角変化を検出す
る姿勢変化検出手段とを有することを特徴とする車両用
画像処理装置が提供される。

【０００７】この車両用画像処理装置においては、座標
変換手段によって、車線標示線の画像から該車線標示線
（輪郭）の平面図が形成されるが、車線の両端部の２本
の車線標示線は互いに平行であるので、車両のピッチ角
が一定であれば、２本の車線標示線の画像は上記平面図
上で平行となる。しかしながら、ピッチ角が変化する
と、２本の車線標示線は該平面図上で平行にはならな
い。例えば、ピッチ角あるいは撮像高が変化して、撮像
手段の光軸が路面と交差する位置が正規の位置より前方
にずれると、平面図上では２本の車線標示線の間隔は前
方ほど狭くなる。他方、撮像手段の光軸が路面と交差す
る位置が正規の位置より後方にずれると、平面図上では
２本の車線標示線の間隔は前方ほど広くなる。したがっ
て、平面図上での２本の車線標示線の間隔の変化に基づ
いてピッチ角変化あるいは撮像高変化を計測することが
できることになる。かくして、この車両用画像処理装置
では、車線標示線（レーンマーカー）が曲線である場合
でも、姿勢変化検出手段によって、平面図上での２本の
車線標示線の間隔の変化に基づいて、ピッチ角変化ある
いは撮像高変化が検出される。よって、車線内での該車
両の位置ないしは姿勢を正確に検出することができる。

【０００８】上記車両用画像処理装置においては、
（ｅ）座標変換手段が、平面座標系として、平面視にお
ける撮像手段の位置を原点とし、車両の幅方向を第１の
座標軸（Ｘ軸）とし、車両の前後方向を第２の座標軸
（Ｚ軸）とする平面座標を設定するようになっていて、
（ｆ）姿勢変化検出手段が、座標変換画像データに基づ
いて、車線の幅方向の寸法を第１の座標軸方向にとり、
車線の伸長方向の位置を第２の座標軸方向にとった点を
複数個点綴した上で、これらの点に整合（フィット）す
るないしは当てはまる１本の直線を設定し、該直線の第
２の座標軸に対する傾斜角に基づいてピッチ角変化ある
いは車両の上下方向の移動量（撮像高変化）を検出する
ようになっているのが好ましい。このようにすれば、上
記直線と第２の座標軸とのなす角度を求めるだけの簡単
な演算で容易にピッチ角変化あるいは撮像高変化を計測
することができる。

【０００９】また、上記車両用画像処理装置において
は、ピッチ角変化及び車両の上下方向の移動量のうちの
少なくとも一方を考慮して車両の目標進行方向を検出す
る目標方向検出手段を備えているのが好ましい。このよ
うにすれば、車両が進行すべき方向ないしは進行するこ
とができる方向を検出することができるので、該情報を
自動操舵装置等で有効に利用することができる。

【００１０】なお、上記車両用画像処理装置において
は、姿勢変化検出手段が、上記直線から外れている輪郭
点をノイズと判定するようになっているのが好ましい。
このようにすれば、ノイズを排除することができるの
で、ピッチ角変化あるいは撮像高変化の計測精度が高め
られる。

【００１１】上記車両用画像処理装置の輪郭抽出手段
は、具体的には、例えば、（ｇ）撮像手段によって生成
された原画像データ中の車線のエッジを強調するエッジ
抽出手段と、（ｈ）エッジ抽出手段によるエッジの検出
結果に基づき、車線のエッジを抽出するための閾値を設
定する閾値設定手段と、（ｉ）エッジ強調手段によるエ
ッジの検出結果と、閾値設定手段によって設定された閾
値とに基づいて、車線のエッジ強度のピークとなる画素
を車線標示線の輪郭点データとして抽出する輪郭点抽出
手段と、（ｊ）輪郭点抽出手段によって抽出された輪郭
点データを補間して、車線標示線の輪郭に対応する輪郭
画像データを検出する車線標示線検出手段とによって構
成される。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を具体
的に説明する。図１（ａ）は、本発明にかかる車両用画
像処理装置の基本構成を示すブロック図である。図１
（ａ）に示すように、この車両用画像処理装置には、デ
ジタル撮像装置１と、該デジタル撮像装置１によって撮
影（撮像）された原画像を処理する画像処理部２とが設
けられている。ここで、デジタル撮像装置１は車両前部
に前向きに搭載（設置）され、車両前方の道路画像（情
景）を撮影（撮像）してデジタル画像信号を生成するよ
うになっている。また、画像処理部２は、例えばマイク
ロコンピュータで構成され、デジタル撮像装置１から出
力されるデジタル形式の原画像信号（映像信号）に対し
て所定の画像処理を施し、該車両が走行すべきないしは
走行することができる走行路等を検出するようになって
いる。この画像処理部２の検出結果は、図示しない車両
制御部等の外部装置に伝送され、自動操舵制御ないしは
自動走行制御等に用いられる。なお、図１（ｂ）は、後
記のとおり、画像処理部２の具体的な構成を示すブロッ
ク図である。

【００１３】デジタル撮像装置１は、Ｐｈ及びＰｖを、
それぞれ画面上における水平方向（横方向）及び垂直方
向（縦方向）の画素の数とすれば、Ｐｈ×Ｐｖの画素マ
トリックスからなる対象物の原画像を連続的に得ること
ができる。ここで、画素数Ｐｈ及びＰｖを増やせば、画
像解像度を高めることができるので、目標進行方向検出
動作等の精度を高めることができる。しかしながら、画
素数を増やすと、製造コストが高くなるという問題が生
じるので、これらの画素数Ｐｈ及びＰｖは、必要とされ
る分解能と製造コストとに応じて臨機応変に決定される
べきである。この実施の形態では、一例として、Ｐｈ及
びＰｖは、それぞれ６４０及び２５５に設定されている
が、これに限定されるものではないのはもちろんであ
る。

【００１４】図２は、本発明にかかるデジタル撮像装置
１及び画像処理部２を搭載した車両３（自動車）の側面
図である。以下では、車両３の周囲の３次元空間におけ
る位置関係を、デジタル撮像装置１の位置を原点Ｏとし
た上で、該原点Ｏを通って車両３の左右方向（幅方向）
に伸びる軸をＸ軸とし、車両３の上下方向に伸びる軸を
Ｙ軸とし、車両３の前後方向に伸びる軸をＺ軸とする立
体座標系（以下、これを「Ｘ−Ｙ−Ｚ立体座標系」とい
う）であらわすことにする。なお、このＸ−Ｙ−Ｚ立体
座標系においては、Ｘ軸は右側が正方向であり、Ｙ軸は
上側が正方向であり、Ｚ軸は前側が正方向である。

【００１５】図２に示すように、デジタル撮像装置１の
光軸Ａｘは、車両３が正規の姿勢にあるとき（車両３に
ピッチ角変化がなく、かつ上下移動がないとき）には、
平面視では車両３が道路４上を移動する方向すなわちＺ
軸方向と一致するが、立面視では水平方向（Ｚ軸方向）
に対して所定の角度θ（以下、これを「光軸傾斜角θ」
という）だけ前方に向かって下向きに傾斜するように設
定されている。ここで、デジタル撮像装置１としては、
これによって得られる原画像が、Ｚ軸方向について車両
３の前方５ｍ程度の位置から無限遠までの道路面が写る
ような画角を有するものが用いられる。そして、デジタ
ル撮像装置１の光軸傾斜角θは、車両３の前方５ｍ程度
の位置から無限遠までの道路面を撮影することができる
ように好ましく設定されている。

【００１６】図３に、デジタル撮像装置１によって撮影
された車両前方の情景の原画像の一例を示す。図３から
明らかなとおり、車両３が走行している道路４は、２車
線道路であり、３本の車線標示線Ｌｍ１、Ｌｍ２、Ｌｍ３
（レーンマーカー）により、左右２つの車線（レーン）
に区分されている。ここで、車両３は２車線道路４の左
側の車線を走行している。これらの車線標示線Ｌｍ１、
Ｌｍ２、Ｌｍ３は、通常は路面上に白色又は黄色のペイ
ントを用いて描かれている。なお、図３において、Ｓｂ
は路側帯をあらわし、Ｓｔは道路側壁（防音壁）をあら
わし、Ｌｓは該画像処理を行う上での上限をあらわして
いる。つまり、Ｌｓより上側の領域は、当該車両３から
かなり遠い距離（例えば、前方７０ｍ以遠）にあるの
で、画像処理の対象とはしないようにしている。また、
ＡはＬｓより下側の走査線数を示している。

【００１７】以下では、図４に示すように、デジタル画
像装置１によって撮影された平面的な原画像（ないしは
該原画像を表示する画面）中における位置関係を、光軸
Ａｘに沿ってデジタル撮像装置１に入った光が結像する
点すなわち原画像（画面）の中心点を原点ｏとし、原点
ｏを通って画像水平方向（横方向）に伸びる軸をｘ軸と
し、画像垂直方向（上下方向）に伸びる軸をｙ軸とする
平面座標系（以下、これを「ｘ−ｙ平面座標系」とい
う）であらわすことにする。なお、このｘ−ｙ平面座標
系において、ｘ軸は右側が正方向であり、ｙ軸は上側が
正方向である。

【００１８】以下、画像処理部２の具体的な構成を説明
する。図１（ｂ）に示すように、画像処理部２には、エ
ッジ抽出器１１と、閾値設定器１２と、輪郭抽出器１３
と、ノイズ輪郭除去器１４と、座標変換器１５と、白線
検出器１６と、姿勢変化検出器１７（姿勢推定器）と、
目標進行方向検出器１８とが設けられている。

【００１９】ここで、エッジ抽出器１１は、デジタル撮
像装置１に接続され、該デジタル撮像装置１から出力さ
れた前方の道路画像のデジタル画像信号（原画像）を受
け取る。そして、エッジ抽出器１１は、デジタル撮像装
置１から受け取ったデジタル画像信号に対して、図５に
示す空間フィルタを用いてフィルタ処理を施し、原画像
中において輝度が急激に変化する画素を強調（ないしは
抽出）する。

【００２０】図５に示すように、この空間フィルタは１
次元配列のフィルタであり、原画像の走査線方向に奇数
個のフィルタ要素が配列され、各フィルタ要素はそれぞ
れパラメータを有している。そして、中央のフィルタ要
素のパラメータは０に設定され、中央より左側のフィル
タ要素のパラメータは１に設定され、中央より右側のフ
ィルタ要素のパラメータは−１に設定されている。図５
から明らかなとおり、この実施の形態では、一例として
７つのフィルタ要素を備えた空間フィルタを使用してい
るが、このフィルタ要素の数は、原画像中に現れる白線
の走査線方向の画素数に応じて、該白線のエッジがより
強調される一方、該白線以外の微小な輝度変化が強調さ
れにくいように好ましく設定される。なお、空間フィル
タは１次元配列のフィルタに限定されるものではない。
この空間フィルタを用いたフィルタ処理は、デジタル撮
像装置１からエッジ抽出器１１に入力された原画像全体
について施され、これによりエッジが強調された画像
（以下、これを「エッジ強調画像」という）が生成され
る。

【００２１】閾値設定器１２はエッジ抽出器１１に接続
され、該エッジ抽出器１１から出力されたエッジ強調画
像を受け取る。そして、閾値設定器１２は、エッジ強調
画像から、車線標示線Ｌｍ１〜Ｌｍ３の輪郭部分のエッ
ジ画素を効果的に抽出するための閾値を設定する。ここ
で、閾値は画像の左側部分と右側部分とについて個別的
に設定され、画像の左側部分の閾値ＥthL（y）と右側部
分の閾値ＥthR（y）とは、それぞれ、次の式１、式２に
基づいて走査線毎に設定される。なお、画像中における
位置関係は、前記のとおり、図４に示すようなｘ−ｙ平
面座標系におけるｘ座標及びｙ座標であらわされる。

【００２２】

【数１】 ＥthL（y）＝ Ｃ・ＥmaxL（y）＋（１−Ｃ）・ＥmeanL（y）………式１

【数２】 ＥthR（y）＝ Ｃ・ＥminR（y）＋（１−Ｃ）・ＥmeanR（y）………式２

【００２３】なお、式１において、ＥmaxL（y）とＥmea
nL（y）とは、それぞれ、例えば図６（ａ）、（ｂ）中に
ＡsL又はＡuLで示すような、所定の左側の限定領域にお
けるエッジ強調画像の、ｙ位置における走査線の最大エ
ッジ強度と、正のエッジ強度を示す画素の平均エッジ強
度とをあらわす。また、式２において、ＥminR（y）と
ＥmeanR（y）とは、それぞれ、例えば図６（ａ）、
（ｂ）中にＡsR又はＡuRで示すような、所定の右側の限
定領域におけるエッジ強調画像の、ｙ位置における走査
線の最小エッジ強度と、負のエッジ強度を示す画素の平
均エッジ強度とをあらわす。さらに、式１又は式２おい
て、Ｃは０よりも大きく１よりも小さい所定の定数であ
り、この実施の形態ではＣは０.６に設定されている。

【００２４】輪郭抽出器１３は、エッジ抽出器１１と閾
値設定器１２とに接続され、両者からそれぞれエッジ強
調画像と閾値とを受け取る。そして、輪郭抽出器１３
は、エッジ強調画像の中で、例えば図６（ａ）、（ｂ）
に示すような左側の限定領域内及び右側の限定領域内の
画素を、それぞれ、閾値ＥthL（y）及びＥthR（y）に基
づいて、車線を画成する車線標示線の輪郭点を抽出す
る。この輪郭点の抽出は、各限定領域について、それぞ
れ、画像中央側の端部から外向きに走査することにより
行われる。

【００２５】図７に示すように、車両３が走行している
車線の左側の車線標示線Ｌｍ１（白線）の輪郭点を検出
するために行われる、画像中の左側の限定領域での輪郭
点の抽出は、およそ次のような手順で行われる。すなわ
ち、該限定領域の右端から左向きに走査してゆき、最初
に閾値ＥthL（y）より大きいエッジ強度を示した画素を
検出した後、エッジ強度がさらに増加していれば該走査
を続行する。そして、新たに走査した左側の画素の方が
エッジ強度が小さい場合は、その画素を輪郭点とする。
すなわち、車線標示線のエッジはある程度の幅を持って
存在するので、そのピークを輪郭点として検出する。

【００２６】他方、車両３が走行している車線の右側の
車線標示線Ｌｍ２（白線）の輪郭点を検出するために行
われる、画像中の右側の限定領域での輪郭点の抽出は、
およそ次のような手順で行われる。すなわち、該限定領
域の左端から右向きに走査してゆき、最初に閾値ＥthR
（y）より小さいエッジ強度を示した画素を検出した
後、エッジ強度がさらに減少していれば該走査を続行す
る。そして、新たに走査した右側の画素の方がエッジ強
度が大きい場合は、その画素を輪郭点とする。図８に、
このようにして検出された輪郭点の一例を示す。かくし
て、輪郭抽出器１３は、車線標示線の輪郭点を示す輪郭
抽出信号を生成する。

【００２７】前記の図６（ａ）、（ｂ）は、それぞれ、
閾値設定処理と輪郭抽出処理とを行う限定領域をあらわ
している。ここで、図６（ａ）は、該車両用画像処理装
置の始動直後に設定される領域である。図６（ａ）に示
すように、該画像は、画像処理の上限を示す水平方向の
線Ｌｓ（図３参照）より下側の領域において、垂直方向
の中心線Ｌｃによって、左側の限定領域ＡsLと右側の限
定領域ＡsRとに分割される。この中心線Ｌｃは、エッジ
強調画像において、ｘ軸方向の中心部に位置し、したが
って各限定領域の水平方向の寸法はＰｈ／２であらわさ
れる。しかしながら、垂直方向の中心線Ｌｃは、このよ
うな位置に限定されるものではない。

【００２８】ノイズ輪郭除去器１４は、輪郭抽出器１３
に接続され、該輪郭抽出器１３から出力された輪郭抽出
信号（輪郭点）を受け取る。そして、ノイズ輪郭除去器
１４は、輪郭抽出器１３によって抽出された輪郭点の中
で所定の距離Ｄｃ以内にあるもの同士を１つのグループ
まとめるといった処理すなわちクラスタリングを行っ
て、該グループから孤立（独立）している輪郭点をノイ
ズとして除去する。ここで、Ｄｃは、湾曲している車線
を画成する連続した車線標示線上の輪郭点を１つのグル
ープに帰属させることができ、かつノイズ成分を車線標
示線上の輪郭点のグループには帰属させないような好ま
しい値に設定される。

【００２９】座標変換器１５は、ノイズ輪郭除去器１４
に接続され、該ノイズ変換器１４から出力された、ノイ
ズが除去された（クラスタリングされた）車線標示線の
輪郭点の画像データを受け取る。そして、座標変換器１
５は、次の式３〜式５を用いて、ｘ−ｙ平面座標系にお
ける車線標示線の輪郭データを、実距離の平面座標系に
座標変換する。つまり、図４のｘ−ｙ平面座標系の輪郭
点を、図３のＸ−Ｙ−Ｚ立体座標系においてＹ軸方向の
位置が路面である平面座標系（以下、これを「Ｘ−Ｚ平
面座標系」という）の点に変換する。

【００３０】

【数３】 Ｘ＝（ｘ／Ｆ）（Ｚcosθ−Ｙsinθ）……………………………………式３

【数４】 Ｚ＝Ｙ（Ｆcosθ＋ｙsinθ）／（ｙcosθ−Ｆsinθ）…………………式４

【数５】 Ｙ＝−Ｈ………………………………………………………………………式５ なお、式３〜式５において、Ｆはデジタル撮像装置１の
レンズの焦点距離であり、θは光軸傾斜角すなわちＺ軸
とデジタル撮像装置１（カメラ）の光軸Ａｘのなす角度
であり、Ｈは路面からデジタル撮像装置１までの高さで
ある。

【００３１】白線検出器１６は座標変換器１５に接続さ
れ、該座標変換器１５から出力された、Ｘ−Ｚ平面座標
系における車線標示線の輪郭点データを受け取る。そし
て、白線検出器１６は、Ｘ−Ｚ平面座標系における車線
標示線の輪郭を検出する。

【００３２】図９に、白線検出器１６によって検出され
たＸ−Ｚ平面座標系における車線標示線の輪郭の一例を
示す。図９において、Ｍ１は車両３が走行している車線
の左側の車線標示線の輪郭をあらわし、Ｍ２は該車線の
右側の車線標示線の輪郭をあらわしている。ここで、車
両３のピッチ角変化ないしは上下移動（撮像高変化）が
ない場合は、図９中にＭ'１とＭ'２とで示すように、左
右の車線標示線の間隔すなわち車線の幅は一定となる。
すなわち、左側の車線標示線の輪郭Ｍ'１と右側の車線
標示線の輪郭Ｍ'２とは互いに平行となる。しかしなが
ら、車両３にピッチ角変化あるいは上下移動（撮像高変
化）が生じると、左右の車線標示線の輪郭Ｍ１、Ｍ２は
互いに平行とはならない。例えば、車両３のピッチ角変
化あるいは上下移動により、デジタル撮像装置１の光軸
Ａｘが路面と交差する位置が正規の位置より前方にずれ
ると両車線標示線の輪郭Ｍ１、Ｍ２の間隔（車線の幅）
はＺ座標が大きくなるほど狭くなり、後方にずれると両
車線標示線の輪郭Ｍ１、Ｍ２の間隔はＺ座標が大きくな
るほど広くなる。なお、図９に示す例では、左右の車線
標示線の輪郭Ｍ１、Ｍ２の間隔は、Ｚ座標が大きくなる
ほど広くなっているので、デジタル撮像装置１の光軸Ａ
ｘが路面と交差する位置が正規の位置より後方にずれて
いることになる。

【００３３】したがって、Ｘ−Ｚ平面座標系における両
車線標示線の輪郭Ｍ１、Ｍ２の間隔の変化に基づいて、
車両３のピッチ角変化又は上下移動を計測することがで
きることになる。なお、このようなピッチ角変化あるい
は上下移動は、後で説明するように、姿勢変化検出器１
７によって検出される。

【００３４】姿勢変化検出器１７は白線検出器１６に接
続され、該白線検出器１６から出力されたＸ−Ｚ平面座
標系における車線標示線の輪郭データを受けとる。そし
て、姿勢変化検出器１７は、図１０に示すように、該車
線標示線の輪郭データを処理して、該車線の幅（レーン
幅）をＸ座標とし、該車線の伸長方向の位置をＺ座標と
する点をＸ−Ｚ平面座標系に点綴した上で、これらの点
綴点Ｐにフィットする（ないしは当てはまる）１本の直
線Ｎ１を設定する。なお、この直線Ｎ１は、例えば、一
般に知られている最小二乗法、Ｈｏｕｇｈ変換法等を用
いて容易に設定することができる。

【００３５】そして、姿勢変化検出器１７は、直線Ｎ１
と、Ｚ軸に平行な直線Ｎ２とがはさむ角ωを検出する。
なお、直線Ｎ２は、Ｚ＝０の位置で直線Ｎ１と交わるＺ
軸に平行な直線であり、車両３にピッチ角変化あるいは
上下移動がない場合は、点綴点Ｐは実質的に直線Ｎ２に
一致することになる。さらに、姿勢検出手段１７は、こ
の角ωに基づいて、車両３のピッチ角変化あるいは上下
移動量を検出する。

【００３６】目標進行方向検出器１８は姿勢変化検出器
１７に接続され、該姿勢変化検出器１７から出力された
車両３のピッチ角変化ないしは上下移動量を受け取る。
そして、目標進行方向検出器１８は、車両３のピッチ角
変化ないしは上下移動量に基づいて、該車両３の車線内
における位置ないしは姿勢を検出し、該車両３の進行す
べき方向ないしは進行することができる方向を検出し、
これを自動操舵装置等の外部装置に出力する。

【００３７】このように、この車両用画像処理装置で
は、車線標示線が湾曲している場合でも、Ｘ−Ｚ平面座
標系における２本の車線標示線の間隔の変化に基づい
て、車両のピッチ角変化あるいは上下移動量を正確に検
出することができ、ひいては車線内での車両の位置ない
しは姿勢を正確に検出することができる。

【図面の簡単な説明】

【図１】 （ａ）は本発明にかかる車両用画像処理装置
の構成を示すブロック図であり、（ｂ）は（ａ）に示す
車両用画像処理装置の画像処理部の構成を示すブロック
図である。

【図２】 本発明にかかる車両用画像処理装置を搭載し
た車両の側面図である。

【図３】 図１に示すデジタル撮像装置によって撮影さ
れた原画像の一例を示す図である。

【図４】 図３に示す原画像における座標系を示す図で
ある。

【図５】 空間フィルタの構成を示す図である。

【図６】 （ａ）、（ｂ）は、それぞれ、図３に示す原
画像の領域の分割方法を示す図である。

【図７】 原画像の走査方法を示す図である。

【図８】 原画像から抽出された車線標示線の輪郭画像
を示す図である。

【図９】 ｘ−ｙ平面座標系からＸ−Ｚ平面座標系に座
標変換された車線標示線の輪郭画像を示す図である。

【図１０】 図９に示す輪郭画像を処理して得られた、
車線幅のＺ方向に対する変化を示す図である。

【符号の説明】

１…デジタル撮像装置、２…画像処理部、３…車両、４
…道路、１１…エッジ抽出器、１２…閾値設定器、１３
…輪郭抽出器、１４…ノイズ輪郭除去器、１５…座標変
換器、１６…白線検出器、１７…姿勢変化検出器、１８
…目標進行方向検出器。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 車両に搭載され、車両進行方向の情景を
   撮影して該情景に対応する原画像データを生成する撮像
   手段と、 上記撮像手段によって生成された原画像データから、上
   記車両が走行している道路内の車線の幅方向両端部に形
   成された２本の車線標示線の輪郭に対応する画像データ
   を抽出して輪郭画像データを生成する輪郭抽出手段と、 上記輪郭抽出手段によって生成された輪郭画像データに
   対して座標変換処理を施して、所定の平面座標系におい
   て上記車線標示線の輪郭の平面図をあらわす座標変換画
   像データを生成する座標変換手段と、 上記座標変換手段によって生成された座標変換画像デー
   タを用いて、上記２本の車線標示線が互いに平行である
   ことに基づいて、該車両のピッチ角変化を検出する姿勢
   変化検出手段とを有することを特徴とする車両用画像処
   理装置。
2. 【請求項２】 上記座標変換手段が、上記平面座標系と
   して、平面視における上記撮像手段の位置を原点とし、
   上記車両の幅方向を第１の座標軸とし、上記車両の前後
   方向を第２の座標軸とする平面座標を設定するようにな
   っていて、 上記姿勢変化検出手段が、上記座標変換画像データに基
   づいて、上記車線の幅方向の寸法を上記第１の座標軸方
   向にとり、上記車線の伸長方向の位置を上記第２の座標
   軸方向にとった点を複数個点綴した上で、これらの点に
   整合する１本の直線を設定し、該直線の上記第２の座標
   軸に対する傾斜角に基づいて上記ピッチ角変化を検出す
   るようになっていることを特徴とする、請求項１に記載
   された車両用画像処理装置。
3. 【請求項３】 上記姿勢変化検出手段が、上記直線に基
   づいて、上記車両の上下方向の移動量を検出するように
   なっていることを特徴とする、請求項２に記載された車
   両用画像処理装置。
4. 【請求項４】 上記ピッチ角変化を考慮して上記車両の
   目標進行方向を検出する目標方向検出手段を有すること
   を特徴とする、請求項１又は２に記載された車両用画像
   処理装置。
5. 【請求項５】 上記ピッチ角変化と上記上下方向の移動
   量とを考慮して、上記車両の目標進行方向を検出する目
   標方向検出手段を有することを特徴とする、請求項３に
   記載された車両用画像処理装置。
6. 【請求項６】 上記姿勢変化検出手段が、上記直線から
   外れている輪郭点をノイズと判定するようになっている
   ことを特徴とする、請求項２又は３に記載された車両用
   画像処理装置。
7. 【請求項７】 上記輪郭抽出手段が、 上記撮像手段によって生成された原画像データ中の車線
   のエッジを強調するエッジ抽出手段と、 上記エッジ抽出手段によるエッジの検出結果に基づき、
   上記車線のエッジを抽出するための閾値を設定する閾値
   設定手段と、 上記エッジ抽出手段によるエッジの検出結果と、上記閾
   値設定手段によって設定された閾値とに基づいて、上記
   車線のエッジ強度のピークとなる画素を上記車線標示線
   の輪郭点データとして抽出する輪郭点抽出手段と、 上記輪郭点抽出手段によって抽出された輪郭点データを
   補間して、上記車線標示線の輪郭に対応する輪郭画像デ
   ータを検出する車線標示線検出手段とを備えていること
   を特徴とする、請求項１〜６のいずれか１つに記載され
   た車両用画像処理装置。