JP3333224B2 - 移動車の走行路検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は移動車の走行路検出装
置、特に、移動車の外界の画像を入力し、この画像に基
づいて走行路の検出を行う装置に関する。

【０００２】

【従来の技術】自律走行車の走行制御を行う場合など
は、走行路を正しく検出することが重要である。このよ
うに、移動車についての走行路を検出するには、カメラ
などの画像入力装置を用いて走行路前方の画像を入力
し、この画像について、たとえば走行路端を示す白線を
検出する画像処理などを施し、走行路の検出を行うのが
一般的である。たとえば、特開昭６４−２６９１３号公
報には、このような走行路検出の一手法が開示されてい
る。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
走行路検出装置においては、走行路の検出精度を高めれ
ば、画像処理の演算負担が大きくなり、画像処理の演算
負担を小さくすれば、走行路の検出精度は低下するとい
う問題がある。前述のように、走行路の検出には、入力
した画像から走行路端を示す白線の認識を行わねばなら
ない。ところが、このような白線の認識精度を高めれば
高めるほど、画像処理の演算量も増大することになる。

【０００４】そこで本発明は、画像処理の演算量を増や
すことなく、精度の高い走行路検出を行うことのできる
移動車の走行路検出装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】(1) 本願第１の発明
は、移動車の走行路検出装置において、移動車の外界の
画像を入力する画像入力手段と、入力した画像内におい
て、走行路端の探索を行うべき特定の探索領域を設定す
る探索領域設定手段と、設定された探索領域内を探索
し、走行路端の一部を構成すると推定される候補点を検
出する候補点検出手段と、検出された各候補点を通る近
似直線を走行路端として求める走行路端近似手段と、求
めた近似直線に基づいて、探索領域の設定位置を補正す
る探索領域位置補正手段と、を設け、所定の原点に対す
る近似直線の距離が、所定の基準値を越えて変化したと
きには、探索領域位置補正手段による位置補正が中止さ
れるようにしたものである。

【０００６】(2) 本願第２の発明は、上述の第１の発
明に係る移動車の走行路検出装置において、探索領域内
の画像について、画素の濃度値変化が急峻なエッジ部分
を検出する手段と、走行路端を示す白線の濃度値をもっ
た画素からなる白領域部分を検出する手段と、を候補点
検出手段内に設けたものである。

【０００７】

【０００８】

【作 用】(1) 本願第１の発明によれば、入力した画
像内に設定された探索領域の内部についてのみ、走行路
端の候補点探索が行われる。そして、探索された候補点
について近似直線を求め、この近似直線を走行路端とし
て認識する。したがって、入力した全画像について走行
路端の検出を行う従来の装置に比べ、画像処理の演算負
担は大幅に軽減される。しかも、探索領域の設定につい
ては、現在認識されている走行路端に基づいて位置補正
がなされるため、常に、走行路端が存在する確率が最も
高い位置に、探索領域が設定されることになる。したが
って、走行路を精度良く検出することが可能になる。ま
た、近似直線の位置変化量が基準値を越えたときには、
探索領域の位置補正が中止される。すなわち、探索領域
の設定は前回のままになる。このような位置補正の中止
を行うことにより、たまたま走行路端の検出を誤った探
索領域についても、引き続き、正しい設定位置を確保す
ることが可能になる。

【０００９】(2) 本願第２の発明によれば、走行路端
を構成する白線について、その領域を示す情報と、その
エッジ位置を示す情報と、の２つの情報を検出し、これ
らを合成して白線の検出を行うようにしたため、精度良
い白線の検出が可能になる。

【００１０】

【００１１】

【実施例】以下、本発明を図示する実施例に基づいて説
明する。図１は、本発明に係る移動車の走行路検出装置
の基本構成を示すブロック図である。画像入力手段１
は、移動車の外界の画像を入力する機能を有し、この実
施例では、ビデオカメラによって構成されている。探索
領域設定手段２は、入力した画像内に、走行路端の探索
を行うべき特定の探索領域を設定する機能を有する。候
補点検出手段３は、設定された探索領域内を探索し、走
行路端の一部を構成すると推定される候補点の検出を行
う機能を有し、この実施例では、画素の濃度値変化が急
峻なエッジ部分を検出するエッジ検出部３ａと、走行路
端を示す白線の濃度値をもった画素からなる白領域部分
を検出する白領域検出部３ｂと、によって構成されてい
る。走行路端近似手段４は、検出された各候補点を通る
近似直線を求める機能を有し、この近似直線が走行路端
として認識されることになる。また、この近似直線に基
づいて、探索領域位置補正手段５は、探索領域設定手段
２における探索領域の設定位置を補正する。

【００１２】続いて、この装置の動作を、具体例に即し
て説明する。いま、画像入力手段１から、図２(a) に示
すような画像が入力された場合を考える。この画像は、
移動車前方の走行路についての画像であり、図の例で
は、左走行路端を示す白線Ｌと右走行路端を示す白線Ｒ
とが画像上に含まれている。このような白線Ｌ，Ｒを検
出するために、この画像の全域にわたって白線探索のた
めの画像処理を行うと、その演算負担は非常に大きなも
のとなる。そこで、本発明では、探索領域設定手段２に
よって設定された特定の探索領域内についてのみ、白線
探索のための画像処理を行うようにしている。たとえ
ば、探索領域設定手段２において、図２(a)に示す入力
画像上に、図２(b) に示すような４つの探索領域Ｗ１〜
Ｗ４を設定した場合を考える。候補点検出手段３は、こ
の探索領域Ｗ１〜Ｗ４内についてのみ、白線の一部を構
成すると推定される候補点を検出するための探索処理を
行えばよい。

【００１３】この実施例の装置では、この候補点の探索
処理は次のようにして行われる。いま、たとえば、探索
領域Ｗ内に、図３(a) に示すような画像が得られた場合
を考える。ここでは、白線Ｌが太さをもった線として示
されており、白線Ｌに対応する白領域部分は、白色に対
応する濃度値をもった画素から構成されており、それ以
外の領域部分は、走行路面に対応する濃度値をもった画
素から構成されている。エッジ検出部３ａは、このよう
な探索領域Ｗ内の画像情報を、エッジを強調するフィル
タに通し、エッジ検出を行う。一方、白領域検出部３ｂ
は、このような探索領域Ｗ内の画像情報を、白色の画素
を検出するためのフィルタに通し、白領域の検出を行
う。これらの処理を一次元の画像処理で説明すると次の
ようになる。たとえば、図３(a) に示す探索領域Ｗ内の
画像について、走査線Ｓを定義し、この走査線Ｓに沿っ
て一次元の走査を行ったときに、各画素の濃度値に対応
して得られる信号波形を、エッジを強調するフィルタに
通すと図３(b) に示すようなエッジ波形が得られ、白領
域を検出するフィルタに通すと図３(c) に示すような白
領域波形が得られる。エッジ波形はエッジ位置の正確な
情報を含んでおり、白領域波形はこのエッジを境界とし
た領域のうちのどの領域が白領域であるかを示す情報を
含んでいる。したがって、この両波形を合成することに
より、もとの白線Ｌの正確な検出が可能になる。以上
は、走査線Ｓ上の画素のみについて行った一次元の処理
であるが、実際には、このような処理を二次元画像につ
いて行うことになる。エッジを強調するフィルタとして
は、たとえば、３×３の二次元フィルタから３×ｎの大
きさの二次元フィルタを用いればよい。一般の道路画像
の場合では、ｎ＜５程度で十分な処理が可能である。白
領域を検出するフィルタとしては、予め設定した白レベ
ル以上の濃度値をもつ画素を選択するようなフィルタを
用いればよい。白レベルの設定は、最適二値化法などの
手法により行うこともできるが、この実施例では、単
に、画素の濃度値平均の１．５倍の濃度値を白レベルの
境界値として用いている。

【００１４】以上のような画像処理を行うことにより、
各探索領域内に、白線の一部を構成すると推定される候
補点が検出される。この実施例では、候補点の検出に、
いわゆるトークントラッカーの手法を用いている。この
手法は、過去の候補点位置に基づいて、カルマンフィル
タを用い、現在の候補点位置を推定する方法であるが、
本明細書ではこの手法についての詳しい説明は省略す
る。ここでは、図４(a)に示すように、各探索領域Ｗ１
〜Ｗ４内にそれぞれ候補点Ｐ１〜Ｐ４が検出されたもの
として以下の説明を続けることにする。もちろん、実際
には、１つの探索領域内に複数の候補点を検出するよう
にしてよい。走行路端近似手段４は、検出された候補点
Ｐ１〜Ｐ４を通る近似直線を走行路端を示す白線Ｌとし
て求める。すなわち、図４(b) に示すように、白線Ｌが
求められることになる。なお、この白線Ｌは、図４(b)
に示すような画像上の二次元座標系と、走行路を含んだ
実世界内の三次元座標系と、の両座標系において求めら
れる。二次元座標系上で求めた白線Ｌは、探索領域位置
補正手段５における位置補正に用いられ、三次元座標系
上で求めた白線Ｌは、この移動車の走行制御を行うため
の情報として用いられることになる。

【００１５】さて、こうして、走行路端を示す白線Ｌが
求まると、探索領域位置補正手段５によって、探索領域
の位置補正が行われる。この実施例における位置補正の
原理は非常に単純である。すなわち、探索領域の中心点
Ｍが、求まった白線Ｌ上にくるように、水平方向に移動
させる補正を行うのである。たとえば、図５(a) に示す
ように、現在の探索領域Ｗに対して、図のような位置に
白線Ｌが求まった場合には、探索領域Ｗの位置を図の左
方向に水平移動させ、図５(b) に示す状態にするような
位置補正を行えばよい。このような位置補正を行うよう
にすれば、新たな入力画像について、常に、白線の存在
する確率の最も高い位置に探索領域の設定が行われるよ
うになる。

【００１６】以上のように、１画面の画像処理により白
線Ｌを認識したら、この認識した白線Ｌに基づいて、次
画面の画像処理を行うための探索領域の位置補正を行う
点が本発明の特徴である。別言すれば、この探索領域Ｗ
１〜Ｗ４は、入力画像上で水平方向にそれぞれ微小移動
しながら、白線Ｌを追跡するような状態になる。ところ
で、このような位置補正による追跡の弱点は、一旦、白
線以外のもの、たとえば、路面上の影や傷を誤って白線
として認識してしまった場合には、以後、この路面上の
影や傷を継続して追跡してしまうようになる点である。
そこで、この実施例では、このような誤った追跡をなく
すために、次のような処理を行っている。

【００１７】いま、図６に示すように、入力画面上に白
線Ｌが認識されているものとし、この白線の傾斜角θ
と、この白線の原点Ｏ（この例では画面左上に定義）か
らの距離Ｃと、を図のように定義する。ここで、各入力
画面ごとに得られる白線Ｌを時間的に追ってみると、移
動車が直線路を通常の状態で走行中であるならば、白線
Ｌの位置に急激な変化が生じるとは考えにくい。特に、
傾斜角θの変動は走行路の変動を示し、距離Ｃの変動は
車両の変動を示すものと考えられる。そこで、本実施例
では、車両が通常の状態で走行中に、距離Ｃが急激に変
化した場合、路面上の影や傷を誤って白線として誤検出
した可能性があると認識し、次のようなチェックを行う
ようにしている。すなわち、４つの探索領域Ｗ１〜Ｗ４
についての位置補正量をそれぞれチェックし、４つのう
ちの１つまたは２つの位置補正量が著しく大きく、所定
の基準値を越えていた場合、この１つまたは２つの探索
領域については、誤検出がなされたと判断し、位置補正
を中止する（すなわち、この誤検出がなされたと判断さ
れた探索領域については、今回は位置補正を行わずに、
もとの位置のままにする）。一般に、路面上の影や傷
は、部分的に存在すると考えられるので、４つの探索領
域のうちの１つまたは２つについてのみ位置補正量が大
きかった場合には、この探索領域では、路面上の影や傷
を白線として検出している可能性が高い。このような場
合に位置補正を行ってしまうと、以後、この路面上の影
や傷を白線として追跡してしまうことになる。そこで、
このような場合には位置補正を中止し、白線を追跡でき
るように探索領域をもとの位置に固定したままとするの
である。これに対し、４つの全部または４つのうちの３
つの位置補正量が所定の基準値を越えていた場合には、
誤検出はなしと判断し、そのまま位置補正を行うように
する。

【００１８】続いて、上述のような誤検出を避けるため
の別な手法をもうひとつ開示しておく。この方法では、
画像入力手段１として、ステレオカメラを用いる。すな
わち、左右に所定間隔だけ離して設置した２台のビデオ
カメラから、左画像と右画像とを入力し、この両画像に
基づいて誤検出に対する修正処理を行うのである。たと
えば、いま、図７に示すような左画像および右画像が得
られた場合を考える。ここで、実線で示すＷＬ１〜ＷＬ
４は、左画像上で新たに設定された探索領域を示し、実
線で示すＷＲ１〜ＷＲ４は、右画像上で新たに設定され
た探索領域を示す。また、破線で示す領域は、実線で示
す各探索領域の過去の位置である。ここで、実線で示す
８つの探索領域のうち、領域ＷＬ３のみが、過去の位置
から極端に変化していることがわかる。これに対応する
領域ＷＲ３の変化は、他の探索領域と同様にわずかであ
る。このように、左右の画像の比較によって、誤検出の
判断を行うのが、この手法の基本概念である。

【００１９】具体的には、左右の対応する領域、すなわ
ち、ＷＬ１とＷＲ１、ＷＬ２とＷＲ２、ＷＬ３とＷＲ
３、ＷＬ４とＷＲ４、の各対についての位置変化量を比
較し、一方の変化量のみが極端に大きかった場合には、
誤検出が行われていると判断するのである。一般に、路
面上の影や傷などが、ステレオカメラによる左右両方の
画像において白線として誤検出されることは少ないと考
えられる。したがって、左右対になった領域について、
一方の領域の位置変化量が極端に大きい場合には、路面
上の影や傷などを誤検出したと判断できる。

【００２０】位置変化量の比較は、仮想画像を用いて行
うこともできる。ステレオカメラの相互距離や設置角
度、ズーム倍率、などの条件が既知であれば、左画像に
基づいてこれに対応する仮想右画像を演算することがで
き、逆に、右画像に基づいてこれに対応する仮想左画像
を演算することができる。そこで、たとえば、図７に示
す右画像に基づいて、仮想左画像を演算により求めたも
のとする。この仮想左画像上には、領域ＷＲ１〜ＷＲ４
の射影として、領域ＷＬ１´〜ＷＬ４´が求められる。
そして、理論的には、左画像上の領域ＷＬ１〜ＷＬ４
と、仮想左画像上の領域ＷＬ１´〜ＷＬ４´と、は一致
するはずである。そこで、たとえば図７に示すように、
領域ＷＬ３と領域ＷＬ３´とが大きくはずれていた場合
には、領域ＷＬ３または領域ＷＲ３のいずれかにおいて
誤検出が行われていると判断できる。通常、誤検出が行
われた場合には、位置変化量が大きくなるので、位置変
化量の大きい方について誤検出が行われたと認識するこ
とができる。

【００２１】誤検出に対する処置としては、誤検出が行
われたと判断された探索領域については、位置補正を行
わずに前回と同じ位置のままにするというのが１つの方
法である。図７の例では、誤検出と判断された探索領域
ＷＬ３については、実線で示す新しい位置に補正する代
わりに、破線で示す前回の位置のままにしておくことに
なる。もう１つの方法は、仮想画像上の領域の位置を利
用して位置補正を行う方法である。図７の例では、誤検
出と判断された探索領域ＷＬ３については、実線で示す
新しい位置に補正する代わりに、仮想左画像上に得られ
た領域ＷＬ３´の位置に補正するようにするのである。
いずれの方法でも、誤検出に基づいて路面上の影や傷を
そのまま追跡してしまうことを防ぐことができる。

【００２２】以上、本発明を図示する実施例に基づいて
説明したが、本発明はこの実施例のみに限定されるもの
ではなく、この他にも種々の態様で実施可能である。た
とえば、上述の実施例では、走行路左端を示す白線Ｌに
ついての処理についてのみ述べたが、全く同様の処理を
走行路右端を示す白線Ｒについても行うことは言うまで
もない。また、上述の実施例では、４つの探索領域を設
定する例を述べたが、探索領域の数は特に４つに限定さ
れるものではない。更に、この探索領域の位置補正方向
として、上述の実施例では、水平方向に動かす例を示し
たが、垂直方向に動かして位置補正をしてもかまわない
し、斜め方向に動かして位置補正をしてもかまわない。
また、上述の実施例では、探索領域の初期設定位置につ
いては特に言及していないが、たとえば、この装置の始
動時だけ、入力した画像全体について探索処理を行って
白線の認識を行い、この白線上に各探索領域を初期設定
するようにすればよい。

【００２３】

【発明の効果】以上のとおり本発明によれば、移動車の
走行路検出装置において、入力した画像内の一部に探索
領域を設定し、この探索領域内についてのみ走行路端の
探索処理を行い、その結果に基づいて探索領域の位置補
正を行うようにしたため、画像処理の演算量を増やすこ
となく、精度の高い走行路検出を行うことができるよう
になり、また、近似直線の位置変化量が基準値を越えた
ときには、探索領域の位置補正を中止するようにしたた
め、走行路端の検出をたまたま誤った場合にも、正しい
設定位置を確保することが可能になる。

【図面の簡単な説明】

【図１】本発明に係る移動車の走行路検出装置の基本構
成を示すブロック図である。

【図２】図１に示す装置において入力した走行路画像
に、４つの探索領域を設定した状態を示す図である。

【図３】設定した探索領域内における候補点検出処理を
示す図である。

【図４】検出された候補点について近似直線を求める処
理を示す図である。

【図５】求めた近似直線に基づいて、探索領域の位置補
正を行う処理を示す図である。

【図６】図１に示す検出装置において、誤検出のチェッ
クを行う原理を示す図である。

【図７】ステレオカメラを用いて、誤検出に対する処理
を行う方法を示す図である。

【符号の説明】

１…画像入力手段（カメラ） ２…探索領域設定手段 ３…候補点検出手段 ３ａ…エッジ検出部 ３ｂ…白領域検出部 ４…走行路端近似手段 ５…探索領域位置補正手段 Ｌ，Ｒ…白線 Ｍ…中心点 Ｏ…原点 Ｐ１〜Ｐ４…候補点 Ｓ…走査線 Ｗ，Ｗ１〜Ｗ４，ＷＬ１〜ＷＬ４，ＷＲ１〜ＷＲ４，Ｗ
Ｌ１´〜ＷＬ４´…探索領域

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01C 21/00 G08G 1/16 B60R 21/00 G05D 1/02

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 移動車の外界の画像を入力する画像入力
   手段と、 入力した画像内において、走行路端の探索を行うべき特
   定の探索領域を設定する探索領域設定手段と、 前記探索領域内を探索し、走行路端の一部を構成すると
   推定される候補点を検出する候補点検出手段と、 検出された各候補点を通る近似直線を走行路端として求
   める走行路端近似手段と、 前記近似直線に基づいて、前記探索領域の設定位置を補
   正する探索領域位置補正手段と、を備え、所定の原点に対する近似直線の距離が、所定の
   基準値を越えて変化したときには、前記探索領域位置補
   正手段による位置補正が中止されることを特徴とする移
   動車の走行路検出装置。
2. 【請求項２】 請求項１に記載の走行路検出装置におい
   て、 候補点検出手段が、探索領域内の画像について、画素の
   濃度値変化が急峻なエッジ部分を検出する手段と、走行
   路端を示す白線の濃度値をもった画素からなる白領域部
   分を検出する手段と、を有することを特徴とする移動車
   の走行路検出装置。