JPH10214326A - 自動走行車両の走行制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 走路端の誤検知の問題を解消して走路端を常
に確実に検出することができる信頼性の高い自動走行車
両の走行制御装置を提供すること。 【構成】 撮像手段７によって得られた車両６の前方の
画像を処理することによって白線（走路端）１ａを検出
し、その白線１ａに沿って車両６を自動走行せしめる装
置であって、前記画像内のエッジを検出し、最も直線状
に並んでいるエッジ列を白線１ａとしてハフ変換によっ
てその位置を求める自動走行車両６の走行制御装置にお
いて、エッジ画像の中の車両６の直前の地表に当たる部
分から該部分と同様の画像データを有する部分を連続的
に放射状に拡張していくことによって走路域を検出し、
走路域検出後の画像を用いることによって白線１ａを検
出する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、車両前方の撮像に
よって得られた画像を処理することによって走路端を検
出し、その走路端に沿って車両を自動走行せしめる自動
走行車両の走行制御装置に関する。

【０００２】

【従来の技術】画像処理によって路肩白線等の走路端を
検出し、その検出された走路端に沿って自動走行する自
動走行車両が提案されているが、斯かる自動走行車両に
は、車両前方の走路を撮像する撮像手段と該撮像手段に
よって得られた走路画像を処理するコントローラ等によ
って構成される走行制御装置が備えられている。

【０００３】ところで、上記走行制御装置における画像
処理においては、撮像手段によって得られた車両前方の
走路画像内のエッジを検出し、最も直線状に並んでいる
エッジ列を走路端としてハフ変換によってその位置を求
めることが行われていた。

【０００４】

【発明が解決しようとする課題】ところが、上記従来の
走行制御装置のように単に直線を検出する走路端の検出
方法では、走路端以外の直線状のものを誤検知する可能
性があり、走行制御装置の信頼性に完全を期し難かっ
た。

【０００５】本発明は上記問題に鑑みてなされたもの
で、その目的とする処は、走路端の誤検知の問題を解消
して走路端を常に確実に検出することができる信頼性の
高い自動走行車両の走行制御装置を提供することにあ
る。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、撮像手段によって得られた車両前方の画
像を処理することによって走路端を検出し、その走路端
に沿って車両を自動走行せしめる装置であって、前記画
像内のエッジを検出し、最も直線状に並んでいるエッジ
列を走路端としてハフ変換によってその位置を求める自
動走行車両の走行制御装置において、エッジ画像の中の
車両直前の地表に当たる部分から該部分と同様の画像デ
ータを有する部分を連続的に放射状に拡張していくこと
によって走路域を検出し、走路域検出後の画像を用いる
ことによって走路端を検出するようにしたことを特徴と
する。

【０００７】又、請求項２記載の発明は、請求項１記載
の発明において、取り込まれた原画像データを複数の矩
形領域に区画し、各矩形領域における各画素の濃度値の
最大値と最小値との差をエッジ強度として求め、各矩形
領域について求められたエッジ強度から閾値を算出し、
前記走路域の検出においてはエッジ強度が閾値を超えな
い部分を放射状に拡張するようにしたことを特徴とす
る。

【０００８】従って、本発明によれば、車両直前の地表
は走行可能な走路であるとの前提に基づき、撮像手段に
よって得られた車両前方の画像における車両直前の地表
の画像から該車両直前部と同様の画像データを有する部
分が連続的に存在する部分も走行可能域であるものと見
なし、この領域を車両直前部から放射状に拡張していく
ことによって走路域を検出し、走路域検出後の画像を用
いることによって走路端を検出するようにしたため、走
路端のみが常に確実に検出されて誤検知の問題が解消さ
れ、走行制御装置に高い信頼性を確保することができ
る。

【０００９】

【発明の実施の形態】以下に本発明の実施の形態を添付
図面に基づいて説明する。

【００１０】図１は自動走行車両が自動走行している様
子を示す平面図、図２は本発明に係る走行制御装置の構
成を示すブロック図である。

【００１１】図１において、１は道路であって、その両
側には複数の建物２〜５が建っている。そして、道路１
の幅方向中央にはセンターライン１ｃが引かれており、
その両側には歩道と車道とを区画するための路肩白線
（走路端）１ａ，１ｂが引かれている。

【００１２】而して、図１に示す例では、道路１のセン
ターライン１ｃよりも左側の車線を自動走行車両６が左
側の白線１ａを検出しながら該白線１ａに沿って図示矢
印方向に自動走行している。

【００１３】上記自動走行車両６には、ＣＣＤカメラ等
の撮像手段７と図２に示すコントローラ１０等によって
構成される走行制御装置が備えられており、図２に示す
ように、撮像手段７とコントローラ１０はインターフェ
ース（Ｉ／Ｆ）８を介して接続されており、コントロー
ラ１０と操舵モータコントローラ２０は同じくインター
フェース（Ｉ／Ｆ）９を介して接続されている。

【００１４】ところで、上記コントローラ１０は、画像
データ圧縮・エッジ検出部１１、閾値計算部１２、走路
域検出部１３、エッジ抽出部１４、直線検出部１５、偏
差量演算部１６、操舵モータ電流計算部１７及び指令信
号出力部１８を有しており、撮像手段７によって撮像さ
れた車両６の前方の画像を画像データ圧縮・エッジ検出
部１１、閾値計算部１２、走路域検出部１３、エッジ抽
出部１４及び直線検出部１５を経て処理することによっ
て白線１ａを検出する。

【００１５】ここで、コントローラ１０によって行われ
る画像処理をその手順に従って説明する。

【００１６】１）画像データ圧縮・エッジ検出；撮像手
段７によって撮像された車両６の前方の画像（原画像）
は図２に示すインターフェース８を介してコントローラ
１０の画像データ圧縮・エッジ検出部１１に取り込まれ
るが、この画像は図１０に示すように横５１２×縦４８
０の画素で構成されており、画像データ圧縮・エッジ検
出部１１においては、図３の上段の表に示すように各画
素の濃度値をデジタル化してその濃度に応じて０〜２５
５（０は真っ黒、２５５は真っ白）の値の何れかを設定
し、これらの濃度データを例えば１／１６に圧縮する。

【００１７】即ち、図３の上段の表に示すように、４×
４＝１６画素を１つの矩形領域として原画像データの数
を１／１６に圧縮して横１２８×縦１２０の複数の矩形
領域に区画する。

【００１８】そして、各領域における計１６の各画素の
濃度値の最大値と最小値との差をエッジ強度として求め
る。例えば、図３の下段の表の１行１列（左上）の領域
におけるエッジ強度１７３は同図上段の表に対応する矩
形領域中の１６画素の濃度値の最大値１８５と最小値１
２との差（１８５−１２＝１７３）として求められる。

【００１９】而して、上述のようにしてエッジ強度を全
ての矩形領域について求めることによって画像中のエッ
ジを検出して図１１に示すようなエッジ画像を得る。

【００２０】２）閾値計算；コントローラ１０の閾値計
算部１２においては、画像データ圧縮・エッジ検出部１
１において各矩形領域毎に求められたエッジ強度を走路
端である白線１ａ等による強いものとノイズ等による弱
いものとに分けるため、判別分析法によって閾値が算出
される。

【００２１】即ち、判別分析法においては、図４に示す
ようなエッジ強度とデータ数のヒストグラムからエッジ
強度の集合を２つのクラスに分割するパラメータとして
閾値ｔ（＝１３０）が算出される。

【００２２】３）走路域検出（波紋処理）；コントロー
ラ１０の閾値計算部１２において閾値ｔが算出される
と、走路域検出部１３において走路域が検出されるが、
この走路域の検出は次のような考えに基づいてなされ
る。

【００２３】即ち、車両６の直前の地表は走行可能な走
路であるとの前提に基づき、撮像手段７によって得られ
た車両６の前方の図１１に示すエッジ画像における車両
６の直前の地表に当たる部分から該車両６の直前部と同
様な画像データを有する部分（つまり、エッジ強度が閾
値ｔを超えない部分）が連続的に存在する部分も走行可
能であると見なす。そして、この領域を車両６の直前部
から放射状に拡張していくことによって走路域を検出
し、図１２に示すような出力画像を得ることができる。
尚、デジタル画像の扱い易さから、実際には領域は矩形
状に拡張される。

【００２４】ここで、走路域の検出（波紋処理）の具体
例を図５に基づいて説明する。

【００２５】走路域の検出（波紋処理）においては、例
えば図５に示す４行Ｄ列の領域（以下、４Ｄと示す）に
ついて該領域４Ｄ自体のエッジ強度が閾値ｔ（＝１３
０）以上であればエッジ強度は０（即ち、真っ黒）に設
定され、領域４Ｄ自体のエッジ強度が閾値ｔ未満であれ
ば、該領域４Ｄに隣接する２つの領域４Ｅ，５Ｅの各エ
ッジ強度０，１２０に各々５を加えた値の大きい方の値
１２５が選択され、領域４Ｄのエッジ強度として１２５
が設定される。

【００２６】又、領域５Ｄにおいては、該領域５Ｄ自体
のエッジ強度が閾値ｔ（＝１３０）以上であればエッジ
強度は０に設定され（つまり、走路域ではないものと見
なされ）、領域５Ｄ自体のエッジ強度が閾値ｔ未満であ
れば、該領域５Ｄに隣接する３つの領域４Ｅ，５Ｅ，６
Ｅの各エッジ強度０，１２０，２５５に各々５を加えた
値（但し、上限値２５５を超える場合には上限値２５５
に保たれる）５，１２５，２５５の最大値２５５（真っ
白）が選択され、領域５Ｄのエッジ強度として２５５が
設定される。

【００２７】以後、同様にして走路域を放射状に順次拡
張して図１２に示す出力画像を得る。

【００２８】４）エッジ抽出；コントローラ１０のエッ
ジ抽出部１４においては、図１２に示す走路域検出後の
画像に対してエッジを抽出することによって走路端であ
る白線１ａを検出し、図１３に示す画像を出力する。

【００２９】ここで、エッジ抽出の具体例を図６に基づ
いて説明する。

【００３０】図１２に示す画像における各領域の濃度値
が例えば図６（ａ）にて示される場合、これらの濃度値
１ａ（１行ａ列の領域における濃度値、以下同じ），１
ｂ，１ｃ…を用いて同図（ｂ）に示す領域の濃度値Ｉ
Ｂ，ＩＣ，ＩＤ…が次のようにして求められる。

【００３１】ＩＢ：１ｃ−１ａ＝−１→０（負のときは
０に設定する）。

【００３２】IIＢ：２ｃ−２ａ＝３８ IIIＢ：３ｃ−３ａ＝１９６ IVＢ：４ｃ−４ａ＝２２２ ＩＣ：１ｄ−１ｂ＝３９ IIＣ：２ｄ−２ｂ＝２１１ IIIＣ：３ｄ−３ｂ＝２１４ IVＣ：４ｄ−４ｂ＝２２０ ＩＤ：１ｅ−１ｃ＝２０１ IIＤ：２ｅ−２ｃ＝１９０ IIIＤ：３ｅ−３ｃ＝４５ IVＤ：４ｅ−４ｃ＝−１２→０ 以上のようにしてエッジ抽出を行うことによって図１３
に示す出力画像が得られる。

【００３３】５）直線検出（ハフ変換）；コントローラ
１０の直線検出部１５においては、図１３に示す画像内
において最も直線状に並んでいるエッジ列を走路端（白
線）であるとしてハフ変換によってその位置が求めら
れ、図１４に示す出力画像が得られる。

【００３４】即ち、ハフ変換においては、求めようとす
る直線（本実施の形態では、白線１ａ）を図７に示すＸ
−Ｙ平面上で次式； ρ＝Ｘｃｏｓθ＋Ｙｓｉｎθ … （１） ここに、ρ：原点Ｏから直線に下ろした垂線の長さ θ：垂線とＸ軸との成す角 で表した場合、この（１）式をρとθに関する方程式と
考え、ρ−θ空間上でこの関係を示す軌跡を画像中の全
てのエッジ点について描き、ρ−θ空間において軌跡が
集中している点の（ρ，θ）が求められる。

【００３５】ここで、ハフ変換の手順を図８に示すフロ
ーチャートに基づいて説明する。

【００３６】ハフ変換に際しては、先ず、画像の処理領
域内の注目画素（Ｘ，Ｙ）の濃度値が閾値ｔ以上である
か否かが判断される（ステップ１）。濃度値が閾値ｔ以
上である場合には設定範囲（θmin 〜θmax ）内の各θ
について（１）式に従ってρが算出され（ステップ
２）、その算出されたρが設定範囲（ρmin 〜ρmax ）
内にあるか否か（ρmin ＜ρ＜ρmax ）が判断される
（ステップ３）。

【００３７】而して、上記判断結果がＹＥＳである場合
（つまり、ρmin ＜ρ＜ρmax である場合）には（ρ，
θ）についてのヒストグラムがカウントされ（ステップ
４）、判断結果がＮＯである場合にはヒストグラムはカ
ウントされない。このようなステップ２〜ステップ４の
処理が設定範囲（θmin 〜θmax ）内の全てのθについ
て実行され（ステップ５）、その処理が終了するとステ
ップ１〜ステップ５の一連の処理が画像の処理領域内の
全ての画素（Ｘ，Ｙ）について実行される（ステップ
６）。尚、ステップ１での判断結果がＮＯである場合
（つまり、注目画素（Ｘ，Ｙ）の濃度値が閾値ｔ未満で
ある場合）には、ステップ２〜ステップ４の処理はなさ
れない。

【００３８】而して、画像の処理領域内の全ての画素
（Ｘ，Ｙ）について一連の処理が終了すると、ヒストグ
ラムにおけるカウント数が最大の（ρ，θ）を選択する
ことによって、求める直線（白線１ａ）が（１）式に与
えられ（ステップ７）、ハフ変換が終了する（ステップ
８）。

【００３９】次に、ハフ変換の具体例を図９に基づいて
説明する。

【００４０】例えば、入力画像の各画素の濃度値が図９
（ａ）に示す状態にあるとき、濃度値の閾値ｔ＝１４
０、ρmin ＝４、ρmax ＝６、θmin ＝２２、θmax ＝
２７である場合、図９（ａ）の１ａ（１，１）、２ａ
（２，１）、３ａ（３，１）、４ａ（４，１） １ｂ（１，２）、２ｂ（２，２）、３ｂ（３，２） １ｃ（１，３）、２ｃ（２，３） １ｄ（１，４）、２ｄ（２，４） における濃度値＜閾値ｔ（＝１４０）であるため、
（ρ，θ）についてのヒストグラムにはカウントされな
い。

【００４１】これに対して、３ｃ（３，３）については
濃度値（＝２１０）＞閾値ｔ（＝１４０）であるため、
各θについて（１）式に従ってρが以下のように算出さ
れ、ρmin ＜ρ＜ρmax が判断される。

【００４２】θ＝θmin ＝２２とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(22)＋3sin(22)＝3.91＜ρmi
n となるため、図９（ｂ）に示すようにヒストグラムには
カウントしない。

【００４３】θ＝２３とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(23)＋3sin(23)＝3.93＜ρmi
n となるため、図９（ｂ）に示すようにヒストグラムには
カウントしない。

【００４４】θ＝２４とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(24)＋3sin(24)＝3.96＜ρmi
n となるため、図９（ｂ）に示すようにヒストグラムには
カウントしない。

【００４５】θ＝２５とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(25)＋3sin(25)＝3.99＜ρmi
n となるため、図９（ｂ）に示すようにヒストグラムには
カウントしない。

【００４６】θ＝２６とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(26)＋3sin(26)＝4.01＞ρmi
n となるため、図９（ｂ）に示すようにヒストグラムに１
をカウントする。

【００４７】θ＝θmax ＝２７とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(27)＋3sin(27)＝4.03＞ρmi
n となるため、図９（ｂ）に示すようにヒストグラムに１
をカウントする。

【００４８】同様に、３ｄ（３，４）についても濃度値
（＝２３７）＞閾値ｔ（＝１４０）であるため、各θに
ついて（１）式に従ってρが以下のように算出され、ρ
min＜ρ＜ρmax が判断される。

【００４９】θ＝θmin ＝２２とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(22)＋4sin(22)＝4.28＞ρmi
n となるため、図９（ｃ）に示すようにヒストグラムに１
をカウントする。

【００５０】θ＝２３とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(23)＋4sin(23)＝4.32＞ρmi
n となるため、図９（ｃ）に示すようにヒストグラムに１
をカウントする。

【００５１】θ＝２４とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(24)＋4sin(24)＝4.37＞ρmi
n となるため、図９（ｃ）に示すようにヒストグラムに１
をカウントする。

【００５２】θ＝２５とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(25)＋4sin(25)＝4.41＞ρmi
n となるため、図９（ｃ）に示すようにヒストグラムに１
をカウントする。

【００５３】θ＝２６とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(26)＋4sin(26)＝4.45＞ρmi
n となるため、図９（ｃ）に示すようにヒストグラムに１
をカウントする。

【００５４】θ＝θmax ＝２７とすると、 ρ＝Xcosθ＋Ysinθ＝3cos(27)＋4sin(27)＝4.49＞ρmi
n となるため、図９（ｃ）に示すようにヒストグラムに１
をカウントする。

【００５５】以下、４ｂ（４，２）、４ｃ（４，３）、
４ｄ（４，４）、５ａ（５，１）、５ｂ（５，２）、５
ｃ（５，３）、５ｄ（５，４）についても同様の処理が
なされ、最終的に最も大きなカウント数の（ρ，θ）を
選択する。

【００５６】而して、以上の一連の画像処理によって白
線１ａが検出されると、コントローラ１０の偏差量演算
部１６において、車両６の前方注視位置にて検出された
直線状の白線１ａと車両６の進行方向とのずれ（偏差
量）が求められ、この偏差量に基づいて操舵モータ電流
計算部１７において不図示の操舵モータへの供給電流が
次のようにして算出される。

【００５７】前々サイクルでの偏差量をｅ_n-2 、前サイ
クルでの偏差量をｅ_n-1 、現サイクルでの偏差量をｅ_n
として、以下の計算式（ＰＩＤ制御式）によって必要電
流が算出される。

【００５８】 Ｐ（比例項）＝ｋp ・（ｅ_n −ｅ_n-1 ） …（２） Ｉ（積分項）＝ｋi ・Ｔ・ｅ_n …（３） Ｄ（微分項）＝ｋd ・（ｅ_n −２ｅ_n-1 ＋ｅ_n-2 ）／Ｔ …（４） 必要電流変化分＝ｋ・（Ｐ＋Ｉ＋Ｄ） …（５） 必要電流＝必要電流変化分＋前サイクル必要電流 …（６） ここに、ｋp ，ｋi ，ｋd ，ｋ：動作係数 Ｔ：時間 上式によって操舵モータへの供給電流が算出されると、
その結果は指令信号出力部１８に入力され、指令信号出
力部１８は供給電流に応じた指令信号をインターフェー
ス９を介して操舵モータコントローラ２０に出力する。
すると、操舵モータが操舵モータコントローラ２０によ
って駆動制御され、自動走行車両６は道路１上を白線１
ａに沿って自動走行する。

【００５９】以上のように、本実施の形態に係る走行制
御装置における画像処理においては、車両６の直前の地
表は走行可能な走路であるとの前提に基づき、撮像手段
７によって得られた車両６の前方の画像における車両６
の直前の地表の画像から該車両６の直前部と同様の画像
データを有する部分が連続的に存在する部分も走行可能
域であるものと見なし、この領域を車両６の直前部から
放射状に拡張していくことによって走路域を検出し、走
路域検出後の画像を用いることによって走路端である白
線１ａを検出するようにしたため、白線１ａのみが常に
確実に検出されて誤検知の問題が解消され、走行制御装
置に高い信頼性を確保することができる。

【００６０】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、撮像手段によって得られた車両前方の画像を処
理することによって走路端を検出し、その走路端に沿っ
て車両を自動走行せしめる装置であって、前記走路画像
内のエッジを検出し、最も直線状に並んでいるエッジ列
を走路端としてハフ変換によってその位置を求める自動
走行車両の走行制御装置において、エッジ画像の中の車
両直前の地表に当たる部分から該部分と同様の画像デー
タを有する部分を連続的に放射状に拡張していくことに
よって走路域を検出し、走路域検出後の画像を用いるこ
とによって走路端を検出するようにしたため、走路端の
みを常に確実に検出して誤検知の問題を解消し、走行制
御装置に高い信頼性を確保することができるという効果
が得られる。

【図面の簡単な説明】

【図１】自動走行車両が自動走行している様子を示す平
面図である。

【図２】本発明に係る走行制御装置の構成を示すブロッ
ク図である。

【図３】画像データ圧縮・エッジ検出方法を説明するた
めの図である。

【図４】エッジ強度とデータ数のヒストグラムを示す図
である。

【図５】走路域検出方法を説明するための図である。

【図６】エッジ抽出方法を説明するための図である。

【図７】ハフ変換を説明するための座標空間を示す図で
ある。

【図８】ハフ変換の処理手順を示すフローチャートであ
る。

【図９】ハフ変換の具体的手法を説明するための図であ
る。

【図１０】原画像を示す図である。

【図１１】エッジ画像を示す図である。

【図１２】走路域検出後の画像を示す図である。

【図１３】エッジ抽出後の画像を示す図である。

【図１４】ハフ変換後の画像を示す図である。

【符号の説明】

１ａ 白線（走路端） ６ 自動走行車両 ７ 撮像手段 １０ コントローラ １１ 画像データ圧縮・エッジ検出部 １２ 閾値計算部 １３ 走路域検出部 １４ エッジ抽出部 １５ 直線検出部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 撮像手段によって得られた車両前方の画
   像を処理することによって走路端を検出し、その走路端
   に沿って車両を自動走行せしめる装置であって、前記画
   像内のエッジを検出し、最も直線状に並んでいるエッジ
   列を走路端としてハフ変換によってその位置を求める自
   動走行車両の走行制御装置において、 エッジ画像の中の車両直前の地表に当たる部分から該部
   分と同様の画像データを有する部分を連続的に放射状に
   拡張していくことによって走路域を検出し、走路域検出
   後の画像を用いることによって走路端を検出するように
   したことを特徴とする自動走行車両の走行制御装置。
2. 【請求項２】 取り込まれた原画像データを複数の矩形
   領域に区画し、各矩形領域における各画素の濃度値の最
   大値と最小値との差をエッジ強度として求め、各矩形領
   域について求められたエッジ強度から閾値を算出し、前
   記走路域の検出においてはエッジ強度が閾値を超えない
   部分を放射状に拡張するようにしたことを特徴とする請
   求項１記載の自動走行車両の走行制御装置。