JP2835766B2 - 自動走行装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、走行路を探索しながら車両の自動走行を行
わせる自動走行装置に関する。

従来技術 最近、自ら走行路を探索しながら、その走行路上に最
適な目標経路を設定して、車両がその目標経路上を走行
するべく車両の走行制御を行わせるようにした自動走行
装置が開発されている。

従来、この種の自動走行装置にあっては、車両に取り
付けられた撮像装置により車両の進行方向の領域を撮像
し、サンプリングすることによって得られた画像のデー
タにもとづいて道路エッジなどの連続した線分の抽出を
行い、その抽出された線分にもとづいて車両の進行方向
における走行可能領域を認識し、その認識された走行可
能領域内に車両走行の目標経路を設定したうえで、舵
角，ヨーレート（車両の走行によるヨー方向の角速度変
化分）などの現在の車両の走行状態を検出しながら、車
両をその目標経路に追従して走行させるための車両の走
行制御を、所定の制御周期をもって逐次行わせるように
している（特願昭63−199610号参照）。

しかして、このような自動走行装置では、画像をサン
プリングしてから、その画像データにもとづいて車両の
走行可能領域を認識するまでの処理に要する時間（以下
これを画像処理時間という）が、撮像装置によって撮像
される車両の進行方向の領域が複雑か否か、すなわちサ
ンプリング画像のデータ量が多いか否かによって、また
は画像のなかから走行可能領域を認識するために用いら
れる道路エッジの抽出やカラー情報による道路の白線抽
出などの具体的な画像処理方法に応じて、それぞれ異な
るものとなっている。

また、その画像処理をマイクロコンピュータを用いて
実行するに際して、多量のデータを取り扱う必要があ
り、そのため一制御周期において画像処理時間に多くを
費やしている。

しかして、画像処理時間が長くて、一制御周期のあい
だに車両の走行が、その制御周期において認識された走
行可能領域以上に進んでしまうようなことがあると、次
の制御周期において認識される走行可能領域とのつなが
りがなくなって、車両の舵角の制御下における車両の走
行が不安定になってしまう。

また、一般に、車両の走行制御を行わせるに際して、
車速が高くなると制御の応答ゲインが高くなって制御が
不安定になるという関係がある。

しかして、制御周期をもって車両の走行制御を継続的
に行わせる場合に、各制御周期ごとに画像処理時間が変
動すると、その画像処理によって認識された走行可能領
域に対する実際の車両位置が不定となって制御量が変化
し、制御の応答ゲインが変動したことと同じになって、
画像処理時間が長くなると制御が不安定になってしま
う。

その制御の応答ゲインの変動は、画像処理時間に合せ
て車速を変化させることによって対応できるものであ
る。

目的 本発明は以上の点を考慮してなされたもので、画像処
理によって認識された走行可能領域内に設定された目標
経路に追従して車両を走行させるための車両の走行制御
を行わせる際、各制御周期ごとに不定となり、またその
制御周期に大きな割合を占める画像処理時間に応じて車
速を制限して、車両の走行を安定して行わせることがで
きるようにした自動走行制御装置を提供するものであ
る。

構成 以下、添付図面を参照して本発明の一実施例について
詳述する。

本発明による自動走行装置にあっては、第１図に示す
ように、車両の進行方向の領域を撮像することができる
ように車両に取り付けられたビデオカメラなどによる撮
像部１と、その撮像部１によって撮像された画像をサン
プリングし、そのサンプリング画像のデータを処理して
道路エッジなどの連続した線分の抽出を行う画像処理部
２と、その抽出された連続した線分にしたがって道路な
どの車両の走行可能領域を認識する走行可能領域認識部
３と、その認識された走行可能領域内に車両走行の目標
経路を設定する目標経路設定部４と、車両の走行速度ｖ
を検出する車速センサ6,車両の走行にともなうヨー方向
の角速度変化分であるヨーレートΤを検出するヨーレー
トセンサ７および車両の舵角δを検出する舵角センサ８
などの各センサ出力に応じてそのときの車両の走行状態
を検出して、その検出された車両の走行状態にもとづい
て車両が目標経路上を走行するのに必要な舵角の制御目
標量を所定の演算処理によって求めるとともに、この自
動走行装置全体の集中制御を行わせ、また画像をサンプ
リングしてから走行可能領域が認識されるまでの所要時
間（画像処理時間）を計測する経路制御部５と、その求
められた制御目標量にしたがって車両の操舵を行わせる
ステアリング制御部９およびステアリング駆動部10と、
前記目標経路の曲率にしたがって車両走行の最大許容速
度を求め、車速がその最大許容速度を越えることがない
ように制御する車速制御部11と、その車速制御部11から
出される車速制限の制御指令に応じて、スロットルモー
タおよびブレーキソレノイドバルブなどからなるアクチ
ュエータ13の駆動を適宜行わせて、車両のスロットル開
度およびブレーキ圧の制御をなすアクチュエータ制御部
12とによって構成されている。

実際には、画像処理部2,走行可能領域認識部3,目標経
路設定部4,経路制御部５および車速制御部11はマイクロ
コンピュータによって置き換えられる。また、そのコン
ピュータにステアリング制御部9,アクチュエータ制御部
12をも含めることも可能である。

撮像部１におけるビデオカメラとしては、標準レンズ
によるもの以外に、車速や走行中の道路状況などに応じ
た適切な画像が得られるように望遠レンズや広角レンズ
によるものが設けられ、また夜間用などに赤外線カメラ
や超高感度カメラなどの特殊なビデオカメラが複数設け
られており、コンピュータの制御下において、それら複
数のビデオカメラが車速や撮像画像の状態などに応じて
適宜切り換えられて使用されるようになっている。

また、撮像特性が同一の２台のビデオカメラを並設し
て、２眼立体視による画像を得るようにすることも可能
である。

画像処理部２における道路エッジなどの連続した線分
の抽出は、以下のようにして行われる。

まず、撮像部１から送られてくる撮像画像をサンプリ
ングして、そのサンプリングされた入力画像を微分処理
することによって画像エッジの検出の処理を行わせたう
えで、画像処理部２内に設けられた自動しきい値設定回
路により、そのときの入力画像の濃淡の程度に応じた最
適しきい値を自動的に設定して、そのエッジ画像の２値
化を行わせる。

なお、その際、入力画像の２値化を先に行わせたうえ
で、エッジ検出のための微分処理を行わせるようにして
もよい。また、２値化を行わせる代わりに、画像の濃淡
を表現した多値化を行わせるようにしてもよい。

次いで、そのエッジ検出され、２値化または多値化さ
れた処理画像にもとづいて、Ｘ−Ｙ座標上の線分をρ−
θ座標上の点であらわす座標変換を行わせる公知手法で
あるHough変換処理を行わせることにより、連続性のあ
る点列を結合したり、連続性のない孤立した点を除去し
たりして、例えば第２図に示すような道路エッジの連続
した線分の情報を得る。

ここで、θはＸ−Ｙ座標上の直線からその座標の原点
におろした垂線の角度であり、またρはその垂線の長さ
である。例えば、第10図に示すＸ−Ｙ座標上の線分Ｌ
は、第11図に示すようにρ−θ座標上における点O1とし
てあらわされる。

なおその際、２値化された処理画像にもとづいて、エ
ッジ追跡の処理を行わせて連続性をもった画像エッジ部
分をわり出すようにしてもよい。また、画像エッジの連
続性を求めるためのHough変換処理およびエッジ追跡処
理などの複数の処理を並列的に行わせ、それら各処理結
果から総合的に判断するようにすれば、より精度の高い
道路エッジの情報を求めることができるようになる。さ
らに、車両の走行にともなって入力画像の領域成長を行
いながら前述の連続性ある画像エッジの抽出のための処
理を行えば、より精度の高い道路エッジの情報の抽出を
行うことができるようになる。

走行可能領域認識部３は、撮像部１におけるビデオカ
メラによって撮像される画像が遠近投影によるものであ
るため、第２図に示すような遠近投影による道路エッジ
の画像を第３図に示すような遠近投影の影響をなくした
道路エッジの画像に変換する公知手法である射影変換処
理を行う。

なお、その射影変換特性は、ビデオカメラの遠近投影
の特性にしたがって、予め走行可能領域認識部３に設定
されている。

そして、走行可能領域認識部３は、射影変換処理され
た道路エッジの画像にもとづいて、例えば第４図に示す
ように、連続した道路エッジE1,E2間を、撮像部１の撮
像方向すなわち車両14の進行方向をＹ軸方向としたとき
のＸ−Ｙ座標上における車両の走行可能領域RAとして認
識する。

なお、第４図において、Ｐ点は車両14の現在位置を示
すもので、撮像部１のビデオカメラによる撮像領域の下
端中央がＰ点としてＸ−Ｙ座標上の原点の位置にくるよ
うに、予めビデオカメラの車両に対する搭載位置が設定
されている。

次に、走行可能領域認識部３において認識された走行
可能領域である車両前方の道路が認識されると、目標経
路設定部４において、その認識された道路上における車
両の最適な走行経路となる目標経路が以下のようにして
設定される。

その目標経路は、後述するように、道路形状および車
速をも考慮したうえで、そのときの車両の走行状況に適
するように設定されるのが望ましいが、基本的には、認
識された道路が狭いかまたは広いかによって以下のよう
にして一律に設定される。

すなわち、目標経路設定部４において、道路幅が一定
以上の広軌道であると判断された場合には、例えば第４
図に示すように、左側通行路の場合、道路の左側の基準
となるエッジから例えば1.5m程度の所定の隔離幅ｗをも
ってその基準エッジに沿う目標経路OCを設定する。

また、目標経路設定部４において、道路幅が一定未満
の狭軌道であると判断された場合には、特に図示しない
が、その道路の中央に目標経路を設定する。

そしてその設定された目標経路のＸ−Ｙ座標上におけ
る位置のデータが、目標経路設定部４の内部メモリに記
憶される。

なお、Ｘ−Ｙ座標上における走行可能領域および目標
経路の尺度は、撮像部１におけるビデオカメラの倍率に
よって決定される。

第４図中、Ｐ点からＯ点に至るまでの軌跡は、後述す
るように、経路制御部５の制御下において車両の操舵制
御がなされることにより、Ｐ点にいる車両14が目標経路
OCに合流するまでの走行経路を示している。Ｏ点は、そ
のときの車両の目標経路OCへの合流の目標点となる。

また本発明では、車両の走行状態を検出して、その検
出された走行状態にしたがい、以下のように道路におけ
る最適な車両の目標経路を設定するようにすることも可
能である。

すなわち、目標経路設定部４において、例えば、車速
センサ６によって検出される車両の走行速度を読み込ん
で、そのときの車速が予め設定されたしきい値以下の低
速域内であれば、第５図（ａ）に示すように、道路の形
状に沿うように目標経路OCを設定する。

同様に、そのときの車速が予め設定されたしきい値を
越える高速域内にあれば、第５図（ｂ）に示すように、
曲りくねった道路を走行する場合、車両に作用する横方
向の加速度ができるだけ軽減されるような緩い曲率をも
った目標経路OCを道路内に設定する。

次に、道路上における目標経路が設定されたら、経路
制御部５において、車両をその目標経路に合流させるた
めの舵角の制御目標量が、以下のように求められる。

ここでは、現在検出されている車両の走行状態からこ
れから先の走行経路を予測し、その車両の予測経路と目
標経路との偏差から、車両がその目標経路上を走行する
ための舵角の補正量を求め、その舵角補正量から制御目
標量をわり出すようにしている。

具体的には、現在の車両の走行速度から、一定時間後
における予測経路上の車両の到達点を予測するととも
に、その車両の走行速度と一定時間とによって求められ
る目標経路上の位置に車両を合流させる目標点を設定
し、予測された到達点と目標点との偏差に応じて舵角補
正量を求めるようにしている。

いま、例えば第６図に示すように、Ｐ点にある車両14
を目標経路OCに合流させる場合を考えてみる。

まず、車速センサ６によって検出された車両の現在車
速ｖ（m/s）にもとづいて、Ｐ点にある車両の一定時間t
_m秒後におけるＹ軸上の距離Ｌ（ｍ）（Ｌ＝t_m×ｖ）が
求められ、そのＹ軸上におけるＰ点から距離Ｌだけ離れ
たＣ点と目標経路OCとの間におけるＸ軸上の偏差x_l、す
なわちt_m秒後における目標経路OC上に設定された目標点
Ｏの位置に比例した幅がわり出される。

同様に、ヨーレートセンサ７によって検出される車両
のヨーレートΤ（rad/s）にもとづいて車両の予測経路A
Cがわり出され、Ｙ軸上のＣ点からの予測経路ACの偏差x
_m、すなわちt_m秒後における予測経路AC上の車両の到達
点Ｍの位置に比例した値が以下のようにして求められ
る。

いま、予測径路ACが描く円弧の半径をＲとしたとき、
x_mは次式によって与えられる。

x_m＝Ｒ−｛R²−L²｝^1/2 ＝Ｒ−Ｒ｛１−（L/R）^２｝^1/2 ここで、Ｒ≫Ｌとすると、 x_m≒Ｒ−Ｒ｛１−（L/R）²/2｝ ＝L²/2R …（１） また、 Τ＝v/R …（２） であるので、（１），（２）式から、 x_m＝L²・Τ/2v …（３） なお、ヨーレートΤの符号としては、例えば予測経路
ACが左曲りのときを正とする。

そして、各求められた偏差x_lとx_mとの差ｅ（ｅ＝x_l−
x_m）に応じて車両の修正すべきヨーレートΔΤが下記式
にしたがって求められる。

ΔΤ＝ｅ×2v/L² …（４） 次いで、舵角センサ８によって検出されたＰ点におけ
る車両の舵角δがとり込まれ、車両を目標経路OCに合流
させるための舵角の制御目標量δ′が以下のようにして
決定される。

いま、第７図に示す関係にあって、 Ｒ≫ｌのとき、 δ≒l/R …（５） となり、（２），（５）式から δ＝（l/v）Τ …（６） が得られる。ここで、ｌは車両のホイールベースであ
る。

したがって、（６）式の関係からして、車両の修正す
べきヨーレートΔΤに応じた舵角の修正分Δδは、次式
によって与えられる。

Δδ＝（l/v）ΔΤ …（７） ここで、車速ｖに対する舵角の一般式であるｌ＝ｌ
（１＋Kv²）を考慮すると、（７）式から Δδ＝ΔΤ｛ｌ（１＋Kv²）/v｝ …（８） となる。

Ｋは、タイヤ特性やホイールベースなどの車両特性に
よって決まる一定の係数（スタビリティファクタ）であ
る。

そして、車両を目標経路OCに合流させるためのタイヤ
角度の制御目標量δ′は、 δ′＝δ＋Δδ …（９） として求められる。

ステアリング制御部９は、経路制御部５からの制御目
標量δ′に応じてステアリング駆動部10に駆動指令を出
し、ステアリング駆動部10によりステアリングの駆動を
適宜なさしめて、車両を目標経路OCへ合流させるような
操舵を行わせる。

なお、第６図の関係にあって、目標経路OC上に目標点
Ｏを設定する基準となる距離Ｌを定める場合、経路制御
部５の制御下において、車速センサ６によって検出され
る車速ｖに応じてt_m時間を適宜調整することにより、そ
の距離Ｌを可変に設定することができる。

すなわち、走行速度ｖが低速であるほどその距離Ｌを
短く設定し、Ｐ点にいる車両が目標経路OCに合流するま
での走行経路が短くなるようにして、車両の目標経路OC
への合流を速やかに行なわせる。また、走行速度ｖが高
速であるほどその距離Ｌを長く設定し、Ｐ点にいる車両
が目標経路OCに合流するまでの走行経路が長くなるよう
にして、車両の目標経路OCへの合流を緩やかに行なわせ
る。

さらに、曲りくねった道路を走行する場合、その曲率
が小さいほど距離Ｌを短く設定して、車両の目標経路OC
への合流を速やかに行なわせるようにすることも可能で
ある。

以上の処理が、所定の制御周期をもってくり返し行わ
れ、それにより車両の走行が進むにしたがって、各制御
周期ごとに逐次認識された走行可能領域内に設定されて
いく目標経路OCに追従する車両の走行制御が継続的に行
われていく。

本発明では、このような自動走行装置において、特
に、撮像部１において撮像された画像をサンプリングし
てから走行可能領域を認識するまでの画像処理時間に応
じて車速を制限する手段をとるようにしたことを特徴と
している。

その車速を制限する手段としては、具体的に、車速制
御部11において、以下のようにして実行される。

車速制御部11は、まず、画像をサンプリングしてから
走行可能領域が認識されるまでの所要時間すなわち画像
処理時間を内部クロックによってカウントする。

第12図に、画像処理時間測定のフローを示している。

そして、そのカウントされた画像処理時間に応じて、
後述するように制限速度を決定し、車速がその制限速度
を越えることがないような車速制限の制御指令をアクチ
ュエータ制御部12に与える。

アクチュエータ制御部12は、車速センサ６によって検
出された実際の車速ｖを読み込みながら、その車速が制
限速度を越えることがないようにアクチュエータ13を適
宜駆動して、車両のスロットル開度およびブレーキ圧の
制御を行う。

車速制御部11は、各制御周期ごとに認識される走行可
能領域以上に車両の走行が進んでしまうことがないよう
に、例えば第８図に示すように、ある制御周期において
認識された走行可能領域RAに対して設定された目標経路
OCの長さＳを、その目標経路OCのデータにしたがって求
める。そして、その制御周期においてカウントされた画
像処理時間t_Bにしたがって制限速度Vmaxを以下のように
決定する。

Vmax＝S/t_B …（10） しかして、その制御周期にあって、車速ｖが制限速度
Vmaxを越えることがないようにすることにより、画像処
理時間t_Bに長きを要しても、その制御周期において認識
された走行可能領域以上に車両の走行が進んでしまうこ
とがなくなる。

したがって、次の制御周期において認識される走行可
能領域とのつながりをもって、目標経路に追従して車両
を走行させる舵角の制御を継続的に行わせることがで
き、目標経路に追従した車両の走行を安定に行わせるこ
とができる。

また、車速制御部11は、画像処理時間t_Bが長くなっ
て、その分制御周期が長くなり、それにより車両の舵角
の制御の応答ゲインが高くなって制御が不安定になるの
を防止するため、その舵角制御の応答ゲインの変動に直
接関与する車速ｖを、画像処理時間t_Bに応じて決定され
る走行安定限界速度Vsを越えることがないように制限す
る。

第９図に、画像処理時間t_Bに応じた車両の走行安定限
界速度Vsの特性を示している。

その特性は、実際の車両の舵角の制御下にあって、画
像処理時間t_Bを変えたとき、その制御の応答ゲインを適
正な範囲に保たせることができる車両の走行速度を実験
的に求めて得たものである。

そして、その特性にしたがって、種々の画像処理時間
t_Bに応じた走行安定限界速度Vsの各値のデータが予め車
速制御部11の内部メモリに記憶されており、各制御周期
ごとにカウントされた画像処理時間t_Bに応じた走行安定
限界速度Vsの値が読み出される。

しかして、このような走行安定限界速度に応じた車両
制限を行うことにより、画像処理時間に長きを要して
も、舵角制御の応答ゲインを適正に保持させることがで
きるようになり、舵角の制御下における車両の走行を安
定して行わせることができる。

第13図に、本発明における制御フローを示している。

効果 以上、本発明による自動走行装置にあっては、車両に
取り付けられた撮像装置により車両の進行方向を撮像し
た画像をサンプリングして得られる画像のデータにもと
づいて走行可能領域を認識し、その認識された走行可能
領域内に目標経路を設定して、その目標経路に追従する
ように車両の走行制御を行わせるようにしたものにおい
て、特に、画像をサンプリングしてから走行可能領域を
認識するまでの画像処理時間に応じて車速を制限する手
段をとるようにしたもので、各制御周期ごとに不定とな
り、かつ制御周期において大きな割合を占める画像処理
時間を加味した最適な車両の走行制御を行わせることが
でき、目標経路に対する車両走行の追従性が良くなっ
て、車両走行を安定して行わせることができるという優
れた利点を有している。

【図面の簡単な説明】

第１図は本発明による自動走行装置の一実施例を示すブ
ロック構成図、第２図はビデオカメラによって撮像され
た画像のデータ処理を行うことによって得られた道路の
線分を示す図、第３図は第２図の画像を射影変換するこ
とによって得られた画像を示す図、第４図は認識された
道路エッジ間の走行可能領域に設定された目標経路の一
例を示す図、第５図（ａ），（ｂ）は車両の低速時およ
び高速時に道路上に設定される目標経路をそれぞれ示す
図、第６図は目標経路と車両の予測経路との関係を示す
図、第７図は車両の舵角とその回転半径との関係を示す
図、第８図は走行可能領域内に設定された目標経路の長
さを示す図、第９図は画像処理時間に応じた車両の走行
安定限界速度の特性図、第10図はＸ−Ｙ座標上の線分を
示す図、第11図は第10図の線分をHough変換したときの
ρ−θ座標上の点を示す図、第12図は画像処理時間測定
のフローを示す図、第13図は本発明における制御フロー
を示す図である。 １……撮像部、２……画像処理部、３……走行可能領域
認識部、４……目標経路設定部、５……経路制御部、６
……車速センサ、７……ヨーレートセンサ、８……舵角
センサ、９……ステアリング制御部、10……ステアリン
グ駆動部、11……車速制御部、12……アクチュエータ制
御部、13……アクチュエータ、14……車両、RA……走行
可能領域、OC……目標経路、Ｐ……車両の位置

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】車両に取り付けられた撮像装置により車両
   の進行方向の領域を撮像した画像をサンプリングして得
   られた画像のデータにもとづいて走行可能領域を認識
   し、その認識された走行可能領域内に目標経路を設定し
   て、その目標経路に追従するように車両の走行制御を制
   御周期ごとに行わせるようにした自動走行装置におい
   て、各制御周期ごとに、画像をサンプリングしてから走
   行可能領域を認識するまでの処理に要する時間に応じて
   車速を制限する手段をとるようにしたことを特徴とする
   自動走行装置。
2. 【請求項２】各制御周期ごとに認識される走行可能領域
   に対して設定される目標経路の長さをＳ、画像をサンプ
   リングしてから走行可能領域を認識するまでの処理に要
   する時間をt_Bとしたとき、S/t_Bによって与えられる速度
   を越えることがないように、車速を制限するようにした
   ことを特徴とする前記第１項の記載による自動走行装
   置。
3. 【請求項３】画像をサンプリングしてから走行可能領域
   を認識するまでの処理に要する時間に応じた車両の走行
   安定限界速度を越えることがないように、車速を制限す
   るようにしたことを特徴とする前記第１項の記載による
   自動走行装置。