JP2836949B2

JP2836949B2 - 自律移動体の制御装置

Info

Publication number: JP2836949B2
Application number: JP2335732A
Authority: JP
Inventors: 洋長谷川; 義秋坂上; 裕一山下
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1990-11-30
Filing date: 1990-11-30
Publication date: 1998-12-14
Anticipated expiration: 2013-12-14
Also published as: JPH04205321A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は自律走行車の走行制御、ロボットの行動制御
などの自律移動体の制御装置に関するものである。

〔従来の技術〕

従来、自動車やロボットを自律的に自動移動させるた
め、種々の走行制御装置が提案されている。自律走行車
の一般的な走行制御は、車体に取り付けたカメラで走行
する前方の情景を連続的に撮像し、この入力画像に元に
して走行コースを認識することにより行われていた。し
かし、１つのカメラから得られた画像データのみを基に
して走行コースを認識する技術は信頼度が低かった。こ
のため、得られる道路データの信頼度を向上させるた
め、複数のカメラから道路画像を入力したり、また、複
数のセンサから走行状況を検出したりして、安定した自
律走行の制御が試みられている。

〔発明が解決しようとする課題〕

しかしながら、移動しつつ走行及び行動を制御するた
め、いずれの制御においても、複数の画像情報や複数の
センサから得られた各データの評価の仕方が問題になっ
ていた。つまり、各データは異なる時間、位置で得られ
たものであるため、そのデータ評価を同一時刻において
行うことは困難である。また、認識されたデータをこの
ように統一的に扱うための確立した手法は存在していな
かった。

〔課題を解決するための手段〕

本発明はこのような課題を解消するためになされたも
ので、自律移動体の移動路を撮像する１つ以上の撮像装
置と、撮像装置から出力された複数の画像データについ
て画像処理を行って移動路の状況を検出して出力する画
像処理装置または画像以外の外界情報取得装置と、画像
処理装置または外界情報獲得装置から出力されたデータ
を記憶する記憶手段と、記憶手段に記憶されたデータを
任意の時間および位置のデータに補正するデータ管理部
と、データ管理部から出力された複数のデータを１つの
移動路データとして統合するデータ評価部と、データ評
価部から出力された移動路データに基づいて自律移動体
の移動及び行動を制御する制御部とを備えたものであ
る。

〔作用〕

過去に入力されて記憶保持されたデータは、要望され
た時刻に補正されて評価される。従って、複数の撮像装
置に入力されて異なる処理時間を経て得られた各画像デ
ータは統一的に同一時刻において判断される。

〔実施例〕

第１図は本発明の一実施例による自律走行車の制御装
置の概略を示す構成図である。

本装置は、画像処理部，ナビゲーションシステム部，
データ管理部，データ評価部，環境記述作成部，行動運
動制御スーパーバイザ，軌跡推定部および走行制御部と
に大別される。

画像処理部は、１つ以上の撮像装置，画像以外の外界
情報取得手段および複数の画像処理手法を用いた画像処
理装置から構成されている。一般的に１つ以上の撮像装
置としては、標準焦点距離撮像装置，望遠撮像装置，カ
ラー撮像装置，赤外線撮像装置または超高感度撮像装置
等を複数用いることにより構成される。本実施例では、
カラーカメラ101および白黒カメラ102を使用している。
また、画像以外の外界情報取得手段としてはレーダ，超
音波センサ等があり、本実施例ではレーダシステム103
を使用している。このレーダシステムは、走行車の前方
の遠距離にある障害物を発見することを目的として使用
しており、障害物の個数やその位置情報が取得される。
取得された障害物情報はデータ管理部109へ出力され
る。

また、画像処理装置における画像処理は道路データの
抽出を目的としており、その画像処理手段には、領域抽
出手段，局所的線分追跡手段，大局的線分抽出手段，立
体視手段，動画像処理手段等がある。本実施例では、カ
ラーカメラ101から入力した画像情報については領域抽
出手段104を使用して処理し、カラー画像に基づいて道
路領域を抽出する。抽出された道路領域境界データや位
置データはデータ管理部109へ出力される。

また、白黒カメラ102から入力した画像情報について
は、局所的線分追跡手段105および大局的線分抽出手段1
06を使用する。局所的線分追跡手段105は、白黒画像を
処理して得られる道路エッジを小領域で抽出するもので
ある。抽出した局所的線分データはデータ管理部109へ
出力される。大局的線分抽出手段106は大局的に道路エ
ッジを近似推定してガイドラインを得るものである。求
めた大局的主要線分はデータ管理部109へ出力される。

ナビゲーションシステム107はユーザ（人間）108との
インターフェースを持ち、大局的走行計画の作成とその
指示とを目的としている。現在のところ、この目的地等
の大局的走行計画はユーザ108によってナビゲーション
システム107に入力される。ナビゲーションシステム107
は、内部に記憶された地図情報を元にし、目的に応じた
大局的な経路およびその周辺部の地図情報といったグロ
ーバルなマップ情報や、指示経路および法定速度等を環
境記述作成部112および行動運動制御スーパーバイザ114
に出力する。また、ユーザ108は、行動運動制御スーパ
ーバイザ114に対して走行モードの切り替えなどが出来
る。

データ管理部109は各種の画像処理データを画像処理
装置から入力し、障害物情報をレーダーシステム103か
ら入力する。また、任意時刻での環境記述データを環境
記述作成部112から入力する。そして、データ管理部109
は、これら入力した各種データをデータベース（DB）11
0に記憶し、データベース管理、つまり、画像処理を行
う。また、道路面に対し斜めに取付けられた撮像装置に
より取得し、画像処理装置により処理した撮像平面での
道路端データを射影変換し、２次元道路平面上に写像す
る。また、データに付随する時間と軌跡推定部115で計
算された推定軌跡テーブルとを基にし、そのデータを過
去の任意時刻の座標系に座標変換する。また、領域抽出
手段104に候補領域などを指示し、局所的線分追跡手段1
05に探索開始点や探索方向などを指示し、大局的線分抽
出手段106に候補線分などを指示する。

データ評価部111は、時刻と座標を合わせた画像処理
データをデータ管理部109から入力し、また、任意時刻
での環境記述データを環境記述作成部112から入力す
る。そして、同一時刻に座標変換された複数の２次元道
路データに対し、道路モデルとの適合性および各道路デ
ータ間の整合性から判断し、道路データとして誤ったデ
ータを除去する。また、道路データとして妥当と判断さ
れた複数のデータを１つの道路データとして融合する。
融合されたデータ評価結果である道路データは、データ
管理部109および環境記述作成部112へ出力される。

環境記述作成部112は、障害物情報などの認識結果を
統合的に保持し、現在自車が置かれている環境を記述す
ることを目的とする。つまり、データ評価部111から入
力される道路データをベクトル表現し、環境記述データ
ベース113として保持管理する。また、既に保持されて
いる環境記述上に、入力される道路データを重ね、過去
のデータとの連結関係、車体位置との相対位置等によ
り、そのデータ内の各線分の属性決定および排除を行
う。

行動運動制御スーパーバイザ114は自律走行車の行動
計画を立案し、行動の指示をする。つまり、ドライバー
（ユーザ108）とのマン・マシンインターフェイスによ
り、自動走行とマニュアル走行、および走行開始と走行
中止等の切り替えを行う。そして、環境記述作成部112
からの環境記述データ、ナビゲーションシステム107か
らの誘導情報、軌跡推定部115からの自車移動量および
車速制御部117からの車速情報を基にし、障害物回避の
必要性の有無、走行車線の選択等を行い、経路計画を作
成する。また、画像の視野距離、車速、環境の認識に要
した時間およびナビゲーションシステム107から得る法
定速度等から、走行速度およびその走行速度になるべき
指定距離から成る速度計画を作成する。さらに、経路計
画、速度計画に基にし、制御部（軌跡制御部116、車速
制御部117）間の整合をとった行動指示を行う。この行
動計画は環境記述作成部112に出力される。また、軌跡
制御部116へ指示経路が出力され、車速制御部117へ指示
速度が出力される。

軌跡推定部115は車速センサ118およびヨーレイトセン
サ120からの情報を入力し、車体運動量から車体の座標
面上の軌跡を計算する。また、時刻と座標とを共有メモ
リ上に書き込むことにより、システムの標準時計の役目
を果たす。この軌跡の計算から自車移動量を求め、これ
をデータ管理部109、環境記述作成部112および行動運動
制御スーパーバイザ114へ出力する。

走行制御部は軌跡制御部116と車速制御部117とから構
成される。軌跡制御部116には、車速センサ118、舵角セ
ンサ119、ヨーレイトセンサ120からのセンサ情報が与え
られる。また、この軌跡制御部116は、前後輪の内の少
なくとも一方を制御する舵角制御手段を備えている。車
速制御部117には、車速センサ118および加速度センサ12
1からのセンサ情報が与えられる。また、この車速制御
部117は、アクセル開度やブレーキ圧力を調整してエン
ジン出力、ブレーキ制動力を制御する手段を備えてお
り、車速情報を行動運動制御スーパーバイザ114に出力
する。

次に、自律走行車の制御部を構成する主要な装置につ
いて以下に詳述する。

カラーカメラ101および白黒カメラ102について説明す
る。撮像装置は、これを車両に搭載することを考える
と、１台のカラーTVカメラで複数の処理に共用したい。
しかし、さまざまな変化のある自然画像を処理し、しか
も車両の走行速度も変化するといったことから、各種状
況に適した複数の画像入力手段を持つことが望ましい。
各種状況に適した画像入力手段としては、例えば、望
遠、広角といった異なる視野をカバーする場合には、お
互いのカメラで視野を補い合うことができる。あるいは
夜間走行の場合には、道路と路肩の温度差を検出でき、
しかも対向車の灯火の影響を受けにくい赤外線カメラが
適している。また、前走車の距離計測用に２眼立体視を
用いる場合なら、当然に２台以上のカメラを必要とす
る。以上のことから、本実施例では２種類の撮像装置
（カラーカメラ101、白黒カメラ102）を使用し、また、
この他にレーダーシステム103を採用し、各種状況に適
した情報を確保している。

次に、領域抽出手段104について説明する。白線など
の明確な境界線がなく、アスファルトと土や草などで構
成された道路では、線分の抽出は極めて不安定になる。
このような道路においてはカラー特徴（明度I,彩度S,色
相Ｈ）による領域抽出処理が有効である。このため、本
実施例では撮像装置の１つとしてカラーカメラ101を採
用し、領域抽出手段104で色の特徴に基づいて道路領域
を抽出している。この道路領域の抽出は、車両のすぐ前
方は道路領域であるという仮定に基づき、道路領域内の
色の特徴と類似した部分を取り出すことにより行われ
る。なお、この抽出処理と基本的に同様な手法を用い、
赤外線カメラを使用することにより、夜間の赤外線映像
から道路の温度を判断し、道路領域を抽出することが可
能である。

領域抽出処理は、環境記述作成部112からの観光記述
を利用して前回までの結果と比較することで高い信頼性
が得られる。この領域抽出処理により、大まかな道路
（走行可能領域）の輪郭が得られる。また、この処理は
明確な境界線が得られない場合の走行のためだけではな
く、局所的線分追跡手段105,大局的線分抽出手段106に
おける線分抽出処理が、ガードレールや壁などを誤って
道路と認識しないための拠り所としても重要なものにな
る。

次に、大局的線分抽出手段106について説明する。本
手段によれば、高速自動車道などの直線的で単純な道路
構造の場合には、画像中の広い範囲を１度に処理するこ
とが可能である。例えば、TVカメラの取り付け角度から
道路が存在するであろう領域が求められ、この領域に対
して優れた直線検出手段であるハフ（Hough）変換を施
す。領域が道路全体をカバーするほど大きくても、直線
的な道路ならばその境界線を抽出することができ、しか
も、ただ１度のハフ変換処理により抽出することができ
るため、極めて高速な処理が行える。なお、ハフ変換は
一般に多くの処理時間を要するとされるが、本出願人は
先の出願において高速ハフ変換ハードウエアにより、ビ
デオレートに近いハフ変換を可能にしている。本実施例
の大局的線分抽出処理により、大局的に道路を眺めたと
きのような主要な道路境界線分のデータを受け取って道
路領域抽出処理の参考にすることにより、高い信頼性を
有する道路領域が抽出される。

次に、局所的線分追跡手段105について説明する。交
差点や複雑な分岐路、急なカーブなどの認識において
は、その道路境界線を細かく局所的に追跡してやる必要
がある。境界線を１画素づつ逐次探索していく方法もあ
るが、ハフ変換などにより境界線を検出できる小さな領
域を用いて順次追跡したほうが、自然環境には強いよう
である。この局部的線分追跡処理により、複雑な構造の
道路を走行するために必要とされる精密な道路境界線分
が出力される。前述の大局部的線分抽出の処理結果や、
領域抽出の処理結果を利用して探索開始点と探索方向な
どの初期データを受け取ることにより、信頼性を向上さ
せ、処理時間を短縮することが出来る。

次に、データ管理部109について説明する。自律走行
車において、複数の画像処理手段およびレーダシステム
103などの距離情報獲得手段を持つことは、様々な環境
を認識するうえで非常に有利である。しかしながら、そ
れら各処理の実行時間は同一ではなく、状況に応じてそ
れぞれに変化していく。このため、本実施例では、この
データ管理部109によって各処理データを同一時刻にお
いて判断処理することを可能にしている。

例えば、これを第２図を用いて説明する。大局的線分
抽出手段106においては道路区分線抽出処理201が１つの
画像処理として実行されている。また、領域抽出手段10
4においては道路領域抽出処理202が他の画像処理として
実行されている。また、レーダシステム103においては
距離情報獲得処理203が実行されている。なお、各処理
における１回の処理時間は図示の１つの矢印の長さで示
されている。しかし、直線204に示される時点では、道
路区分線抽出処理201は丁度３回目の処理が終了した時
点になる。また、道路領域抽出処理202は処理が１回終
了し、２回目の処理を実行している最中になる。また、
距離情報獲得処理203は処理が２回終了し、３回目の処
理を実行している最中になる。

このように、各処理の実行時間は同一ではなく、状況
に応じて変化していく。データ管理部109は、各処理結
果を最終的に同一の時刻、座標上で統一的に取り扱える
ようにするための座標変換処理を実行する。つまり、デ
ータ管理部109は、基準時計と時々刻々の自車の移動量
を測定する手段とを有する軌跡推定部から時刻と自車の
移動量を得て、それに基づいて、非同期に実行される上
記の各処理結果を任意の同一座標上に変換する機能を有
する独立したモジュールと言うことができる。この結
果、図示の直線204における時刻での各処理結果をデー
タ管理部109において変換処理を実行すると、同一の時
刻、座標系に変換された処理結果が得られる。つまり、
道路区分線抽出処理201により得られた道路線分205と、
道路領域抽出処理202より得られた道路領域206と、距離
情報獲得処理203により得られた距離情報207が同一の時
刻、座標系に変換されて扱うことができる。

本実施例のように、自律走行車の走行路認識のための
複数の画像処理手段、およびレーダシステム103などの
距離情報獲得手段を持つ場合において、このような独立
したモジュールは有効である。この機能により、以下の
ようなメリットが得られる。第１に、非同期、並列に実
行される各処理結果を効率良く同一の時刻、座標上に変
換することが出来る。第２に、座標変換などの同一処理
の集約化が出来る。第３に、画像処理、距離情報検出処
理、また、その後の統合評価段階での通信、演算処理の
負荷が軽減される。第４に、各処理間の通信の簡素化が
図れる。

複数の処理結果を同一の時刻、座標上で統合し、評価
するためには、例えば、全ての処理を同時に開始して同
一地点で、入力した画像や距離データを処理してやれば
良い。つまり、第３図に示されるように、処理A301、処
理B302、処理C303という複数の各処理が同期して動作し
ている場合には、各処理301〜303を通信により直線304
に示される同一時刻に開始する。そして、直線305に示
される同一時刻で、入力した画像や距離データを処理し
てやれば良い。この場合には、直線304と直線305とで挾
まれた間隔が全体の処理サイクルになる。

しかし、この方法では、最も長い処理時間によって全
ての処理サイクルが拘束されてしまい、さらに開始時刻
を揃えるために各処理時間で緊密な通信を行う必要が生
じる。第３図の例では、処理B302の処理時間により全て
の処理サイクルが拘束されてしまう。本実施例における
データ管理部109によれば、画像入力時刻などをそれぞ
れの処理結果に付すだけで、後は全く独立に処理してい
くことが可能であり、例えば手前よりの走行路を短い処
理サイクルで認識可能ならば、遠方の走行路認識にやや
時間がかかっても、それぞれを並列に実行することによ
り、高速な走行が可能になる。

また、複数の画像処理手段およびレーダシステム103
などの距離情報獲得手段を持つような自律走行車におい
ては、今までの走行路認識結果や、お互いの処理結果を
参照し、利用することで認識の信頼性を大きく向上させ
られる。しかしながら、これら各処理の実行時間は上記
のように同一ではなく、状況に応じてそれぞれに変化し
ていく。また、扱う座標系も異なている場合がある。こ
のため、各処理が直接にデータをやりとりし、時刻、座
標を変換していては通信、演算時間共に大きくなり、大
きな処理負荷となる。本実施例におけるデータ管理部10
9は、こうしたシステムにおいて、各処理が必要とする
情報を効率的に授受できるような処理手法を実現してい
る。

つまり、前述のように、データ管理部109は、基準時
計と時々刻々の自車の移動量を測定する手段とを有する
軌跡推定部より時刻と自車の移動量を得、それに基づ
き、非同期に実行される上記の各処理において必要とさ
れる走行路認識結果や他の処理結果などを任意の時刻の
任意の座標上に変換する機能をもった独立したモジュー
ルである。

例えば、これを第４図を参照して以下に説明する。道
路区分線抽出処理401、道路領域抽出処理402および距離
情報獲得処理403が並列して実行されている。各処理401
〜403は、データ管理部109の時刻、位置補正機能によ
り、お互いの処理結果を参照し、利用しながら処理を進
めている。なお、図示各矢印の長さは１回の処理時間を
表している。今、道路領域抽出処理402において、道路
区分線抽出処理401および距離情報獲得処理403に対して
記号▽の時刻にデータリクエストが有った場合を考え
る。道路区分線出処理401はこのデータリクエストに対
してリクエストのあった時刻の直前に処理を終えている
最新の処理結果を出力する。この処理の対象とされた画
像の入力時刻は図の直線404の時点に示される。また、
距離情報獲得処理403も同様にリクエストのあった時刻
の直前に処理を終えている最新の処理結果を出力する。
この処理の入力データが得られた時刻は図の直線405の
時点に示される。また、リクエストを出した道路領域抽
出処理402で処理対象とされる画像の入力時刻は、図の
直線406の時点に示される。

データ管理部109は、各処理から出力された処理結果
を入力し、その時刻をおよび位置をデータリクエストを
した処理が自身の入力データを得た時刻およびその時刻
での自車の推定位置に補正する。つまり、道路区分線抽
出処理401および道路領域抽出処理402から出力さた各々
の処理結果は、データリクエストされた処理が入力デー
タを得た時刻とデータリクエストをした処理が入力デー
タを得た時刻との時間的づれを、その間の自車の移動量
に基づいて補正されて出力される。また、これと同様に
して、距離情報獲得処理403から出力される処理結果
も、同様の時間的づれを自車の移動量を基にしてデータ
リクエストをした処理の入力データ取得時刻に補正され
て出力される。この結果、統一された時刻、座標系に変
換された道路区分線および距離情報データ407が得られ
る。

このようにデータ管理部109は、各処理データ間の時
刻合わせを自車移動量に基づいて行い、過去に処理して
きた走行路認識結果や、お互いの処理結果を参照し利用
することを可能にしている。つまり、このデータ管理部
109により、並列に行われる各処理結果は当該モジュー
ルにおいて整理、保存され、さらに、任意の時刻、形態
のデータを希望に応じて算出することが出来る。この機
能により、以下のようなメリットが得られる。第１に、
複数処理のさまざまな要求に応じた時刻、座標変換を効
率良く行える。第２に、座標変換などの同一処理の集約
化が行える。第３に、各処理での通信および演算時間と
いった負荷が軽減される。この結果、制御装置の通信、
演算時間が大幅に減少するため、全体の処理サイクルの
高速化が達成できる。

次に、このデータ管理部109の構造について第５図を
参照して説明する。複数の画像処理手段とレーダシステ
ム103などの距離情報獲得手段の処理結果を統一的に管
理し、様々な要求に応じて任意の時刻の同一座標上デー
タに変換するといった機能を効率的に行うために、同図
に示されるような構造になっている。

道路領域抽出手段501は、第１図におけるカラーカメ
ラ101からの色情報を基にした領域抽出手段104に相当し
ている。また、道路区分線抽出手段502は、白黒カメラ1
02からの画像情報を基にした局所的線分追跡手段105お
よび大局部線分抽出手段106に相当している。また、距
離情報獲得手段503はレーダシステム103に相当し、軌跡
推定部504第１図における軌跡推定部115に相当してい
る。道路領域抽出手段501、道路区分線抽出手段502およ
び距離情報獲得手段503から出力される画像データや距
離情報、並びに軌跡推定部504から出力される自車の移
動量データは、まず、非同期にデュアルポートラム（Du
al Port RAM;D.P.RAM）505に書き込まれる。この他に
も、同図には示されてはいないが、環境記述作成部112
から出力されるデータ評価結果などもDPRAM505の環境記
述に記憶される。

データ管理部109は定期的にこのDPRAM505を読みにい
き、新しいデータがあればそれを各手段に対応したデー
タベース（DB）に格納する。この格納はデータベースへ
の書き込み手段506によって実行される。道路領域抽出
手段501から出力されたデータは書き込み手段506によっ
てDB507に格納され、道路区分線抽出手段502から出力さ
れたデータはDB 508に格納され、距離情報獲得手段503
から出力されたデータはDB509に格納され、軌跡推定部5
04から出力されたデータはDB510に格納される。

もし、他の装置からいずれかの内容についてデータリ
クエストがあったならば、データ管理部109は希望に応
じたデータを各DB507〜510から検索し、データベースか
らの読みだし手段511によってこれを読み出す。読み出
されたデータは時刻、位置補正手段512によって希望に
応じた時刻、位置座標に変換される。この際、軌跡推定
部504から出力された軌跡推定データをパラーメータと
して補正処理が実行される。また、道路領域抽出手段50
1および道路区分線抽出手段502から出力されたデータに
ついては、射影変換手段513によって実際の道路面上の
座標に変換され、時刻、位置補正が行われる。

この後、射影変換された道路画像情報およびレーダシ
ステム103からの距離情報は時刻、位置補正手段512から
出力用のDPRAM513に出力され、データ評価部111に伝え
られる。また、このデータ評価部111から出力されるデ
ータ評価結果はこのDPRAM513に戻され、データベースへ
の書き込み手段506によってDB514に格納される。なお、
DB507〜510およびこのDB514は第１図のデータベース110
に相当するものである。また、時刻、位置補正手段から
出力された各情報は、データ評価部111から出力された
データ評価結果と共に逆射影変換手段515に与えられ、
画像処理を行うためのメモリ上の位置座標に変換され
る。さらに、変換された位置座標情報は入力用DPRAM505
に与えられ、道路領域抽出手段501および道路区分線抽
出手段502における各処理に供される。

次にこのデータ管理部109における各処理について、
フローチャートを参照しつつ詳細に説明する。

ます、メインループにおける処理について第６図を参
照して説明する。データ管理部109は各手段501〜504か
ら新たに出力された処理結果があるか、あるいはデータ
リクエストがあるか否かを見出すため、定期的にDPRAM5
05からそれを示す情報を読み出す（ステップ601）。デ
ータリクエストか新たに出力された処理結果かを判断し
（ステップ602）、データリクエストではない場合に
は、各処理結果をDPRAM505から読出しDB507〜510に書き
込む（ステップ603）。この後、ステップ601に戻って以
上の処理を繰り返し実行する。また、ステップ602にお
ける判断結果がデータリクエストである場合には、DB50
7〜510のうちの該当するDBから必要なデータを読みだ
し、後述するリクエスト応答処理を実行する（ステップ
604）。

次に、このステップ604におけるリクエスト応答処理
について第７図を参照して説明する。まず、このリクエ
スト応答がデータ評価部111からのリクエストであるか
否かを判断する（ステップ701）。データ評価部111から
のリクエストであれば、最新の画像処理データおよび獲
得した最新の距離情報データをDB507,508およびDB509か
ら読み出す（ステップ702）。読み出したデータが画像
処理データであれば、射影変換処理を実行して（ステッ
プ703）、位置情報を実際の道路面上の座標に変換す
る。さらに、要望の時刻での自車との位置関係に補正す
る（ステップ704）。ステップ702〜704までの処理はリ
クエストのあった入力処理数だけ繰り返し実行する（ス
テップ705）。そして、補正された処理結果はリクエス
ト元であるデータ評価部111に出力される（ステップ70
6）。

また、ステップ701での判断結果がデータ評価部111か
らのリクエストでない場合には、まず、リクエストのあ
ったデータを該当するDBから読み出す（ステップ70
7）。そして、射影変換処理を実行し（ステップ708）、
要望時刻における位置座標に補正する（ステップ70
9）。次に、リクエスト要求が道路領域抽出手段501や道
路区分線抽出手段502といった画像処理装置からのもの
であるか否かを判断する（ステップ710）。画像処理装
置からのリクエストであれば、逆射影変換処理を実行し
（ステップ711）、位置情報を画像メモリ上の位置座標
に逆射影変換する。このため、画像処理装置における処
理負荷は軽減されている。また、リクエストが画像処理
装置からのものでない場合には、この逆射影変換処理は
実行しない。この後、処理結果をリクエストのあったリ
クエスト元へ出力する（ステップ706）。

次に、ステップ704およびステップ708における、要望
の時刻での自車との位置関係に補正する処理について、
第８図のフローチャートとおよび第９図のグラフを参照
して説明する。

まず、画像入力時刻などの該当データの入力時刻t1
と、要望のあった時刻t2とが等しいか否かを判断する
（ステップ801）。時刻t1,t2が異なれば、次に、時刻t1
での軌跡推定データを軌跡推定DB510から読み取る（ス
テップ802）。この軌跡推定データは第９図のベクトル9
01に示され、時刻t1での絶対位置座標における車体の位
置と向きとを表現している。引き続いて、時刻t2での軌
跡推定データを軌跡推定DB510から読み取る（ステップ8
03）。この軌跡推定データは第９図のベクトル902に示
され、時刻t2での絶対位置座標における車体の位置と向
きとを表現している。そして、各時刻t1,t2における軌
跡推定データから、時刻t1での該当データの各点を位置
補正し、時刻t2での自車との相対座標上の位置に補正す
る（ステップ804）。

次に、ステップ804における位置補正について第10図
を参照して説明する。時刻t1,t2での自車の位置は同図
（ａ）に示される絶対位置座標1001上の点1002（X_t1,Y
_t1）,1003（X_t2,Y_t2）に示される。この絶対位置座標10
01はＸ軸およびＹ軸で表される。また、時刻t1での相対
位置座標1004上における点Ｐ（x1,y1）は、この位置補
正により、同図（ｂ）に示される時刻t2での相対位置座
標1005上の点Ｐ′（x2,y2）に変換される。時刻t1での
相対位置座標1004はｘ軸およびｙ軸で表され、時刻t2で
の相対位置座標1005はｘ′軸およびｙ′軸で表される。
ここで、各時刻t1,t2での相対位置座標のｘ軸,x′軸の
向きは、各時刻t1,t2での自車の向きを示しており、絶
対座標のＸ軸とそれぞれθ１、θ２の角度を持ってい
る。また、上記の位置補正における変換は次式に基づい
いて行われる。

このように３種類の画像処理結果を統一的に管理し、
各道路記述データについて、時間・位置の補正を行うこ
とにより、過去の画像データが要望された現在の座標上
における画像データとして表現される。これを第11図を
参照して具体的に説明する。

同図は各処理の時間経過を示しており、同図（ａ）は
道路領域抽出手段501における領域抽出処理の時間経過
を示し、同図（ｂ）は道路区分線抽出手段502における
大局的線分抽出処理の時間経過を示し、同図（ｃ）は道
路区分線抽出手段502における局所的線分追跡処理の時
間経過を示している。各時間軸はある時間で区切られて
いるが、この１区切りは１処理の時間を表している。
今、点線で示される現在時刻t4においてデータリクエス
トがあったとすると、各処理は最新の処理結果である前
回処理結果を出力する。つまり、領域抽出処理は時刻t1
に取込んだ画像の処理結果を出力し、大局的線分抽出処
理は時刻t2に取込んだ画像の処理結果を出力し、局所的
線分追跡処理は時刻t3に取込んだ画像の処理結果を出力
する。

例えば、道路が第12図（ａ）に示される形状の場合に
は、自律走行車の撮像範囲は各時刻t1〜t4で図示のよう
に変化する。このため、カメラに撮像される画像は時刻
t1,t2,t3において同図（ｂ），（ｃ），（ｄ）に示され
るものとなる。データ管理部109は、現在時刻と各時刻
間の車の動きを軌跡推定により前述のように補正し、現
在時刻t4での相対座標上において各時刻におけるデータ
を表現する。このように画像処理アルゴリズム間での処
理結果を相互利用することにより、種々のメリットが生
じる。例えば、大局的線分抽出の処理結果を利用するこ
とにより、局所的線分追跡処理が容易になる。また、抽
出した道路端を利用することにより、領域抽出処理の精
度が上がる。また、どの画像処理アルゴリズムも、自身
の以前の処理結果を利用することもできる。

次にデータ評価部111について説明する。

まず、その概要について説明する。自律走行車におい
て、道路データは非常に重要なものである。道路データ
が正しく得られるほど、そのシステムは安定して走行す
ることが出来る。このため、より柔軟、かつ、強固なシ
ステムをもってより高速走行を可能にするため、データ
評価部111では以下の手法を用いている。つまり、第１
に、複数の画像処理結果を用いることにより、各処理の
互いの弱点を補った出力を作成する。第２に、各画像処
理結果に対して、道路データとして妥当か否かを検証を
簡単な条件により行う。

この第１の手法により、多様に変化する環境に対し、
より柔軟に対処可能となる。つまり、白線のひいてある
ような道路においては、白線抽出を得意とする画像処理
結果を用いることができ、白線のないような道路では、
カラー領域処理等の結果を用いるこが出来る。また、第
２の手法により道路データを評価することで、より信頼
性のある道路データを作成することが出来る。この第２
の手法は、クアン＆シャーマ（Kuan,D.and U.K Sharm
a）の方法に類似している。この方法は、「自律的に道
路を追従するためのモデルに基づく幾何学的推論（Mode
l Based Geometric Reasoning for Autonomous Road Fo
llowing）」という文献（Proc.1987 IEEE ICRA,pp.416
−423.（1987））に示されている。しかし、本実施例に
よる方法は一般的な道路に対応することが出来、評価自
体も、道路データを線分ではなく点レベルで評価する手
法や、領域データと線分データとの整合を取る手法等を
用いることにより、クアン＆シャーマの方法より優れた
手法を可能にしている。

データ評価部111におけるデータ処理の流れは第13図
に示される。

まず、データ管理部109から希望する同一時刻に補正
された射影変換後の３つの画像処理結果を入力する。同
一時刻に変換することにより各データ間の比較は容易に
なり、また、射影変換することにより、道路が平面であ
るという仮定のもとでの道路データの幾何学的評価が容
易になっている。データ評価部1301はこの３つの画像処
理結果について、まず道路データとして妥当か否かを以
下の条件により決定し、その結果から１つの信頼できる
道路データを作成し、環境記述作成部112へ出力する。

道路データとしての妥当性の条件は、＜道幅条件＞と
して道路はある道幅をもっていること、＜滑らかさ条件
＞として道路を構成する線分は滑らかになっているこ
と、＜異常点条件１＞として道路データの点数はある値
以上必要であること、＜異常点条件２＞として道路デー
タは測定範囲外に存在しないこと、＜異常点条件３＞と
して道路データは道路領域外には存在しないことが挙げ
られる。

次に環境記述作成部112について説明する。このモジ
ュールは大別して２つの部分から構成されている。第１
に、データ評価部から出力される道路区分線データやレ
ーダシステム103等から出力される障害物位置などか
ら、自律走行車のおかれた環境を環境記述という形で表
現する部分である。他の１つは、作成された環境記述を
管理する部分である。ここで、環境記述とは、自律走行
車を原点に捕らえた地表面座標上に、道路区分線や障害
物位置などを写像した環境地図のことである。単に、画
像処理結果のみを用いて自律走行を行う方法に比べて環
境記述を持つ利点としては次の点などが挙げられる。

第１に、各種のセンサ系からの出力を統一的に取り扱
うことが可能となる。第２に、一度の画像処理ではカメ
ラ視野の死角となって見えなくなる部分（曲がり角な
ど）を過去のデータを用いて補足することが可能とな
る。第３に、環境記述をセンサ系のモジュールが参照す
ることで、系の信頼度を向上させることが可能となる。

本実施例における環境記述は、基本的データとしてベ
クトルデータを採用し、データ間の連結・接合関係を双
方向リストを用いて表現している。また、複数の環境記
述を作成・保持していることにより、他のモジュールか
らのアクセス要求があった場合、すでに処理の終わって
いる環境記述のデータを参照すれば良く、現在処理中の
環境記述の完成を待つ必要がないという利点があるだけ
でなく、排他制御の必要がないため、アクセス管理が容
易になるという利点を併せ持っている。

次に、軌跡制御部116について説明する。この制御は
外部環境から送られた道路点列および目標点列に対し、
車体特性を考慮したスムーズな走行可能計画軌跡を発生
し、この計画軌跡に対し車両を追従させることにある。
その構成は第14図に示され、計画軌跡発生部1401と、こ
の計画軌跡への追従部1402と、舵角制御部1403とから構
成される。

計画軌跡発生部1401は、行動運動制御スーパバイザ11
4から道路点列および目標点列を入力し、軌跡推定部115
から自己位置，絶対角，横滑り角等を入力する。入力し
た道路点列および目標点列に対し、計画軌跡発生部1401
は軌跡推定部115から送られた車両の位置や絶対角およ
び横滑り角等を考慮し、現在の自車の位置と方向とに対
する車体特性を考慮した走行可能計画軌跡を発生させ
る。この発生された計画軌跡に対し、現在の車両の状況
（ヨーレート、車速、舵角）を計画軌跡発生部1401にフ
ィードバックし、計画軌跡に追従させるべき現在の舵角
を発生する。舵角制御1403は、指示された舵角に対して
舵角位置制御を行う。

次に、車速制御部117について説明する。車速制御部1
17の構成は第15図に示され、車速計画発生部1501、目標
車速追従部1502およびアクチュエータ制御部1503とから
構成されている。

車速計画発生部1501は、行動運動制御スーパーバイザ
114から目標経路速度点列（目標距離Xref,Yref、目標速
度Vref）を入力し、また、自立走行車の車体1504から実
距離Xact、実速度Vactを入力する。そして、与えられた
各データから目標を満足するような目標車速変化パター
ンをファジイ推論により生成する。目標車速追従部1502
は車速計画発生部1501から出力された目標速度Vrefに追
従できるように、目標スロットル開度や目標ブレーキ圧
力を出力する。この開度および圧力の計算は、車体1504
から実速度Vactと実加速度Oactとを検出し、この車体の
状態量を基にしたファジイ推論により行われる。アクチ
ュエータ制御部1503は、目標車速追従部1502から出力さ
れる目標スロットル開度や目標ブレーキ圧力になるよう
に、スロットルモータ1505およびブレーキソレノイドバ
ルブ1506を制御する。この制御により車体1504の走行制
御が行われ、自律走行車は自動走行する。

〔発明の効果〕

以上説明したように本発明によれば、過去に入力され
て記憶保持されたデータは、要望する時刻に補正されて
評価される。従って、複数の撮像装置に入力されて異な
る処理時間を経て得られた各画像データまたは画像以外
の外界情報取得装置により得られたデータは統一的に同
一時刻において判断される。

このため、移動しつつ走行を制御しても、複数の画像
情報や複数のセンサから得られた各データは希望する時
刻および位置のデータに補正することが可能になった。
従って、異なる時間、位置で得られたデータを総合的に
評価して処理する手法が提供される。この手法により、
自律移動体の移動制御はより正確にかつ安定して行うこ
とが出来る。

【図面の簡単な説明】

第１図は本発明の一実施例による自律走行車の走行制御
装置の全体構成を示すブロック図、第２図は本実施例に
おけるデータ管理部の１つの働きの概要を説明するため
の図、第３図はこのデータ管理部を使用しなかった場合
における不都合を説明するための図、第４図は本実施例
におけるデータ管理部の他の働きを説明するための図、
第５図は本実施例におけるデータ管理部の内部構造を示
すブロック図、第６図、第７図および第８図のそれぞれ
はデータ管理部における処理の流れを示すフローチャー
ト、第９図は第８図のフローチャートの説明において使
用される車体の位置と向きとを示すグラフ、第10図はデ
ータ管理部における位置補正処理を説明するためのグラ
フ、第11図はこの位置補正処理における各画像処理時間
の時間関係を説明するための図、第12図はこの位置補正
における各時刻における入力画像を説明するための図、
第13図はデータ評価部における処理の流れを示すブロッ
ク図、第14図は軌跡制御部の構成を示すブロック図、第
15図は車速制御部の構成を示すブロック図である。 101……カラーカメラ、102……白黒カメラ、103……レ
ーダシステム、104……領域抽出手段、105……局所的線
分追跡手段、106……大局的線分抽出手段、107……ナビ
ゲーションシステム、109……データ管理部、110……デ
ータベース、111……データ評価部、112……環境記述作
成部、113……環境記述データベース、114……行動運動
制御スーパーバイザ、115……軌跡推定部、116……軌跡
制御部、117……車速制御部。

フロントページの続き (56)参考文献特開平２−48704（ＪＰ，Ａ) 特開昭60−51980（ＪＰ，Ａ) 特開昭63−236108（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G05D 1/02

Claims

(57)【特許請求の範囲】

【請求項１】自律移動体の移動路の状況を、相互に独立
した複数種のモジュールで非同期に検知して出力する検
知装置と、前記検知装置から出力された複数種の各データを記憶す
る記憶手段と、前記記憶手段に記憶された各データを、任意の同一時刻
および位置でのデータに補正するデータ管理部と、前記データ管理部から出力された複数種の各データを１
つの移動路データとして統合するデータ評価部と、該データ評価部から出力された移動路データに基づいて
自律移動体の移動を制御する制御部とを備えて構成され
たことを特徴とする自律移動体の制御装置。
【請求項２】自律移動体の移動路の状況を、相互に独立
した複数種のモジュールで非同期に検知して出力する検
知装置と、前記検知装置から出力された複数種の各データを記憶す
る記憶手段と、前記記憶手段に記憶された各データを、任意の同一時刻
および位置でのデータに補正するデータ管理部と、前記データ管理部から出力された複数種の各データを１
つの移動路データとして統合するデータ評価部と、前記データ評価部から出力された移動路データを蓄積し
て環境記述として保持管理する環境記述作成部と、前記環境記述作成部で作成された環境記述に基づいて自
律移動体の行動計画を立案すると共に、その行動を指示
する行動運動制御スーパバイザと、前記行動大運動制御スーバーバイザの行動指示に基づい
て自律移動体の移動を制御する制御部とを備えて構成さ
れたことを特徴とする自律移動体の制御装置。
【請求項３】自律移動体に取り付けられたセンサにより
移動量を検出し該移動量をデータ管理部、環境記述作成
部および行動運動制御スーパバイザに出力する軌跡指定
部を備えたことを特徴とする請求項２に記載の自律移動
体の制御装置。
【請求項４】前記データ管理部は、記憶手段に記憶され
た各データを、リクエスト信号によって指定された時刻
および位置でのデータに補正することを特徴とする請求
項１ないし３のいずれかに記載の自律移動体の制御装
置。
【請求項５】前記データ管理部は、記憶手段に記憶され
た最新の位置データを移動路面上の座標に射影変換し、
該変換データを、リクエスト信号によって指定された時
刻の位置座標に補正することを特徴とする請求項４に記
載の自律移動体の制御装置。
【請求項６】前記データ評価部は、データ管理部から出
力された同一時刻の位置座標に補正された複数の移動路
データのうち、移動路データとして誤ったデータを除去
し、移動路データとして妥当と判断した複数のデータを
１つの移動路データに統合して出力することを特徴とす
る請求項５に記載の自律移動体の制御装置。
【請求項７】前記環境記述作成部は、データ評価部から
出力された移動路データを過去にデータ評価部から出力
された移動路データに融合し、これを環境記述として保
持し、該環境記述から過去の任意時刻の移動路データを
取り出すことを特徴とする請求項６に記載の自律移動体
の制御装置。
【請求項８】前記データ管理部は、前記検知装置が過去
の移動路認識データを必要とするとき、環境記述作成部
から取り出した移動路データを前記画像処理装置または
前記検知装置に出力することを特徴とする請求項７に記
載の自律移動体の制御装置。
【請求項９】前記行動運動制御スーパバイザは、環境記
述作成部から出力された環境記述を基にして現在時刻に
おける行動計画を作成し、これらに基づいて現在時刻の
行動指示を制御部に出力することを特徴とする請求項８
に記載の自律移動体の制御装置。