JP3200062B2 - 移動路データに対する評価方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は自律移動体の移動制御等における画像処理に
おいて得られた移動路データを評価する方法に関するも
のである。

〔従来の技術〕

自律的に自動走行する自律走行車において、道路デー
タは非常に重要なものである。道路データが正しく得ら
れれば得られるほど、そのシステムは安定して走行でき
る。一方、道路を正しく認識することは非常に難しい。
従来、この自律走行車の研究において、いくつかの考え
方が道路認識に適用されて来た。米国防総省高等研究計
画局（DARPA）の推進する研究においては、フジモリと
カナデ（Fujimori,T and T.Kanade）によるカラー領域
処理（文献「knowledge−Based Interpretation of Out
door Road Scenes」,1987 Year End Report for Road F
ollowing at Carnegie Mellon,CMU−RI−TR−88−4,pp.
45−96（1988））、あるいはシャーマとデービス（Shar
ma,U.K.and L.S.Davis）によるレーザーレンジファイン
ダによる３次元情報処理（文献「Road Bounday Detecti
on in Range Imagery for an Autonomous Robot」,IEEE
Journal of Robotics and Automation,4（５）,pp.515
−523（1988））により、道路エッジのもつ幾何学的性
質を用いて道路端を求めている。

また、道路モデルを用いて道路端を求める試みも行わ
れた。つまり、道路は一定幅の平行線に記述することが
出来るという前提の下に、画像処理から得られるエッジ
データに対し、平行な線分の組み（リボン）や、一点で
交わる線分の組み（ベンシル、バニッシングポイント
（Vanishing Point））を取り出し、位置関係などによ
り道路を認識するものである。リボン記述やペンシル記
述の技術は、ブルックス（Brooks,R.A.,「Symbolic Rea
soning among 3−D Models and 2−D lmages」,Artific
ial Intelligence,17,pp.285−348（1981））や、モイ
ーネとワックスマンとデービス（Moigne,J.Le.,A.M.Wax
man,and L.S.Davis,「Knowledge−BaseReasoning for r
oad following」,Proc.1986 ICPR,pp.244−247（198
6））等による道路認識処理で使用されている。また、
バニッシングポイントの技術は、上記のフジモリとカナ
デや、リューとジェイン（Liou,S and R.C.Jain,「Road
Following Using Vanishing Points」,Computer Visio
n,Graphics and Image Processing,39,pp.116−130（19
87））による道路認識処理で使用されている。

また、クアンとシャーマ（Kuan,D.and U.K.Sharma）
は高速に走行するための道路認識を行った（文献「Mode
l Based Geometric Reasoning for Autonomous Road Fo
llowing」,Proc.1987 IEEE ICRA,pp.416−423（198
7））。彼等のシステムは19km/hの速度で単調路を走行
させている。彼等は、道路認識に当たって道路モデルは
必要だが、一般的なフェイルプルーフの道路追従システ
ムを成立させるには莫大な知識が必要であり、現在の技
術では不可能として、単純な条件により道路モデルを導
入した。その条件としては、第１に、道路境界の対とな
るセグメントは道路幅分離れて局所平行であること、第
２に、道路境界の向きは滑らかに変化すること、第３
に、連続する画像で道路境界は連続していることであ
る。彼等はこれらの条件を用いて道路境界を求めた。

この道路モデルによれば、大局的に記述できにくい構
造の道路に対しても、局所的線分レベルでみることによ
り、道路端の平行性や道幅の測定が可能になる。

〔発明が解決しようとする課題〕

しかしながら、上記のフジモリとカナデによるカラー
領域処理あるいはシャーマとデービスによるレーザーレ
ンジファインダによる３次元情報に基づく道路端の認識
処理は、対象としている道路は１車線の単調路のみであ
る。また、道路端の求め方が大局的であり、複雑な道を
高速で走行することが出来ない。つまり、第34図（ａ）
に示されるような単純な直線２本で示される単調路であ
れば、２本の直線の平行性と距離とを求めれることによ
り、道路端を認識することが出来る。しかし、同図
（ｂ）や、同図（ｃ）に示される単純でない道路形状の
場合には、道路端の各線分に対して直接平行性を求めた
り、道幅を求めることは困難である。さらに、同図
（ｄ）に示されるように道路上に道路境界以外の白線等
のマイクが描かれていると、道路端の認識はますます困
難になる。

また、ブルックス等によるリボン記述やペンシル記述
を使用する道路モデルを用いた道路認識は、実画像に対
してかなり抽象化した道路エッジについての仮説検証に
は利用できるが、複雑に曲がったより細かいレベルでの
道路エッジについての仮説検証には実行速度等の点で十
分対応できず、単調路しか扱えなかった。

また、クアンとシャーマは、大局的に記述できにくい
構造の道路でも局所的にはある条件を満たしている点に
注目して前述の道路モデルの条件を考えたため、第34図
（ｅ）に示されるカーブ路であっても道路端を認識する
ことが出来る。つまり、道路境界を３本の直線L0,L1,L2
によって局所的に近似することにより、平行性や道幅の
測定を可能にし、自律走行車の高速走行を可能にした。
しかし、やはり道路モデルの対象は１車線の単調路の枠
から出ることができず、分岐等のある複雑な道路端は認
識することが出来ない。さらに、道路境界の評価単位が
線分であるため、必要以上にデータが除外され、安定し
た道路データが得られなかった。

〔課題を解決するための手段〕

本発明はこのような課題を解消するためになされたも
ので、複数の撮像装置により撮像された移動路データか
ら抽出され同一時刻データに補正された複数の点列デー
タを入力し、該点列データを線および点のレベルに構造
化して保持し、移動路を構成する点および線が持つ条件
をモデルとして記述し、該モデルを検証基準とするルー
ルである、移動路の境界の一端を構成する点と該移動路
の他端を構成する線分との距離が所定の範囲内にあり、
移動路の境界線分は滑らかに繋がるというルールを以
て、あるいは移動路領域を表す点列データを領域を表現
するベクトルに示し、移動路領域を構成すると思える点
列データの点と該ベクトルとの外積を取り、この演算結
果に基づいて該点が移動路領域内にあるか否かを判断す
るというルールを以て前記入力点列データの移動路デー
タとしての確かさを判断し、該判断結果に基づいて入力
点列データを１つの妥当な移動路データに変換するもの
である。

〔作用〕

線分レベルでなく点レベルでデータ評価を行うため、
複雑な形状の移動路が識別される。また、複数の撮像装
置からの点列データを基に移動路データとしての確かさ
が判定されるため、得られるデータの信頼性は向上す
る。

〔実施例〕

第13図は本発明の一実施例による自律走行車の制御装
置の概略を示す構成図である。

本装置は、画像処理部，ナビゲーションシステム部，
データ管理部，データ評価部，環境記述作成部，行動運
動制御スーパーバイザ，軌跡推定部および走行制御部と
に大別される。

画像処理部は、１つ以上の撮像装置，画像以外の外界
情報取得手段および複数の画像処理手法を用いた画像処
理装置から構成されている。一般的に１つ以上の撮像装
置としては、標準焦点距離撮像装置，望遠撮像装置，カ
ラー撮像装置，赤外線撮像装置または超高感度撮像装置
等を複数用いることにより構成される。本実施例では、
カラーカメラ101および白黒カメラ102を使用している。
また、画像以外の外界情報取得手段としてはレーダ，超
音波センサ等があり、本実施例ではレーダシステム103
を使用している。このレーダシステムは、走行車の前方
の遠距離にある障害物を発見することを目的として使用
しており、障害物の個数やその位置情報が取得される。
取得された障害物情報はデータ管理部109へ出力され
る。

また、画像処理装置における画像処理は道路データの
抽出を目的としており、その画像処理手段には、領域抽
出手段，局所的線分追跡手段，大局的線分抽出手段，立
体視手段，動画像処理手段等がある。本実施例では、カ
ラーカメラ101から入力した画像情報については領域抽
出手段104を使用して処理し、カラー画像に基づいて道
路領域を抽出する。抽出された道路領域境界データや位
置データはデータ管理部109へ出力される。

また、白黒カメラ102から入力した画像情報について
は、局所的線分追跡手段105および大局的線分抽出手段1
06を使用する。局所的線分追跡手段105は、白黒画像を
処理して得られる道路エッジを小領域で抽出するもので
ある。抽出した局所的線分データはデータ管理部109へ
出力される。大局的線分抽出手段106は大局的に道路エ
ッジを近似推定してガイドラインを得るものである。求
めた大局的主要線分はデータ管理部109へ出力される。

ナビゲーションシステム107はユーザ（人間）108との
インターフェースを持ち、大局的走行計画の作成とその
指示とを目的としている。現在のところ、この目的地等
の大局的走行計画はユーザ108によってナビゲーション
システム107に入力される。ナビゲーションシステム107
は、内部に記憶された地図情報を基にし、目的に応じた
大局的な経路およびその周辺部の地図情報といったグロ
ーバルなマップ情報や、指示経路および法定速度等を環
境記述作成部112および行動運動制御スーパーバイザ114
に出力する。また、ユーザ108は、行動運動制御スーパ
ーバイザ114に対して走行モードの切り替えなどが出来
る。

データ管理部109は各種の画像処理データを画像処理
装置から入力し、障害物情報をレーダーシステム103か
ら入力する。また、任意時刻での環境記述データを環境
記述作成部112から入力する。そして、データ管理部109
は、これら入力した各種データをデータベース（DB）11
0に記憶し、データベース管理、つまり、画像処理結果
およびレーダによる障害物情報の時間管理を行う。ま
た、道路面に対し斜めに取付けられた撮像装置により取
得し、画像処理装置により処理した撮像平面での道路端
データを射影変換し、２次元道路平面上に写像する。ま
た、データに付随する時間と軌跡推定部115で計算され
た推定軌跡テーブルとを基にし、そのデータを過去の任
意時刻の座標系に座標変換する。また、領域抽出手段10
4に候補領域などを指示し、局所的線分追跡手段105に探
索開始点や探索方向などを指示し、大局的線分抽出手段
106に候補線分などを指示する。

データ評価部111は、時刻と座標を合わせた画像処理
データをデータ管理部109から入力し、また、任意時刻
での環境記述データを環境記述作成部112から入力す
る。そして、同一時刻に座標変換された複数の２次元道
路データに対し、道路モデルとの適合性および各道路デ
ータ間の整合性から判断し、道路データとして誤ったデ
ータを除去する。また、道路データとして妥当と判断さ
れた複数のデータを１つの道路データとして融合する。
融合されたデータ評価結果である道路データは、データ
管理部109および環境記述作成部112へ出力される。

環境記述作成部112は、障害物情報などの認識結果を
統合的に保持し、現在自車が置かれている環境を記述す
ることを目的とする。つまり、データ評価部111から入
力される道路データをベクトル表現し、環境記述データ
ベース113として保持管理する。また、既に保持されて
いる環境記述上に、入力される道路データを重ね、過去
のデータとの連結関係、車体位置との相対位置等によ
り、そのデータ内の各線分の属性決定および排除を行
う。

行動運動制御スーパーバイザ114は自律走行車の行動
計画を立案し、行動の指示をする。つまり、ドライバー
（ユーザ108）とのマン・マシンインターフェイスによ
り、自動走行とマニュアル走行、および走行開始と走行
中止等の切り替えを行う。そして、環境記述作成部112
からの環境記述データ、ナビゲーションシステム107か
らの誘導情報、軌跡推定部115からの自車移動量および
車速制御部117からの車速情報を基にし、障害物回避の
必要性の有無、走行車線の選択等を行い、経路計画を作
成する。また、画像の視野距離、車速、環境の認識に要
した時間およびナビゲーションシステム107から得る法
定速度等から、走行速度およびその走行速度になるべき
指定距離から成る速度計画を作成する。さらに、経路計
画、速度計画を基にし、制御部（軌跡制御部116、車速
制御部117）間の整合をとった行動指示を行う。この行
動計画は環境記述作成部112に出力される。また、軌跡
制御部116へ指示経路が出力され、車速制御部117へ指示
速度が出力される。

軌跡推定部115は車速センサ118およびヨーレイトセン
サ120からの情報を入力し、車体運動量から車体の座標
面上の軌跡を計算する。また、時刻と座標とを共有メモ
リ上に書き込むことにより、システムの標準時計の役目
を果たす。この軌跡の計算から自車移動量を求め、これ
をデータ管理部109、環境記述作成部112および行動運動
制御スーパーバイザ114へ出力する。

走行制御部は軌跡制御部116と車速制御部117とから構
成される。軌跡制御部116には、車速センサ118、舵角セ
ンサ119、ヨーレイトセンサ120からのセンサ情報が与え
られる。また、この軌跡制御部116は、前後輪の内の少
なくとも一方を制御する舵角制御手段を備えている。車
速制御部117には、車速センサ118および加速度センサ12
1からのセンサ情報が与えられる。また、この車速制御
部117は、アクセス開度やブレーキ圧力を調整してエン
ジン出力、ブレーキ制動力を制御する手段を備えてお
り、車速情報を行動運動制御スーパーバイザ114に出力
する。

次に、自律走行車の制御部を構成する主要な装置につ
いて以下に詳述する。

カラーカメラ101および白黒カメラ102について説明す
る。撮像装置は、これを車両に搭載することを考える
と、１台のカラーTVカメラで複数の処理に共用したい。
しかし、さまざまな変化のある自然画像を処理し、しか
も車両の走行速度も変化するといったことから、各種状
況に適した複数の画像入力手段を持つことが望ましい。
各種状況に適した画像入力手段としては、例えば、望
遠、広角といった異なる視野をカバーする場合には、お
互いのカメラで視野を補い合うことができる。また、夜
間走行の場合には、道路と路肩の温度差を検出でき、し
かも対向車の灯火の影響を受けにくい赤外線カメラが適
している。また、前走車との距離計測用に２眼立体視を
用いる場合なら、当然に２台以上のカメラを必要とす
る。以上のことから、本実施例では２種類の撮像装置
（カラーカメラ101、白黒カメラ102）を使用し、また、
この他にレーダーシステム103を採用し、各種状況に適
した情報を確保している。

次に、領域抽出手段104について説明する。白線など
の明確な境界線がなく、アスファルトと土や草などで構
成された道路では、線分の抽出は極めて不安定になる。
このような道路においてはカラー特徴（明度I,彩度S,色
相Ｈ）による領域抽出処理が有効である。このため、本
実施例では撮像装置の１つとしてカラーカメラ101を採
用し、領域抽出手段104で色の特徴に基づいて道路領域
を抽出している。この道路領域の抽出は、車両のすぐ前
方は道路領域であるという仮定に基づき、道路領域内の
色の特徴と類似した部分を取り出すことにより行われ
る。なお、この抽出処理と基本的に同様な手法を用い、
赤外線カメラを使用することにより、夜間の赤外線映像
から道路の温度を判断し、道路領域を抽出することが可
能である。

領域抽出処理は、環境記述作成部112からの環境記述
を利用して前回までの結果と比較することで高い信頼性
が得られる。この領域抽出処理により、大まかな道路
（走行可能領域）の輪郭が得られる。また、この処理は
明確な境界線が得られない場合の走行のためだけではな
く、局所的線分追跡手段105,大局的線分抽出手段106に
おける線分抽出処理が、ガードレールや壁などを誤って
道路と認識しないための拠り所としても重要なものにな
る。

次に、大局的線分抽出手段106について説明する。本
手段によれば、高速自動車道などの直線的で単純な道路
構造の場合には、画像中の広い範囲を１度に処理するこ
とが可能である。例えば、TVカメラの取り付け角度から
道路が存在するであろう領域が求められ、この領域に対
して優れた直線検出手段であるハフ（Hough）変換を施
す。領域が道路全体をカバーするほど大きくても、直線
的な道路ならばその境界線を抽出することができ、しか
も、ただ１度のハフ変換処理により抽出することができ
るため、極めて高速な処理が行える。なお、ハフ変換は
一般に多くの処理時間を要するとされるが、本出願人は
先の出願において高速ハフ変換ハードウエアにより、ビ
デオレートに近いハフ変換を可能にしている。本実施例
の大局的線分抽出処理により、大局的に道路を眺めたと
きのような主要な道路境界線分のデータを受け取って道
路領域抽出処理の参考にすることにより、高い信頼性を
有する道路領域が抽出される。

次に、局所的線分追跡手段105について説明する。交
差点や複雑な分岐路、急なカーブなどの認識において
は、その道路境界線を細かく局所的に追跡してやる必要
がある。境界線を１画素づつ逐次探索していく方法もあ
るが、ハフ変換などにより境界線を検出できる小さな領
域を用いて順次追跡したほうが、自然環境には強いよう
である。この局所的線分追跡処理により、複雑な構造の
道路を走行するために必要とされる精密な道路境界線分
が出力される。前述の大局的線分抽出の処理結果や、領
域抽出の処理結果を利用して探索開始点と探索方向など
の初期データを受け取ることにより、信頼性を向上さ
せ、処理時間を短縮することが出来る。

次に、データ管理部109について説明する。自律走行
車において、複数の画像処理手段およびレーダシステム
103などの距離情報獲得手段を持つことは、様々な環境
を認識するうえで非常に有利である。しかしながら、そ
れら各処理の実行時間は同一ではなく、状況に応じてそ
れぞれに変化していく。このため、本実施例では、この
データ管理部109によって各処理データを同一時刻にお
いて判断処理することを可能にしている。

例えば、これを第２図を用いて説明する。大局的線分
抽出手段106においては道路区分線抽出処理201が１つの
画像処理として実行されている。また、領域抽出手段10
4においては道路領域抽出処理202が他の画像処理として
実行されている。また、レーダシステム103においては
距離情報獲得処理203が実行されている。なお、各処理
における１回の処理時間は図示の１つの矢印の長さで示
されている。しかし、直線204に示される時点では、道
路区分線抽出処理201は丁度３回目の処理が終了した時
点になる。また、道路領域抽出処理202は処理が１回終
了し、２回目の処理を実行している最中になる。また、
距離情報獲得処理203は処理が２回終了し、３回目の処
理を実行している最中になる。

このように、各処理の実行時間は同一ではなく、状況
に応じて変化していく。データ管理部109は、各処理結
果を最終的に同一の時刻、座標上で統一的に取扱えるよ
うにするための座標変換処理を実行する。つまり、デー
タ管理部109は、基準時計と時々刻々の自車の移動量を
測定する手段とを有する軌跡推定部から時刻と自車の移
動量を得て、それに基づいて、非同期に実行される上記
の各処理結果を任意の同一座標上に変換する機能を有す
る独立したモジュールと言うことができる。この結果、
図示の直線204における時刻での各処理結果をデータ管
理部109において変換処理を実行すると、同一の時刻、
座標系に変換された処理結果が得られる。つまり、道路
区分線抽出処理201により得られた道路線分205と、道路
領域抽出処理202により得られた道路領域206と、距離情
報獲得処理203により得られた距離情報207が同一の時
刻、座標系に変換されて扱うことができる。

本実施例のように、自律走行車の走行路認識のための
複数の画像処理手段、およびレーダシステム103などの
距離情報獲得手段を持つ場合において、このような独立
したモジュールは有効である。この機能により、以下の
ようなメリットが得られる。第１に、非同期、並列に実
行される各処理結果を効率良く同一の時刻、座標上に変
換することが出来る。第２に、座標変換などの同一処理
の集約化が出来る。第３に、画像処理、距離情報検出処
理、また、その後の統合評価段階での通信、演算処理の
負荷が軽減される。第４に、各処理間の通信の簡素化が
図れる。

複数の処理結果を同一の時刻、座標上で統合し、評価
するためには、例えば、全ての処理を同時に開始して同
一地点で、入力した画像や距離データを処理してやれば
良い。つまり、第３図に示されるように、処理A301、処
理B302、処理C303という複数の各処理が同期して動作し
ている場合には、各処理301〜303を通信により直線304
に示される同一時刻に開始する。そして、直線305に示
される同一時刻で、入力した画像や距離データを処理し
てやれば良い。この場合には、直線304と直線305とで挾
まれた間隔が全体の処理サイクルになる。

しかし、この方法では、最も長い処理時間によって全
ての処理サイクルが拘束されてしまい、さらに開始時刻
を揃えるために各処理時間で緊密な通信を行う必要が生
じる。第３図の例では、処理B302の処理時間により全て
の処理サイクルが拘束されてしまう。本実施例における
データ管理部109によれば、画像入力時刻などをそれぞ
れの処理結果に付すだけで、後は全く独立に処理してい
くことが可能であり、例えば手前よりの走行路を短い処
理サイクルで認識可能ならば、遠方の走行路認識にやや
時間がかかっても、それぞれを並列に実行することによ
り、高速な走行が可能になる。

また、複数の画像処理手段およびレーダシステム103
などの距離情報獲得手段を持つような自律走行車におい
ては、今までの走行路認識結果や、お互いの処理結果を
参照し、利用することで認識の信頼性を大きく向上させ
られる。しかしながら、これら各処理の実行時間は上記
のように同一ではなく、状況に応じてそれぞれに変化し
ていく。また、扱う座標系も異なっている場合がある。
このため、各処理が直接にデータをやりとりし、時刻、
座標を変換していては通信、演算時間共に大きくなり、
大きな処理負荷となる。本実施例におけるデータ管理部
109は、こうしたシステムにおいて、各処理が必要とす
る情報を効率的に授受できるような処理手法を実現して
いる。

つまり、前述のように、データ管理部109は、基準時
計と時々刻々の自車の移動量を測定する手段とを有する
軌跡推定部より時刻と自車の移動量を得、それに基づ
き、非同期に実行される上記の各処理において必要とさ
れる走行路認識結果や他の処理結果などを任意の時刻の
任意の座標上に変換する機能をもった独立したモジュー
ルである。

例えば、これを第４図を参照して以下に説明する。道
路区分線抽出処理401、道路領域抽出処理402および距離
情報獲得処理403が並列して実行されている。各処理401
〜403は、データ管理部109の時刻、位置補正機能によ
り、お互いの処理結果を参照し、利用しながら処理を進
めている。なお、図示の各矢印の長さは１回の処理時間
を表している。今、道路領域抽出処理402において、道
路区分線抽出処理401および距離情報獲得処理403に対し
て記号▽の時刻にデータリクエストが有った場合を考え
る。道路区分線抽出処理401はこのデータリクエストに
対してリクエストのあった時刻の直前に処理を終えてい
る最新の処理結果を出力する。この処理の対象とされた
画像の入力時刻は図の直線404の時点に示される。ま
た、距離情報獲得処理403も同様にリクエストのあった
時刻の直前に処理を終えている最新の処理結果を出力す
る。この処理の入力データが得られた時刻は図の直線40
5の時点に示される。また、リクエストを出した道路領
域抽出処理402で処理対象とされる画像の入力時刻は、
図の直線406の時点に示される。

データ管理部109は、各処理から出力された処理結果
を入力し、その時刻および位置をデータリクエストをし
た処理が自身の入力データを得た時刻およびその時刻で
の自車の推定位置に補正する。つまり、道路区分線抽出
処理401および道路領域抽出処理402から出力された各々
の処理結果は、データリクエストされた処理が入力デー
タを得た時刻とデータリクエストをした処理が入力デー
タを得た時刻との時間的ずれを、その間の自車の移動量
に基づいて補正された出力される。また、これと同様に
して、距離情報獲得処理403から出力されて処理結果
も、同様の時間的づれを自車の移動量を基にしてデータ
リクエストをした処理の入力データ取得時刻に補正され
て出力される。この結果、統一された時刻、座標系に変
換された道路区分線および距離情報データ407が得られ
る。

このようにデータ管理部109は、各処理データ間の時
刻合わせを自車移動量に基づいて行い、過去に処理して
きた走行路認識結果や、お互いの処理結果を参照し利用
することを可能にしている。つまり、このデータ管理部
109により、並列に行われる各処理結果は当該モジュー
ルにおいて整理、保存され、さらに、任意の時刻、形態
のデータを希望に応じて算出することが出来る。この機
能により、以下のようなメリットが得られる。第１に、
複数処理のさまざまな要求に応じた時刻、座標変換を効
率良く行える。第２に、座標変換などの同一処理の集約
化が行える。第３に、各処理での通信および演算時間と
いった負荷が軽減される。この結果、制御装置の通信、
演算時間が大幅に減少するため、全体の処理サイクルの
高速化が達成できる。

次に、このデータ管理部109の構造について第５図を
参照して説明する。複数の画像処理手段とレーダシステ
ム103などの距離情報獲得手段の処理結果を統一的に管
理し、様々な要求に応じて任意の時刻の同一座標上デー
タに変換するといった機能を効率的に行うために、同図
に示されるような構造になっている。

道路領域抽出手段501は、第13図におけるカラーカメ
ラ101からの色情報を基にした領域抽出手段104に相当し
ている。また、道路区分線抽出手段502は、白黒カメラ1
02からの画像情報を元にした局所的線分追跡手段105お
よび大局的線分抽出手段106に相当している、また、距
離情報獲得手段503はレーダシステム103に相当し、軌跡
推定部504は第13図における軌跡推定部115に相当してい
る。道路領域抽出手段501、道路区分線抽出手段502およ
び距離情報獲得手段503から出力される画像データや距
離情報、並びに軌跡推定部504から出力される自車の移
動量データは、まず、非同期にデュアルポートラム（Du
al Port RAM;D.P.RAM）505に書き込まれる。この他に
も、同図には示されてはいないが、環境記述作成部112
から出力されるデータ評価結果などもDPRAM505の環境記
述に記憶される。

データ管理部109は定期的にこのDPRAM505を読みにい
き、新しいデータがあればそれを各手段に対応したデー
タベース（DB）に格納する。この格納はデータベースへ
の書き込み手段506によって実行される。道路領域抽出
手段501から出力されたデータは書き込み手段506によっ
てDB507に格納され、道路区分線抽出手段502から出力さ
れたデータはDB508に格納され、距離情報獲得手段503か
ら出力されたデータはDB509に格納され、軌跡推定部504
から出力されたデータはDB510に格納される。

もし、他の装置からいずれかの内容についてデータリ
クエストがあったならば、データ管理部109は希望に応
じたデータを各DB507〜510から検索し、データベースか
らの読みだし手段511によってこれを読み出す。読み出
されたデータは時刻、位置補正手段512によって希望に
応じた時刻、位置座標に変換される。この際、軌跡推定
部504から出力された軌跡推定データをパラーメータと
して補正処理が実行される。また、道路領域抽出手段50
1および道路区分線抽出手段502から出力されたデータに
ついては、射影変換手段513によって実際の道路面上の
座標に変換され、時刻、位置補正が行われる。

この後、射影変換された道路画像情報およびレーダシ
ステム103からの距離情報は時刻、位置補正手段512から
出力用のDPRAM513に出力され、データ評価部111に伝え
られる。また、このデータ評価部111から出力されるデ
ータ評価結果はこのDPRAM513に戻され、データベースへ
の書き込み手段506によってDB514に格納される。なお、
DB507〜510およびこのDB514は第13図のデータベース110
に相当するものである。また、時刻、位置補正手段から
出力された各情報は、データ評価部111から出力された
データ評価結果と共に逆射影変換手段515に与えられ、
画像処理を行うためのメモリ上の位置座標に変換され
る。さらに、変換された位置座標情報は入力用のDPRAM5
05に与えられ、道路領域抽出手段501および道路区分線
抽出手段502における各処理に供される。

次にこのデータ管理部109における各処理について、
フローチャートを参照しつつ詳細に説明する。

まず、メインループにおける処理について第６図を参
照して説明する。データ管理部109は各手段501〜504か
ら新たに出力された処理結果があるか、あるいはデータ
リクエストがあるか否かを見出すため、定期的にDPROM5
05からそれらを示す情報を読み出す（ステップ601）。
データリクエストが新たに出力された処理結果かを判断
し（ステップ602）、データリクエストではない場合に
は、各処理結果をDPRAM505から読み出しDB507〜510に書
き込む（ステップ603）。この後、ステップ601に戻って
以上の処理を繰り返し実行する。また、ステップ602に
おける判断結果がデータリクエストである場合には、DB
507〜510のうちの該当するDBから必要なデータを読みだ
し、後述するリクエスト応答処理を実行する（ステップ
604）。

次に、このステップ604におけるリクエスト応答処理
について第７図を参照して説明する。まず、このリクエ
スト応答がデータ評価部111からのリクエストであるか
否かを判断する（ステップ701）。データ評価部111から
のリクエストであれば、最新の画像処理データおよび獲
得した最新の距離情報データをDB507,508およびDB509か
ら読み出す（ステップ702）。読み出したデータが画像
処理データであれば、射影変換処理を実行して（ステッ
プ703）、位置情報を実際の道路面上の座標に変換す
る。さらに、要望の時刻での自車との位置関係に補正す
る（ステップ704）。ステップ702〜704までの処理はリ
クエストのあった入力処理数だけ繰り返し実行する（ス
テップ705）。そして、補正された処理結果はリクエス
ト元であるデータ評価部111に出力される（ステップ70
6）。

また、ステップ701での判断結果がデータ評価部111か
らのリクエストでない場合には、まず、リクエストのあ
ったデータを該当するDBから読み出す（ステップ70
7）。そして、射影変換処理を実行し（ステップ708）、
要望時刻における位置座標に補正する（ステップ70
9）。次に、リクエスト要求が道路領域抽出手段501や道
路区分線抽出手段502といった画像処理装置からのもの
であるか否かを判断する（ステップ710）。画像処理装
置からのリクエストであれば、逆射影変換処理を実行し
（ステップ711）、位置情報を画像メモリ上の位置座標
に逆射影変換する。このため、画像処理装置における処
理負荷は軽減されている。また、リクエストが画像処理
装置からのものでない場合には、この逆射影変換処理は
実行しない。この後、処理結果をリクエストのあったリ
クエスト元へ出力する（ステップ706）。

次に、ステップ704およびステップ708における、要望
の時刻での自車との位置関係に補正する処理について、
第８図のフローチャートおよび第９図のグラフを参照し
て説明する。

まず、画像入力時刻などの該当データの入力時刻t1
と、要望のあった時刻t2とが等しいか否かを判断する
（ステップ801）。時刻t1,t2が異なれば、次に、時刻t1
での軌跡推定データを軌跡推定DB510から読み取る（ス
テップ802）。この軌跡推定データは第９図のベクトル9
01に示され、時刻t1での絶対位置座標における車体の位
置と向きとを表現している。引き続いて、時刻t2での軌
跡推定データを軌跡推定DB510から読み取る（ステップ8
03）。この軌跡推定データは第９図のベクトル902に示
され、時刻t2での絶対位置座標における車体の位置と向
きとを表現している。そして、各時刻t1,t2における軌
跡推定データから、時刻t1での当該データの各点を位置
補正し、時刻t2tでの自車との相対座標上の位置に補正
する（ステップ804）。

次に、ステップ804における位置補正について第10図
を参照して説明する。時刻t1,t2での自車の位置は同図
（ａ）に示される絶対位置座標1001上の点1002（X_t1,Y
_t1）,1003（X_t2,Y_t2）に示される。この絶対位置座標10
01はＸ軸およびＹ軸で表される。また、時刻t1での相対
位置座標1004上における点Ｐ（x1,y1）は、この位置補
正により、同図（ｂ）に示される時刻t2での相対位置座
標1005上の点Ｐ′（x2,y2）に変換される。時刻t1での
相対位置座標1004はｘ軸およびｙ軸で表され、時刻t2で
の相対位置座標1005はｘ′軸およびｙ′軸で表される。
ここで、各時刻t1,t2での相対位置座標のｘ軸,x′軸の
向きは、各時刻t1,t2での自車の向きを示しており、絶
対座標のＸ軸とそれぞれθ１、θ２の角度を持ってい
る。また、上記の位置補正における変換は次式に基づい
て行われる。

ここで、Δθ＝θ２−θ１である。

このように３種類の画像処理結果を統一的に管理し、
各道路記述データについて、時間・位置の補正を行うこ
とにより、過去の画像データが要望された現在の座標上
における画像データとして表現される。これを第11図を
参照して具体的に説明する。

同図は各処理の時間経過を示しており、同図（ａ）は
道路領域抽出手段501における領域抽出処理の時間経過
を示し、同図（ｂ）は道路区分線抽出手段502における
大局的線分抽出処理の時間経過を示し、同図（ｃ）は道
路区分線抽出手段502における局所的線分追跡処理の時
間経過を示している。各時間軸はある時間で区切られて
いるが、この１区切りは１処理の時間を表している。
今、点線で示される現在時刻t4においてデータリクエス
トがあったとすると、各処理は最新の処理結果である前
回処理結果を出力する。つまり、領域抽出処理は時刻t1
に取込んだ画像の処理結果を出力し、大局的線分抽出処
理は時刻t2に取込んだ画像の処理結果を出力し、局所的
線分追跡処理は時刻t3に取込んだ画像の処理結果を出力
する。

例えば、道路が第12図（ａ）に示される形状の場合に
は、自律走行車の撮像範囲は各時刻t1〜t4で図示のよう
に変化する。このため、カメラに撮像される画像は時刻
t1,t2,t3において同図（ｂ），（ｃ），（ｄ）に示され
るものとなる。データ管理部109は、現在時刻と各時刻
間の車の動きを軌跡推定により前述のように補正し、現
在時刻t4での相対座標上において各時刻におけるデータ
を表現する。このように画像処理アルゴリズム間での処
理結果を相互利用することにより、種々のメリットが生
じる。例えば、大局的線分抽出の処理結果を利すること
により、局所的線分追跡処理が容易になる。また、抽出
した道路端を利用することにより、領域抽出処理の精度
が上がる。また、どの画像処理アルゴリズムも、自身の
以前の処理結果を利用することもできる。

次にデータ評価部111について説明する。

まず、その概要について説明する。自律走行車におい
て、道路データは非常に重要なものである。道路データ
が正しく得られるほど、そのシステムは安定して走行す
ることが出来る。このため、より柔軟、かつ、強固なシ
ステムをもってより高速走行を可能にするため、データ
評価部111では以下の手法を用いている。つまり、第１
に、複数の画像処理結果を用いることにより、各処理の
互いの弱点を補った出力を作成する。第２に、各画像処
理結果に対して、道路データとして妥当か否かの検証を
簡単な条件により行う。

この第１の手法により、多様に変化する環境に対し、
より柔軟に対処可能となる。つまり、白線のひいてある
ような道路においては、白線抽出を得意とする画像処理
結果を用いることができ、白線のないような道路では、
カラー領域処理等の結果を用いることが出来る。また、
第２の手法により道路データを評価することで、より信
頼性のある道路データを作成することが出来る。この第
２の手法は、従来のクアン＆シャーマ（Kuan,D.and U.K
Sharma）の方法に類似している。しかし、本実施例に
よる方法は一般的な複雑な道路にも対応することが出
来、評価自体も、道路データを線分ではなく点レベルで
評価する手法や、領域データと線分データとの整合を取
る手法等を用いることにより、クアン＆シャーマの方法
により優れた手法を可能にしている。

データ評価部111におけるデータ処理の流れは第１図
に示される。なお、このデータ処理は後に詳述する。

まず、データ管理部109から希望する同一時刻に補正
された射影変換後の３つの画像処理結果を入力する。同
一時刻に変換することにより各データ間の比較は容易に
なり、また、射影変換することにより、道路が平面であ
るという仮定のもとでの道路データの幾何学的評価が容
易になっている。データ評価部1301はこの３つの画像処
理結果について、まず道路データとして妥当か否かを後
に詳述する条件により決定し、その結果から１つの信頼
できる道路データを作成し、環境記述作成部112へ出力
する。

ところで、このデータ評価部111は上記のように初め
に３つの画像処理結果について検証し、この検証結果を
用いて１つの道路データに融合しているが、この機能の
実現に際し、検証処理と各処理間の相互補完処理とを逆
の順に処理することも可能である。つまり、初めに３つ
の画像処理結果について融合し、その融合結果について
検証するという処理の流れにすることも可能である。し
かし、本実施例ではこの逆の順番の処理は以下の理由に
より採用しなかった。第１に、初めに検証を行うことに
より、どのデータが信頼できそうかの評価が出来る。第
２に、検証後のデータのみを元に出力データを作成する
ので、処理データ量が比較的少なくて済む。第３に、融
合が必ずしも必要でない時がある。第４に、道路データ
の検証について、独立に検証できるものを並列に処理す
ることが可能になるからである。

次に、環境記述作成部112について説明する。このモ
ジュールは大別して２つの部分から構成されている。第
１に、データ評価部から出力される道路区分線データや
レーダシステム103等から出力される障害物位置などか
ら、自律走行車のおかれた環境を環境記述という形で表
現する部分である。他の１つは、作成された環境記述を
管理する部分である。ここで、環境記述とは、自律走行
車を原点に捕らえた地表面座標上に、道路区分線や障害
物位置などを写像した環境地図のことである。単に、画
像処理結果のみを用いて自律走行を行う方法に比べて環
境記述を持つ利点としては次の点などが挙げられる。

第１に、各種のセンサ系からの出力を統一的に取り扱
うことが可能となる。第２に、一度の画像処理ではカメ
ラ視野の死角となって見えなくなる部分（曲がり角な
ど）を過去のデータを用いて補足することが可能とな
る。第３に、環境記述をセンサ系のモジュールが参照す
ることで、系の信頼度を向上させることが可能となる。

本実施例における環境記述は、基本的データとしてベ
クトルデータを採用し、データ間の連結・接合関係を双
方向リストを用いて表現している。また、複数の環境記
述を作成・保持していることにより、他のモジュールか
らのアクセス要求があった場合、すでに処理の終わって
いる環境記述のデータを参照すれば良く、現在処理中の
環境記述の完成を待つ必要がないという利点があるだけ
でなく、排他制御の必要がないため、アクセス管理が容
易になるという利点を併せ持っている。

次に、軌跡制御部116について説明する。この制御は
外部環境から送られた道路点列および目標点列に対し、
車体特性を考慮したスムーズな走行可能計画軌跡を発生
し、この計画軌跡に対し車両を追従させることにある。
その構成は第14図に示され、計画軌跡発生部1401と、こ
の計画軌跡への追従部1402と、舵角制御部1403とから構
成される。

計画軌跡発生部1401は、行動運動制御スーパバイザ11
4から道路点列および目標点列を入力し、軌跡推定部115
から自己位置，絶対角，横滑り角等を入力する。入力し
た道路点列および目標点列に対し、計画軌跡発生部1401
は軌跡推定部115から送られた車両の位置や絶対角およ
び横滑り角等を考慮し、現在の自車の位置と方向とに対
する車体特性を考慮した走行可能計画軌跡を発生させ
る。この発生された計画軌跡に対し、現在の車両の状況
（ヨーレート、車速、舵角）を計画軌跡発生部1401にフ
ィードバックし、計画軌跡に追従させるべき現在の舵角
を発生する。舵角制御1403は、指示された舵角に対して
舵角位置制御を行う。

次に、車速制御部117について説明する。車速制御部1
17の構成は第15図に示され、車速計画発生部1501、目標
車速追従部1502およびアクチュエータ制御部1503とから
構成されている。

車速計画発生部1501は、行動運動制御スーパーバイザ
114から目標経路速度点列（目標距離Xref、Yref、目標
速度Vref）を入力し、また、自律走行車の車体1504から
実距離Xact、実速度Vactを入力する。そして、与えられ
た各データから目標を満足するような目標車速変化パタ
ーンをファジイ推論により生成する。目標車速追従部15
02は車速計画発生部1501から出力された目標速度Vrefに
追従できるように、目標スロットル開度や目標ブレーキ
圧力を出力する。この開度および圧力の計算は、車体15
04から実速度Vactと実加速度Oactとを検出し、この車体
の状態量を基にしたファジイ推論により行われる。アク
チュエータ制御部1503は、目標車速追従部1502から出力
される目標スロットル開度や目標ブレーキ圧力になるよ
うに、スロットルモータ1505およびブレーキソレノイド
バルブ1506を制御する。この制御により車体1504の走行
制御が行われ、自律走行車は自動走行する。

次に、前述したデータ評価部111における処理につい
て詳述する。

データ評価部111においては、データの評価を効率良
く行うため、入力される各画像処理結果について第16図
に示される形式のデータを用いる。これらのデータは、
前述のようにデータ管理部109において全て射影変換さ
れ、３つの画像処理結果は全て同一時刻に補正されてい
る。また、同図では３つのデータ入力構造のうちの領域
抽出処理による入力データ構造についてのみ示されてお
り、他の２つの処理による構造も同様に表現される。つ
まり、領域抽出処理、局所的線分追跡処理および大局的
線分抽出処理の各処理から入力されるデータ構造は共通
に定義されている。

入力データは、各線分の接続状況を元にしてグループ
分けされている。このグループ分けは最大16グループ
（グループ０〜グループ15）になるように行われてい
る。これら各グループを構成する点列数は最大30までに
止められる。そして、各線分について線の属性が付与さ
れ、さらに、各線分を構成する各点について座標（x,
y）が取られ、各点に属性が付与されている。

また、各点列について対向関係にあるものについてグ
ループ分けされており、各グループにID0,ID1…という
識別番号が付けられている。この対向関係とは、線分ど
うしが互いに向き合ってなるものをいう。但し、この対
向関係の情報がなくても、全ての点列に対してデータ評
価を行うことにより、対向関係が識別される。つまり、
ここでの対向関係は、評価の際の探索領域を削減をする
ために用いられている。

また、対向関係にある各グループについてグループ間
の接続点数が求められている。この接続点数は最大５に
止められている。また、接続関係にあるグループ数も最
大５に止められている。そして、求められた各接続点に
ID0,ID1…という識別番号が付けられている。ここでの
接続関係とは自グループと異なる線分グループとの接続
関係を示している。

データ評価部111の内部でのデータ構造も、局所的線
分追跡処理、大局的線分抽出処理および領域抽出処理に
よる各データについて共通に定義している。次に、この
データ評価内部でのデータ構造を大局的線分抽出処理に
よるデータ構造を例にして、第17図の概略図を参照して
説明する。各データは、グループ、線、点と階層的に細
分化されることにより表現されており、それぞれがポイ
ンタにより相互に結ばれ、参照しやすいようになってい
る。また、このデータ構造において、道幅フラグのよう
にフラグという名前の付いた変数には、データ評価によ
る検証結果が入る。最終的にはこのフラグを見ることに
より最も適した評価データが作成される。

大局的線分抽出処理によるデータについて、まず、接
続関係にあるグループ数，データ入力時間、およびリジ
ェクトフラグが定義される。このリジェクトフラグと
は、大局的線分抽出処理による処理の結果、入力データ
が妥当なものであるか否かを示すフラグである。また、
入力データがグループｇ［０］…ｇ［１］…ｇ［MAX_G
−１］と最大MAX_Gまでグループ分けされる。そして、
各グループについて、識別番号ID,点列数，線分数，線
分属性，対向グループ数，対向グループへのポインタ，
隣接グループ数，道路端フラグおよび領域フラグが定義
される。

さらに、各グループの点は、ｐ［０］…ｐ［ｊ］…ｐ
［MAX_L］と最大MAX_L＋１に分けられる。これら各点に
は、識別番号ID,点属性,x座標,y座標，道幅，道幅フラ
グ，地平線フラグ，クロスフラグ，領域外フラグ，重複
フラグ，所属グループの数および所属グループへのポイ
ンタが定義される。

また、各グループの線は、ｌ［０］…ｌ［ｋ］…ｌ
［MAX_L−１］と最大MAX_Lに分けられる。これら各線に
は、識別番号，開始点，終了点，隣接線分の数および長
さが定義される。さらに、これらの各線は、隣接線分Ne
xtLine［０］…NextLine［ｍ］…NextLine［MAX_N−
１］と最大MAX_Nの隣接線分をもつ。さらに、各隣接線
分には、隣接線分へのポインタおよび隣接線分との角度
が定義される。

次に、データ管理部109から出力されたデータが道路
データとして妥当であるか否かの妥当の検証について説
明する。

データ評価部111では、道路データの局所的評価によ
り、道路データとしての妥当性を検証する。道路データ
の妥当性を検証するには、道路が一体どのようなものか
を記述する道路モデルが必要である。本実施例における
道路モデルは、以下の条件の下に作成される。つまり、
＜道幅条件＞として道路はある道幅をもっていること、
＜滑らかさ条件＞として道路を構成する線分は滑らかに
なっていることを必要とする。さらに、道路データから
異常なデータを除去するための＜異常点条件１＞とし
て、道路データの点数はある値以上必要であること、＜
異常点条件２＞として道路データは測定範囲外に存在し
ないこと、＜異常点条件３＞として道路データは道路領
域外には存在しないことが挙げられる。

この条件だけを見ると従来のクアンとシャーマによる
道路モデルより単純であることに気付く。つまり、道路
条件に道路端の平行性の条件が入っていない。これは、
道幅だけで平行性を推測することが可能だからである。
また、道路境界の連続性の条件も入っていない。これは
環境記述作成部112において連続性はある程度検証され
るからである。さらに、本実施例のシステムは彼等のシ
ステムと異なり３つの画像処理結果を用いているため、
前回のデータ評価結果と今回のデータ評価結果は、全く
異なる画像処理結果を元に生成されることがあり、単純
にデータ評価結果を比較することはできない。

次に、道幅条件により、道路データとしての妥当性を
検証する処理について説明する。

道幅の測定はクアンとシャーマによる方法と異なり、
点のレベルで外積を用いて計算する。彼等も外積を用い
ているが、彼等は線分の端点と対応線分との距離測定に
用い、端点の平均により線分間の距離を求めている。本
実施例では点と対応線分の距離測定に用いる。さらに、
複数の線分についての道幅を測定することで、多車線路
への対応を可能にしている。この外積を用いた道幅の測
定は以下のようにして行われる。

第18図において、 はベクトルを表し、それぞれの始点座標は（x0,y0）で
ある。また、ベクトル の終点座標は点Ｐの座標（X,Y）であり、ベクトル の終点座標は（x1,y1）である。これらベクトル は以下の式に示される。

また、図におけるθはベクトル とベクトル とのなす角であり、 はそれぞれの外積を示す。このとき、点Ｐとベクトル のなす直線Ｌとの距離ベクトルｄは次式に示される。

また、 なので、ｄはθが０〜180゜のとき正で、180〜360゜の
とき負になる。このため、ｄの符号により、点Ｐと直線
Ｌとの位置関係が求められる。

この外積距離を用いて第19図に示されるデータについ
て道幅情報を求めると以下の表のようになる。なお、同
表の数値の単位はcmである。また、第１表の上段は該当
する点の右側に対向する線分との距離であり、下段は、
該当する点が領域の左側の境界線上に位置し、左側には
線分が存在しないため、右側に対向する線分のさらに右
側に対向する線分（すなわち、右側隣々接対向線分）と
の距離が示されている。第２表の上段は該当する点の右
側に対向する線分との距離であり、下段は該当する点の
左側に対向する線分との距離である。第３表の上段は該
当する点の左側に対向する線分との距離であり、下段
は、該当する点が領域の右側の境界線上に位置し、右側
には線分が存在しないため、左側に対向する線分のさら
に左側に対向する線分（すなわち、左側隣々接対向線
分）との距離が示されている。

第１表と第３表において対向する線分にさらに対向す
る線分との距離が示されているのは、第19図に示された
道路データ例では、線分間の対向関係が両端の点列デー
タ中にないからである。線分間の対向関係が正しく出て
いるならば、上記の各表のうち、第１表および第３表の
点p0＊,p2＊（＊は任意の数字を示す）については下段
の距離は計算されない。また、道幅の検証には、異常点
を除いて各点について求まる道幅のうち最少のものを用
いる。道幅を300cm以上400cm以下とすると、上記の各表
のうち最少道幅がこの範囲を外れているものは、点p01,
p02,p12の３点になる。この３点を除いた線分は平行性
を満たすことになる。なぜなら、外積距離のほぼ等しい
ベクトルが残るからである。外積距離により平行性が満
たされることは、次の簡単な命題により証明される。

（命題） ある一線分１が他の一線分ｍに平行で、かつ距離Ｄを
持つための必要十分条件は、 ｄ＝線分１の始点と線分ｍの外積距離 ＝線分１の終点と線分ｍの外積距離、 かつ、 ‖ｄ‖＝Ｄ である。

（証明） 線分１の始点をｐ、終点をｑ、線分ｍの始点をｒ、終
点をｓとする。このとき、ベクトル ベクトル ベクトルX2＝ｐ−ｒとおくと、任意の線分１について、
次の関係が成立する。

線分１の始点と線分ｍの外積距離＝ 線分１の終点と線分ｍの外積距離 ここで、ｋは定数であり、また、ベクトル は０ベクトルでないことから、次式が成立する。

従って、線分１と線分ｍとは平行である。また、外積
距離のノルムは２線分の距離と等しい（証明終わり）。

次に、データの滑らかさの検証をすることにより、道
路データとしての妥当性を検証する処理について述べ
る。この処理においては、道路は滑らかに連続すること
により、隣接するベクトルのなす角が一定値以下である
ことを条件としている。画像処理の結果が安定してきた
場合には、この処理は不要かもしれない。

次に、道路データから異常なデータを除去する処理に
ついて説明する。

画像処理の結果は、時に異常な結果を出力する。例え
ば、平面の対象のみを考え、すべてを射影変換している
場合、立体物を抽出した結果は射影変換すると異常に遠
方の点として出力されることがある。さらに、白黒画像
から道路構成線分を抽出する処理は、誤って道路領域外
の線分を抽出することもある。このような異常データを
除去するため、データ評価部111では以下のことを行っ
ている。

道路データの点数の少ないデータは用いない。

あまりに遠方にある点は利用しない。

白黒処理の結果については、カラー領域処理より求ま
る道路領域外の点を利用しない。

このうち、，については、単に最少点数、最遠方
点座標を判別線とする不等式処理により、異常な点にフ
ラグをたてるのみである。については、次の領域デー
タと線分抽出データの整合性検証処理において説明す
る。

この整合性検証処理の概要は次のようである。つま
り、白黒処理による線分抽出処理は、道路を構成すると
思える線分の抽出を白黒画像に基づいて行っているが、
しばしば、道路領域外の線分を抽出してしまう。このた
め、データ評価部111では、領域抽出処理による道路領
域を用いて道路領域外の線分除去を行う。この機能を実
現するために、データ評価部111で取った手法は、前述
の外積を用いた距離測定による領域内判定である。この
手法は、線分データの各点について領域データの各線分
との外積による距離を計算し、その値により点が領域の
内か外かを判定するというものである。

領域データに領域としての情報を付加するため、領域
データはベクトルを用いて表現される。このベクトルと
は、道路領域内を常に右側に見るベクトルにより領域を
表現するというものである。例えば、道路領域が斜線部
分で示されている第20図を用いてこれを説明する。つま
り、ベクトル表現を用いての各点の領域内外の判定を以
下のように行う。同図において、点p,qについて調べる
ことにする。この２点について、領域データの各線分、
つまり、道路領域の境界線との距離を外積を取ることに
より求める。この外積は境界線ベクトルと、この境界線
ベクトルの始点から各点p,qに向かうベクトルとについ
て計算される。その最小値をみると、点ｐの値は負にな
り、点ｑについては正となる。但し、外積距離の符号
は、紙面上向きが正、下向きが負である。このため、外
積が負になる点ｐは領域外にあるものと判定され、外積
が正になる点ｑは領域内にあるものと判定される。

このように、各点は、領域データのベクトルから、領
域の内外に分類することが出来る。この手法の特徴は、
領域の内外についての判定に柔軟性を持たせられるとい
うことである。つまり、領域の内か外かの２値でなく、
距離というノルムを用いた判定が可能となる。また、点
に対して、領域の内と外とにまたがる対象を扱うような
場合の意味付けに有用である。

次に、出力道路データの作成処理について説明する。

３つの画像処理から得る道路データに対して行われた
検証結果を用いて、１つの道路データを作成するにあた
って、以下の３つの基本的考えに基づき、出力ルールを
第４表のように設定した。

基本的な考えは次のようである。

検証の結果、妥当とされたデータはなるべく加工しな
いで出力する。

妥当な結果が複数ある時は、優先順位により出力デー
タを決定する。

妥当な結果が無い場合、複数のデータより融合データ
を作成し、出力する。

それぞれの考えの理由は、 については、リアルタイム性を求めるためである。つ
まり、妥当なデータならば加工せずとも 走行には十分であり、システムとしては出力道路データ
は少しでも早く必要なことから、そのまま出力するのが
効率的だからである。

については、データの性質の差によるものである。
現在、３つの画像処理の内、領域抽出処理は道路端以外
のデータを出力していない。また、大局的線分抽出処理
は処理が大局的なため、複雑な道についてそのまま使用
は出来ない。

そこで、認識される道路構造が単調なときには、大局
的線分抽出処理を有用とし、大局的線分抽出処理からの
データの検証結果が妥当なときには、これを出力する。
道路構造が単調か否かは、大局的線分抽出処理からのデ
ータより推測する。現在は、 局所的線分追跡処理の結果が妥当 かつ、 大局的線分抽出処理のグループ数＜７ かつ、 隣接線分となす角＜30度 の状況が３回以上連続した場合、単調としている。一
方、認識された道路構造が複雑な時は、優先順位を、 局所的線分追跡処理＞領域抽出処理＞大局的線分抽出
処理とし（＞は左側の処理の方が優先順位が高いことを
示す）、複数のデータが妥当な場合、この順位により出
力データを決定する。

については、データが単独で道路データとして妥当
でない時、異種のデータを融合することにより、互いの
欠点を補う。異種のデータはそれぞれの内、評価により
妥当とされる点をもち、これらの点が融合される。この
融合の詳細は以下に述べる。

また、第４表における表の見方は次のようである。つ
まり、領域抽出処理によるデータについての妥当性チェ
ック結果が正常であり、局所的線分追跡処理によるデー
タについての妥当性チェック結果が正常である場合に
は、局所的線分追跡処理に基づくデータがデータ評価部
111から出力される。他の列の妥当性チェック結果も同
様にして同表から読み取れる。

次に、異種データの融合処理について説明する。全て
のデータの検証結果が異常となった場合、複数のデータ
について、検証において妥当とされた点をもとに融合し
て１つのデータを作成する。異種データの融合処理の主
な処理の流れは以下のようになる。第１に、３つの画像
入力の検証後のデータについて、妥当な点が最も多いも
のを基本データ、次に多いものを副データとする。第２
に、基本データの各線分グループについて、副データの
中で融合可能な点を見付け、融合する。

融合可能か否かは、副データの点が基本データの線に
滑らかに繋がるかどうかで決める。滑らかに繋がるか否
かの判定は、延長される線分と、その手前の線分とのな
す角により決まる。例えば、第21図において、直線Ｌに
対して点Ｐが滑らかに繋がるとは、直線Ｌの端点と点Ｐ
とを結ぶ線分2101が直線Ｌの延長線分となす角θが一定
値以下である、ということである。本実施例による自律
走行車では、cosθ＞0.8としている。この基準により、
第22図のようなデータは、点P1のみが融合される。つま
り、既存の線分の端点と点P2とを結ぶ線分が既存の線分
の延長線となす角度が基準以上だからである。これに対
して点P1による線分が既存の線分の延長線となす角度は
基準値以内におさまっている。この結果、点P1が既存の
線分と融合され、第23図に示される滑らかな繋がり状態
の直線が得られる。

次に、データ評価部111におけるデータ評価アルゴリ
ズムについて説明する。

データ評価処理の主要フローチャートは第24図に示さ
れる。まず、初期化処理を行う（ステップ2401）。この
後、３つの画像処理結果を読み込む（ステップ2402）。
３つの画像処理結果は、データ評価で扱い易いように内
部データ構造に変換される（ステップ2403）。この後、
それぞれ独立に道路データとしての妥当性がチェックさ
れる（ステップ2404）。この際、妥当か否かは前述した
方法で点単位に検証され、妥当でない点があまりに多い
データは異常とされる。そしてこの妥当性チェック結果
から、全てのデータが異常かどうかを判断する（ステッ
プ2405）。全てのデータが異常であった場合には、全て
のデータの中から妥当な点（データ自身が異常とされて
も、そのデータを構成する点の中には妥当な点もあ
る。）を見付け、この妥当点に基づいてデータの融合を
行う（ステップ2406）。そして、１つの道路データとし
てこれを出力する（ステップ2407）。

ステップ2405における判断において、１つでも妥当と
されるデータが存在するならば、次に、大局的線分抽出
処理が正常で、かつ、道路が単調路であるか否かを判断
する（ステップ2408）。この時の基準は出力道路データ
の作成処理でのものと同じである。大局的線分抽出処理
が正常が道路が単調路と認識された時には大局的線分抽
出処理結果を出力する（ステップ2409）。その他のとき
は、優先順位により妥当なデータが出力される（ステッ
プ2410）。この優先順位は局所的線分追跡処理に基づく
データの優先度が一番高く、次に、領域抽出処理に基づ
くデータ、次に、大局的線分抽出処理に基づくデータと
いう順位になっている。

それでは、簡単な例について説明する。入力データが
第25図のような場合を考える。同図（ａ）は局所的線分
追跡処理からの入力データ、同図（ｂ）は大局的線分抽
出処理からの入力データ、同図（ｃ）は領域抽出処理か
らの入力データである。まず、それぞれのデータは道路
としての妥当性が評価される。その結果、同図（ａ）に
示される局所的線分追跡処理からの入力データは、点lp
3,lp6が道幅の基準で異常とされ、データ自身も異常と
される。同図（ｂ）に示される大局的線分抽出処理から
の入力データは、点gp0,gp1が道路領域外にあるため異
常とされ、データ自身も異常となる。同図（ｃ）に示さ
れる領域抽出処理から入力データは、点cp5,cp6が道幅
の基準から異常とされ、領域抽出処理の評価結果は異常
となる。

こうして、全てのデータは異常となったため、第４表
に基づいてデータ融合が行われる、第26図はそれぞれの
データについての妥当性検証後に妥当とされた点であ
る。つまり、第25図（ａ），（ｂ），（ｃ）に示された
局所的線分追跡処理からの入力データ，大局的線分抽出
処理からのデータ，領域抽出処理からの入力データの中
の妥当な点は、第26図（ａ），（ｂ），（ｃ）に対応し
て示されている。このように、データ自身が異常と判断
されたデータには、妥当と思える点がいくつか残ってい
る。そこで、この点を利用している。第26図において、
妥当な点が多いのは局所的線分追跡からの入力データ、
次に多いのは領域抽出処理からの入力データである。こ
のため、基本データには局所的線分追跡処理からの入力
データ、副データには領域抽出処理からの入力データが
選ばれる。そして、この２つの基本データおよび副デー
タは、滑らかさの基準を以て融合され、第27図に示され
る１つの道路データが出力結果となる。

次に、本実施例による実験結果について説明する。

第28図から第33図は実験例を示す。実験は米国サンマ
イクロシステムズ社製ワークステーションSUN4/110およ
び米国モトローラ社製68020CPUボード MUME133XT上で
行われた。使用言語はＣ言語であり、処理時間はSUN4/1
10で20〜100msec,133XT上では40〜300msecかかる。第35
図に示すように、各図の（ａ），（ｂ），（ｃ）は局所
的線分追跡処理（局所的ハフ変換処理）からの入力デー
タ，大局的線分抽出処理（大局的ハフ変換処理）からの
入力データ，領域抽出処理（カラー領域処理）からの入
力データを示し、各図の（ｄ），（ｇ），（ｆ）は局所
的線分追跡処理からの入力データについての評価結果デ
ータ，大局的線分抽出処理からの入力データについての
評価結果データ，領域抽出処理からの入力データについ
ての評価結果データを示す。また、各図の（ｇ），
（ｈ）は基本データ，副データを示し、各図の（ｉ）は
出力データを示す。

第28図は曲線路に対し前記の３つの道路境界抽出処理
が行われ、それらから各々の入力データを受け取った例
である。同図（ａ），（ｂ），（ｃ）に入力された各入
力データはデータ評価部111で評価される。この評価の
結果は同図（ｄ），（ｅ），（ｆ）に示され、これらを
見ると３つとも正しそうである。このため、３つの入力
画像は皆正しいものと判断し、前述の優先順位に従って
局所的線分追跡処理による評価データ、つまり、同図
（ｄ）に示されるデータを出力し、出力結果は同図
（ｉ）に示されるものになる。

第29図から第31図は、各図の（ａ）に示された局所的
線分追跡処理によるデータのみを入力した例である。

第29図は、追跡処理の失敗により余分な線を抽出した
例である。同図（ａ）に示される左斜めに存在する余分
な線は同図（ｄ）に示されるようにデータ評価により除
去される。この入力データは妥当でない点が多かったた
め、道路データとして妥当でないと判断され、データ処
理としてはデータ融合が行われる。しかし、この図に示
される場合には他の入力データが無いため、評価後の妥
当な点のみからなる道路データ、つまり、同図（ｄ）に
示される評価データが同図（ｇ）に示される基本データ
になり、これがそのまま同図（ｉ）に示される出力デー
タになる。

第30図、第31図はいずれもＴ字路を局所的線分追跡処
理した結果を示す。第30図ではＴ字路の遠方の境界線が
抽出できていないが、第31図では抽出できている。つま
り、第30図においては、同図（ａ）に示される入力デー
タのＴ字路に境界線の一端に対応する線分が見付からな
い。このため、Ｔ字路の突き当たりの曲がり角以降の点
が妥当でないものと処理され、同図（ｄ）に示されるデ
ータ評価結果になる。また、妥当でない点が多いため、
データの融合処理が行われる。しかし、入力データは局
所的線分追跡処理のものしかないため、同図（ｄ）に示
される評価データが同図（ｇ）に示される基本データに
なり、これがそのまま同図（ｉ）に示される出力データ
になる。

また、第31図においては、Ｔ字路の全ての点が抽出さ
れているため、全ての点が妥当と評価されて同図（ｄ）
に示される評価データが得られ、これが同図（ｉ）に示
される出力データになる。このように、本処理はボトム
アップ型で、しかも、画像処理結果以外のデータを用い
ていないので、道路構造の予測はできない。しかし、ナ
ビゲーションシステム等を用いてＴ字路の存在が予測出
来れば、第30図の結果も自ずと変わってくる。つまり、
Ｔ字路の境界線の一端が予測され、正しい道路データが
得られる。

第32図は、道幅による道路構造の検証と、異種データ
の融合の働きが良く分かる処理例である。同図（ａ）に
示される局所的線分追跡処理からの入力データは道路遠
方がかなり広がっているため、それらの点が妥当でない
と判断される。このため、データ評価によりこれらの点
は除去され、同図（ｄ）に示される評価データが得られ
る。また、同図（ｂ）に示される大局的線分抽出処理か
らの入力データは道路遠方の道幅が狭いため、それらの
点が妥当でないと判断され、同図（ｅ）に示される評価
データが得られる。また、同図（ｃ）に示される領域抽
出処理からの入力データは、中距離の点について道幅が
狭いため、それらの点が妥当でないと判断され、同図
（ｆ）に示される評価データが得られる。

このように、すべての入力データが何等かの異常デー
タを多く含んでいるため、データ出力は融合データを作
成することにより行われる。このとき、融合の基本デー
タとなるのは同図（ｇ）に示される局所的線分追跡の評
価結果データであり、同図（ｇ）に示されている。ま
た、同図（ｈ）に示される副データは、同図（ｆ）に示
される領域抽出処理からの入力データの内での妥当な点
の集まりである。データの融合により、基本データに対
して道路の右側の点列が融合され、同図（ｉ）に示され
るデータが出力される。この際、道路の左側の点列が融
合されないのは、基本データの左側について、その遠方
端点がやや広がり、副データと滑らかに繋がらないため
である。

第33図は、領域抽出処理からの入力データと小領域追
跡処理による線分抽出データとの整合性の検証が良く表
現されている処理例である。同図（ｃ）に示される領域
抽出処理からの入力データから同図（ｆ）に示され評価
データが得られる。また、同図（ａ），（ｂ）に示され
る２つの小領域追跡処理からの入力データに対し、領域
抽出処理の評価データに表される道路領域外の点は、異
常と判断される。このため、小領域追跡処理による各線
分抽出データは領域抽出処理による道路領域外の点が除
去され、同図（ａ），（ｅ）に示される評価データにな
る。出力としては、領域抽出処理からの入力データが異
常点を含んでいないため、道路データとして妥当と判断
され、同図（ｉ）に示されるデータとなって出力され
る。

以上のように本実施例においては、時間的に同一時刻
に補正された複数の道路データを入力し、各道路データ
を点レベルでの道路モデルにより検証し、検証後の複数
の道路データより、１つの道路データを作成する。

このように、複数の画像処理結果を入力するため、出
力としてその中から最も道路らしいデータが得られる。
従って、従来の単一の画像処理結果を用いる場合に比較
して、各画像処理の持つ弱点を補うことが出来る。ま
た、従来、クアンとシャーマとによる道路認識は、線分
レベルでの道路モデルにより検証し、その道路モデルも
平行関係を考え過ぎたものであったため、分岐路や多車
線路の複雑な道路形状を検証できなかった。しかし、本
実施例のように点レベルでの検証を行うことにより、結
果として平行な道路内線分を得ることが出来、分岐路や
多車線路にも対応することが出来る。

〔発明の効果〕

以上説明したように本発明によれば、線分レベルでな
く点レベルでデータ評価を行うため、複雑な形状の移動
路が識別される。このため、従来は１車線の単調な道路
しか識別することが出来なかったが、分岐路等を有する
より現実的な道路をも認識することが可能になった。ま
た、複数の道路境界抽出処理から出力される点列データ
を元に移動路らしさが判定されるため、得られるデータ
の信頼性は向上する。このため、安定した道路データが
得られる。

この結果、本発明によれば、実走行に近い状態で自律
走行車を自動走行させることが出来る。

【図面の簡単な説明】

第１図は本発明の一実施例によるデータ評価部の処理の
流れを示すブロック図、第２図は本実施例におけるデー
タ管理部の１つの働きの概要を説明するための図、第３
図はこのデータ管理部を使用しなかった場合における不
都合を説明するための図、第４図は本実施例におけるデ
ータ管理部の他の働きを説明するための図、第５図は本
実施例におけるデータ管理部の内部構造を示すブロック
図、第６図、第７図および第８図のそれぞれはデータ管
理部における処理の流れを示すフローチャート、第９図
は第８図のフローチャートの説明において使用される車
体の位置と向きとを示すグラフ、第10図はデータ管理部
における位置補正処理を説明するためのグラフ、第11図
はこの位置補正処理における各画像処理間の時間関係を
説明するための図、第12図はこの位置補正における各時
刻における入力画像を説明するための図、第13図は自律
走行車の走行制御装置の全体構成を示すブロック図、第
14図は軌跡制御部の構成を示すブロック図、第15図は車
速制御部の構成を示すブロック図、第16図はデータ評価
部に入力されるデータの構造を示す図、第17図はデータ
評価部内部におけるデータの構造を示す図、第18図はベ
クトルの外積を用いた道幅の計算を説明するためのグラ
フ、第19図はこのベクトルの外積による道幅計算が適用
される道路データの一例を示す図、第20図は点が領域の
内か外かのいずれにあるかの判定を説明するための図、
第21図は点が線分に滑らかに繋がる条件を説明するため
の図、第22図は異種データの融合処理が施される前のデ
ータ例を示す図、第23図は異種データの融合処理が施さ
れた後のデータ例を示す図、第24図はデータ評価部にお
ける処理の概略を示すフローチャート、第25図は各画像
処理装置からデータ評価部に入力されたデータ例を示す
図、第26図は第25図に示された入力データのうちデータ
評価部で妥当と判断されたデータを示す図、第27図は第
26図に示されたデータが融合されデータ評価部から出力
されるデータを示す図、第28図，第29図，第30図，第31
図，第32図および第33図のそれぞれはデータ評価部での
データ処理の処理過程を示す実験データ例を示す図、第
34図は従来技術の課題の説明において使用される道路デ
ータ例を示す図、第35図は第28図〜第33図の各図を説明
するための図である。 101……カラーカメラ、102……白黒カメラ、103……レ
ーダシステム、104……領域抽出手段、105……局所的線
分追跡手段、106……大局的線分抽出手段、107……ナビ
ゲーションシステム、109……データ管理部、110……デ
ータベース、1301,111……データ評価部、112……環境
記述作成部、113……環境記述データベース、114……行
動運動制御スーパーバイザ、115……軌跡推定部、116…
…軌跡制御部、117……車速制御部。

フロントページの続き (56)参考文献 特開 平２−90380（ＪＰ，Ａ) 特開 平２−48704（ＪＰ，Ａ) 特開 昭61−183716（ＪＰ，Ａ) 特開 昭61−204712（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】２つ以上の撮像装置により撮像された移動
   路データから抽出され、同一時刻データに補正された２
   つ以上の点列データを入力し、該点列データを線および
   点のレベルに構造化して保持し、移動路を構成する線お
   よび点がもつ条件をモデルとして記述し、該モデルを検
   証基準とするルールである、移動路の境界の一端を構成
   する点と該移動路の他端を構成する線分との距離が所定
   の範囲内にあり、移動路の境界線分は滑らかに繋がると
   いうルールを以て前記入力点列データの移動路データと
   しての確かさを判断し、該判断結果に基づいて前記入力
   点列データを１つの妥当な移動路データに変換すること
   を特徴とする移動路データに対する評価方法。
2. 【請求項２】２つ以上の撮像装置により撮像された移動
   路データから抽出され、同一時刻データに補正された２
   つ以上の点列データを入力し、該点列データを線および
   点のレベルに構造化して保持し、移動路を構成する線お
   よび点がもつ条件をモデルとして記述し、該モデルを検
   証基準とするルールである、移動路領域を表す点列デー
   タを領域を表現するベクトルに示し、移動路領域を構成
   すると予想される点列データの点と該ベクトルとの外積
   を取り、この演算結果に基づいて該点が移動路領域内に
   あるか否かを判断するというルールを以て前記入力点列
   データの移動路データとしての確かさを判断し、該判断
   結果に基づいて前記入力点列データを１つの妥当な移動
   路データに変換することを特徴とする移動路データに対
   する評価方法。
3. 【請求項３】モデルの条件は、移動路は所定の幅を持
   ち、移動路を構成する線分は滑らかに繋がり、移動路を
   構成する点数は所定数以上存在し、移動路データは前記
   撮像装置の測定範囲外に存在せず、移動路データは移動
   路領域外に存在しないことを条件とすることを特徴とす
   る請求項１または２記載の移動路データに対する評価方
   法。
4. 【請求項４】複数の入力点列データを１つの妥当な移動
   路データに変換する処理は、移動路候補入力点列データ
   が複数ある場合には、複数の撮像装置の撮像特性に応じ
   た優先順位に基づき、出力道路データを決定することを
   特徴とする請求項１〜３のいずれかに記載の移動路デー
   タに対する評価方法。
5. 【請求項５】複数の入力点列データを１つの妥当な移動
   路データに変換する処理は、移動路候補入力点列データ
   がない場合には、前記複数の入力点列データのうちの妥
   当な点を融合して出力道路データに変換することを特徴
   とする請求項１〜４のいずれかに記載の移動路データに
   対する評価方法。