JPH04274935A - 車両の操作量決定装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、車両の走行中に得られ
た走行路面の道路画像情報から、車両のその時の望まし
い操作量を直接的に決定することにより、短い演算時間
でリアルタイムに車両の操作量を決定する装置に関する
。 【０００２】 【従来技術】従来より、車両にＴＶカメラを搭載して走
行経路を撮像し、これを画像処理して道路と車両の進行
方向のなす角や車両の位置等を演算し、演算された結果
より車両の操作量であるアクセル、ブレーキ及びステア
リング等の操作量と車両の運動特性とに応じた制御アル
ゴリズムに基づき、車両の操作量を決定する装置が知ら
れている（特開昭６２−１４０１１０　号公報、特開昭
６３−２７３９１７　号公報、特開昭６０−１５７６１
１　号公報）　。 【０００３】 【発明が解決しようとする課題】しかし、この従来技術
では、車両の位置・方位を決定するための画像処理に多
大の時間を要し、しかも制御アルゴリズムは複雑なもの
となるため、適切な処理プログラムが得られず、車載装
置としては大規模なシステムが必要になるという問題が
あった。 【０００４】本発明は上記課題を解決するために成され
たものであり、その目的は、道路画像情報から車両の操
作量を直接的に決定することにより、短い演算時間でリ
アルタイムに車両の操作量を決定することである。 【０００５】 【問題を解決するための手段】上記課題を解決するため
の発明の構成は、車両の走行中において車両の走行路面
を撮像し、撮像により得られた道路画像情報を多数の小
領域に分割し、この分割された分割領域毎に、この分割
領域における道路部分の存在情報を示した道路データを
作成する道路データ作成手段と、分割領域毎の各道路デ
ータを、分割領域のそれぞれに対応して入力する複数の
入力素子と、車両の挙動を決定する操作値を出力とする
出力素子とを有するニューラルネットワークとを有する
ことを特徴とする。 【０００６】 【作用】道路データ作成手段において、車両の走行中に
おいて車両の走行路面が撮像され、その撮像により得ら
れた道路画像情報が多数の小領域に分割される。そして
、この多数の小領域に分割された道路画像情報において
、各分割領域毎にその分割領域における道路部分の存在
情報を示す道路データが作成される。 【０００７】次に、この各分割領域毎の道路データは、
その各分割領域に対応したニューラルネットワークの入
力素子に入力される。そして、ニューラルネットワーク
の出力素子から、撮像により得られた道路画像情報に応
じて最適な車両の挙動を決定する操作値が出力される。 【０００８】尚、このニューラルネットワークの結合係
数は、様々な道路画像情報から得られた道路データ、即
ち、様々な道路の曲率、曲がる方向、道路の傾斜等の道
路環境に対応した車両の最適な挙動を決定する操作値を
教師信号として予め教示されている。 【０００９】 【実施例】車両の運転席から見た道路の画像は、直進路
、カーブ、交差点などの道路状況及び道路に対する車の
位置と方向により変化する。即ち、道路画像は道路の状
況と道路に対する車の相対的な位置方位関係を表してい
る。このため、種々の道路画像に対する車のアクセル、
ブレーキ、ステアリングなど走行制御装置の操作量の関
係を求め、道路画像の特徴から直接的に操作量を決定す
ることができる。この時、走行制御装置の操作特性や、
道路画像から操作量を求めるアルゴリズムは用いられな
い。 【００１０】今、道路画像がＲの時の操作量、例えば、
ステアリングの操作量をＳＲとする。又、道路画像Ｒを
横方向（車両の幅方向）にｎ、縦方向（車両の進行方向
）にｍ分割して多数の小領域に分割する。この分割領域
をａｐｑ、分割領域ａｐｑ内を道路が占める割合をｒｐ
ｑ、その分割領域ａｐｑを道路が占めることにより、分
割領域ａｐｑが操作量ＳＲに寄与する割合をｇｐｑとす
る。尚、簡単のために、操作量ＳＲは車の速度に影響さ
れないとし、画像の分割領域間の相互作用はないと仮定
する。この条件の時、操作量ＳＲは次の式で表される。 【００１１】 【数１】 　　ＳＲ＝ｒ１１・ｇ１１＋ｒ１２・ｇ１２＋…＋ｒｐ
ｑ・ｇｐｑ＋…＋ｒｎｍ・ｇｎｍ　　　　…（１） 【００１２】種々の環境の道路画像Ｒとその道路環境に
最適な操作量ＳＲとの組合せに関して、（１）　式を作
り、この式をｎ×ｍ次の連立方程式として解いてｇｐｑ
を求める。即ち、道路画像の各分割領域の操作量に対す
る寄与率ｇｐｑの表（　以下これを寄与率のマップと呼
ぶ）　を作成することができる。 【００１３】この方法によれば、道路画像の分割数ｎ×
ｍ回の積和演算により、道路画像から直接に且つ高速度
で操作量を求めることができる。しかし、実際には、操
作量は車の速度の影響を受けるため、速度毎の寄与率の
マップが必要になる。このため、寄与率のマップを記憶
するための大容量メモリを必要とし、しかも、車速にに
応じた寄与率のマップを選択することと、速度に対応す
る寄与率のマップが存在しない場合に速度に対応した寄
与率を求めるための補間計算に多大な処理時間が必要と
なる。 【００１４】又、（１）　式は、分割領域間の相互作用
を考慮していない。例えば、分割領域ａ１１と分割領域
ａ１２についてみると、この２つの分割領域から求まる
操作量は、（１）　式によれば、ｒ１１×ｇ１１＋ｒ１
２×ｇ１２で決定される。すなわち、（１）　式は、ｒ
１１とｒ１２の値で決まり、ｒ１１とｒ１２との相互作
用を表す項（ｒ１１＋ｒ１２）×ｇ１１．１２　（ｇ１
１．１２　はｒ１１およびｒ１２の寄与率）が存在しな
い。この相互作用を加味するためには、全ての領域間の
相互作用を表す寄与率のマップを各速度毎に準備する必
要がある。このため、寄与率のマップを記憶するのに、
膨大な容量のメモリが必要となると共に、操作量を演算
するのに多くの時間が必要となる。又、相互作用に非線
形要素が含まれる場合には、寄与率を数式で解くことも
困難である。 【００１５】これらの問題を解決するために、本発明者
等は、道路画像又は道路画像と車速等の他の要素を入力
データとし、車両の操作量を出力データとするニューラ
ルネットワークを導入した。このニューラルネットワー
クは、各種の道路画像又は道路画像と車速等の他の要素
から成る入力データに対して、最適な操作量を教師信号
として予め学習されている。このように、道路画像と操
作量との間の関係が非線形な関係を含めて、ニューラル
ネットワークの結合係数として学習される。この結合係
数の学習により、上述のように寄与率を解くことができ
ない場合にも、道路画像からその道路環境に最適な操作
量を直接的に求めることが可能となる。 【００１６】尚、交差点においては、何方の方向に進行
するべきかの運転者の意図が必要となるので、道路環境
から一意的には車両の操作量を求めることができないが
、そのような場合には、別の手段、たとえば、公知のナ
ビゲーション装置を用いたり、交差点で進行方向を直接
指定したりすることになる。 【００１７】図１は本実施例装置の全体の構成を示した
ブロック図である。ＣＣＤカメラ１０は、車両１の走行
方向の前方の走行路を撮像するように、車両１の車室内
の天井部に進行方向前方に面して取り付けられている。 ＣＣＤカメラ１０は画像処理装置１２によりある一定の
周期で駆動され、車両の走行とリアルタイムで、車両の
走行方向前方の走行環境を撮像する。ＣＣＤカメラ１０
の１フレームの各画素は、画像処理装置１２により走査
され、各画素毎の濃淡レベルがディジタル化される。そ
のディジタル化された１フレームの画像データはフレー
ムメモリ１４に記憶される。 【００１８】次に、画像処理装置１２は、所定の撮像周
期で、図２に示す処理を繰り返し実行する。ステップ１
００では、フレームメモリ１４から１フレームの画像デ
ータが読出される。そして、ステップ１０２において、
読み出された画像データから良く知られたグラジェント
演算により微分画像が生成され、その微分画像は微分画
像メモリ１６に記憶される。次に、ステップ１０４にお
いて、微分画像メモリ１６に生成された微分画像からエ
ッジ線分が抽出される。更に、ステップ１０６において
、抽出された多数のエッジ線分間の相互距離、相互角が
演算され、同一の長い線分や、曲率の等しい連続した曲
線を構成する複数のエッジ線分をクラスタリングする。 これにより、連続直線、連続曲線が抽出可能となる。 【００１９】次に、ステップ１０８において、道路の縁
石ラインや道路両端ラインのパターンマッチングにより
、道路の両側の縁石ライン等が特定される。次に、ステ
ップ１１０において、得られた画像において、道路形状
のパターンマッチングにより道路部分が特定される。 この結果得られた道路部分の画像は、図３に示すような
画像となる。図３に示すような道路部分の画像は道路画
像メモリ１８に記憶される。 【００２０】次に、ステップ１１２において、道路画像
メモリ１８上の撮像画面は、図４に示すように小領域に
分割される。即ち、車両の進行方向にはｍ分割、進行方
向に垂直な車両の幅方向にはｎ分割される。運転席から
見た道路画像を作成するための画像処理範囲は、図４に
示す範囲である。即ち、視点の高さはＨ（ｍ）　、可視
距離は運転者の位置から前方にＸＯ（ｍ）からＸＬ（ｍ
）　の範囲、位置ＸＯにおける左右の可視範囲はＷＸ０
（ｍ）　、位置ＸＬでの左右の可視範囲はＷＸＬである
。尚、ＷＸＬ＝ＸＬ／ＸＯ×ＷＸＯである。また、位置
ＸＬにおいて、左右の可視範囲をＷＸＮ（ＷＸＮ≦ＷＸ
Ｌ）としても良い。このようにすることで、遠方での不
要な画像を削除することができる。 【００２１】この画像処理範囲は、左右方向（横方向）
にｎ、車両の進行方向（縦方向）にｍ分割される。左右
方向の分割は等距離に分割される。又、進行方向の分割
は、視点と位置ＸＯを結ぶ線分と、視点と位置ＸＬを結
ぶ線分との成す角（視角）θを等角度で分割することで
行われる。 具体的には、視点の高さ：　Ｈ＝１．０（ｍ）画像処理
範囲：　ＸＯ＝　２．０（ｍ）　、ＸＬ＝８．０（ｍ）
ＷＸＯ＝１０．０（ｍ）　、ＷＸＬ＝４０．０（ｍ）　
、ＷＸＮ＝２０．０（ｍ） 画像分解能：　ｎ＝２０、ｍ＝６ である。 【００２２】図５は、ｎ×ｍの小領域に分割された領域
をａｐｑとし、各分割領域ａｐｑを、全て同一面積、同
一形状の正方形で表した時の画像処理範囲を示す。ステ
ップ１１４において、各分割領域ａｐｑが、図３に示す
道路部分で占有される割合ｒｐｑが演算される。そして
、ステップ１１６において、この占有割合ｒｐｑが道路
データとして、道路データメモリ２０に記憶される。こ
の道路データｒｐｑとしては、各分割領域ａｐｑの中心
位置に道路が存在する時「１」、道路が存在しない時「
０」の２値としても良い。各分割領域ａｐｑは画像処理
範囲をｎ×ｍに分割した各領域を示すが、図５において
「×」で示された分割領域は、前述の如く遠方での不要
な画像として調査の範囲から除外された可視領域外の分
割領域である。従って、可視領域外の分割領域の道路デ
ータｒｐｑは、道路部分の存在に係わらず「０」である
。 【００２３】道路が図６に示すようなトラックに構成さ
れている場合には、車両の存在位置Ａ，Ｂ，Ｃに対応し
て、撮像して得られた道路データｒｐｑは、図７の（Ａ
），（Ｂ），（Ｃ）に示すようになる。尚、図において
、黒塗りの分割領域ａｐｑの道路データｒｐｑは「１」
、即ち、道路部分の存在を意味し、白抜きの分割領域ａ
ｐｑの道路データｒｐｑは「０」、即ち、道路部分の不
存在を意味する。（Ａ）は車両がトラックの直線部分を
走行している時に得られる道路データを示し、（Ｂ）は
車両がトラックのコーナー部分に差し掛かった時に得ら
れる道路データを示し、（Ｃ）は車両がトラックのコー
ナー部分を走行している時に得られる道路データを示し
ている。このようにして、画像処理装置１２によって得
られた図７に示すような道路データｒｐｑは、ステップ
１１６において、道路データメモリ２０に記憶される。 以上のようにして、画像処理装置１２は所定の撮像周期
に同期して、上記した演算を実行して道路データを道路
データメモリ２０に生成する。 【００２４】一方、良く知られた車両のナビゲーション
装置５０が用いられており、そのナビゲーション装置５
０は図８に示すように道路地図のデータを記憶した地図
データメモリ５２と図８に示すように車両の交差点での
進行方向の指令値を記憶した走行経路データメモリ５６
と車両の現在の位置及び方位を演算する位置演算装置５
４とで構成されている。そして、位置演算装置５４によ
って時々刻々演算される車両の現在位置と地図データと
から、車両の現在位置が地図上で特定される。たとえば
、図８に示すように、現在位置は、位置ａ又は位置ｂの
ように地図上で特定される。この位置の特定データは画
像処理装置３０に出力される。 【００２５】画像処理装置３０は、図９に示す処理を実
行する装置である。ステップ２００において、道路デー
タメモリ２０に形成されている現在の道路データが入力
され、ステップ２０２において、その道路データが交差
点を示すか否かが判定される。車両が現在進行している
道路が車両の進行方向が多岐に別れる交差点に差し掛か
ったか否かの道路データによる判定は、予め準備された
多数の交差点パターンと照合するか否かで実行される。 【００２６】道路データが交差点を示すものでない場合
には、ステップ２０４において、位置演算装置５４の出
力が交差点を示すか否かが判定され、判定結果がＮＯの
場合には、ステップ２００に戻り、次の撮像周期に同期
して、道路データを入力して、同様な判定が実行される
。 このように、通常は、撮像周期に同期して生成された道
路データ及び位置演算装置５４の出力結果から車両が交
差点に差し掛かったか否かが常時監視されている。 【００２７】画像処理装置３０により車両が交差点付近
に差し掛かったと判定された場合には、画像処理装置３
０は、ステップ２０６において位置演算装置５４から地
図上の車両の位置を特定する特定データを入力する。そ
して、ステップ２０８において、その特定データに基づ
いて、走行経路データメモリ５６をアクセスして、道路
上の特定位置での進行方向の指令値を入力する。 【００２８】次に、画像処理装置３０は、ステップ２１
０において、この進行方向の指令値に基づいて、道路デ
ータメモリ２０に現在作成されている道路データにおい
て、車両の進行方向の道路データだけ残し、車両が進行
しない方向の道路データを「０」とする。たとえば、図
８の道路地図上で、車両が位置ａ、位置ｂのように交差
点に差し掛かった場合には、道路データメモリ２０に形
成されている道路データは図１０に示すようになってい
る。車両が図８の位置ａに位置する場合には、走行経路
データメモリ５６から与えられるその時の走行経路の指
令値は「右折」である。従って、この場合には、画像処
理装置３０は、図１１の（Ａ）に示すように、車両の左
方向及び直進方向の非進行方向の道路データを「０」と
してマスクする。 【００２９】また、車両が図８の位置ｂの交差点に差し
掛かっている場合には、走行経路データメモリ５６から
与えられるその時の走行経路の指令値は「直進」である
。よって、この場合には、画像処理装置３０は、図１１
の（Ｂ）に示すように、車両の左右方向の非進行方向の
道路データを「０」としてマスクする。尚、走行経路の
指令値は、走行経路データメモリ５６に予め記憶させる
他、車両の走行とリアルタイムで交差点に差し掛かった
時に、運転者によって与えるようにしても良い。 【００３０】道路データメモリ３０に形成された図１１
に示すような進行方向の道路形状を示す各分割領域ａｐ
ｑの各道路データｒｐｑは、ニューラルネットワーク４
０の入力層の各入力素子に入力する。又、車速検出器２
２により測定された車両の現在における車速データは、
ニューラルネットワーク４０の入力層の１つの入力素子
に入力する。 【００３１】ニューラルネットワーク４０は、図１２に
示すように、入力層４０１と出力層４０２とで構成され
ている。入力層４０１は、道路データのデータ点数（１
２０）と車速データのデータ点数（１）を入力する１２
１個の入力素子で構成されており、出力層４０２は、ア
クセル、ブレーキ、操舵量の３種の車両の操作量Ａｃ，
Ｂｒ，Ｓｔを出力する３個の出力素子で構成されている
。 【００３２】ニューラルネットワークは、図１２に示す
ように２層とする他、図１３に示すように、中間層４０
３を設けても良い。さらに、この中間層は、任意の複数
の層で構成されていても良い。ニューラルネットワーク
は、一般的に、次の演算を行う装置として定義される。 第ｉ　層の第ｊ　番目の素子の出力Ｏｉｊ　は、次式で
演算される。但し、ｉ　≧２　である。 【００３３】 【数２】 　　Ｏｉｊ　＝ｆ（Ｉｉｊ）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　…（２） 【数３】 　　Ｉｉｊ＝ΣＷｉ−１ｋ，ｉｊ・Ｏｉ−１ｋ　＋Ｖｉ
ｊ　　　　　　　　　　　　　　　　　　　　　　　　
　…（３）　　　　　　　ｋ　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　【数４
】 　　ｆ（ｘ）＝１／｛１＋ｅｘｐ（−ｘ）｝　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　…（４） 【００３４】但し、Ｖｉｊ　は第ｉ　層の第ｊ　番目の
演算素子のバイアス、Ｗｉ−１ｋ，ｉｊは、第ｉ−１　
層の第ｋ　番目の素子と第ｉ　層の第ｊ　番目の素子間
の結合係数、Ｏ１ｊ　は第１　層の第　ｊ番目の素子の
出力値を表す。即ち、第１　層であるから演算を行うこ
となく、そのまま入力を出力するので、入力層（第１層
）の第ｊ　番目の素子の入力値でもある。 従って、 【００３５】 【数５】 　　Ｏ１ｊ＝ｒｐｑ　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　…（５）　　　即ち、Ｏ１ｊは、各分割領域ａｐ
ｑの道路データｒｐｑに等しい。 【００３６】次に、図１３に示す３層構造のニューラル
ネットワーク４１の演算手順について図１４を参照して
説明する。なお、ニューラルネットワーク４１の中間層
の素子数はｓ個である。ステップ３００において、中間
層（第２層）の第ｊ　番目の素子は、入力層（第１層）
の各素子からの出力値Ｏ１ｊ　＝（ｒｐｑ）　を入力し
て、（３）　式を具体化した次式の積和関数演算を行な
う。 【数６】 　　　　　　１２１ 　　Ｉ２ｊ＝ΣＷ１ｋ，２ｊ・Ｏ１ｋ＋Ｖ２ｊ　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　…（６）　　　　　　ｋ＝１　　　　　 【００３７】次に、ステップ３０２において、次式によ
り、（６）　式で表される入力値の積和関数値のシグモ
イド関数により、中間層（第２層）の各素子の出力が演
算される。第２層の第ｊ　番目の素子の出力値は次式で
演算される。 【００３８】 【数７】 Ｏ２ｊ＝ｆ（Ｉ２ｊ　）＝１／｛１＋ｅｘｐ（−Ｉ２ｊ
）　｝　　　　　　　　　　　　　　…（７）この出力
値　Ｏ２ｊ　は出力層（第３層）の各素子の入力値とな
る。次に、ステップ３０４において、出力層（第３層）
の各素子の入力値の積和演算が実行される。 【００３９】 【数８】 　　　　　　　ｓ 　　Ｉ３ｊ＝ΣＷ２ｋ，３ｊ・Ｏ２ｋ　＋Ｖ３ｊ　　　
　　　　　　　　　　　　　　　　　　…（８）　　　
　　　　ｋ＝１　　　　　　　　　　　　　　　次に、
ステップ３０６において、（７）　式と同様に、シグモ
イド関数により、出力層の各素子の出力値が演算される
。この出力値　Ｏ３ｊ　は、それぞれ、アクセル、ブレ
ーキ、ステアリングの操作量を示す。即ち、操作量　Ｏ
３ｊ　は次式で求められる。 【００４０】 【数９】 Ｏ３ｊ＝ｆ（Ｉ３ｊ）＝１／｛１＋ｅｘｐ（−Ｉ３ｊ）
｝　　　　　　　　　　　　　　　…（９）【００４１
】尚、このニューラルネットワークは、図１５に示す手
順で学習される。結合係数は良く知られたバックプロパ
ーゲーション法により実行される。この学習は、各種の
道路データを入力とし、その道路データに最適な操作量
を教師信号として予め実行される他、車両の現実の運転
時に運転者により操作される適正な操作量を教師信号と
して実行することもできる。この場合、長く使用される
に伴って、更に適正な操作量が求められることになる。 【００４２】図１５のステップ４００において、次式に
より出力層の各素子の学習信号δ３ｊが演算される。 【数１０】 　　δ３ｊ＝（Ｔｊ−Ｏ３ｊ）・ｆ’（Ｉ３ｊ）　　　
　　　　　　　　　　　　　　　　　　　　　…（１０
）　　但し、Ｔｊ　は出力である操作量　Ｏ３ｊ　に対
する教師信号であり、外部から付与される。又、ｆ’（
ｘ）　はシグモイド関数の導関数である。 【００４３】次に、ステップ４０２において、中間層の
学習信号δ２ｊ　が次式で演算される。 【数１１】 　　　　　　　　　　　　　　　　　３　　δ２ｊ＝　
ｆ’（Ｉ２ｊ）・Σδ３ｋ・Ｗ２ｊ，３ｋ　　　　　　
　　　　　　　　　　　　　…（１１）　　　　　　　
　　　　　　　　　ｋ＝１　　　　　　　　　　　【０
０４４】次に、ステップ４０４において、出力層の各結
合係数が補正される。補正量は次式で求められる。 【数１２】 　　Δω２ｉ，３ｊ（ｔ）＝Ｐ・δ３ｊ・Ｏ２ｉ　＋Ｑ
・Δω２ｉ，３ｊ（ｔ−１）　　　　　　　…（１２）
但し、Δω２ｉ，３ｊ（ｔ）　　は、出力層の第ｊ　番
目の素子と中間層の第ｉ　番目の素子との間の結合係数
の第ｔ　回目演算の補正量である。又、Δω２ｉ，３ｊ
（ｔ−１）　は、その結合係数の前回の補正量である。 Ｐ，Ｑ　は比例定数である。よって、結合係数は、 【００４５】 【数１３】 Ｗ２ｉ，３ｊ＋Δω２ｉ，３ｊ（ｔ）　→Ｗ２ｉ，３ｊ
　　　　　　　　　　　　　　…（１３）により、補正
された結合係数が求められる。次に、ステップ４０６へ
移行して、中間層の各素の結合係数が補正される。その
結合係数の補正量は出力層の場合と同様に、次式で求め
られる。 【００４６】 【数１４】 　　Δω１ｉ，２ｊ（ｔ）＝Ｐ・δ２ｊ・Ｏ１ｉ　＋Ｑ
・Δω１ｉ，２ｊ（ｔ−１）　　　　　…（１４） よって、結合係数は、 【数１５】 　　　Ｗ１ｉ，２ｊ　＋　Δω１ｉ，２ｊ（ｔ）　→Ｗ
１ｉ，２ｊ　　　　　　　　　　　　　　　　　…（１
５）により、補正された結合係数が求められる。 【００４７】次に、ステップ４０８において、結合係数
の補正量が所定の値以下になったか否かを判定して、結
合係数が収束したか否かが判定される。結合係数が収束
していなければ、ステップ４００に戻り、新たに補正さ
れた結合係数を用いて、同様な演算が繰り返され、結合
係数が再度補正される。このような演算の繰り返しによ
り、学習が完了する。 【００４８】上記のニューラルネットワークの学習は、
熟練した運転者の運転により図６のようなトラックや一
般の道路を多数回走行して、得られる道路データを入力
とし、運転者による操作量を教師信号とすることで、実
行することができる。 【００５０】図１２に示すニューラルネットワーク４０
の出力は、アクセル、ブレーキ、ステアリングの各操作
量Ａｃ，Ｂｒ，Ｓｔであるが、３種の操作量を全て用い
ても良く、又、任意の２種又は１種の操作量であっても
良い。図１２のニューラルネッワーク４０の結合係数は
、分割領域ａｐｑにおける寄与率ｇｐｑである。又、こ
の結合係数には、車速による影響も当然に含まれる。又
、図１３に示すように多層構造のニューラルネットワー
ク４１を用いた場合には、分割領域間の相互作用、分割
領域と車速との相互作用が考慮された操作量を得ること
ができる。 【００５１】このようにして、学習されたニューラルネ
ットワークを用いて、現実の走行時にニューラルネット
ワークから得られた操作量は、走行制御装置２４に入力
する。走行制御装置２４は車両１のアクセル、ブレーキ
、ステアリングを駆動して、車両の挙動を道路環境に応
じて最適化する。一方、警報装置として用いるときはニ
ューラルネットワーク４０の出力は比較装置２６に入力
する。又、比較装置２６において、運転者により操作さ
れた車両１の操作量が入力され、その操作量とニューラ
ルネットワーク４０の出力する操作量とが比較される。 そして、差が所定値以上となった場合には、警報装置２
８が駆動されて、運転者の操作がニューラルネットワー
ク４０による操作量と大きく外れていることを警報する
ことにより、居眠りなどによる操作ミスを防ぐことがで
きる。 【００５２】上記の図１３に示すニューラルネットワー
ク４１に代えて、図１６に示すようにニューラルネット
ワークを用いることが可能である。図１６に示すニュー
ラルネットワークは、運転者によるステアリングの操作
量を入力値に加えている。そして、ステアリングの現実
の操作量と道路データと車速のそれぞれの相互作用が加
味されて、アクセルとブレーキの操作量が決定される。 このように、ニューラルネットワークの入力値にステア
リングの現実の操作量を用いているので、運転者がステ
アリング操作量を自ら決定する場合は、運転者の意志に
更に忠実に適切なアクセルおよびブレーキの操作量を決
定することができる。 【００５３】又、ニューラルネットワークは図１７に示
すような構成とすることもできる。この場合には、ニュ
ーラルネットワークの入力は、道路データ、車速、前回
制御時（微小時間前）のアクセル、ブレーキ、ステアリ
ングの操作量であり、出力はアクセル、ブレーキ、ステ
アリングの操作量の変化ΔＡｃ，ΔＢｒ，ΔＳｔである
。このニューラルネットワークは、前回制御時の操作量
、道路データ、車速を入力データとして、操作量の変化
を教師信号として学習される。尚、入力データの操作量
と出力の操作量の変化は、アクセル、ブレーキ、ステア
リング操作量の中の任意の１種、任意の２種であっても
良い。 【００５４】又、ニューラルネットワークは、図１８に
示すように構成しても良い。このニューラルネットワー
クを用いれば、過去の履歴データを入力して、出力され
る操作量をより最適化することができる。即ち、ニュー
ラルネットワークの入力データは、前回制御時の道路デ
ータと車速及び今回制御時の道路データと車速である。 ニューラルネットワークの出力はアクセル、ブレーキ、
ステアリングの操作量である。前回制御時の道路データ
と車速が今回制御時のそれらのデータとの相互作用を含
めて考慮されることから、道路データと車速の連続性が
考慮されることになり、より最適な操作量が求められる
。このニューラルネットワークの学習は、過去の道路デ
ータと車速を入力データとして、この時の操作量を教師
信号とすることで実行することが可能である。又、この
ニューラルネットワークにおいて、出力を前回制御時に
おける操作量からの操作量の変化とすることもできる。 その場合には、教師信号は操作量の変化が用いられる。 【００５５】 【発明の効果】以上述べたように、本発明は、車両の走
行時において、走行路面をリアルタイムで撮像し、その
撮像画像から各分割領域毎に道路部分を特定した道路デ
ータを生成し、その道路データをニューラルネットワー
クの入力値として車両の挙動を決定する操作量を出力値
とするようにしたものである。従って、道路環境から直
接に車両の挙動を決定する操作量を求めることができる
ので、操作量の決定時間を極めて短くすることができる
。又、操作量の決定は、ニューラルネットワークの結合
係数によって行われることから、アルゴリズムにより操
作量を決定する場合に比べて、演算速度が向上し、記憶
装置の容量が少なくて済む。更に、ニューラルネットワ
ークの結合係数は、現実の車両の走行と並行して学習さ
せることができるので、道路環境により最適化された操
作量を得ることができる。

【図面の簡単な説明】

【図１】本発明の具体的な一実施例に係る操作量決定装
置の構成を示したブロック図。

【図２】操作量決定装置の画像処理装置１２の処理手順
を示したフローチャート。

【図３】撮像画面から道路部分を特定した画像を示した
説明図。

【図４】撮像画面の分割を示した説明図。

【図５】多数の分割領域で構成された画面を示した説明
図。

【図６】車両の走行する道路を示した説明図。

【図７】道路画像から生成された道路データを示した説
明図。

【図８】道路網の構成と進行方向の指令を示した説明図
。

【図９】画像処理装置３０の処理手順を示したフローチ
ャート。

【図１０】交差点付近で得られる道路データを示した説
明図。

【図１１】進行方向の指令値に応じてマスク処理された
道路データを示した説明図。

【図１２】ニューラルネットワークの構成を示した構成
図。

【図１３】ニューラルネットワークの構成を示した構成
図。

【図１４】ニューラルネットワークでの演算手順を示し
たフローチャート。

【図１５】ニューラルネットワークの学習手順を示した
フローチャート。

【図１６】他の実施例に係る操作量決定装置のニューラ
ルネットワークの構成を示した構成図。

【図１７】他の実施例に係る操作量決定装置のニューラ
ルネットワークの構成を示した構成図。

【図１８】他の実施例に係る操作量決定装置のニューラ
ルネットワークの構成を示した構成図。

【符号の説明】

１０…ＣＣＤカメラ　　　　１２…画像処理装置　　２
０…道路データメモリ ３０…画像処理装置　　４０，４１…ニューラルネット
ワーク

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　車両の走行中において車両の走行路面
   を撮像し、撮像により得られた道路画像情報を多数の小
   領域に分割し、この分割された分割領域毎に、この分割
   領域における道路部分の存在情報を示した道路データを
   作成する道路データ作成手段と、前記分割領域毎の各道
   路データを、前記分割領域のそれぞれに対応して入力す
   る複数の入力素子と、前記車両の挙動を決定する操作値
   を出力とする出力素子とを有するニューラルネットワー
   クとを有することを特徴とする車両の操作量決定装置。