JPH10254505A

JPH10254505A - 自動制御装置

Info

Publication number: JPH10254505A
Application number: JP9061321A
Authority: JP
Inventors: Yasuharu Koike; 康晴小池
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1997-03-14
Filing date: 1997-03-14
Publication date: 1998-09-25

Abstract

(57)【要約】【課題】任意の軌道に精度よく沿って移動体を自動運
転や自律走行させることができる。【解決手段】自動制御装置の内部に構築可能なフィー
ドバック系として、目標出力部３０、誤差演算部３２、
コントローラ部３４、予測部３６から構成され、目標出
力部３０から出力される車両が走行すべき道路の形状を
表す形状情報がコントローラ部３４に入力され、操作量
が求められて予測部３６へ出力される。予測部３６は車
両の所定時間後の状態を予測して出力しその出力がコン
トローラ３４へフィードバックされる。また、コントロ
ーラ３４へのフィードバックを評価するため、予測部３
６の出力は誤差演算部３２にも出力される。誤差演算部
３２では、目標出力部３０から出力される形状情報と予
測部３６の出力情報との誤差を求めることによりコント
ローラ部３４の振る舞いを監視すると共に、誤差が小さ
い程大きくなる報酬を求める。この報酬が大きくなるよ
うにコントローラ部３４が学習される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動制御装置にか
かり、特に、車両等の移動体について自動運転や自律走
行を可能にする自動制御装置に関する。

【０００２】

【従来の技術】近年の省力化に伴って、無人でかつ自動
的に走行させる無人搬送車等の移動体が実用化されてい
る。一例としては、移動体の位置を検出して移動させる
べき軌道からのズレを求めて所定の利得でフィードバッ
クしながらズレを補正し移動体を移動させるものがあ
る。

【０００３】しかしながら、移動体の移動における直線
移動部と旋回移動部とでは、同一の利得でフィードバッ
ク制御すると、移動体にハッチング動作が生じたり、ズ
レ量が増加したりすることがあった。

【０００４】このため、複数の利得を予め定め、移動体
の位置に応じて１つの利得を選択し、選択した利得で所
定の軌道からのズレを補正するようにした技術が開示さ
れている（特開平３−５４６０１号公報参照）。

【０００５】

【発明が解決しようとする課題】しかしながら、複数の
利得を予め定めているので、任意の軌道について全てを
網羅するものではなく、予め定めた利得でフィードバッ
ク制御しきれない軌道についてはフィードバック制御の
精度が低下するので、移動体が軌道から大幅にずれたり
ハッチング動作が生じたりする場合がある。

【０００６】本発明は、上記事実を考慮して、任意の軌
道に精度よく沿って移動体を自動運転や自律走行させる
ことができる自動制御装置を得ることが目的である。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明の自動制御装置は、移動体の目
標状態を入力するための入力手段と、前記移動体の状態
を変更させるための操作量による前記移動体の所定時間
後の予測状態を予測する予測手段と、目標状態及び予測
状態と、前記移動体の操作量との対応関係を定めるため
の係数が変更可能でかつ、該係数による対応関係を用い
て前記目標状態及び予測状態から前記移動体の状態を変
更させるための操作量を決定する決定手段と、前記移動
体の目標状態と前記予測状態との誤差を演算すると共
に、該誤差に基づいて前記係数を調整する誤差調整手段
と、を備えている。

【０００８】請求項２に記載の発明は、請求項１に記載
の自動制御装置において、前記移動体の状態は、前記移
動体の位置、または前記移動体の位置と前記移動体の姿
勢及び移動方向の何れか一方とで表される前記移動体の
挙動を表すことを特徴とする。

【０００９】請求項３に記載の発明は、請求項１または
２に記載の自動制御装置において、前記誤差調整手段
は、前記移動体の予測状態に対して前記目標状態に前記
移動体の状態が変更されるに従って大きくなる報酬を演
算する報酬演算手段と、前記報酬が大きくなるように前
記係数を調整する調整手段と、から構成されることを特
徴とする。

【００１０】請求項４に記載の発明は、請求項３に記載
の自動制御装置前記報酬演算手段は、前記移動体の予測
状態に対して予め定めた所定条件により報酬を演算する
報酬手段と、前記移動体の予測状態を評価する評価手段
と、から構成され、前記調整手段は前記報酬及び評価の
差が所定値になるように前記係数を調整することを特徴
とする。

【００１１】請求項５に記載の発明は、請求項１乃至請
求項４の何れか１項に記載の自動制御装置において、前
記決定された操作量だけ前記移動体の状態を変更させる
ための駆動手段をさらに備えたことを特徴とする。

【００１２】請求項１の発明では、入力手段によって、
移動体の目標状態が入力される。この移動体の状態に
は、請求項２にも記載したように、移動体の位置、また
は移動体の位置と移動体の姿勢及び移動方向の何れか一
方とで表される移動体の挙動がある。従って、移動体の
目標状態としては、移動体の目標位置、または移動体の
目標位置と移動体の目標姿勢及び移動する目標方向の何
れか一方とで表される移動体の目標挙動があり、例え
ば、車両では道路形状として表される移動体の目標挙動
がある。予測手段は、移動体の状態を変更させるための
操作量による移動体の所定時間後の予測状態を予測する
ものである。この操作量には、例えば、車両では、操舵
角、アクセル踏み込み度、ブレーキ踏み込み度等の車両
操作量がある。また、電気により移動する移動体では、
負荷電圧や負荷電流等を変更する変更度を用いることが
できる。

【００１３】決定手段は、目標状態及び予測状態と、移
動体の操作量との対応関係を定めるための係数が変更可
能でかつ、該係数による対応関係を用いて目標状態及び
予測状態から移動体の状態を変更させるための操作量を
決定する。この決定手段には、入力と出力とを重みによ
る係数で関係づけることが可能なニューラルネットワー
ク等の神経回路モデルで構成することができる。

【００１４】誤差調整手段は、移動体の目標状態と予測
状態との誤差を演算すると共に、この誤差に基づいて決
定手段の変更可能な係数を調整する。予測状態が目標状
態に略一致するときは操作量を変更する必要がないの
で、係数はそのまま維持させればよい。一方、予測状態
が目標状態より異なるときには決定手段から出力される
操作量が将来目標状態に至るように決定手段の係数を調
整する。この調整を繰り返し行うことによって、移動体
の任意の目標状態、例えば任意の目標軌道であっても、
その目標状態に沿った操作量を出力することができ、目
標状態に合致した自動制御が可能となる。すなわち、多
様な経路であっても、移動体を自動的かつ精度よく移動
させることができる。

【００１５】前記誤差調整手段は、請求項３にも記載し
たように、移動体の予測状態に対して目標状態に移動体
の状態が変更されるに従って大きくなる報酬を演算する
報酬演算手段と、報酬が大きくなるように係数を調整す
る調整手段と、から構成することができる。この報酬
は、目標状態に移動体の状態が変更されるに従って大き
くなる。すなわち、移動体の予測状態が目標状態に近く
なるほど大きくなる。これにより、報酬が大きくなるよ
うに係数を調整することで、目標状態に合致した自動制
御が可能となる。

【００１６】この報酬演算手段は、請求項４にも記載し
たように、移動体の予測状態に対して予め定めた所定条
件により報酬を演算する報酬手段と、移動体の予測状態
を評価する評価手段と、から構成することができる。そ
して、調整手段は報酬及び評価の差が所定値になるよう
に係数を調整する。報酬手段では、予め定めた所定条件
により報酬を演算するので、例えば、操舵がうまくいっ
たとき報酬有りでうまくいかなかったとき報酬なし、と
いうように、質的に異なる情報から求めることができ、
これにより質的に異なる情報から操作量を定めることが
できる。また、評価手段は、移動体の予測状態を評価す
るもので、前記決定手段と同様に、入力と出力とを重み
による係数で関係づけることが可能なニューラルネット
ワーク等の神経回路モデルで構成することができる。従
って、評価手段で、移動体の予測状態が目標状態に近く
なるに従って評価が大きくなるように定めることで、調
整手段により報酬及び評価の差が所定値になるように決
定手段の係数を調整すれば、決定手段が目標状態に沿う
ように操作量を決定して、報酬手段と評価手段との報酬
及び評価が一致される。

【００１７】なお、調整手段において、所定時間後の将
来にわたるまでの報酬の総和を求め、その総和が大きく
なるように決定手段の係数を調整することもできる。こ
のように所定時間後の将来にわたるまでの報酬を求める
ことで、現在の操作量に対する将来の報酬を考慮するこ
とができ、即時的な調整に比べて時間幅を有する冗長的
な調整が可能となる。

【００１８】前記自動制御装置には、請求項５に記載し
たように、前記決定された操作量だけ前記移動体の状態
を変更させるための駆動手段をさらに備えることによっ
て、容易に移動体の状態を変更させることができる。

【００１９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。本実施の形態は、車
両が道路に沿って走行し続けるための車両のステアリン
グの操舵角δである操作量を制御入力としてその制御入
力を学習により獲得する自動制御装置に本発明を適用し
たものである。

【００２０】なお、本実施の形態の自動制御装置は、道
路に沿って走るための直接の制御入力を与えなくても、
現在の状況がどのくらい良いかを示す報酬を最大にする
ように自動的に学習することで、実際の操舵角等の制御
入力の量を決定することができるものであり、（１）
「質的に異なる情報を用いて制御入力（操作量）を学習
する」と、（２）「判断を行なう部分も学習によって獲
得する」とを主要な特徴とする。

【００２１】図１に示すように、本実施の形態の自動制
御装置１０は、制御装置本体１２、制御入力装置２４、
駆動手段としての制御出力装置２６、及び形状出力装置
２８から構成されている。制御入力装置２４には、車両
１１に備えられたステアリングの回転による操舵角や角
速度の操舵状態信号が入力されると共に、ブレーキペダ
ルやアクセルペダルの踏み込みまたは踏み戻し量や速度
の車両状態量信号が入力される。なお、本実施の形態で
は操作角を操作量（制御入力）として用いている。これ
らの操舵状態信号及び車両状態量信号から車両１１のス
リップ角やヨーレイトを求めることができる。また、制
御入力装置２４には、車両１１の重量が予め記憶されて
いる。制御出力装置２６は、操舵角や角速度の操舵状態
を変更すると共に、ブレーキペダルやアクセルペダルの
踏み込みまたは踏み戻し量や速度の車両状態を変更する
駆動装置である。形状出力装置２８は、車両１１が走行
すべき道路の形状を表す形状情報を出力するためのもの
である。なお、形状出力装置２８は、形状情報を記憶し
その形状情報を出力するものであってもよい。

【００２２】制御装置本体１２は、ＣＰＵ１４、ＲＡＭ
１６、ＲＯＭ１８、入出力装置（Ｉ／Ｏ装置）２０を備
えたマイクロコンピュータで構成されており、これらは
バス２２によってコマンドやデータを授受できるように
接続されている。なお、ＲＯＭ１８には、後述する処理
ルーチンが予め記憶されている。Ｉ／Ｏ装置２０には制
御入力装置２４、制御出力装置２６、及び形状出力装置
２８が接続されている。

【００２３】本発明者は、種々検討を加えた結果、異分
野に利用されているTemporal Difference 学習（ＴＤ学
習）を運動学及び動力学的にモデル化された移動体の自
動制御と言う特殊分野に応用することに着目し、検討を
試み、具体的に自動制御装置として確立したものであ
る。具体的には、連続時間版のＴＤ学習を用いて、道路
情報と自車情報から自動車の制御入力である操舵角を計
算するモデルを学習し、そのモデルを用いて、未学習の
道路形状に沿って移動体を走行させるものである。

【００２４】すなわち、移動体である車両を最初に運転
するとき、操作者は、道路を右折や左折したり、レーン
チェンジしたりするときのステアリングの回転量を教わ
ることなく、走行結果で道路から逸れたか否かによりそ
の操作が適正か否かを判断し、繰り返し訓練することに
よって適正に操作できるようになる。そこで、本発明者
は、車両の運転に関する訓練は、直接の制御入力の操舵
角の入力に関連しない、道路から逸れたか否かの判断に
よっての学習であることに着目した。

【００２５】また、本発明者は、「高等動物の神経回路
網を工学的にモデル化された非線形予測技術、例えばニ
ューラル・ネットワーク」を、運動学及び動力学的にモ
デル化された移動体をフィードバック制御するもの等に
応用することに着目し、検討を試み、具体的に適用し
た。

【００２６】次に、本実施の形態の自動制御装置１０の
学習概念を説明する。図２には、自動制御装置１０の内
部に構築可能なフィードバック系をブロック図として示
した。このフィードバック系は、入力手段としての目標
出力部（Context ）３０、誤差調整手段としての誤差演
算部（Critic）３２、決定手段としてのコントローラ部
（Actor ）３４、予測手段としての予測部（Environmen
t ）３６から構成される。上記形状出力装置２８に相当
する目標出力部３０から出力される車両１１が走行すべ
き道路の形状を表す形状情報は、コントローラ部３４に
入力され、このコントローラ部３４で操作量が求められ
て予測部３６へ出力される。予測部３６は車両１１の所
定時間後の状態を予測して出力する。この出力がコント
ローラ３４へフィードバックされる。また、コントロー
ラ３４へのフィードバックを評価するため、予測部３６
の出力は誤差演算部３２にも出力される。誤差演算部３
２では、目標出力部３０から出力される形状情報と予測
部３６の出力情報との誤差を求めることによりコントロ
ーラ部３４の振る舞いを監視すると共に、報酬（reinfo
rrcement）を求める。この報酬が大きくなるようにコン
トローラ部３４が学習される。

【００２７】離散的な時間ではコントローラ部３４は、
各々の時間毎に、係数α_iで重み付けされた報酬が最大
になるように学習される。時刻ｔの操作量により得られ
た報酬をｒ_tとすると、全報酬は次の（１）式で表せ
る。

【００２８】 α₁ｒ_t+1＋α₂ｒ_t+2＋α₃ｒ_t+3＋・・・ −−−（１）ここで、α₁＞α₂＞α₃＞・・・、とすると共に、変
数γ（discount factor ）を０≦γ＜１として、α_i＝
γ^i-1とすると、全報酬は次の（２）式で表せる。

【００２９】

【数１】

【００３０】上記変数γは、現在の操作量に対する将来
の報酬の影響度を表すものである。つまり、γが０のと
きは現在の報酬のみとなり、γが１に近づく程過去の報
酬が長期に渡り操作量に影響を与えることになる。

【００３１】上記（２）式の報酬をＶ_tと定義して、そ
の報酬Ｖ_tを求める誤差演算部３２を作成すると、コン
トローラ部３４の学習が十分になされていれば、誤差演
算部３２の出力Ｐ_tは報酬Ｖ_tと等価となり、次のよう
にして（３）式を導くことができる。

【００３２】Ｐ_t-1＝ｒ_t＋γ・ｒ_t+1＋γ²・ｒ_t+2＋・・・Ｐ_t ＝ｒ_t+1＋γ・ｒ_t+2＋γ²・ｒ_t+3＋・・・Ｐ_t-1＝ｒ_t＋γ・（ｒ_t+1＋γ・ｒ_t+2＋γ²・ｒ_t+3＋・・・）Ｐ_t-1＝ｒ_t＋γ・Ｐ_t −−−（３）

【００３３】従って、学習は、次の（４）式に示すよう
に誤差ＴＤＲ（TD error）が最小になるように行う。

【００３４】ＴＤＲ＝ｒ_t＋γ・Ｐ_t−Ｐ_t-1 −−−（４）

【００３５】車両の自動制御では、時空間の表現につい
て、連続系がよいため、本実施の形態では、連続時間で
学習する場合に適用した。自動制御装置の状態方程式
は、次の（５）式で表せる。

【００３６】ｄｘ（ｔ）／ｄｔ＝ｆ（ｘ（ｔ），ｕ（ｔ）） −−−（５）但し、ｘ∈Ｘ⊂Ａ（Ａ：実空間で取りうる値）は状態で
あり、ｕ∈Ｕ⊂Ｂ（Ｂ：実空間で取りうる値）は制御入
力、すなわち操作量である。

【００３７】報酬は、状態と、制御入力の関数として次
の（６）式で表せる。ｒ（ｔ）＝ｒ（ｘ（ｔ），ｕ（ｔ）） −−−（６）ここで、次の（７）式で表される任意の制御則μによ
り、状態ｘ（ｔ）の値関数Ｖ（value function）は、
（８）式で表すことができる。

【００３８】ｕ（ｔ）＝μ（ｘ（ｔ）） −−−（７）

【００３９】

【数２】

【００４０】ここで、状態ｘ（ｓ）と制御入力ｕ（ｓ）
（ｔ＜ｓ＜∞）は、（５）式による装置の状態方程式
と、（７）式による制御則に従うものとする。従って、
任意の状態ｘ∈Ｘに対して、値関数Ｖを最大にする制御
則μを見つければ、車両が道路に沿って走行し続けるた
めの操舵角等の制御入力を学習により獲得したことにな
る。なお、τは変数γ（discount factor ）に関係する
時定数（γ＝１−△ｔ／τ）である。

【００４１】上記（８）式の時間ｔによる微分は次の
（９）式で表せる。

【００４２】

【数３】

【００４３】Ｐ（ｔ）を値関数Ｖの予測とする。次の誤
差を最小にすることで、誤差演算部３２の出力Ｐ_tが値
関数と等価になる。

【００４４】

【数４】

【００４５】（１０）式の値を連続系の誤差ＴＤＲ（TD
error）とする。また、ｄＰ／ｄｔは、次の（１１）式
で表せる。

【００４６】

【数５】

【００４７】但し、τ_cはいかに過去の報酬までを計算
するかを定める時定数である。これは、制御の時間区切
り△ｔとは独立して設定することができる。

【００４８】次に、本実施の形態の自動制御装置１０に
おける、学習動作及び運転動作の詳細を機能構成と共に
説明する。図３には、学習動作及び運転動作のときに自
動制御装置１０の内部に構築される機能別ブロック図を
示した。

【００４９】操作者が車両を運転する時は、操作者は前
方を注視しながら道路に沿って走行する。従って、操作
者の目標軌道は、道路形状から推定される情報を用いて
いると考えられる。本実施の形態では、学習時には、コ
ントローラ４４から出力される移動体を移動させるため
の現在の制御入力ｕから将来の状態である位置ｘ_realを
動力学モデル(Vehicle')を用いて第２予測部４２で推定
し、その場所での目標軌道ｘ_dとの誤差を計測する。こ
の誤差計測は、カメラを用いて画像から解析すること
や、道路上に設置した通信装置との通信等により行うこ
とができる。この計測誤差を元に予め定めた規則(reinf
orcement) によって報酬部４６で報酬を計算する。ま
た、評価関数(critic)を有する評価部５０でも計測誤差
を元に評価値を出力する。これらの報酬と、評価関数(c
ritic)の出力の誤差(error) が最小になるように、調整
部４８では制御入力の計算(actor) を行うコントローラ
部４４及び評価部５０の評価関数(critic)の係数を調整
することによって学習させる。

【００５０】自動運転時には、上記のようにして学習さ
れた制御入力の計算(actor) を行うコントローラ部４４
を用いて現在の制御入力を求め、その現在の制御入力か
ら将来の位置を動力学モデル(Vehicle）を用いて第１予
測部４０で求めて、コントローラ部４４へフィードバッ
クさせながら移動体を運転する。

【００５１】なお、移動体の運動を模擬してその結果を
フィードバックに用いたり将来の位置を推定したりする
ための移動体モデル(Vehicle_,Vehicle') は、移動体を
運動学及び動力学的に扱うことが可能なように解析し
て、予め獲得しておく（詳細は後述）。

【００５２】次に、制御入力を与えてから移動体がどの
ように動いたかを表す外部座標（将来の位置ｘ_real）を
求めるまでの過程を説明する。

【００５３】一般には、移動体モデルは、次の（１２）
式として与えられる。式中、ｘは現在の状態を表し、ｕ
は制御入力を表している。

【００５４】ｄｘ＝ｆ（ｕ，ｘ）・・・（１２）上記（１２）式から理解されるように、移動体を制御す
るためには、制御入力だけでなく、現在の移動体の状態
を知る必要がある。外部座標系では、制御入力ｕが与え
られると、動力学により内部座標θが定まり、その内部
座標θによって運動学により外部座標Ｘが定まる（図４
参照）。そして、以下のようにして移動体モデルを作成
する。

【００５５】まず、移動体に対して、任意の制御入力ｕ
を与えたときに、その移動体がどのように動作したかを
外部座標Ｘを測定して求める。これによって、制御入力
ｕと外部座標Ｘとの間の写像関係を獲得することができ
る。この写像関係である写像ｆのパラメータは、神経回
路モデルや、任意の最適アルゴリズムによって決定する
ことができる。

【００５６】次に、ｎ秒後の移動体の位置は、以下のよ
うに求めることができる。まず、任意の時刻ｔにおいて
制御入力ｕを与え続けた時の、所定時間を経過した時刻
（ｔ＋Δｔ）における移動体の位置は次の（１３）式で
表すことができ、さらに所定時間を経過した時刻（ｔ＋
２・Δｔ）の位置は、次の（１４）式で表すことができ
る。

【００５７】ｘ（ｔ＋Δｔ）＝ｘ（ｔ）＋ｄｘ（ｔ）・Δｔ −（１３）ｘ（ｔ＋２・Δｔ）＝ｘ（ｔ＋Δｔ）＋ｄｘ（ｔ＋Δｔ）・Δｔ −（１４）従って、制御入力ｕを固定し、位置だけを変化させて順
次計算することによって、（ｔ＋ｎ）秒後の位置ｘ（ｔ
＋ｎ）は次の（１５）式で表すことができる。

【００５８】ｘ（ｔ＋ｎ）＝ｘ（ｔ＋ｎ−Δｔ）＋ｄｘ（ｔ＋ｎ−Δｔ）・Δｔ（１５）

【００５９】本実施の形態では、移動体の一例として、
図５に示す前輪操舵車両モデルを用いて、その前輪操舵
車両の運動方程式である次の（１６）式で移動体モデル
を表すことにする。

【００６０】

【数６】

【００６１】但し、図５及び上記式において、βは車体
のスリップ角、γはヨーレイト、Ｍは車両重量、Ｖは車
速、Ｉ_zは車両ヨーイング慣性モーメント、ｌ
_f（ｌ_r）は前（後）輪−重心間距離、ｃ_f（ｃ_r）は
前（後）輪コーナリングパワー、δは前輸実舵角を表し
ている。

【００６２】また、上記、評価関数(critic)を有する評
価部５０及び制御入力の計算(actor) を行うコントロー
ラ部４４は、次の（１７）式に示す神経回路モデル（Ga
ussiansoft-max network）による構成を適用した。

【００６３】

【数７】

【００６４】また、ｃ_ki，ｓ_ki（ｉ＝１，２，・・・）
は、ｋ番目の基底関数の中心と大きさを表している。な
お、一般的には双方を調整できるが、本実施の形態で
は、計算を簡略化するため、格子上に配列することで、
双方の値を固定し、係数（重み）であるｗ_kのみを調整
するものとした。

【００６５】上記評価部５０における係数（重み）の更
新は、次の（１７Ａ）式で表され、コントローラ部４４
における係数（重み）の更新は、次の（１７Ｂ）式で表
される。

【００６６】

【数８】

【００６７】但し、ｎ_k（ｔ）はガウシアンノイズを表
しており、ＴＤＲ（ｔ）に比例して小さくなるものであ
る。

【００６８】上記報酬部４６で計測誤差を元に計算する
報酬は、次の（１８）式を用いている。なお、図６に示
すように、式中のｄθは進行方向と道路とのなす角度で
あり、ｄｉｓｔは道路の中央からの距離を表している。

【００６９】ｒ_x＝｛ｃｏｓ（ｄθ）＋２・ｅｘｐ（−ｄｉｓｔ／σ）²−１｝／２ −−−（１８）

【００７０】上記（１８）式の｛｝内の最左項である
ｃｏｓ（ｄθ）は進行方向からのズレ量を表し、それよ
り右項は道路中心からのズレ量を表している。また、道
路中心からのズレ量の許容範囲を規定する分散σは、本
実施の形態では、道路幅の１／４に設定した。このよう
に、報酬は、現在状況がどの程度良いのか（適正か）を
示すことになり、ステアリングそのものを回転させる量
とは質的に異なる良否程度の情報で最終的には制御入力
を決定できる。

【００７１】次に、本実施の形態の作用を説明する。ま
ず、上記学習処理について説明する。本自動制御装置１
０の学習処理が実行されると、図８の学習処理ルーチン
が実行され、ステップ１００において、初期データとし
て係数の初期値が読み取られる。次のステップ１０２で
は学習のために用いられる道路形状、すなわち軌道が読
み取られる。本実施の形態では、図７に示すように、直
線と一定曲率のカーブが組み合わされた道路形状が読み
取られる。なお、図７に示されるように、異なる曲率
（２０Ｒ，５０Ｒ）のカーブは右旋回と左旋回するよう
に設定している。次のステップ１０４では、制御入力を
検出すると共に、記憶し、次のステップ１０６において
初期値の係数でコントローラの出力を求める。

【００７２】次のステップ１０８では、動力学モデルに
よって予測位置を演算し誤差を求め、その予測位置にお
ける誤差に対する報酬を次のステップ１１０で求める。
次のステップ１１４では報酬に対する誤差を求めて次の
ステップ１１６においてその誤差によって係数を調整す
る。次のステップ１１８では、所定回数（本実施の形態
では、５００回）の学習が終了したか否かを判断し、所
定回数未満のときは否定されステップ１０２へ戻り上記
処理を繰り返す。一方、所定回数の処理を繰り返した後
には、ステップ１１８で肯定されて、学習が終了したと
して本ルーチンを終了する。

【００７３】次に、運転処理について説明する。本自動
制御装置１０の上記学習処理が終了した後に、運転処理
が実行されると、図９の運転処理ルーチンが実行され、
ステップ１２０において、上記学習処理で学習された係
数が読み取られる。次のステップ１２２では、自動で運
転するべき道路の形状、すなわち軌道が読み取られる。
本実施の形態では、図１０に示すように、未学習の道路
として、学習時に含まれていない曲率（３０Ｒ）のカー
ブを含む道路形状が読み取られる。次のステップ１２４
では、制御入力を検出すると共に、記憶し、次のステッ
プ１２６において学習された係数でコントローラの出力
を求め、次のステップ１２８で動力学モデルによって予
測位置を演算し誤差を求める。この誤差は、計測で求め
てもよく、演算で求めても良い。次のステップ１３０で
は、求めた予測位置に移動させるための制御入力にする
ための駆動値を求め、出力する。これによって、移動体
は、所定時間の後には予測位置に移動される。次のステ
ップ１３２では、自動運転の終了指示がなされたか否か
を判断し、指示されていないときは否定されステップ１
２２へ戻り上記処理を繰り返す。一方、終了指示がなさ
れると、ステップ１３２で肯定されて、自動運転を終了
するべく本ルーチンを終了する。

【００７４】図１１には、自動運転時における走行精度
の測定結果を示した。図１１（１）には移動体の進行方
向と軌道の接線方向との角度のズレ量及び移動体の位置
についてセンターラインからのズレ量の時々刻々の値を
示した。図１１（２）には報酬の時々刻々と変化する値
を示した。図１１（３）には移動体の操舵角の変動の時
々刻々と変化する値を示した。図１１（４）には移動体
の移動軌跡についてＸ，Ｙ座標の座標値で示した。この
ように、未学習な道路形状でも、適切に操舵角を決定で
き、滑らかに走行できている様子が分かる。

【００７５】本実施の形態の移動体は等速度運転である
ため、操舵角の変動は、もちろん直線では一定であると
共に曲率が一定のカーブでは一定値を維持すればよい。
図から理解されるように、略一定の操舵角を維持してお
り、十分なステアリング操作を学習により獲得したこと
が理解される。

【００７６】

【発明の効果】以上説明したように請求項１に記載した
発明によれば、予測手段で予測した移動体の状態を変更
させるための操作量による移動体の所定時間後の予測状
態と、目標状態とに対応される操作量を定めるための係
数を、移動体の目標状態と予測状態との誤差から誤差調
整手段により調整するので、移動体の任意の目標状態で
あっても、その目標状態に沿った操作量を出力すること
ができ、目標状態に合致した自動制御が可能となる、と
いう効果がある。

【００７７】請求項２に記載した発明によれば、移動体
の状態を位置、または位置と姿勢及び移動方向の何れか
一方とで表される挙動で表すことができるので、移動体
の状態を空間的に把握することが可能となる、という効
果がある。

【００７８】請求項３に記載した発明によれば、誤差調
整手段を、移動体の予測状態に対して目標状態に移動体
の状態が変更されるに従って大きくなる報酬を演算する
報酬演算手段と、報酬が大きくなるように係数を調整す
る調整手段と、から構成するので、報酬が大きくなるよ
うに係数を調整することで、目標状態に合致した自動制
御が可能となる、という効果がある。

【００７９】請求項４に記載した発明によれば、報酬演
算手段を、所定条件により報酬を演算する報酬手段と、
予測状態を評価する評価手段とから構成し、調整手段が
報酬及び評価の差が所定値になるように係数を調整する
ようにしたので、報酬を質的に異なる情報から求めるす
なわち操作量を定めることができ、現在の状態がどの程
度であるかの大まかな情報で、最適な操作量を定めるこ
とができる、という効果がある。

【００８０】請求項５に記載した発明によれば、決定さ
れた操作量だけ前記移動体の状態を変更させるための駆
動手段をさらに備えるので、容易に移動体の状態を変更
させることができる、という効果がある。

【図面の簡単な説明】

【図１】本実施の形態の自動制御装置の概略構成を示す
ブロック図である。

【図２】本発明の実施の形態にかかる自動制御装置の内
部に構築可能なフィードバック系を示すブロック図であ
る。

【図３】学習動作及び運転動作のときに自動制御装置の
内部に構築される機能を表すブロック図である。

【図４】制御入力を与えてから移動体が至る位置を表す
外部座標を求めるまでの過程を示す概念図である。

【図５】移動体である前輪操舵車両モデルの構成を示す
線図である。

【図６】道路形状におけるズレ量を説明するための説明
図である。

【図７】学習処理に用いた道路形状を示すイメージ図で
ある。

【図８】学習処理の流れを示すフローチャートである。

【図９】自動運転の流れを示すフローチャートである。

【図１０】学習後に自動制御装置により移動体を運転さ
せるための道路形状を示すイメージ図である。

【図１１】学習後に自動制御装置により移動体を運転さ
せたときの入出力関係を示す線図である。

【符号の説明】

１０自動制御装置３０目標出力部３２誤差演算部３４コントローラ部３６予測部４０第１予測部４２第２予測部４４コントローラ部４６報酬部４８調整部５０評価部

Claims

【特許請求の範囲】

【請求項１】移動体の目標状態を入力するための入力
手段と、前記移動体の状態を変更させるための操作量による前記
移動体の所定時間後の予測状態を予測する予測手段と、目標状態及び予測状態と、前記移動体の操作量との対応
関係を定めるための係数が変更可能でかつ、該係数によ
る対応関係を用いて前記目標状態及び予測状態から前記
移動体の状態を変更させるための操作量を決定する決定
手段と、前記移動体の目標状態と前記予測状態との誤差を演算す
ると共に、該誤差に基づいて前記係数を調整する誤差調
整手段と、を備えた自動制御装置。
【請求項２】前記移動体の状態は、前記移動体の位
置、または前記移動体の位置と前記移動体の姿勢及び移
動方向の何れか一方とで表される前記移動体の挙動を表
すことを特徴とする請求項１に記載の自動制御装置。
【請求項３】前記誤差調整手段は、前記移動体の予測
状態に対して前記目標状態に前記移動体の状態が変更さ
れるに従って大きくなる報酬を演算する報酬演算手段
と、前記報酬が大きくなるように前記係数を調整する調
整手段と、から構成されることを特徴とする請求項１ま
たは２に記載の自動制御装置。
【請求項４】前記報酬演算手段は、前記移動体の予測
状態に対して予め定めた所定条件により報酬を演算する
報酬手段と、前記移動体の予測状態を評価する評価手段
と、から構成され、前記調整手段は前記報酬及び評価の
差が所定値になるように前記係数を調整することを特徴
とする請求項３に記載の自動制御装置。
【請求項５】前記決定された操作量だけ前記移動体の
状態を変更させるための駆動手段をさらに備えたことを
特徴とする請求項１乃至請求項４の何れか１項に記載の
自動制御装置。