JP7000952B2 - 車両の走行を制御する制御装置、制御方法、及び、制御プログラム - Google Patents

Description

本明細書は、車両の走行を制御する制御装置、制御方法、及び、制御プログラムに関する。

車両に搭載されたカメラの画像データから機械学習アルゴリズムに基づいて車両の操作量を推定する技術が開発されている。さらに、車両が出荷された後に、カメラの画像データと車両の実操作量を教師データに用いて、このような機械学習アルゴリズムのパラメータを決定する技術が開発されており、その一例が特許文献１－４に開示されている。

特開平６－６０３００号公報 特開２０１５－１３５５５２号公報 特開２００５－１７８５１８号公報 特開２００９－１９３１４２号公報

車両を出荷した後に得られる教師データの多くは、車両が安全な位置を走行したときのデータで占められる。例えば、車両が道路上を走行するとき、走行レーン内を安全に走行する場合がほとんどであり、得られる教師データはそのような安全走行時のデータで占められる。このため、例えば走行レーンから外れた車両が走行レーン内に復帰するための教師データが不足する。これにより、機械学習アルゴリズムは、車両が走行レーンから外れて走行したときに、車両を走行レーン内に復帰させる操作量を良好に推定することができない。

上記したように、車両を出荷した後に、機械学習アルゴリズムのパラメータを決定する技術では、車両が安全でない位置を走行したときの教師データが不足するという問題がある。本明細書は、車両が安全でない位置を走行したときの教師データを効率的に取得し、そのような教師データを用いて機械学習アルゴリズムのパラメータを決定する技術を提供することを目的とする。

本明細書は、車両の走行を制御する制御装置を開示することができる。この制御装置は、前記車両に搭載されているメインカメラで撮影されたメイン画像データを取得するメイン画像データ取得部と、前記メインカメラから離れた位置で前記車両に搭載されているサブカメラで撮影されたサブ画像データを取得するサブ画像データ取得部と、前記車両が走行しているときの実操作量を取得する実操作量取得部と、前記メイン画像データから機械学習アルゴリズムに基づいて前記車両の操作量を推定する操作量推定部と、前記操作量推定部の前記機械学習アルゴリズムのパラメータを教師データに基づいて決定するパラメータ学習部と、を備えることができる。前記教師データは、第１教師データと第２教師データを有している。前記第１教師データは、前記メイン画像データと、前記車両の前記実操作量と、を含んでいる。前記第２教師データは、前記サブ画像データと、前記サブカメラの位置に前記メインカメラが存在したと仮定したときの仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量と、含んでいる。この制御装置は、前記メイン画像データと前記車両の前記実操作量を含む前記第１教師データに加えて、前記サブ画像データと前記補正操作量を含む前記第２教師データを利用して前記機械学習アルゴリズムのパラメータを決定することができる。前記第２教師データを生成するために仮定される前記仮想車両は、車両から離れた位置を走行しており、安全でない位置を仮想的に走行し得る。このため、前記第２教師データは、車両が安全でない位置から安全な位置に復帰する走行を想定した教師データとなることができる。これにより、この制御装置は、車両が安全でない位置から安全な位置に復帰するための操作量を良好に推定することができる。

本明細書は、車両の走行を制御する制御方法を開示することができる。この制御方法は、メインカメラで撮影されたメイン画像データから機械学習アルゴリズムに基づいて車両の操作量を推定する工程と、前記機械学習アルゴリズムのパラメータを教師データに基づいて決定する工程と、を備えることができる。前記教師データは、第１教師データと第２教師データを有している。前記第１教師データは、前記メイン画像データと、前記車両の実操作量と、を含んでいる。前記第２教師データは、前記メインカメラから離れた位置で前記車両に搭載されているサブカメラで撮影されたサブ画像データと、前記サブカメラの位置に前記メインカメラが存在したと仮定したときの仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量と、含んでいる。この制御方法は、前記メイン画像データと前記車両の前記実操作量を含む前記第１教師データに加えて、前記サブ画像データと前記補正操作量を含む前記第２教師データを利用して前記機械学習アルゴリズムのパラメータを決定することができる。前記第２教師データを生成するために仮定される前記仮想車両は、車両から離れた位置を走行しており、安全でない位置を仮想的に走行し得る。このため、前記第２教師データは、車両が安全でない位置から安全な位置に復帰する走行を想定した教師データとなることができる。これにより、この制御方法は、車両が安全でない位置から安全な位置に復帰するための操作量を良好に推定することができる。

本明細書は、車両の走行を制御する制御プログラムを開示することができる。この制御プログラムは、制御装置に、メインカメラで撮影されたメイン画像データから機械学習アルゴリズムに基づいて車両の操作量を推定する処理と、前記機械学習アルゴリズムのパラメータを教師データに基づいて決定させる処理と、を実行させるように構成されることができる。前記教師データは、第１教師データと第２教師データを有している。前記第１教師データは、前記メイン画像データと、前記車両の実操作量と、を含んでいる。前記第２教師データは、前記メインカメラから離れた位置で前記車両に搭載されているサブカメラで撮影されたサブ画像データと、前記サブカメラの位置に前記メインカメラが存在したとした仮定したときの仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量と、含んでいる。この制御プログラムは、前記メイン画像データと前記車両の前記実操作量を含む前記第１教師データに加えて、前記サブ画像データと前記補正操作量を含む前記第２教師データを利用して前記機械学習アルゴリズムのパラメータを決定することができる。前記第２教師データを生成するために仮定される前記仮想車両は、車両から離れた位置を走行しており、安全でない位置を仮想的に走行し得る。このため、前記第２教師データは、車両が安全でない位置から安全な位置に復帰する走行を想定した教師データとなることができる。これにより、この制御プログラムは、車両が安全でない位置から安全な位置に復帰するための操作量を良好に推定することができる。

上記の制御装置、制御方法及び制御プログラムで用いられる前記第２教師データでは、前記補正操作量による前記仮想車両の仮想走行経路が、許容走行範囲内の移動であるデータよりも前記許容走行範囲外から前記許容走行範囲内への移動であるデータに重み付けされていてもよい。このような重み付けが行われていると、車両が安全でない位置から安全な位置に復帰する走行を効果的に学習することができる。

上記の制御装置、制御方法及び制御プログラムにおいて、前記メインカメラと前記サブカメラの間の距離が、前記車両の許容制御誤差以上であってもよい。これにより、前記車両の許容制御誤差よりも外れた位置、即ち、車両が安全でない位置から安全な位置に復帰するための操作量を良好に推定することができる。

上記の制御装置、制御方法及び制御プログラムで用いられる前記機械学習アルゴリズムの種類は特に限定されるものではなく、ディープニューラルネットワークに属する種類の機械学習アルゴリズムであってもよい。前記機械学習アルゴリズムは、例えば畳み込みニューラルネットワーク（Convolutional Neural Network）であってもよい。

ここで、上記の制御装置、制御方法及び制御プログラムにおける「仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量」とは、仮想車両を車輌の実走行経路上に完全に一致するように復帰させる場合に限らず、仮想車両を車輌の実走行経路に近づける場合も含む。

第１実施形態の自動運転システムの構成を示す。 車両が道路上を走行する様子を示す。 第１実施形態の自動運転システムの学習モードの制御フローを示す。 第２実施形態の自動運転システムの構成を示す。 走行レーン幅が広い道路上を走行する車両の実走行経路と仮想走行経路を示す。 第２実施形態の自動運転システムの学習モードの制御フローを示す。

（第１実施形態）
図１に、第１実施形態の自動運転システム１の構成を示す。自動運転システム１は、操作部１２、メインカメラ１４、サブカメラ１６、制御装置２０及び駆動部３０を備えている。制御装置２０は、ＣＰＵ、ＲＡＭ、及び、後述する学習モード及び自動運転モードを実行するための機械学習プログラムを記述するプログラム等を記憶したＲＯＭを有するコンピュータで構成されており、実操作量取得部２１、メイン画像データ取得部２２、サブ画像データ取得部２３、操作量推定部２４、操作量補正部２５及びパラメータ学習部２６を有している。

操作部１２は、車両の操作状況を監視する複数種類のセンサで構成されており、操舵ハンドルの操舵角を検出する操舵角センサを少なくとも含んでいる。操作部１２は、操舵角センサの他に、車両の速度を検出する車速センサを含んでいてもよい。操作部１２で得られた操舵角データ及び車両の速度データを含む実操作量は、制御装置２０の実操作量取得部２１に入力する。

メインカメラ１４は、車両に搭載されており、車両の周囲の環境を撮影するように構成されている。特に、メインカメラ１４は、車両の幅方向の中心付近に固定されており、車両前方の環境を撮影するように構成されている。メインカメラ１４は、一定の間隔で撮影を実行し、撮影したメイン画像データを制御装置２０のメイン画像データ取得部２２に入力する。

サブカメラ１６は、メインカメラ１４から離れた位置で車両に搭載されており、車両の周囲の環境を撮影するように構成されている。特に、サブカメラ１６は、車両の幅方向の中心から幅方向に沿って離れた位置に固定されており、車両前方の環境を撮影するように構成されている。サブカメラ１６は、車両の幅方向の中心に対して一方側のみに搭載されていてもよく、車両の幅方向の中心に対して両側にそれぞれ搭載されていてもよい。メインカメラ１４とサブカメラ１６の間の幅方向の距離（以下、「幅方向オフセット距離」という）は、車両の許容制御誤差以上に設定されている。車両の許容制御誤差とは、車両をある直線経路に沿って１回走行させたときの基準位置（例えば、走行レーンの中心）からの幅方向のふらつきの大きさであり、車両の直線走行として許容される幅方向の制御誤差ということができる。換言すると、メインカメラ１４とサブカメラ１６の間の幅方向オフセット距離を小さくすると、車両の直線走行として許容される幅方向の制御誤差も小さくなり、車両の直線走行が高い精度で制御される。幅方向オフセット距離は、自動運転システム１に要求される仕様に応じて適宜に調整される。サブカメラ１６は、一定の間隔で撮影を実行し、撮影したサブ画像データを制御装置２０のサブ画像データ取得部２３に入力する。

制御装置２０は、実操作量取得部２１に入力する実操作量、メイン画像データ取得部２２に入力するメイン画像データ及びサブ画像データ取得部２３に入力するサブ画像データに基づいて機械学習アルゴリズムのパラメータを決定し、その機械学習アルゴリズムを利用して駆動部３０の操作量を推定するように構成されている。駆動部３０は、車両の駆動を制御する複数種類のアクチュエータで構成されており、車両の進行方向を決定する操舵角を変更するためのステアリングアクチュエータを少なくとも含んでいる。駆動部３０は、ステアリングアクチュエータの他に、スロットルの開度を調節してエンジンの出力を調節するスロットルアクチュエータを含んでいてもよい。制御装置２０は、ステアリングアクチュエータの操舵角の変更を指示する指示信号及びスロットルの開度の調節を指示する指示信号を含む操作量を推定し、この推定された操作量を駆動部３０に提供する。

制御装置２０の操作量推定部２４は、機械学習アルゴリズムであるディープニューラルネットワークを用いて、実操作量取得部２１の実操作量及びメイン画像データ取得部２２のメイン画像データから駆動部３０の操作量を推定するように構成されている。具体的には、操作量推定部２４は、畳み込みニューラルネットワーク（Convolutional Neural Network：以下、「ＣＮＮ」という）を用いて駆動部３０の操作量を推定するように構成されている。ここで、画像データ（ｘ）と操作量（ｙ）は、ＣＮＮによって表現される関数（ｆ）とＣＮＮのパラメータ（θ）を用いて以下の数式で記述できる。

制御装置２０のパラメータ学習部２６は、教師データを用いて上記数１のパラメータ（θ）を決定するように構成されている。パラメータ学習部２６では、教師データに含まれるＮ個のサンプル (ｘ_i,ｙ_i),i ∈ Ｎ を用いて、以下の式で定義される誤差Ｅを最小化するようにパラメータ（θ）を決定する。

ここで、上記数２で用いられる教師データのＮ個のサンプルには、次の（１）第１教師データと、（２）第２教師データが含まれる。

（１）メイン画像データ取得部２２に入力するメイン画像データと実操作量取得部２１に入力する実操作量のデータのペア。
（２）サブ画像データ取得部２３に入力するサブ画像データと操作量補正部２５で計算された補正操作量のデータのペア。

図２を参照し、操作量補正部２５で計算される補正操作量について説明する。図２は、車両４２が時刻（ｔ）から時刻（ｔ＋１）の間で走行レーン内を移動する様子を示している。車両４２に搭載されるメインカメラ１４が黒三角で示されており、サブカメラ１６が白三角で示されている。なお、時刻（ｔ）及び時刻（ｔ＋１）は、メインカメラ１４及びサブカメラ１６が撮影するタイミングに対応している。車両４２の実走行経路が実線の矢印５２で示されている。仮想線で示される符号４４は、時刻（ｔ）において、サブカメラ１６の位置にメインカメラ１４が存在したと仮定したときの仮想車両の位置を示している。この仮想車両４４は、メインカメラ１４からのサブカメラ１６の幅方向オフセット距離（ｄ）の分だけ車両４２から幅方向にずれた位置を走行しており、走行レーンの右端を超えて走行している。即ち、仮想車両４４は、安全でない位置を走行する状況が仮想的に想定された車両である。仮想線で示される矢印５４は、仮想車両４４が時刻（ｔ）から時刻（ｔ＋１）の間において車両４２の実走行経路５２に復帰するための仮想走行経路である。

操作量補正部２５で計算される補正操作量は、仮想車両４４が仮想走行経路５４に沿って車両４２の実走行経路５２に復帰するのに要する操作量であり、関数（ｇ）を用いて以下の数式で記述される。

「ｙハット」が補正操作量であり、「ｄ」がサブカメラ１６のメインカメラ１４からの幅方向オフセット距離であり、「Ｌ」が時刻（ｔ）から時刻（ｔ＋１）の間で車両４２が移動した移動距離であり、「ｋ」が操舵角と幅オフセット距離を変換する係数であり、「ｙ」が車両４２の実操作量である。上記数３に示されるように、補正操作量は、車両の実操作量から計算される。

このように、第２教師データは、仮想車両４４が仮想走行経路５４に沿って車両４２の実走行経路５２に復帰する走行を想定した教師データとなっており、安全でない位置を走行する仮想車両４４が安全な位置に復帰する走行を想定した教師データである。

次に、自動運転システム１の制御について説明する。自動運転システム１は、手動運転による学習モードと自動運転による自動運転モードを有している。学習モードは、教師データを用いて上記数２のパラメータ（θ）を最適化し、上記数１のパラメータ（θ）を変更するモードである。自動運転モードは、上記数１に基づいてメイン画像データから車両の操作量を推定し、車両を自動運転するモードである。学習モードと自動運転モードの切り替えは、特に限定されるものではない。例えば、学習モードが成功している場合（上記数２の誤差Ｅが閾値以下の場合、学習に用いた教師データ数が閾値以上の場合など）、自動運転モードに移行するようにしてもよい。また、自動運転モードが不適切な場合（運転者によって自動運転モードの中断が要求された場合、推定された操作量が上下限を超えた場合など）、学習モードに移行するようにしてもよい。

図３に、自動運転システム１の制御装置２０が実行する学習モードの制御フローを示す。まず、ステップＳ１２において、制御装置２０の各取得部２１，２２，２３は、実操作量、メイン画像データ及びサブ画像データの各種のデータを取得する。次に、ステップＳ１４において、操作量補正部２５は、上記数３に基づいて、取得された実操作量から補正操作量を計算する。次に、ステップＳ１６において、パラメータ学習部２６は、収集された教師データ数が閾値以上であるか否かを判定する。収集された教師データ数が閾値よりも少なく、十分な学習精度が得られない判定した場合、パラメータ学習部２６は、ステップＳ１２に戻り、各種のデータを取得する。収集された教師データ数が閾値以上であり、十分な学習精度が得られると判定した場合、パラメータ学習部２６は、ステップ１８に進み、上記数２を用いてパラメータ（θ）の最適化を実施し、上記数１のパラメータ（θ）を変更する。

このように、自動運転システム１の制御装置２０は、メイン画像データと車両の実操作量を含む第１教師データに加えて、サブ画像データと補正操作量を含む第２教師データを利用して上記数２のパラメータ（θ）を最適化し、上記数１のパラメータ（θ）を変更することができる。図２に示されるように、第２教師データを生成するために仮定される仮想車両４４は、車両４２から離れた位置を走行しており、安全でない位置を仮想的に走行し得る。このため、第２教師データは、車両が安全でない位置から安全な位置に復帰する走行を想定した教師データとなることができる。これにより、自動運転システム１の制御装置２０は、車両が安全でない位置から安全な位置に復帰するための操作量を良好に推定することができる。この結果、自動運転システム１の制御装置２０は、自動運転モードにおいて、車両が安全でない位置を走行したときに、その車両を安全な走行位置に良好に復帰させることができる。

車両が安全でない位置から安全な位置に復帰するときの教師データは、例えばシミュレーションによって作成することができ、また、試験場等の特殊な環境下で再現して作成することもできる。しかしながら、前者の作成方法では、実環境とシミュレーション環境の差によって高精度な学習が難しいという問題がある。また、後者の作成方法では、特殊な環境を用意するコストが大きく、効率的に教師データを収集できないという問題がある。一方、自動運転システム１の制御装置２０では、メインカメラ１４から離れた位置にサブカメラ１６を搭載するだけで、実環境における教師データを低いコストで収集することができる。

（第２実施形態）
図４に、第２実施形態の自動運転システム２の構成を示す。図１の自動運転システム１と対比すると、自動運転システム２の制御装置２０は、重み付け部２７が追加されていることを特徴とする。重み付け部２７は、教師データに重み付けを行うように構成されている。

図５に、走行レーン幅が広い道路上を走行する車両の実走行経路と仮想走行経路を示す。実線の矢印が実走行経路６２であり、仮想線の矢印が仮想走行経路６４，６６である。なお、仮想走行経路６４，６６は、第１実施形態の自動運転システム１と同様の手順で計算されるものである。また、この第２実施形態の自動運転システム２では、車両の幅方向において、メインカメラ１４の両側にサブカメラ１６がそれぞれ搭載されている。このため、仮想走行経路６４は、メインカメラ１４に対して車両の右側に搭載されたサブカメラ１６のサブ画像データを教師データに用いるときに計算される仮想走行経路であり、仮想走行経路６６は、メインカメラ１４に対して車両の左側に搭載されたサブカメラ１６のサブ画像データを教師データに用いるときに計算される仮想走行経路である。

走行レーン内にグレーで示される範囲は、許容走行範囲６８である。許容走行範囲６８は、安全走行として許容される走行範囲である。走行レーン内の走行位置は、運転者の運転バラツキによって幅を有する。即ち、同一の運転者が運転する車両であっても、走行レーン内において一定の幅内を走行することが多い。許容走行範囲６８とは、車両をある直線経路に沿って複数回走行させたときの走行経路の平均位置からの幅方向のバラツキの大きさとすることができる。後述するように、許容走行範囲６８は、教師データに含まれる画像データの類似度から推定されてもよい。運転者の運転バラツキは、類似した画像データとなる走行範囲に収まると推定されるからである。これに代えて、許容走行範囲６２は、走行レーンの中央から両端に向けて所定幅をそれぞれ広げた範囲として設定されてもよく、走行レーンの両端から中央に向けて所定幅をそれぞれ減じた範囲として設定されてもよく、走行レーンの中央寄りの走行レーン幅に対する所定割合の範囲として設定されてもよい。

図５に示されるように、仮想走行経路６４ｂ，６６ｂはいずれも、許容走行範囲６２内の移動である。このため、このような仮想走行経路６４ｂ，６６ｂに基づく第２教師データは、運転者の運転バラツキの範囲内での移動を示すデータであり、重要度が低い。一方、仮想走行経路６４ａ，６６ａはいずれも、許容走行範囲６２外から許容走行範囲６２内への移動である。このため、仮想走行経路６４ａ，６６ａに基づく第２教師データは、安全でない位置を走行する仮想車両が安全な位置に復帰する走行を想定したデータであり、重要度が高い。

図６に、自動運転システム２の制御装置２０が実行する学習モードの制御フローを示す。図３の自動運転システム１の学習モードと対比すると、ステップＳ１４とステップＳ１６の間にステップＳ１５が追加されていることを特徴とする。ステップＳ１５において、重み付け部２７が、上記した重要度の差に基づいて第２教師データの重み付けを行う。即ち、ステップＳ１５において、重み付け部２７は、補正操作量による仮想車両の仮想走行経路が許容走行範囲内の移動（図５の仮想走行経路６４ｂ，６６ｂに対応）である第２教師データよりも、補正操作量による仮想車両の仮想走行経路が許容走行範囲外から許容走行範囲内への移動（図５の仮想走行経路６４ａ，６６ａに対応）である第２教師データに重み付けを行う。例えば、教師データとして蓄積された画像データと、サブカメラ１６で新たに取得されたサブ画像データの類似度に基づいて重み付けを行う。類似度の高いサブ画像データを含む第２教師データは、仮想走行経路が許容走行範囲内の移動と推定され、その重みは低く設定される。一方、類似度の低いサブ画像データを含む第２教師データは、仮想走行経路が許容走行範囲外から許容走行範囲内への移動と推定され、その重みが高く設定される。類似度の算出は、正規化相互相関等の輝度値の差分に基づく演算でもよいし、主成分分析や、画像から特徴ベクトルを算出するように構成されたＣＮＮでもよい。

自動運転システム２の制御装置２０は、上記した重要度の差に基づいて第２教師データの重み付けを行うことにより、車両が安全でない位置から安全な位置に復帰する走行を効果的に学習することができる。これにより、自動運転システム２の制御装置２０は、自動運転モードにおいて、車両を許容走行範囲６２内で走行させることができる。

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

１：自動運転システム
１２：操作部
１４：メインカメラ
１６：サブカメラ
２０：制御装置
２１：実操作量取得部
２２：メイン画像データ取得部
２３：サブ画像データ取得部
２４：操作量推定部
２５：操作量補正部
２６：パラメータ学習部
３０：駆動部

Claims (12)

1. 車両の走行を制御する制御装置であって、
   前記車両に搭載されているメインカメラで撮影されたメイン画像データを取得するメイン画像データ取得部と、
   前記メインカメラから離れた位置で前記車両に搭載されているサブカメラで撮影されたサブ画像データを取得するサブ画像データ取得部と、
   前記車両が走行しているときの実操作量を取得する実操作量取得部と、
   前記メイン画像データから機械学習アルゴリズムに基づいて前記車両の操作量を推定する操作量推定部と、
   前記操作量推定部の前記機械学習アルゴリズムのパラメータを教師データに基づいて決定するパラメータ学習部と、を備えており、
   前記教師データは、第１教師データと第２教師データを有しており、
   前記第１教師データは、前記メイン画像データと、前記車両の前記実操作量と、を含んでおり、
   前記第２教師データは、前記サブ画像データと、前記サブカメラの位置に前記メインカメラが存在したと仮定したときの仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量と、含む、制御装置。
2. 前記第２教師データでは、前記補正操作量による前記仮想車両の仮想走行経路が、許容走行範囲内の移動であるデータよりも前記許容走行範囲外から前記許容走行範囲内への移動であるデータに重み付けされている、請求項１に記載の制御装置。
3. 前記メインカメラと前記サブカメラの間の距離は、前記車両の許容制御誤差以上である、請求項１又は２に記載の制御装置。
4. 前記機械学習アルゴリズムは、畳み込みニューラルネットワーク（Convolutional Neural Network）である、請求項１～３のいずれか一項に記載の制御装置。
5. 車両の走行を制御する制御方法であって、
   メインカメラで撮影されたメイン画像データから機械学習アルゴリズムに基づいて車両の操作量を推定する工程と、
   前記機械学習アルゴリズムのパラメータを教師データに基づいて決定する工程と、を備えており、
   前記教師データは、第１教師データと第２教師データを有しており、
   前記第１教師データは、前記メイン画像データと、前記車両の実操作量と、を含んでおり、
   前記第２教師データは、前記メインカメラから離れた位置で前記車両に搭載されているサブカメラで撮影されたサブ画像データと、前記サブカメラの位置に前記メインカメラが存在したと仮定したときの仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量と、含む、方法。
6. 前記第２教師データでは、前記補正操作量による前記仮想車両の仮想走行経路が、許容走行範囲内の移動であるデータよりも前記許容走行範囲外から前記許容走行範囲内への移動であるデータに重み付けされている、請求項５に記載の方法。
7. 前記メインカメラと前記サブカメラの間の距離は、前記車両の許容制御誤差以上である、請求項５又は６に記載の方法。
8. 前記機械学習アルゴリズムは、畳み込みニューラルネットワーク（Convolutional Neural Network）である、請求項５～７のいずれか一項に記載の方法。
9. 車両の走行を制御する制御プログラムであって、
   制御装置に、
   メインカメラで撮影されたメイン画像データから機械学習アルゴリズムに基づいて車両の操作量を推定する処理と、
   前記機械学習アルゴリズムのパラメータを教師データに基づいて決定させる処理と、を実行させるように構成されており、
   前記教師データは、第１教師データと第２教師データを有しており、
   前記第１教師データは、前記メイン画像データと、前記車両の実操作量と、を含んでおり、
   前記第２教師データは、前記メインカメラから離れた位置で前記車両に搭載されているサブカメラで撮影されたサブ画像データと、前記サブカメラの位置に前記メインカメラが存在したとした仮定したときの仮想車両を前記車両の実走行経路に復帰させるために要する補正操作量と、含む、制御プログラム。
10. 前記第２教師データでは、前記補正操作量による前記仮想車両の仮想走行経路が、許容走行範囲内の移動であるデータよりも前記許容走行範囲外から前記許容走行範囲内への移動であるデータに重み付けされている、請求項９に記載の制御プログラム。
11. 前記メインカメラと前記サブカメラの間の距離は、前記車両の許容制御誤差以上である、請求項９又は１０に記載の制御プログラム。
12. 前記機械学習アルゴリズムは、畳み込みニューラルネットワーク（Convolutional Neural Network）である、請求項９～１１のいずれか一項に記載の制御プログラム。

Images