JP7050006B2 - 移動体制御装置、移動体制御方法、及び学習方法 - Google Patents

移動体制御装置、移動体制御方法、及び学習方法 Download PDF

Info

Publication number
JP7050006B2
JP7050006B2 JP2018562315A JP2018562315A JP7050006B2 JP 7050006 B2 JP7050006 B2 JP 7050006B2 JP 2018562315 A JP2018562315 A JP 2018562315A JP 2018562315 A JP2018562315 A JP 2018562315A JP 7050006 B2 JP7050006 B2 JP 7050006B2
Authority
JP
Japan
Prior art keywords
moving body
machine learning
control
learning model
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018562315A
Other languages
English (en)
Other versions
JP2020525331A (ja
Inventor
サブラマニアン カルティック ハリハラ
ビン ジョウ
シェン メイ シェン
スギリ プラナタ リム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2020525331A publication Critical patent/JP2020525331A/ja
Application granted granted Critical
Publication of JP7050006B2 publication Critical patent/JP7050006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0033—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Description

本発明は、移動体を制御する移動体制御装置に関する。
従来、車、ロボット等に代表される移動体を制御する技術が知られている。
例えば、特許文献１には、予め用意された３次元地図に基づいて車の自動運転を制御する技術が記載されている。また、例えば、特許文献２には、設定された走行ルートに従って車の自動運転を制御する技術が記載されている。
特開２００９－１９９５７２号公報 特開平１１－２８２５３０号公報
特許文献１に記載された技術では、車の自動運転の制御は、予め用意された３次元地図の対象範囲内に限定される。また、特許文献２に記載された技術では、車の自動運転の制御は、設定された走行ルートに限定される。
そこで、本発明は、従来よりも、より自由度の高い移動体の自動運転を実現し得る移動体制御装置、移動体制御方法、及び学習方法を提供することを目的とする。
本開示の一態様に係る移動体制御装置は、移動体を制御する移動体制御装置であって、前記移動体の制御コマンドと、前記移動体の移動方向前方の画像とを取得する取得器と、機械学習モデルを利用して、前記取得器によって取得された前記制御コマンドと前記画像とを入力として、前記移動体を制御するための制御パラメータを出力する情報処理器とを備える。
また、本開示の一態様に係る移動体制御方法は、移動体を制御する移動体制御方法であって、前記移動体の制御コマンドと、前記移動体の移動方向前方の画像とを取得する第１ステップと、機械学習モデルを利用して、取得した前記制御コマンドと前記画像とを入力として、前記移動体を制御するための制御パラメータを出力する第２ステップとを含む。
また、本開示の一態様に係る学習方法は、機械学習モデルを利用して移動体を制御する移動体制御装置の学習方法であって、前記移動体の制御コマンドと、前記移動体の移動方向前方の画像とを入力とし、前記移動体を制御する制御パラメータを正解とする第１訓練データを用いて、前記機械学習モデルを学習させる第１ステップを含む。
本開示の一態様に係る移動体制御装置、移動体制御方法、及び学習方法によれば、従来よりも、より自由度の高い自動運転を実現し得る。
図１は、実施の形態に係る移動体制御装置の構成を示すブロック図である。 図２は、実施の形態に係る移動体制御装置が制御対象の移動体に搭載されている様子の一例を示す模式図である。 図３は、実施の形態に係る機械学習モデルの構成を示す模式図である。 図４は、実施の形態に係る機械学習モデルを学習させる学習方法のフローチャートである。 図５Ａは、第２訓練データを用いて実施の形態に係る機械学習モデルを学習させる様子を示す模式図である。 図５Ｂは、一般画像訓練データを用いて実施の形態に係る機械学習モデルを学習させる様子を示す模式図である。 図６は、第１訓練データを用いて実施の形態に係る機械学習モデルを学習させる様子を示す模式図である。 図７は、拘束条件を用いて実施の形態に係る機械学習モデルを学習させる実験を行った際の実験結果を示す図である。 図８は、実施の形態に係る移動体制御処理のフローチャートである。
本開示の一態様に係る移動体制御装置は、移動体を制御する移動体制御装置であって、前記移動体の制御コマンドと、前記移動体の移動方向前方の画像とを取得する取得器と、機械学習モデルを利用して、前記取得器によって取得された前記制御コマンドと前記画像とを入力として、前記移動体を制御するための制御パラメータを出力する情報処理器とを備える。
ここで、制御コマンドは、例えば、左折、右折、停止、直進、Ｕターン、車線変更といった、移動体を操縦する意図を示す信号であり、制御パラメータは、例えば、速度、操舵角といった、移動体を制御する物理量を示す信号である。
上記移動体制御装置は、移動体の制御コマンドと移動体の移動方向前方の画像とを利用して、移動体を制御する。
このため、上記移動体制御装置を用いて移動体の自動運転を行う場合には、従来の移動体の自動運転において必要であった、予め用意された３次元地図、及び具体的な走行位置の指定を必要としない。また、固定された走行ルート以外の選択が可能となる。
従って、上記移動体制御装置によると、従来よりも、より自由度の高い移動体の自動運転を実現し得る。
本開示の一態様に係る移動体制御方法は、移動体を制御する移動体制御方法であって、前記移動体の制御コマンドと、前記移動体の移動方向前方の画像とを取得する第１ステップと、機械学習モデルを利用して、取得した前記制御コマンドと前記画像とを入力として、前記移動体を制御するための制御パラメータを出力する第２ステップとを含む。
上記移動体制御方法は、移動体の制御コマンドと移動体の移動方向前方の画像とを利用して、移動体を制御する。
このため、上記移動体制御方法を用いて移動体の自動運転を行う場合には、従来の移動体の自動運転において必要であった、予め用意された３次元地図、及び具体的な走行位置の指定を必要としない。また、固定された走行ルート以外の選択が可能となる。
従って、上記移動体制御方法によると、従来よりも、より自由度の高い移動体の自動運転を実現し得る。
本開示の一態様に係る学習方法は、機械学習モデルを利用して移動体を制御する移動体制御装置の学習方法であって、前記移動体の制御コマンドと、前記移動体の移動方向前方の画像とを入力とし、前記移動体を制御する制御パラメータを正解とする第１訓練データを用いて、前記機械学習モデルを学習させる第１ステップを含む。
上記学習方法により学習した機械学習モデルは、移動体の制御コマンドと移動体の移動方向前方の画像とを利用して、移動体を制御する。
これにより、上記学習方法により学習した機械学習モデルを用いて移動体の自動運転を行う場合には、従来の移動体の自動運転において必要であった、予め用意された３次元地図、及び具体的な走行位置の指定を必要としない。また、固定された走行ルート以外の選択が可能となる。
このため、上記学習方法によると、従来よりも、より自由度の高い移動体の自動運転を実現し得る。
以下、本開示の一態様に係る移動体制御装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
（実施の形態）
［１．移動体制御装置の構成］
図１は、実施の形態に係る移動体制御装置１の構成を示すブロック図である。
図２は、移動体制御装置１が、制御対象の移動体１００に搭載されている様子の一例を示す模式図である。図２において、移動体１００が自動車であるように図示されているが、移動体制御装置１の制御対象は、制御可能に移動する移動体であれば、必ずしも自動車に限定される必要はなく、例えば、自走するロボット等であっても構わない。また、移動体制御装置１の一部又は全部は、必ずしも制御対象とする移動体１００に搭載される必要はない。
図１に示されるように、移動体制御装置１は、取得器１０と、情報処理器２０とを含んで構成される。
取得器１０は、移動体１００の制御コマンドと、移動体１００の移動方向前方の画像とを取得する。制御コマンドは、例えば、左折、右折、停止、直進、Ｕターン、車線変更といった、移動体１００を操縦する意図を示す信号である。ここでは、制御コマンドには、左折、右折、停止、直進、Ｕターン、車線変更のうちの少なくとも１つが含まれるとする。
取得器１０は、例えば、移動体制御装置１のユーザによる、移動体１００の制御コマンドの入力操作を受け付けることで移動体１００の制御コマンドを取得する入力装置を含んで構成されてもよい。また、取得器１０は、例えば、通信可能な外部の装置から出力された移動体１００の制御コマンドを受信することで移動体１００の制御コマンドを取得する受信装置を含んで構成されてもよい。また、取得器１０は、移動体１００の前方に設置され、移動体１００の移動方向前方の画像を撮像することで移動体１００の移動方向前方の画像を取得する撮像装置を含んで構成されてもよい。撮像装置としては、例えば、イメージセンサを備えるデジタルビデオカメラであっても構わない。この場合には、取得器１０は、デジタルビデオカメラで撮像された動画を構成する各フレームを、移動体１００の移動方向前方の画像として取得する。また、取得器１０は、例えば、通信可能な外部の撮像装置から、その撮像装置によって撮像された移動体１００の移動方向前方の画像を受信することで移動体１００の移動方向前方の画像を取得する受信装置を含んで構成されるとしてもよい。
情報処理器２０は、機械学習モデルを利用して、取得器１０によって取得された制御コマンドと画像とを入力として、移動体１００を制御するための制御パラメータを出力するする。制御パラメータは、例えば、速度、操舵角といった、移動体１００を制御する物理量を示す信号である。ここでは、制御パラメータには、速度、操舵角のうちの少なくとも１つが含まれるとする。情報処理器２０から制御パラメータが出力されると、移動体１００は、移動体１００の動作状態が、制御パラメータによって示される物理量となるように、加速、減速、操舵等を行う。
また、情報処理器２０は、訓練データ又は拘束条件を用いて機械学習モデルを学習させる。
情報処理器２０は、例えば、取得器１０と通信可能なプロセッサと、メモリとを含んで構成されてもよい。この場合には、情報処理器２０は、メモリに記憶されたプログラムを、プロセッサが実行することで、各種処理を実現する。
機械学習モデルは、制御コマンドと、移動体１００の移動方向前方の画像とが入力されると、制御パラメータを出力するように学習されたモデルである。機械学習モデルは、例えば、ニューラルネットワークモデルであってよい。ここでは、機械学習モデルが、ニューラルネットワークモデルであるとする。
［２．機械学習モデルの構成］
図３は、情報処理器２０が利用する機械学習モデル３０の構成を示す模式図である。
図３に示されるように、機械学習モデル３０は、第１機械学習モデル４０と、第２機械学習モデル５０とを含んで構成される。
第１機械学習モデル４０は、移動体１００の移動方向前方の画像が入力されると、入力された画像から、被写体の特徴量を算出するように学習されたモデルである。
第２機械学習モデル５０は、第１機械学習モデル４０から出力された特徴量と、制御コマンドとが入力されると、制御パラメータを算出するように学習されたモデルである。
第２機械学習モデル５０は、機械学習モデル３０の入力対象とするＮ（Ｎは２以上の整数）個の制御コマンドのそれぞれに対応する、第１制御コマンド対応機械学習モデル５１Ａ、第２制御コマンド対応機械学習モデル５１Ｂ～第Ｎ制御コマンド対応機械学習モデル５１Ｎを含んで構成される。以下、第１制御コマンド対応機械学習モデル５１Ａ、第２制御コマンド対応機械学習モデル５１Ｂ～第Ｎ制御コマンド対応機械学習モデル５１Ｎを明示的に区別する必要がない場合には、第１制御コマンド対応機械学習モデル５１Ａ、第２制御コマンド対応機械学習モデル５１Ｂ～第Ｎ制御コマンド対応機械学習モデル５１Ｎのことを、制御コマンド対応学習モデル５１とも呼ぶ。制御コマンド対応学習モデル５１のそれぞれは、対応する制御コマンドに応じた特徴量が入力されると、制御パラメータを算出するように学習されたモデルである。第２機械学習モデル５０は、制御コマンドが入力されると、入力された制御コマンドに対応する制御コマンド対応学習モデル５１を選択する。そして、第２機械学習モデル５０は、選択した制御コマンド対応学習モデル５１利用して、第１機械学習モデル４０から出力された、制御コマンドに応じた特徴量を入力として、制御パラメータを出力する。
［３．機械学習モデルの学習方法］
以下、上記構成の機械学習モデル３０を学習させる学習方法について説明する。
図４は、情報処理器２０が機械学習モデル３０を学習させる学習方法のフローチャートである。
図４に示されるように、最初に、情報処理器２０は、第１段階として、画像を入力とし、画像に付与されたラベルを正解とする訓練データを用いて、第１機械学習モデル４０を識別機として学習させる（ステップＳ１０）。訓練データは、移動体１００の移動方向前方の画像を入力とし、制御コマンドを正解とする訓練データ（以下、「第２訓練データ」と呼ぶ）と、移動体１００とは必ずしも関係の無い一般画像を入力とし、その一般画像に付与されたラベル情報を正解とする訓練データ（以下、「一般画像訓練データ」と呼ぶ）とが利用可能である。また、この第２訓練データと一般画像訓練データとの両方を用いて学習しても良い。なお、このステップＳ１０においては、第２訓練データを利用することが望ましい。また、第２訓練データと一般画像訓練データとの両方を用いて学習を行う場合は、まず一般画像訓練データでの学習を行い、次に第２訓練データでの学習を行う、段階的な学習が望ましい。
ここで、第２訓練データで使用する、移動体１００の移動方向前方の画像と、制御コマンドとの組は、予め、移動体制御装置１を利用するユーザが、移動体１００を操縦することで取得しておいたものを利用する。すなわち、移動体制御装置１を利用するユーザは、移動体１００に対して、予め、機械学習モデル３０の入力対象とするＮ個の制御コマンドのそれぞれに対応する操縦を繰り返し行うことで、Ｎ個の制御コマンドのそれぞれに対応する複数の、移動体１００の移動方向前方の画像を取得する。そして、移動体制御装置１を利用するユーザは、Ｎ個の制御コマンドのそれぞれと、対応する複数の、移動体１００の移動方向前方の画像とを組み合わせることで、第２訓練データを作成する。
図５Ａは、ステップＳ１０の処理において、情報処理器２０が、第２訓練データを用いて、第１機械学習モデル４０を識別機として学習させる様子を示す模式図である。また、図５Ｂは、ステップＳ１０の処理において、情報処理器２０が、一般画像訓練データを用いて、第１機械学習モデル４０を識別機として学習させる様子を示す模式図である。
図５Ａに示されるように、ステップＳ１０の処理では、情報処理器２０は、第１機械学習モデル４０に対して、Ｎ個の制御コマンドそれぞれについて、各制御コマンドを正解とする複数の、移動体１００の移動方向前方の画像を入力する。そして、情報処理器２０は、第１機械学習モデル４０を、入力された複数の、移動体１００の移動方向前方の画像から、対応する制御コマンドを識別する識別機として学習させる。
次に、情報処理器２０は、第２段階として、制御コマンドと、移動体１００の移動方向前方の画像とを入力とし、制御パラメータを正解とする訓練データ（以下、「第１訓練データ」と呼ぶ。）を用いて、機械学習モデル３０を回帰学習させる（ステップＳ２０）。
ここで、第１訓練データで使用する、制御コマンドと、移動体１００の移動方向前方の画像と、制御パラメータとの組は、予め、移動体制御装置１を利用するユーザが、移動体１００を操縦することで取得しておいたものを利用する。すなわち、移動体制御装置１を利用するユーザは、移動体１００に対して、機械学習モデル３０の入力対象とするＮ個の制御コマンドのそれぞれに対応する操縦を繰り返し行うことで、Ｎ個の制御コマンドのそれぞれに対応する複数の、移動体１００の移動方向前方の画像と、Ｎ個の制御コマンドのそれぞれに対応する複数の制御パラメータとを取得する。そして、移動体制御装置１を利用するユーザは、移動体１００の移動方向前方の画像のそれぞれと、対応する制御コマンドと、対応する制御パラメータとを組み合わせることで、第１訓練データを作成する。
図６は、ステップＳ２０の処理において、情報処理器２０が、第１訓練データを用いて、機械学習モデル３０を回帰学習させる様子を示す模式図である。
図６に示されるように、ステップＳ２０の処理では、情報処理器２０は、機械学習モデル３０に対して、移動体１００の移動方向前方の画像のそれぞれについて、移動体１００の移動方向前方の画像と、対応する制御コマンドとを入力とし、対応する制御パラメータを正解として回帰学習させる。ステップＳ１０の処理とステップＳ２０の処理とが終了すると、機械学習モデル３０は、情報処理器２０が、機械学習モデル３０を利用して、移動体１００を制御することが可能となるレベル（以下、「制御可能レベル」とも呼ぶ。）にまで学習した状態となる。
なお、ステップＳ２０の処理では、情報処理器２０は、第１機械学習モデル４０を学習済みであるとして固定した状態（つまり、第１機械学習モデル４０を学習の対象から除外した状態）で、第１訓練データを用いて、機械学習モデル３０を回帰学習させるとしてもよい。
次に、情報処理器２０は、第３段階として、移動体１００の動作状態に制限する拘束条件を用いて、機械学習モデル３０を回帰学習させる（ステップＳ３０）。このステップＳ３０の処理は、移動体１００に、よりスムースな動きをさせるために行う学習である。ここで、移動体１００のスムースな動きとは、急激な移動速度の変化、及び急激な操舵角の変化を伴わない動きのことをいう。
拘束条件は、例えば、移動体１００の移動速度ｖの単位時間当たりの変化率であるｄｖ／ｄｔ（すなわち、加速度）に上限を与える条件（以下、「拘束条件１」とも呼ぶ。）であってもよい。
また、拘束条件は、例えば、白線が引かれた走行路を走行する移動体１００が、白線を超えないという条件（以下、「拘束条件２」とも呼ぶ。）であってもよい。
また、拘束条件は、例えば、移動体１００の操舵角の単位時間または単位移動距離当たりの変化率に上限を与える条件であってもよい。
図７は、情報処理器２０に、拘束条件１及び拘束条件２を用いて、機械学習モデル３０を回帰学習させる実験を行った際の実験結果を示す図である。
図７において、スムースネス７１は、移動体１００の移動速度の単位時間当たりの変化率と、移動体１００の操舵角の単位時間当たりの変化率とを反映する、移動体１００の移動におけるスムースさの程度示す指標であって、数値がより小さい程、移動体１００の移動がよりスムースである旨を示す指標である。また、白線オーバ回数７２は、白線が引かれた走行路を走行する移動体１００が、白線を超えた回数を示す。
図７に示されるように、情報処理器２０が、拘束条件１及び拘束条件２を用いて、機械学習モデル３０を回帰学習させることで、機械学習モデル３０は、移動体１００がよりスムースな動きをするように、そして、移動体１００が白線を超えた動きをしないように、移動体１００を制御できるようになることがわかる。
なお、ステップＳ３０の処理では、情報処理器２０は、第１機械学習モデル４０を学習済みであるとして固定した状態で、拘束条件を用いて、機械学習モデル３０を回帰学習させるとしてもよい。
最後に、情報処理器２０は、第４段階として、移動体１００が順守すべき交通ルールを用いて、機械学習モデル３０を回帰学習させる（ステップＳ４０）。このステップＳ４０の処理は、移動体１００に、交通ルールを順守する動きをさせるために行う学習である。
交通ルールは、例えば、信号を守るといという条件であってもよい。
また、交通ルールは、例えば、走行レーンを変更しないという条件であってもよい。
なお、ステップＳ４０の処理では、情報処理器２０は、第１機械学習モデル４０を学習済みであるとして固定した状態で、交通ルールを用いて、機械学習モデル３０を回帰学習させるとしてもよい。
ステップＳ４０の処理が終了すると、情報処理器２０は、機械学習モデル３０の学習を終了する。
なお、ここでは、機械学習モデル３０を学習させる学習方法の一例として、情報処理器２０は、ステップＳ３０の処理が終了した後に、ステップＳ４０の処理を行うとして説明した。これに対して、別の学習方法の一例として、情報処理器２０は、ステップＳ４０の処理が終了した後に、ステップＳ３０の処理を行うとしてもよい。
また、機械学習モデル３０を学習させる学習方法において、ステップＳ３０の処理、及びステップＳ４０の処理は、いずれも、移動体１００の動きの質を向上させるために行う処理である。このため、要求される移動体１００の動きの質によっては、情報処理器２０は、ステップＳ３０の処理とステップＳ４０の処理とのいずれか一方、又は双方の処理を行わないこともあり得る。
また、情報処理器２０は、ステップＳ１０の処理とステップＳ２０の処理とを行う替わりに、ステップＳ２０の処理の一部を変更したステップＳ２５（後述）の処理を行うとしても、機械学習モデル３０を制御可能レベルにまで学習させることが可能である。但し、実験を繰り返した結果、ステップＳ１０の処理とステップＳ２０の処理との替わりにステップＳ２５の処理を行う学習方法の方が、ステップＳ１０の処理とステップＳ２０の処理とを行う学習方法よりも、機械学習モデル３０の学習効率が低下する傾向にあることが判明している。このため、ステップＳ１０の処理とステップＳ２０の処理とを行う学習方法の方が、より好ましい。ここで、ステップＳ２５の処理とは、情報処理器２０が、第１機械学習モデル４０を事前に学習しない状態（つまり、ステップＳ１０を行っていない状態）で、第１訓練データを用いて、機械学習モデル３０全体を回帰学習させる処理である。
［４．移動体制御方法］
移動体制御装置１は、上記学習方法で学習させた機械学習モデル３０を利用して移動体１００を制御する移動体制御処理を行う。
以下、移動体制御装置１が行う移動体制御処理について説明する。
図８は、移動体制御処理のフローチャートである。
移動体制御処理は、例えば、移動体制御装置１を利用するユーザが、移動体制御装置１に対して、移動体制御処理を開始する旨の操作を行うことで開始される。
移動体制御処理が開始されると、取得器１０は、移動体１００の移動方向前方の画像の逐次取得を開始する（ステップＳ１００）。
その後、取得器１０が、移動体１００の制御コマンドを取得すると（ステップＳ１１０：Ｎｏの処理を繰り返した後にステップＳ１１０：Ｙｅｓ）、情報処理器２０は、機械学習モデル３０に、取得器１０によって取得された制御コマンドと、取得器１０によって取得された最新の移動体１００の移動方向前方の画像とを入力する（ステップＳ１２０）。
機械学習モデル３０に、制御コマンドと画像とが入力されると、第１機械学習モデル４０は、画像から、被写体の特徴を示す特徴量であって、制御コマンドに応じた特徴量を算出する（ステップＳ１３０）。
制御コマンドに応じた特徴量が算出されると、第２機械学習モデル５０は、制御コマンドに対応する制御コマンド対応学習モデル５１を選択する（ステップＳ１４０）。そして、選択された制御コマンド対応学習モデル５１は、制御コマンドに応じた特徴量から、制御パラメータを算出する（ステップＳ１５０）。制御パラメータが算出されると、情報処理器２０は、現在の制御パラメータと算出した制御パラメータとの差分が小さくなるよう制御パラメータを更新し（ステップＳ１６０）、更新した制御パラメータを出力する。この際の更新幅の決定方法は、例えば、ＰＩＤ（Proportional Integral Differential）制御であってもよい。また、段階的な変化はさせず、算出パラメータを制御パラメータへと即座に反映させても良い。
制御パラメータが出力されると、情報処理器２０は、現在の制御パラメータと算出した制御パラメータとが等しいか否かを判定する（ステップＳ１７０）。
ステップＳ１７０の処理において、現在の制御パラメータと算出した制御パラメータとが等しいと判定された場合（ステップＳ１７０：Ｙｅｓ）、移動体制御装置１は、再びステップＳ１１０の処理に進み、ステップＳ１１０以降の処理を行う。
ステップＳ１７０の処理において、現在の制御パラメータと算出した制御パラメータとが等しくないと判定された場合（ステップＳ１７０：Ｎｏ）、移動体制御装置１は、再びステップＳ１６０の処理に進み、ステップＳ１６０以降の処理を行う。
［５．考察］
上述したように、上記構成の移動体制御装置１は、移動体１００の制御コマンドと、移動体１００の移動方向前方の画像を利用して、移動体１００を制御する。
このため、移動体制御装置１を用いて移動体１００の自動運転を行う場合には、予め用意された３次元地図、及び具体的な走行位置の指定を必要としない。また、固定された走行ルート以外の選択が可能となる。
従って、移動体制御装置１によると、従来よりも、より自由度の高い移動体１００の自動運転を実現し得る。
（他の実施の形態）
以上、本開示の一態様に係る移動体制御装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
例えば、情報処理器２０は、互いに通信可能な複数のコンピュータ装置を含んで構成され、情報処理器２０によって実現される各種処理は、分散コンピューティング又はクラウドコンピューティングによって実現されてもよい。
また、情報処理器２０に含まれる構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示は、移動体を制御する制御装置に広く利用可能である。
１ 移動体制御装置
１０ 取得部
２０ 情報処理部
３０ 機械学習モデル
４０ 第１機械学習モデル
５０ 第２機械学習モデル
５１Ａ 第１制御コマンド対応機械学習モデル
５１Ｂ 第２制御コマンド対応機械学習モデル
５１Ｎ 第Ｎ制御コマンド対応機械学習モデル
１００ 移動体

Claims (9)

  1. 移動体を制御する移動体制御装置であって、
    前記移動体のＮ（Ｎは２以上の整数）個の制御コマンドのうちの１の制御コマンドと、前記移動体の移動方向前方の画像とを取得する取得器と、
    前記Ｎ個の制御コマンドのそれぞれに対応するＮ個の機械学習モデルの中から、前記１の制御コマンドに対応する１の機械学習モデルを選択し、当該１の機械学習モデルを利用して、前記取得器によって取得された前記１の制御コマンドと前記画像とを入力として、前記移動体を制御するための制御パラメータを出力する情報処理器と、を備える
    移動体制御装置。
  2. 前記情報処理器は、前記取得器によって取得された前記画像から、前記取得器によって取得された前記１の制御コマンドに応じた被写体の特徴を示す特徴量を算出し、当該特徴量と前記取得器によって取得された前記１の制御コマンドとに基づいて、前記制御パラメータの出力を行う
    請求項１に記載の移動体制御装置。
  3. 前記Ｎ個の機械学習モデルは、ニューラルネットワークモデルである
    請求項１又は請求項２に記載の移動体制御装置。
  4. 前記Ｎ個の制御コマンドは、左折、右折、停止、直進、Ｕターン、車線変更のうち少なくとも１つを含み、
    前記制御パラメータは、速度、操舵角のうちの少なくとも１つを含む
    請求項１～請求項３のいずれか１項に記載の移動体制御装置。
  5. 移動体を制御する移動体制御方法であって、
    前記移動体のＮ（Ｎは２以上の整数）個の制御コマンドのうちの１の制御コマンドと、前記移動体の移動方向前方の画像とを取得する第１ステップと、
    前記Ｎ個の制御コマンドのそれぞれに対応するＮ個の機械学習モデルの中から、前記１の制御コマンドに対応する１の機械学習モデルを選択し、当該１の機械学習モデルを利用して、取得した前記１の制御コマンドと前記画像とを入力として、前記移動体を制御するための制御パラメータを出力する第２ステップとを含む
    移動体制御方法。
  6. 機械学習モデルを利用して移動体を制御する移動体制御装置の学習方法であって、
    前記移動体のＮ（Ｎは２以上の整数）個の制御コマンドと、前記移動体の移動方向前方の、前記Ｎ個の制御コマンドのそれぞれに対応する複数の画像とを入力とし、前記移動体を制御する、前記Ｎ個の制御コマンドのそれぞれに対応する複数の制御パラメータを正解とする第１訓練データを用いて、前記機械学習モデルを学習させる第１ステップを含む
    学習方法。
  7. さらに、前記複数の画像を入力とし、前記Ｎ個の制御コマンドを正解とする第２訓練データを用いて、前記機械学習モデルを学習させる第２ステップを含み、
    前記第２ステップは、前記第１ステップの実行に先立って実行される
    請求項６に記載の学習方法。
  8. さらに、前記移動体の取り得る動作状態を制限する拘束条件を用いて、前記機械学習モデルを学習させる第３ステップを含み、
    前記第３ステップは、前記第２ステップの実行の後に実行される
    請求項７に記載の学習方法。
  9. さらに、前記移動体が順守すべき交通ルールを用いて、前記機械学習モデルを学習させる第４ステップを含み、
    前記第４ステップは、前記第２ステップの実行の後に実行される
    請求項７に記載の学習方法。
JP2018562315A 2017-06-28 2018-06-20 移動体制御装置、移動体制御方法、及び学習方法 Active JP7050006B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762525979P 2017-06-28 2017-06-28
US62/525,979 2017-06-28
PCT/US2018/038433 WO2019005547A1 (en) 2017-06-28 2018-06-20 MOBILE BODY CONTROL APPARATUS, MOBILE BODY CONTROL METHOD, AND LEARNING METHOD

Publications (2)

Publication Number Publication Date
JP2020525331A JP2020525331A (ja) 2020-08-27
JP7050006B2 true JP7050006B2 (ja) 2022-04-07

Family

ID=64742591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562315A Active JP7050006B2 (ja) 2017-06-28 2018-06-20 移動体制御装置、移動体制御方法、及び学習方法

Country Status (3)

Country Link
US (1) US11449048B2 (ja)
JP (1) JP7050006B2 (ja)
WO (1) WO2019005547A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
JP7050006B2 (ja) * 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
IT201900002853A1 (it) * 2019-02-27 2020-08-27 Magneti Marelli Spa "Sistema per ottenere la predizione di un’azione di un veicolo e procedimento corrispondente"
US11203361B2 (en) * 2020-05-05 2021-12-21 StradVision, Inc. Method for performing on-device learning of machine learning network on autonomous vehicle by using multi-stage learning with adaptive hyper-parameter sets and device using the same
JP7466403B2 (ja) 2020-08-03 2024-04-12 キヤノン株式会社 制御装置、リソグラフィー装置、制御方法および物品製造方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238054A (ja) 2010-05-11 2011-11-24 Toyota Motor Corp 走行軌道作成装置
JP2013113274A (ja) 2011-11-30 2013-06-10 Toyota Motor Corp エンジン制御装置
CN106080590A (zh) 2016-06-12 2016-11-09 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282530A (ja) 1998-03-27 1999-10-15 Sanyo Electric Co Ltd 車両運行システム
KR100725540B1 (ko) * 2005-10-28 2007-06-08 한국전자통신연구원 이물기를 이용한 이동기기 제어 장치 및 방법
JP5227065B2 (ja) 2008-01-25 2013-07-03 株式会社岩根研究所 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
BR112012017199A2 (pt) * 2009-12-25 2018-07-31 Ricoh Co Ltd aparelho para identificação de objetos, aparelho para controle de corpos em movimento e aparelho para fornecer informações
JP5531612B2 (ja) * 2009-12-25 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
KR101749100B1 (ko) * 2010-12-23 2017-07-03 한국전자통신연구원 디바이스 제어를 위한 제스처/음향 융합 인식 시스템 및 방법
JP5790677B2 (ja) * 2013-02-15 2015-10-07 トヨタ自動車株式会社 移動制御装置、移動体制御方法、及び制御プログラム
JP6020328B2 (ja) * 2013-04-18 2016-11-02 トヨタ自動車株式会社 移動体制御装置、移動体制御方法、及び制御プログラム
US20150032258A1 (en) * 2013-07-29 2015-01-29 Brain Corporation Apparatus and methods for controlling of robotic devices
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US10599155B1 (en) * 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
JP2016153247A (ja) * 2014-07-23 2016-08-25 株式会社発明屋 クラウド運ちゃん
US9494439B1 (en) * 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles
WO2017120336A2 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
EP3548843B1 (en) * 2016-11-30 2021-01-20 Nissan North America, Inc. Interface for mapping remote support to autonomous vehicles
WO2018098784A1 (zh) * 2016-12-01 2018-06-07 深圳市大疆创新科技有限公司 无人机的控制方法、装置、设备和无人机的控制系统
US10796204B2 (en) * 2017-02-27 2020-10-06 Huawei Technologies Co., Ltd. Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
JP7050006B2 (ja) * 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
JP6577532B2 (ja) * 2017-07-28 2019-09-18 ファナック株式会社 機械学習装置、及びユーザ識別装置
US11358290B2 (en) * 2017-10-19 2022-06-14 Canon Kabushiki Kaisha Control apparatus, robot system, method for operating control apparatus, and storage medium
US10762399B2 (en) * 2017-12-18 2020-09-01 Ford Global Technologies, Llc Using deep video frame prediction for training a controller of an autonomous vehicle
US10922585B2 (en) * 2018-03-13 2021-02-16 Recogni Inc. Deterministic labeled data generation and artificial intelligence training pipeline
US10725475B2 (en) * 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US20200242154A1 (en) * 2019-01-24 2020-07-30 Olympus Corporation Image file generating device and image file generating method
US10576636B1 (en) * 2019-04-12 2020-03-03 Mujin, Inc. Method and control system for and updating camera calibration for robot control
JP2021015425A (ja) * 2019-07-11 2021-02-12 富士通株式会社 学習方法、学習プログラム及び学習装置
KR20190104474A (ko) * 2019-08-20 2019-09-10 엘지전자 주식회사 차량 주행 제어 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238054A (ja) 2010-05-11 2011-11-24 Toyota Motor Corp 走行軌道作成装置
JP2013113274A (ja) 2011-11-30 2013-06-10 Toyota Motor Corp エンジン制御装置
CN106080590A (zh) 2016-06-12 2016-11-09 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置

Also Published As

Publication number Publication date
JP2020525331A (ja) 2020-08-27
US11449048B2 (en) 2022-09-20
WO2019005547A1 (en) 2019-01-03
US20190219998A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
JP7050006B2 (ja) 移動体制御装置、移動体制御方法、及び学習方法
JP7143250B2 (ja) 自車両の将来挙動および関連する軌道を決定することにより、自車両の操作者が当該自車両を制御するのを支援する方法およびシステム
CN113805572B (zh) 运动规划的方法与装置
JP6713410B2 (ja) 電子制御装置
CN112034834A (zh) 使用强化学习来加速自动驾驶车辆的轨迹规划的离线代理
CN112034833A (zh) 规划用于自动驾驶车辆的开放空间轨迹的在线代理
Min et al. Deep Q learning based high level driving policy determination
CN111208838B (zh) 一种无人驾驶设备的控制方法及装置
JP2017124744A (ja) 車線変更支援装置
CN111868641A (zh) 用于产生用于训练车辆控制设备的人工智能模块的训练数据组的方法
CN111948938A (zh) 规划用于自动驾驶车辆的开放空间轨迹的松弛优化模型
JP2022515083A (ja) 自動車車両のための可能な走行経路を決定するハイブリッドアプローチのための制御システムおよび制御方法
KR102166811B1 (ko) 심층강화학습과 운전자보조시스템을 이용한 자율주행차량의 제어 방법 및 장치
CN112306059B (zh) 一种控制模型的训练方法、控制方法以及装置
CN113771839B (zh) 一种自动泊车决策规划方法及系统
JP6880224B2 (ja) 車両制御装置
CN108528457B (zh) 运动规划的方法、设备和具有指令的计算机可读存储介质
KR102155054B1 (ko) 인공지능을 활용한 주변차량 컷인 의도 예측 방법
KR102376615B1 (ko) 주행 로봇의 제어 방법 및 그 장치
EP4019899B1 (en) Method and apparatus for creating driving route of autonomous vehicle and computer program therefor
CN114413896A (zh) 一种移动机器人的复合导航方法、装置、设备及存储介质
JP7268321B2 (ja) 駐車支援方法及び駐車支援装置
JP7369783B2 (ja) 情報処理方法、プログラム及び情報処理装置
Wang et al. Time-to-contact control: improving safety and reliability of autonomous vehicles
CN114489073B (zh) 自动驾驶速度重规划方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7050006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150