JP7342600B2 - 移動制御モデル生成装置、移動制御モデル生成方法、移動制御モデル生成プログラム、移動体制御装置、移動体制御方法、および移動体制御プログラム - Google Patents

Description

本開示は、移動制御モデル生成装置、移動制御モデル生成方法、移動制御モデル生成プログラム、移動体制御装置、移動体制御方法、および移動体制御プログラムに関する。

従来から、移動体を目的地まで（自律的に）到達させるための技術について検討されている。

特開２０１８－１０６４６６号公報

上記のような従来の技術では、移動体がオブジェクトと接触するのを回避するために、移動体とオブジェクトとの間の距離の検知結果に応じて、移動体に実行させるべき動作が決定される場合がある。

上記のような動作の決定には、たとえば、「移動体を目的地まで到達させる」という目的に応じて設計された報酬に基づく強化学習によって予め生成された、検知結果の入力に応じて移動体に実行させるべき動作を出力する学習済みモデルが利用されることがある。移動体に達成させるべき目的が、「移動体を目的地まで到達させる」という目的だけであるならば、報酬の設計は容易であるので、学習に要する時間を抑制することが可能である。

しかしながら、移動体に達成させることが望まれる目的は、「移動体を目的地まで到達させる」という目的だけでなく、「遠回りをしない」という目的などといった他の目的も考えられる。この場合、一般的な強化学習のみによって複数の目的への対応を実現しようとすると、報酬の設計が煩雑になるとともに、学習に要する時間が急激に増大する。

そこで、本開示の課題の一つは、複数の目的を移動体に達成させるための移動制御モデルの学習に要する時間を低減することが可能な移動制御モデル生成装置、移動制御モデル生成方法、および移動制御モデル生成プログラムと、生成された移動制御モデルを利用した移動体制御装置、移動体制御方法、および移動体制御プログラムと、を提供することである。

本開示の一例としての移動制御モデル生成装置は、移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、の入力に応じて、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報と、複数の動作の各々を移動体が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように構成され、移動体のアクチュエータを制御するための移動制御モデルを取得する取得部と、強化学習により、検知情報および目的地情報と、可能性情報と、の対応関係を、取得部により取得された移動制御モデルに学習させるとともに、教師あり学習により、検知情報および目的地情報と、予測情報と、の対応関係を、取得部により取得された移動制御モデルに学習させる学習部と、を備える。

上述した移動制御モデル生成装置によれば、「移動体を目的地まで到達させる」という目的を移動体に達成させるために用いられる可能性情報については、強化学習が実行され、他の目的を移動体に達成させるために用いられる予測情報については、強化学習ではなく、教師あり学習が実行される。したがって、たとえば強化学習のみによって複数の目的への対応を実現する場合と異なり、複数の目的を移動体に達成させるための移動制御モデルの学習に要する時間を低減することができる。

上述した移動制御モデル生成装置において、可能性情報は、目的地への移動にあたり移動体が実行しうる複数の動作としての複数の移動方向への移動動作の各々が移動体の目的地への到達につながる確率を示す確率情報を含み、予測情報の予め決められた指標は、移動体が目的地へ到達するのに要する時間に関する時間指標を含む。このような構成によれば、「移動体を目的地まで到達させる」という目的に対応するのに適当な確率情報を可能性情報に含めることができるとともに、他の目的の一つとしての「遠回りしない」という目的に対応するのに適当な時間指標を予測情報の予め決められた指標に含めることができる。

また、上述した移動制御モデル生成装置において、移動体は、アクチュエータの制御に応じて自律的に移動するパーソナルモビリティを含む。このような構成によれば、複数の目的への対応を実現することが特に有効なパーソナルモビリティに本開示の技術を適用することができる。

本開示の他の一例としての移動制御モデル生成方法は、移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、の入力に応じて、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報と、複数の動作の各々を移動体が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように構成され、移動体のアクチュエータを制御するための移動制御モデルを取得する取得ステップと、強化学習により、検知情報および目的地情報と、可能性情報と、の対応関係を、取得ステップにより取得された移動制御モデルに学習させるとともに、教師あり学習により、検知情報および目的地情報と、予測情報と、の対応関係を、取得ステップにより取得された移動制御モデルに学習させる学習ステップと、を備える。

上述した移動制御モデル生成方法によれば、「移動体を目的地まで到達させる」という目的を移動体に達成させるために用いられる可能性情報については、強化学習が実行され、他の目的を移動体に達成させるために用いられる予測情報については、強化学習ではなく、教師あり学習が実行される。したがって、たとえば強化学習のみによって複数の目的への対応を実現する場合と異なり、複数の目的を移動体に達成させるための移動制御モデルの学習に要する時間を低減することができる。

また、本開示の他の一例としての移動制御モデル生成プログラムは、移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、の入力に応じて、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報と、複数の動作の各々を移動体が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように構成され、移動体のアクチュエータを制御するための移動制御モデルを取得する取得ステップと、強化学習により、検知情報および目的地情報と、可能性情報と、の対応関係を、取得ステップにより取得された移動制御モデルに学習させるとともに、教師あり学習により、検知情報および目的地情報と、予測情報と、の対応関係を、取得ステップにより取得された移動制御モデルに学習させる学習ステップと、をコンピュータに実行させるためのプログラムである。

上述した移動制御モデル生成プログラムによれば、「移動体を目的地まで到達させる」という目的を移動体に達成させるために用いられる可能性情報については、強化学習が実行され、他の目的を移動体に達成させるために用いられる予測情報については、強化学習ではなく、教師あり学習が実行される。したがって、たとえば強化学習のみによって複数の目的への対応を実現する場合と異なり、複数の目的を移動体に達成させるための移動制御モデルの学習に要する時間を低減することができる。

さらに、本開示の他の一例としての移動体制御装置は、移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、を取得する取得部と、検知情報および目的地情報の入力に応じて、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報と、複数の動作の各々を移動体が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを用いて、取得部により取得された検知情報および目的地情報に対応した可能性情報および予測情報を出力する出力部と、出力部により出力される可能性情報および予測情報に基づいて複数の動作から選択される少なくとも１つの動作を移動体に実行させるように、移動体のアクチュエータを制御する制御部と、を備える。

上述した移動体制御装置によれば、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを利用して、「移動体を目的地まで到達させる」という目的を移動体に達成させるために用いられる可能性情報と、他の目的を移動体に達成させるために用いられる予測情報とを、検知情報および目的地情報の入力に応じて出力することができる。そして、可能性情報および予測情報に基づいて、複数の目的を移動体に達成させるようにアクチュエータを適切に制御することができる。

また、本開示の他の一例としての移動体制御方法は、移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、を取得する取得ステップと、検知情報および目的地情報の入力に応じて、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報と、複数の動作の各々を移動体が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを用いて、取得ステップにより取得された検知情報および目的地情報に対応した可能性情報および予測情報を出力する出力ステップと、出力ステップにより出力される可能性情報および予測情報に基づいて複数の動作から選択される少なくとも１つの動作を移動体に実行させるように、移動体のアクチュエータを制御する制御ステップと、を備える。

上述した移動体制御方法によれば、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを利用して、「移動体を目的地まで到達させる」という目的を移動体に達成させるために用いられる可能性情報と、他の目的を移動体に達成させるために用いられる予測情報とを、検知情報および目的地情報の入力に応じて出力することができる。そして、可能性情報および予測情報に基づいて、複数の目的を移動体に達成させるようにアクチュエータを適切に制御することができる。

また、本開示の他の一例としての移動体制御プログラムは、移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、を取得する取得ステップと、検知情報および目的地情報の入力に応じて、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報と、複数の動作の各々を移動体が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように、強化学習と教師あり学習との組み合わせにより予め生成された移動制御モデルを用いて、取得ステップにより取得された検知情報および目的地情報に対応した可能性情報および予測情報を出力する出力ステップと、出力ステップにより出力される可能性情報および予測情報に基づいて複数の動作から選択される少なくとも１つの動作を移動体に実行させるように、移動体のアクチュエータを制御する制御ステップと、をコンピュータに実行させるためのプログラムである。

上述した移動体制御プログラムによれば、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを利用して、「移動体を目的地まで到達させる」という目的を移動体に達成させるために用いられる可能性情報と、他の目的を移動体に達成させるために用いられる予測情報とを、検知情報および目的地情報の入力に応じて出力することができる。そして、可能性情報および予測情報に基づいて、複数の目的を移動体に達成させるようにアクチュエータを適切に制御することができる。

図１は、実施形態にかかる移動体を示した例示的かつ模式的な図である。 図２は、実施形態にかかる移動制御モデル生成装置が有する機能を示した例示的かつ模式的なブロック図である。 図３は、実施形態にかかる移動制御モデルを説明するための例示的かつ模式的な図である。 図４は、実施形態にかかる移動制御モデルの学習方法を概念的に表した例示的かつ模式的な図である。 図５は、実施形態にかかる移動体制御装置が有する機能を示した例示的かつ模式的なブロック図である。 図６は、実施形態にかかる移動体制御装置が移動体の自律走行の際に実行する処理を説明するための例示的かつ模式的なフローチャートである。 図７は、実施形態にかかる移動体制御装置を実現するための情報処理装置のハードウェア構成を示した例示的かつ模式的なブロック図である。

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

＜実施形態＞
図１は、実施形態にかかる移動体１００を示した例示的かつ模式的な図である。

図１に示されるように、実施形態にかかる移動体１００は、たとえば、周囲に存在するオブジェクトＸ１～Ｘ５を回避しながら所定の目的地Ｇへ到達するように自律走行（矢印Ａ１００参照）を実行するパーソナルモビリティとして構成される。オブジェクトＸ１～Ｘ５は、たとえば標識および柱などのような、位置が不変のものであってもよいし、たとえば人などのような、位置が変動するものであってもよい。

なお、実施形態の技術は、図１に示されるようなパーソナルモビリティ以外の一般的な車両に適用することも可能である。この場合、車両は、自律走行を実行する機能を有するように構成されていてもよいし有しないように構成されていてもよい。

ここで、従来から、上記のような移動体１００を目的地Ｇまで（自律的に）到達させるための技術について検討されている。このような従来の技術では、移動体１００がオブジェクトＸ１～Ｘ５と接触するのを回避するために、移動体１００とオブジェクトＸ１～Ｘ５との間の距離の検知結果に応じて、移動体１００に実行させるべき動作が決定される場合がある。

上記のような動作の決定には、たとえば、「移動体１００を目的地Ｇまで到達させる」という目的に応じて設計された報酬に基づく強化学習によって予め生成された、検知結果の入力に応じて移動体１００に実行させるべき動作を出力する学習済みモデルが利用されることがある。移動体１００に達成させるべき目的が、「移動体１００を目的地Ｇまで到達させる」という目的だけであるならば、報酬の設計は容易であるとともに、学習に要する時間を抑制することが可能である。

しかしながら、移動体１００に達成させることが望まれる目的は、「移動体１００を目的地Ｇまで到達させる」という目的だけでなく、「遠回りをしない」という目的などといった他の目的も考えられる。この場合、一般的な強化学習のみによって複数の目的への対応を実現しようとすると、報酬の設計が煩雑になるとともに、学習に要する時間が急激に増大する。

そこで、実施形態は、次の図２に示されるような機能を有した移動制御モデル生成装置２００により、複数の目的を移動体１００に達成させるための学習済みモデルの学習に要する時間を低減することを実現する。

図２は、実施形態にかかる移動制御モデル生成装置２００が有する機能を示した例示的かつ模式的なブロック図である。

図２に示されるように、移動制御モデル生成装置２００は、取得部２１０と、学習部２２０と、を備えている。

取得部２１０は、機械学習によるトレーニングの対象となる移動制御モデル２１１を取得する。移動制御モデル２１１は、次の図３に示されるように構成されている。

図３は、実施形態にかかる移動制御モデル２１１を説明するための例示的かつ模式的な図である。

図３に示されるように、移動制御モデル２１１は、検知情報および目的地情報の入力に応じて、確率情報および予測情報を出力するように構成されている。

検知情報とは、移動体１００と当該移動体１００の周囲に存在するオブジェクトＸ１～Ｘ５との位置関係を示す情報である。また、目的地情報とは、移動体１００と当該移動体１００が到達すべき目的地Ｇとの位置関係を示す情報である。詳細は後述するが、検知情報および目的地情報は、いずれも、移動体１００に搭載されるセンサ５０１（図５参照）の検知結果に基づいて取得することが可能な情報である。

また、確率情報とは、目的地Ｇへの移動にあたり移動体１００が実行しうる複数の動作の各々が移動体１００の目的地Ｇへの到達につながる可能性を示す可能性情報の一例である。より具体的に、確率情報とは、目的地Ｇへの移動にあたり移動体１００が実行しうる複数の動作としての複数の進行方向への移動動作（旋回動作を含む）の各々が移動体１００の目的地Ｇへの到達につながる確率を示す情報である（実線Ｌ３１０参照）。

また、予測情報とは、複数の動作の各々を移動体１００が実行した結果として変動しうる移動体の移動に関して予め決められた指標の予測結果を示す情報である。予め決められた指標は、たとえば、移動体１００が目的地Ｇへ到達するのに要する時間、より具体的には、移動体１００が目的地Ｇまで到達するまでに要する所要時間、に関する時間指標として設計される（実線Ｌ３２０参照）。

上記のような確率情報および予測情報によれば、「移動体１００を目的地Ｇまで到達させる」という目的と「遠回りをしない」という目的との両方を達成可能な移動体１００の動作を状態に応じて適切に選択することができる。より具体的に、確率情報によれば、目的地Ｇまで到達する確率が最も高い進行方向に移動するように移動体１００を制御することができるので、「移動体１００を目的地Ｇまで到達させる」という目的を達成することができる。また、予測情報によれば、目的地Ｇまで到達するのに要する所要時間が短くなるように移動体１００を制御することができるので、「遠回りをしない」という目的を達成することができる。

なお、確率情報および予測情報の両方を考慮して移動体１００の動作を選択することは、確率情報だけでは選択すべき動作が一意に決まらないような場合にも、有効な効果を発揮する。

たとえば、図３に示される例において、確率情報を示す実線Ｌ３１０は、同程度の確率を示す２つのピークＰ３１０およびＰ３２０を有しているので、実線Ｌ３１０だけしか考慮しない場合、２つのピークＰ３１１およびＰ３１２のいずれに対応した進行方向を選択することが適切であるかを判別することが難しい。しかしながら、図３に示される例において、予測情報を示す実線Ｌ３２０は、上記のピークＰ３１１と同様の進行方向を示すピークＰ３２０を１つだけ有している。したがって、確率情報および予測情報の両方を考慮すれば、ピークＰ３１１（すなわちピークＰ３２０）に対応した進行方向を、ピークＰ３１２に対応した進行方向よりも適切な進行方向として選択することができる。

ここで、上記のような適切な選択を実現するためには、取得部２１０により取得された移動制御モデル２１１を、予め収集または生成したデータに基づく機械学習により適切にトレーニングする必要がある。

そこで、図２に戻り、学習部２２０は、取得部２１０により取得された移動制御モデル２１１の、機械学習によるトレーニングを実行する。機械学習によるトレーニングは、たとえば次の図４に示されるような学習方法で実行される。

図４は、実施形態にかかる移動制御モデル２１１の学習方法を概念的に表した例示的かつ模式的な図である。

図４に示されるように、実施形態において、学習部２２０は、シミュレーションにより、複数の状態Ｓ_０、Ｓ_１、…、Ｓ_Ｎ－１、およびＳ_Ｎの各々に対応した確率情報および予測情報を取得する。そして、学習部２２０は、検知情報および目的地情報と、確率情報との、各状態における対応関係を、「移動体１００を目的地Ｇまで到達させる」という目的（だけ）に応じて設計された報酬に基づく強化学習により、移動制御モデル２１１に学習させる。

なお、強化学習がＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）に基づいて実行される場合、確率情報は、検知情報および目的地情報で示される状態において移動体１００が実行しうる行動（動作）の価値を示すＱ値に相当する。この場合、学習部２２０は、状態Ｓ_Ｎにおいて移動体１００が目的地Ｇに到達しているときは状態Ｓ_Ｎに対応したＱ値として１（＝１００％）が得られ、状態Ｓ_Ｎにおいて移動体１００が目的地Ｇに到達していないときは状態Ｓ_Ｎに対応したＱ値として０（＝０％）が得られるように、移動制御モデル２１１のトレーニングを実行する。そして、学習部２２０は、状態Ｓ_Ｎ－１、Ｓ_１、…、およびＳ_０に対応したＱ値として状態Ｓ_Ｎに対応したＱ値を基準にした値が適宜得られるように、移動制御モデル２１１のトレーニングを実行する（矢印Ａ４０１参照）。

ここで、前述した通り、移動体１００に達成させることが望まれる目的は、「移動体１００を目的地Ｇまで到達させる」という目的だけでなく、「遠回りをしない」という目的などといった他の目的も考えられるが、これら複数の目的への対応を強化学習のみによって実現しようとすると、報酬の設計が煩雑になるとともに、学習に要する時間が急激に増大する。

したがって、実施形態において、学習部２２０は、検知情報および目的地情報と、予測情報と、の対応関係を、強化学習ではなく、教師あり学習により、移動制御モデル２１１に学習させる。たとえば、学習部２２０は、状態Ｓ_Ｎにおいて移動体１００が目的地Ｇに到達しているときに、それまでに要した所要時間に関する時間指標が、状態Ｓ_０、Ｓ_１、…、Ｓ_Ｎ－１、およびＳ_Ｎの各々の予測情報として得られるように、移動制御モデル２１１のトレーニングを実行する（矢印Ａ４０２参照）。

このようにして、実施形態にかかる移動制御モデル生成装置２００は、検知情報および目的情報の入力に応じて適切な確率情報および予測情報を出力する学習済みモデルが得られるように、移動制御モデル２１１のトレーニングを実行する。

なお、実施形態において、移動制御モデル生成装置２００による上記のようなトレーニングを経た移動制御モデル２１１は、次の図５に示されるような形で、移動体１００に搭載される。

図５は、実施形態にかかる移動体制御装置５００が有する機能を示した例示的かつ模式的なブロック図である。

図５に示されるように、移動体制御装置５００は、取得部５１０と、出力部５２０と、制御部５３０と、を備えている。

取得部５１０は、移動体１００に設けられるセンサ５０１の検知結果に基づいて、検知情報および目的地情報を取得する。

ここで、実施形態において、センサ５０１は、たとえば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）またはソナーなどのような測距センサと、カメラなどにより撮像される画像に対する画像処理によって情報を検知する画像センサと、を含んでいる。検知情報は、たとえば、測距センサによるオブジェクトＸ１～Ｘ５までの距離の検知結果に基づいて取得することができ、目的地情報は、たとえば、画像センサによる目的地Ｇの検知結果と、移動体１００が走行する領域として予め記憶された地図データと、の照合結果に基づいて取得することができる。

出力部５２０は、移動制御モデル生成装置２００による上記のようなトレーニングを経た移動制御モデル２１１としての移動制御モデル５２１を用いて、取得部５１０により取得された検知情報および目的地情報の入力に応じて、確率情報および予測情報を出力する。

そして、制御部５３０は、出力部５２０から出力される確率情報および予測情報に基づいて、移動体１００を動作させるためのアクチュエータ５０２を制御する。より具体的に、制御部５３０は、出力部５２０により出力される確率情報および予測情報に基づいて複数の動作から選択される少なくとも１つの動作、すなわち、「移動体１００を目的地Ｇまで到達させる」という目的とともに「遠回りをしない」という目的などといった他の目的を達成することが見込まれる動作を移動体１００に実行させるように、アクチュエータ５０２を制御する。

以上の構成に基づき、実施形態にかかる移動体制御装置５００は、自律走行によって移動体１００が目的地Ｇに到達するまでの間、次の図６に示されるような処理を、たとえば所定の制御周期で繰り返し実行する。

図６は、実施形態にかかる移動体制御装置５００が移動体１００の自律走行の際に実行する処理を説明するための例示的かつ模式的なフローチャートである。

図６に示されるように、実施形態では、まず、Ｓ６０１において、移動体制御装置５００の取得部５１０は、センサ５０１の検知結果に基づいて、検知情報および目的地情報を取得する。

そして、Ｓ６０２において、移動体制御装置５００の出力部５２０は、移動制御モデル５２１を用いて、Ｓ６０１において取得された検知情報および目的地情報に応じた確率情報および予測情報を出力する。

そして、Ｓ６０３において、移動体制御装置５００の制御部５３０は、Ｓ６０２において出力された確率情報および予測情報に基づいて、移動体１００に実行させるべき動作を選択する。

そして、Ｓ６０４において、移動体制御装置５００の制御部５３０は、Ｓ５０３において選択された動作を移動体１００が実行するように、アクチュエータ５０２を制御する。そして、処理が終了する。

このような処理により、実施形態にかかる移動体制御装置５００は、移動体１００に、「移動体１００を目的地Ｇまで到達させる」という目的とともに「遠回りをしない」という目的などといった他の目的を達成させることができる。

なお、実施形態にかかる移動制御モデル生成装置２００および移動体制御装置５００は、たとえば次の図７に示されるような、一般的なコンピュータと同様のハードウェア構成を有する情報処理装置７００によって実現される。なお、移動制御モデル生成装置２００を実現する情報処理装置７００は、たとえばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であり、移動体制御装置５００を実現する情報処理装置７００は、たとえばＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。

図７は、実施形態にかかる移動体制御装置５００を実現するための情報処理装置７００のハードウェア構成を示した例示的かつ模式的なブロック図である。

図６に示されるように、実施形態にかかる情報処理装置７００は、プロセッサ７１０と、メモリ７２０と、ストレージ７３０と、入出力インターフェース（Ｉ／Ｆ）７４０と、通信インターフェース（Ｉ／Ｆ）７５０と、を備えている。これらのハードウェアは、バス７６０に接続されている。

プロセッサ７１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、情報処理装置７００の各部の動作を統括的に制御する。メモリ７２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ７１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ７１０がプログラムを実行するための作業領域の提供などを実現する。

ストレージ７３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。入出力インターフェース７４０は、情報処理装置７００へのデータの入力および情報処理装置７００からのデータの出力を制御する。通信インターフェース７５０は、情報処理装置７００が他の装置と通信を実行することを可能にする。

実施形態において、上述した図２および図５に示される機能モジュール群は、プロセッサ７１０がメモリ７２０またはストレージ７３０に記憶された移動体制御プログラムを実行した結果として、ハードウェアとソフトウェアとの協働により実現される。ただし、実施形態では、上述した図２および図５に示される機能モジュール群の少なくとも一部が、専用のハードウェア（回路：ｃｉｒｃｕｉｔｒｙ）として実現されてもよい。

なお、実施形態にかかる移動体制御プログラムは、メモリ７２０またはストレージ７３０などの記憶装置に予め組み込まれた状態で提供されてもよいし、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

また、実施形態にかかる移動体制御プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる移動体制御プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、当該コンピュータからネットワーク経由でダウンロードする、といった形で提供されてもよい。

以上説明したように、実施形態にかかる移動制御モデル生成装置２００は、取得部２１０と、学習部２２０と、を備えている。

取得部２１０は、移動体１００のアクチュエータ５０２の制御に利用される移動制御モデル２１１であって、検知情報および目的地情報の入力に応じて可能性情報および予測情報を出力する移動制御モデル２１１を取得するように構成されている。検知情報は、移動体１００と当該移動体１００の周囲に存在するオブジェクトＸ１～Ｘ５との位置関係を示す情報である。目的地情報は、移動体１００と当該移動体１００が到達すべき目的地Ｇとの位置関係を示す情報である。可能性情報は、目的地Ｇへの移動にあたり移動体１００が実行しうる複数の動作の各々が移動体１００の目的地Ｇへの到達につながる可能性を示す情報である。予測情報は、複数の動作の各々を移動体１００が実行した結果として変動しうる移動体１００の移動に関して予め決められた指標の予測結果を示す情報である。

ここで、学習部２２０は、強化学習により、検知情報および目的地情報と、可能性情報と、の対応関係を、取得部２１０により取得された移動制御モデル２１１に学習させるとともに、教師あり学習により、検知情報および目的地情報と、予測情報と、の対応関係を、取得部２１０により取得された移動制御モデルに学習させるように構成されている。

上記のような移動制御モデル生成装置２００によれば、「移動体１００を目的地Ｇまで到達させる」という目的を移動体１００に達成させるために用いられる可能性情報については、強化学習が実行され、他の目的を移動体１００に達成させるために用いられる予測情報については、強化学習ではなく、教師あり学習が実行される。したがって、たとえば強化学習のみによって複数の目的への対応を実現する場合と異なり、複数の目的を移動体１００に達成させるための移動制御モデル２１１の学習に要する時間を低減することができる。

なお、実施形態において、可能性情報は、目的地Ｇへの移動にあたり移動体１００が実行しうる複数の動作としての複数の移動方向への移動動作の各々が移動体１００の目的地Ｇへの到達につながる確率を示す確率情報を含むように設計されている。また、予測情報の予め決められた指標は、移動体１００が目的地Ｇへ到達するのに要する時間に関する時間指標を含むように設計されている。このような設計によれば、「移動体１００を目的地Ｇまで到達させる」という目的に対応するのに適当な確率情報を可能性情報に含めることができるとともに、他の目的の一つとしての「遠回りしない」という目的に対応するのに適当な時間指標を予測情報の予め決められた指標に含めることができる。

また、実施形態において、移動体１００は、アクチュエータ５０２の制御に応じて自律的に移動するパーソナルモビリティとして構成されている。このような構成によれば、複数の目的への対応を実現することが特に有効なパーソナルモビリティに実施形態の技術を適用することができる。

さらに、実施形態にかかる移動体制御装置５００は、取得部５１０と、出力部５２０と、制御部５３０と、を備えている。

取得部５１０は、検知情報および目的地情報を取得するように構成されている。そして、出力部５２０は、検知情報および目的地情報の入力に応じて可能性情報および予測情報を出力するように、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデル５２１、つまり移動制御モデル生成装置２００によるトレーニングを経た移動制御モデル２１１である移動制御モデル５２１を用いて、取得部５１０により取得された検知情報および目的地情報に対応した可能性情報および予測情報を出力するように構成されている。そして、制御部５３０は、出力部５２０により出力される可能性情報および予測情報に基づいて複数の動作から選択される少なくとも１つの動作を移動体１００に実行させるように、移動体１００のアクチュエータ５０２を制御するように構成されている。

上記のような移動体制御装置５００によれば、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデル５２１を利用して、「移動体１００を目的地Ｇまで到達させる」という目的を移動体１００に達成させるために用いられる可能性情報と、他の目的を移動体１００に達成させるために用いられる予測情報とを、検知情報および目的地情報の入力に応じて出力することができる。そして、可能性情報および予測情報に基づいて、複数の目的を移動体１００に達成させるようにアクチュエータ５０２を適切に制御することができる。

＜変形例＞
上述した実施形態では、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を示す可能性情報として、目的地への移動にあたり移動体が実行しうる複数の進行方向への移動動作の各々が移動体の目的地への到達につながる確率を示す確率情報が用いられる構成が例示されている。しかしながら、変形例として、進行方向と確率との関係を示す確率情報ではなく、移動体が実現しうる速度または加速度などと確率との関係を示す確率情報が用いられる構成も考えられる。また、さらなる変形例として、目的地への移動にあたり移動体が実行しうる複数の動作の各々が移動体の目的地への到達につながる可能性を確率以外の指標で示す可能性情報が確率情報に替えて用いられる構成も考えられる。

また、上述した実施形態では、予測情報の予め決められた指標が、移動体が目的地へ到達するのに要する時間、より具体的には、移動体が目的地まで到達するまでに要する所要時間、に関する時間指標として設計されている構成が主として例示されている。しかしながら、変形例として、予め決められた指標が、時間指標以外の指標として設計される構成も考えられる。時間指標以外の指標としては、たとえば、「移動体の乗り心地の悪化を抑制する」という目的に対応した、移動体に発生する加速度に関する指標などが考えられる。また、さらなる変形例として、予測情報の予め決められた指標が２つ以上の指標の組み合わせとして設計される構成も考えられる。

以上、本開示の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 移動体
２００ 移動制御モデル生成装置
２１０ 取得部
２１１ 移動制御モデル
２２０ 学習部
５００ 移動体制御装置
５０２ アクチュエータ
５１０ 取得部
５２０ 出力部
５２１ 移動制御モデル
５３０ 制御部

Claims (8)

1. 移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、前記移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、の入力に応じて、前記目的地への移動にあたり前記移動体が実行しうる複数の動作の各々が前記移動体の前記目的地への到達につながる可能性を示す可能性情報と、前記複数の動作の各々を前記移動体が実行した結果として変動しうる前記移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように構成され、前記移動体のアクチュエータを制御するための移動制御モデルを取得する取得部と、
   強化学習により、前記検知情報および前記目的地情報と、前記可能性情報と、の対応関係を、前記取得部により取得された前記移動制御モデルに学習させるとともに、教師あり学習により、前記検知情報および前記目的地情報と、前記予測情報と、の対応関係を、前記取得部により取得された前記移動制御モデルに学習させる学習部と、
   を備える、移動制御モデル生成装置。
2. 前記可能性情報は、前記目的地への移動にあたり前記移動体が実行しうる前記複数の動作としての複数の移動方向への移動動作の各々が前記移動体の前記目的地への到達につながる確率を示す確率情報を含み、
   前記予測情報の前記予め決められた指標は、前記移動体が前記目的地へ到達するのに要する時間に関する時間指標を含む、
   請求項１に記載の移動制御モデル生成装置。
3. 前記移動体は、前記アクチュエータの制御に応じて自律的に移動するパーソナルモビリティを含む、
   請求項１または２に記載の移動制御モデル生成装置。
4. 移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、前記移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、の入力に応じて、前記目的地への移動にあたり前記移動体が実行しうる複数の動作の各々が前記移動体の前記目的地への到達につながる可能性を示す可能性情報と、前記複数の動作の各々を前記移動体が実行した結果として変動しうる前記移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように構成され、前記移動体のアクチュエータを制御するための移動制御モデルを取得する取得ステップと、
   強化学習により、前記検知情報および前記目的地情報と、前記可能性情報と、の対応関係を、前記取得ステップにより取得された前記移動制御モデルに学習させるとともに、教師あり学習により、前記検知情報および前記目的地情報と、前記予測情報と、の対応関係を、前記取得ステップにより取得された前記移動制御モデルに学習させる学習ステップと、
   を備える、移動制御モデル生成方法。
5. 移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、前記移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、の入力に応じて、前記目的地への移動にあたり前記移動体が実行しうる複数の動作の各々が前記移動体の前記目的地への到達につながる可能性を示す可能性情報と、前記複数の動作の各々を前記移動体が実行した結果として変動しうる前記移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように構成され、前記移動体のアクチュエータを制御するための移動制御モデルを取得する取得ステップと、
   強化学習により、前記検知情報および前記目的地情報と、前記可能性情報と、の対応関係を、前記取得ステップにより取得された前記移動制御モデルに学習させるとともに、教師あり学習により、前記検知情報および前記目的地情報と、前記予測情報と、の対応関係を、前記取得ステップにより取得された前記移動制御モデルに学習させる学習ステップと、
   をコンピュータに実行させるための、移動制御モデル生成プログラム。
6. 移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、前記移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、を取得する取得部と、
   前記検知情報および前記目的地情報の入力に応じて、前記目的地への移動にあたり前記移動体が実行しうる複数の動作の各々が前記移動体の前記目的地への到達につながる可能性を示す可能性情報と、前記複数の動作の各々を前記移動体が実行した結果として変動しうる前記移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを用いて、前記取得部により取得された前記検知情報および前記目的地情報に対応した前記可能性情報および前記予測情報を出力する出力部と、
   前記出力部により出力される前記可能性情報および前記予測情報に基づいて前記複数の動作から選択される少なくとも１つの動作を前記移動体に実行させるように、前記移動体のアクチュエータを制御する制御部と、
   を備える、移動体制御装置。
7. 移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、前記移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、を取得する取得ステップと、
   前記検知情報および前記目的地情報の入力に応じて、前記目的地への移動にあたり前記移動体が実行しうる複数の動作の各々が前記移動体の前記目的地への到達につながる可能性を示す可能性情報と、前記複数の動作の各々を前記移動体が実行した結果として変動しうる前記移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように、強化学習および教師あり学習の組み合わせにより予め生成された移動制御モデルを用いて、前記取得ステップにより取得された前記検知情報および前記目的地情報に対応した前記可能性情報および前記予測情報を出力する出力ステップと、
   前記出力ステップにより出力される前記可能性情報および前記予測情報に基づいて前記複数の動作から選択される少なくとも１つの動作を前記移動体に実行させるように、前記移動体のアクチュエータを制御する制御ステップと、
   を備える、移動体制御方法。
8. 移動体と当該移動体の周囲に存在するオブジェクトとの位置関係を示す検知情報と、前記移動体と当該移動体が到達すべき目的地との位置関係を示す目的地情報と、を取得する取得ステップと、
   前記検知情報および前記目的地情報の入力に応じて、前記目的地への移動にあたり前記移動体が実行しうる複数の動作の各々が前記移動体の前記目的地への到達につながる可能性を示す可能性情報と、前記複数の動作の各々を前記移動体が実行した結果として変動しうる前記移動体の移動に関して予め決められた指標の予測結果を示す予測情報と、を出力するように、強化学習と教師あり学習との組み合わせにより予め生成された移動制御モデルを用いて、前記取得ステップにより取得された前記検知情報および前記目的地情報に対応した前記可能性情報および前記予測情報を出力する出力ステップと、
   前記出力ステップにより出力される前記可能性情報および前記予測情報に基づいて前記複数の動作から選択される少なくとも１つの動作を前記移動体に実行させるように、前記移動体のアクチュエータを制御する制御ステップと、
   をコンピュータに実行させるための、移動体制御プログラム。

Images