JP7201958B2 - 方策作成装置、制御装置、方策作成方法、及び、方策作成プログラム - Google Patents

Description

本発明は、方策作成装置、制御装置、方策作成方法、及び、方策作成プログラムに関し、特に、方策を作成する方策作成装置、制御装置、方策作成方法、及び、方策作成プログラムに関する。

加工プラント等における作業員は、素材から製品を作成するまでの作業手順を熟知することによって、質の高い製品を加工することができる。たとえば、その作業手順において、作業員は、素材を、加工機械を使って加工する。良い製品を加工するための作業手順は、作業員ごとにノウハウとして蓄えられている。しかし、その作業手順を熟知している作業員から他の作業員にノウハウを伝授するためには、熟練した作業員が、加工機械等の使い方や、材料の量、材料を加工機械に投入するタイミング等を他の作業員に伝授する必要がある。このため、ノウハウを伝授するためには、長い時間と、多くの作業を要する。

そのノウハウを機械学習によって学習する方法として、非特許文献１に例示されているように強化学習法が用いられることがある。この場合、強化学習法においては、そのノウハウを表す方策を、モデルという形で表す。非特許文献１においては、そのモデルをニューラルネットワークによって表している。

Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction., The MIT Press, 2017

しかし、ノウハウがどのように表現されたのかをユーザが理解することは困難である。この理由は、非特許文献１に例示されている強化学習法においては、ノウハウを表す方策をニューラルネットワークによって表しており、さらに、ニューラルネットワークによって作成されるモデルをユーザが解読することが難しいからである。

本開示の目的は、このような課題を解決するためになされたものであり、質が高く、かつ、視認性が高い方策を作成することが可能な方策作成装置、制御装置、方策作成方法、及び、方策作成プログラムを提供することにある。

本開示にかかる方策作成装置は、対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する方策作成手段と、作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定する動作決定手段と、前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定する方策評価手段と、作成された前記複数の方策の中から、決定された前記質が高い方策を選択する方策選択手段とを備える。

また、本開示にかかる方策作成方法は、対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成し、作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定し、前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定し、作成された前記複数の方策の中から、決定された前記質が高い方策を選択する。

また、本開示にかかる方策作成プログラムは、対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する機能と、作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定する機能と、前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定する機能と、作成された前記複数の方策の中から、決定された前記質が高い方策を選択する機能とをコンピュータに実現させる。

本開示によれば、質が高く、かつ、視認性が高い方策を作成することが可能な方策作成装置、制御装置、方策作成方法、及び、方策作成プログラムを提供できる。

第１の実施形態に係る方策作成装置の構成を示すブロック図である。 第１の実施形態に係る方策作成装置によって実行される方策作成方法の流れを示すフローチャートである。 第１の実施形態に係る対象の一例を概念的に表す図である。 第１の実施形態に係る方策情報の一例を概念的に表す図である。 第１の実施形態に係る方策情報の一例を概念的に表す図である。 第１の実施形態に係る方針に従い動作を決定する処理を概念的に表す図である。 第１の実施形態に係る方策評価情報記憶部に格納されている方策評価情報の一例を概念的に表す図である。 第１の実施形態に係る方策作成部における処理の流れを示すフローチャートである。 第１の実施形態に係る方策の初期状態を概念的に表す図である。 第１の実施形態に係る方策に含まれているパラメータを概念的に表す図である。 第１の実施形態に係る方策評価部における処理の流れを示すフローチャートである。 第１の実施形態において、倒立振り子を例題として用いた場合において、方策の質を評価した結果を表す図である。 第１の実施形態において、倒立振り子を例題として用いた場合において、方策の質を評価した結果を表す図である。 倒立振り子を例題として用いた場合において、第１の実施形態に係る方策作成装置が作成した方策を概念的に表す図である。 第２の実施形態に係る方策作成装置の構成を示すブロック図である。 第２の実施形態に係る方策作成装置によって実行される方策作成方法の流れを示すフローチャートである。 各実施形態に係る方策作成装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。

（第１の実施形態）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

図１は、第１の実施形態に係る方策作成装置１０１の構成を示すブロック図である。また、図２は、第１の実施形態に係る方策作成装置１０１によって実行される方策作成方法の流れを示すフローチャートである。なお、図２に示したフローチャートについては、後述する。

図１を参照しながら、本発明の第１の実施形態に係る方策作成装置１０１が有する構成について詳細に説明する。第１の実施形態に係る方策作成装置１０１は、方策作成部１０２と、動作決定部１０３と、方策評価部１０４と、方策選択部１０５とを有する。方策評価部１０４は、動作評価部１０８と、総合評価部１０９とを有する。方策作成装置１０１は、さらに、分布更新部１０６と、方策評価情報記憶部１０７とを有していてもよい。方策作成部１０２、動作決定部１０３、方策評価部１０４及び方策選択部１０５は、それぞれ、方策作成手段、動作決定手段、方策評価手段及び方策選択手段としての機能を有する。また、動作評価部１０８及び総合評価部１０９は、それぞれ、動作評価手段及び総合評価手段としての機能を有する。分布更新部１０６及び方策評価情報記憶部１０７は、それぞれ、分布更新手段及び方策評価情報記憶手段としての機能を有する。

方策作成装置１０１は、たとえば、制御装置１５０において処理を実行する。制御装置１５０は、方策作成装置１０１と、制御部１５１とを有する。制御部１５１は、方策作成装置１０１によって作成された方策に従って決定された動作に従い、対象１７０に関する制御を実行する。

方策作成装置１０１において、方策作成部１０２は、対象１７０に関して施す動作を決定するための方策を作成する。ここで、方策作成部１０２は、方策を示す情報である方策情報を生成する。方策の詳細については、図４または図５を参照しながら後述する。

図３は、第１の実施形態に係る対象１７０の一例を概念的に表す図である。図４は、第１の実施形態に係る方策情報の一例を概念的に表す図である。図５は、第１の実施形態に係る方策情報の一例を概念的に表す図である。図３～図５の詳細については、後述する。

図６は、第１の実施形態に係る方針に従い動作を決定する処理を概念的に表す図である。図６に例示されているように、方策作成装置１０１において、動作決定部１０３は、対象１７０の状態（ｓｔａｔｅ）を表す情報を取得する。そして、動作決定部１０３は、作成された方策（ｐｏｌｉｃｙ）に従い、この対象１７０に関して施す動作（ａｃｔｉｏｎ）を決定する。対象１７０（ｔａｒｇｅｔ）の状態は、たとえば、対象１７０を観測しているセンサが出力した観測値を用いて表すことができる。たとえば、センサは、温度センサ、位置センサ、速度センサ、または、加速度センサ等である。なお、図６に例示された方策については、図４を用いて後述する。

たとえば、対象１７０が自動運転車両等の車両である場合、動作決定部１０３は、たとえば、エンジンの回転数や、車両の速度や、周囲の状況等の観測値（特徴量）を取得する。動作決定部１０３は、これらの観測値（特徴量）に基づき、図２を参照しながら後述するような処理を実行することによって、動作を決定する。具体的には、動作決定部１０３は、ハンドルを右に回す、アクセルを踏む、ブレーキを踏む等の動作を決定する。制御部１５１は、動作決定部１０３によって決定された動作に従い、アクセル、ハンドル、または、ブレーキを制御する。

また、たとえば、対象１７０が発電機である場合、動作決定部１０３は、たとえば、タービンの回転数や、燃焼炉の温度や、燃焼炉の圧力等の観測値（特徴量）を取得する。動作決定部１０３は、これらの観測値（特徴量）に基づき、図２を参照しながら後述するような処理を実行することによって、動作を決定する。具体的には、動作決定部１０３は、燃料の量を増やす、燃料の量を減らす等の動作を決定する。制御部１５１は、動作決定部１０３によって決定された動作に従い、燃料の量を調整するバルブを閉める、あるいは、バルブを開く等の制御を実行する。

以降の説明においては、観測の種類（速度、回転数等）を、特徴パラメータ（または、特徴量）と表し、当該種類に関して観測された値を、特徴パラメータ値（または、特徴量の値）と表すこともある。方策作成装置１０１は、決定した動作の質（ｑｕａｌｉｔｙ）に関する高低を表す動作評価情報を取得する。方策作成装置１０１は、取得した動作評価情報に基づき、質の高い方策を作成する。方策は、図４及び図５に例示されているように、対象１７０がある状態である場合に、当該対象１７０に関して施す動作を決定する基である情報を表す。方策については、図４及び図５を参照しながら後述する。

図７は、第１の実施形態に係る方策評価情報記憶部１０７に格納されている方策評価情報の一例を概念的に表す図である。図７に例示されているように、方策評価情報記憶部１０７には、ある方策を表す識別子（ｉｄｅｎｔｉｆｉｅｒ、以降「ＩＤ」と表す）と、当該ある方策に関して算出された評価情報とが関連付けされた方策評価情報を格納することができる。評価情報については、図１１を参照しながら後述する。

たとえば、図７に例示された方策評価情報において、識別子「ＩＤ１（方策１）」と、評価情報「２００」とが関連付けされている。これは、識別子「ＩＤ１」が表す方策に関して、当該方策の質を表す評価情報が「２００」であることを表す。また、図７に例示された方策評価情報において、識別子「ＩＤ３（方策３）」と、評価情報「－４０」とが関連付けされている。これは、識別子「ＩＤ３」が表す方策に関して、当該方策の質を表す評価情報が「－４０」であることを表す。

以降の説明においては、説明の便宜上、評価情報が大きな値であるほど対応する方策の質が高く、評価情報が小さな値であるほど対応する方策の質が低いとする。この場合、図７に例示された方策評価情報は、例えば、方策１の質が方策３の質よりも高いことを表している。また、方策評価情報は、たとえば、さらに、識別子が表す方策（たとえば、図４、図５に例示したもの）等を表す情報を含んでいてもよい。すなわち、方策評価情報は、上述した例に限定されない。

次に、図３を参照しながら本願明細書にて用いる用語について説明する。図３に例示された対象１７０は、棒状の振り子と、振り子に対してトルクを加えることが可能な回転軸とを含む。状態Ｉは、対象１７０の初期状態を表し、振り子が回転軸の下方に存在している。状態ＶＩは、対象１７０の終了状態を表し、振り子が回転軸の上方に倒立して存在している。動作Ａ乃至動作Ｆは、振り子に対してトルクを加える力を表している。また、状態Ｉ乃至状態ＶＩは、対象１７０の状態を表している。また、対象１７０の状態について、第１状態から第２状態に至るまでの各状態を総称して、「エピソード」と表す。エピソード（ｅｐｉｓｏｄｅ）は、必ずしも、初期状態から終了状態までの各状態を表していなくともよく、たとえば、状態ＩＩから状態ＩＩＩまでの各状態、または、状態ＩＩＩから状態ＶＩまでの各状態を表していてもよい。

方策作成装置１０１は、たとえば、状態Ｉから開始して状態ＶＩを実現し得る一連の動作を決定する方策（図４及び図５に例示）を、動作に対する動作評価情報に基づき作成する。なお、方策作成装置１０１が方策を作成する処理については、図８を参照しながら後述する。

次に、図４を参照しながら、方策作成装置１０１が作成する方策情報について説明する。方策情報は、対象１７０に関して施す動作を決定する情報である。具体的には、方策情報は、動作と、動作を実行するか否かを判定する条件とが関連付けされたルールを、少なくとも１つ以上含んでいる。当該条件は、対象１７０の状態を判定する条件である。なお、「ルール」については後述する。

図４に例示された木構造にて、非終端ノードには、対象１７０に関して施す動作を決定するための条件（「ｘ＜２」、「ｙ＜２」、及び、「ｙ＜１」）を表す情報が配置されている。ここで、「非終端ノード」とは、根ノード及び中間ノード、つまり葉ノード（終端ノード）以外のノードである。

また、説明の便宜上、対象１７０の状態が、２つの特徴パラメータｘ、ｙを用いて表されているとする。特徴パラメータｘは、たとえば、対象１７０の位置を表す。特徴パラメータｙは、たとえば、対象１７０の速度を表す。対象１７０の状態を表す特徴パラメータの個数は、２つでなくともよく、１つであってもよいし、３つ以上であってもよい。また、方策情報は、対象１７０の状態に関して観測された特徴パラメータを全て含んでいるとは限らず、当該観測された特徴パラメータのうち一部だけを含んでいてもよい。例えば、方策情報は、特徴パラメータｘのみを含んでもよい。

図４に例示するように、対象１７０に関して方策情報に従い施す動作は、当該対象１７０の状態を表す特徴パラメータに関する観測値（特徴パラメータ値）に基づき決定される。ここで、例えば、対象１７０が、特徴パラメータｘの値が１、及び、特徴パラメータｙの値が３である状態であるとする。この場合、方策作成装置１０１は、当該状態を表す各特徴パラメータ値（ｘ＝１、ｙ＝３）を入力する。次に、方策作成装置１０１は、まず、根ノードにおいて、条件「ｘ＜２」が成立しているか否かを判定する。この場合、「ｘ＜２」であるため（条件「ｘ＜２」にてＹＥＳ）、方策作成装置１０１は、中間ノードにおいて、条件「ｙ＜２」が成立しているか否かを判定する。この場合、「ｙ≧２」であるため（条件「ｙ＜２」にてＮＯ）、方策作成装置１０１は、動作「ｔｕｒｎ」を決定する。

また、例えば、対象１７０が、特徴パラメータｘの値が３、及び、特徴パラメータｙの値が１である状態であるとする。この場合、方策作成装置１０１は、当該状態を表す各特徴パラメータ値（ｘ＝３、ｙ＝１）を入力する。次に、方策作成装置１０１は、まず、根ノードにおいて、条件「ｘ＜２」が成立しているか否かを判定する。この場合「ｘ≧２」であるため（条件「ｘ＜２」にてＮＯ）、方策作成装置１０１は、中間ノードにおいて、条件「ｙ＜１」が成立しているか否かを判定する。この場合、「ｙ＝１」であるため（条件「ｙ＜１」にてＮＯ）、方策作成装置１０１は、動作「ｐｕｌｌ」を決定する。

言い換えると、木構造における非終端ノード（たとえば、「ｘ＜２」、「ｙ＜１」、「ｙ＜２」）それぞれには、状態を判定する条件が配置されている。また、木構造における葉ノード（終端ノード）には、対象１７０が当該条件に応じた状態である場合における動作が配置されている。したがって、動作の個数が所定の個数であれば、当該動作を判定する方策を表す木構造は、所定の個数分のルールを含んでいる。ここで、「ルール」とは、ある動作に至るまでの条件の集合である。図４の例において、例えば、動作「ｔｕｒｎ」に関するルールは、「ｘ＜２が成り立ち、かつ、ｙ＜２が成り立っていない」場合には、動作「ｔｕｒｎ」を選択するというルールである。また、例えば、動作「ｐｕｌｌ」に関するルールは、「ｘ＜２が成り立っておらず、かつ、ｙ＜１が成り立っていない」場合には、動作「ｐｕｌｌ」を選択するというルールである。

なお、木構造において、根ノード（この例では「ｘ＜２」）から各葉ノードまでの距離は一定である必要はなく、当該距離が相互に異なっていてもよい。また、方策情報は、必ずしも木構造を用いて表されている必要はなく、図５に例示されるように、対象１７０に関して施す動作を決定するルールを、少なくとも１つ以上含んでいてもよい。

また、対象１７０に関して施す動作は、当該対象１７０の状態に影響を及ぼし得る。したがって、対象１７０が当該動作の影響を受けることによって、対象１７０の状態は、第１状態から第２状態に変化する場合がある。この場合、上述したような方策情報において、動作を実行するか否かを判定する条件が、第１状態を表しているとみなすこともできる。また、対象１７０が第１状態にある場合に動作を施すことによって第２状態が生じるため、方策情報において、葉ノードに動作を表す情報が配置される代わりに、葉ノードに第２状態（すなわち、対象１７０の次状態）を表す情報が配置されていてもよい。

また、方策情報は、図５に例示されているように、ルールを所定の個数個含んでいるリスト形式に従い表されていてもよい。図５に例示されている方策情報は、「ＩＦ（ｘ＜２ ＡＮＤ ｙ＜３）ＴＨＥＮ ｐｕｓｈ」なるルールを含んでいる。当該ルールは、観測値ｘが２未満であり、かつ、観測値ｙが３未満である場合には、対象１７０に関して動作「ｐｕｓｈ」を施すことを決定することを表している。また、図５に例示されている方策情報は、「ＩＦ（ｗ＜１） ＴＨＥＮ ｐｕｌｌ」なるルールを含んでいる。当該ルールは、観測値ｗが１未満である場合には、対象１７０に関して動作「ｐｕｌｌ」を施すことを決定することを表している。

なお、図５に例示されているルールの他に、条件が閾値ではなく値そのものや状態の判別で表記される、「ＩＦ（ｘ＝２ ＡＮＤ ｙ＝ＳＴＯＰ）ＴＨＥＮ ｐｕｓｈ」などといったルールを含んでいてもよい。すなわち、方策情報は、図４及び図５に例示される例に限定されない。なお、図５に記載されたθ_φ、θ_ｖ及びθ_ｕについては、後述する。

次に、図２を参照しながら、本発明の第１の実施形態に係る方策作成装置１０１における処理について詳細に説明する。方策作成部１０２は、ある分布（確率分布）に従い、複数の方策を作成する（ステップＳ１０２）。ステップＳ１０２における処理については、図８を参照しながら詳述する。ここで、「分布」は、例えばガウス分布であってもよい。なお、最初のＳ１０２の処理では、分布のパラメータ（平均値及び標準偏差等）は、任意の（つまりランダムな）値であり得る。

次に、動作決定部１０３は、方策作成部１０２によって作成された方策に従い動作を決定し、方策評価部１０４は、決定された動作の質に基づき、当該方策の質を評価する（ステップＳ１０３）。方策評価部１０４は、方策作成部１０２によって作成された各方策に関して、当該方策の質を評価する。ステップＳ１０３における処理にて、方策評価部１０４は、たとえば、図３を参照しながら上述したようなエピソードに含まれている状態の質に基づき、当該動作の質を決定してもよい。図３を参照しながら上述したように、ある状態にて施される動作は、対象１７０における次状態と対応付けすることが可能である。このため、方策評価部１０４は、状態（次状態）の質を、当該状態（次状態）を実現する動作の質として用いる。状態の質は、たとえば、図３に例示されているような倒立振り子の例においては、目標状態（たとえば、終了状態；倒立状態）と、当該状態との差異を表す値によって表すことができる。なお、ステップＳ１０３における処理の詳細については、図１１を参照しながら後述する。

次に、方策選択部１０５は、方策評価部１０４によって評価された質に基づき、複数の方策の中から、質が高い方策を選択する（ステップＳ１０４）。方策選択部１０５は、たとえば、複数の方策の中から、当該質が上位である方策を選択する。または、方策選択部１０５は、たとえば、複数の方策の中から、当該質が平均以上である方策を選択する。または、方策選択部１０５は、たとえば、複数の方策の中から、当該質が所望の質以上である方策を選択する。あるいは、方策選択部１０５は、ステップＳ１０１からステップＳ１０６までの繰り返しにおいて作成した方策の中から、最も質が高い方策を選択してもよい。なお、方策を選択する処理は、上述した例に限定されない。

次に、分布更新部１０６は、ステップＳ１０２にて方策を作成する基である分布を更新する（ステップＳ１０５）。分布更新部１０６は、たとえば、方策選択部１０５によって選択された方策に含まれる各パラメータに関して、当該パラメータ値の平均と標準偏差とを算出することによって、分布を更新する。すなわち、分布更新部１０６は、方策選択部１０５によって選択された方策を表す方策パラメータを用いて、当該方策パラメータに関する分布を更新する。なお、方策パラメータについては後述する。

ステップＳ１０１（ループ始まり）からステップＳ１０６（ループ終わり）までの繰り返し処理は、たとえば、所与の反復回数分繰り返される。または、当該繰り返し処理は、方策の質が所望の基準以上になるまで繰り返されてもよい。ステップＳ１０１からステップＳ１０６までの処理を繰り返し実行することによって、方策を作成する基である分布は、次第に、対象１７０に関する観測値を反映した分布に近付いていく傾向があるため、対象１７０に応じた方策を作成することができる。

動作決定部１０３は、対象１７０の状態を表す観測値を入力し、入力した観測値と、最も質が高い方策とに従い、対象１７０に関して施す動作を決定してもよい。制御部１５１は、さらに、動作決定部１０３が決定した動作に従い、対象１７０に関して施す動作を制御してもよい。

次に、図８、図９、及び、図１０を参照しながら、方策を算出する処理（図２のＳ１０２）について説明する。図８は、第１の実施形態に係る方策作成部１０２における処理の流れを示すフローチャートである。図９は、第１の実施形態に係る、方策の初期状態を概念的に表す図である。図１０は、第１の実施形態に係る、方策に含まれているパラメータを概念的に表す図である。

方策作成部１０２は、図９に例示されているような方策の初期状態を入力する。方策の初期状態は、対象１７０に関して施す動作（四角形にて例示、動作２１１乃至動作２１４）の個数と、当該動作を実施するか否かを判定する条件（六角形にて例示、条件２０１乃至条件２０３）の個数とを含んでいる。この例では、動作の個数は４であり、条件の個数は３である。言い換えると、方策作成部１０２は、対象１７０に関して施す動作の個数と、当該動作を実施するか否かを判定する条件の個数とを入力する。ここで、動作の個数を２^Ｄ個（ただし、Ｄは自然数）と表した場合、図４に例示されているような木構造を有する方策においては、条件の個数は、（２^Ｄ－１）個と表すことができる。この場合には、方針は、２^Ｄ個のルールを含んでいる。なお、図９に例示されているように、方策の初期状態においては、条件及び動作は、決定されていない。また、図４に例示されているような木構造を有する方策においては、Ｄは木の深さに等しい。また、図４に例示されているような木構造を有する方策においては、上述したように、「動作」は葉ノードに対応し、「条件」は非終端ノードに対応する。このように、予め定められた構造（ノード数）の木構造で方策を表すことで、効率的に、視認性のよい方策を作成することができる。

また、方策作成部１０２は、図８に例示されている処理を行った結果として、図１０に例示されているような方策を作成する。図１０においては、図９における動作２１１には「動作１」、動作２１２には「動作２」、動作２１３には「動作３」、及び、動作２１４には「動作４」が、それぞれ、算出されている。また、図９における条件２０１には「ｘ＜２」、条件２０２には「ｙ＜２」、及び、条件２０３には「ｙ＜１」が、それぞれ、算出されている。なお、動作１～動作４には、条件に従ったときに実現される「状態（次状態）」を定義してもよい。この場合、現在の状態（第１状態）から次状態（第２状態）に至るまでの動作は、一意であってもよいし、任意であってもよい。現在の状態（第１状態）から次状態（第２状態）に至るまでの動作が一意である場合、葉ノードには、動作２１１～動作２１４の代わりに、次状態が定義されてもよい。

ここで、説明の便宜上、方策を表す方策パラメータとして、動作（状態）を表すパラメータをθ_ｕ、条件における特徴量を表すパラメータをθ_φ、及び、条件における特徴量に関する判定基準を表すパラメータをθ_ｖと表す。方策作成部１０２は、後述する図８に示された処理に従い、パラメータθ_φ、パラメータθ_ｖ、および、パラメータθ_ｕを順に参照し、方策における条件及び動作（状態）を決定する。図１０における例において、方策作成部１０２は、パラメータθ_φの値から条件における特徴量を決定する（図１０において円で囲まれたもの）。次に、方策作成部１０２は、パラメータθ_ｖの値から特徴量に関する判定基準（すなわち、閾値）を決定する（図１０において三角形で囲まれたもの）。次に、方策作成部１０２は、パラメータθ_ｕの値から動作（状態）を決定する（図１０において破線の四角形で囲まれたもの）。

なお、図５に例示された方策に関しても、同様に、条件における特徴量を表すパラメータθ_φ、特徴量に関する判定基準を表すパラメータθ_ｖ、及び、動作（状態）を表すパラメータθ_ｕを用いて、方策を表すことができる。つまり、図５における例において、方策作成部１０２は、パラメータθ_φの値から条件における特徴量を決定する（図５において楕円で囲まれたもの）。次に、方策作成部１０２は、パラメータθ_ｖの値から特徴量に関する判定基準（すなわち、閾値）を決定する（図５において三角形で囲まれたもの）。次に、方策作成部１０２は、パラメータθ_ｕの値から動作を決定する（図５において破線の四角形で囲まれたもの）。

ここで、方策作成部１０２は、後述するＳ１１１，Ｓ１１２及びＳ１１３の処理において、方策パラメータ（パラメータθ_φ、パラメータθ_ｖ及びパラメータθ_ｕ）の値を、ある分布（たとえば、確率分布）に従って与える。方策パラメータが従う分布は、例えばガウス分布であってもよい。あるいは、方策パラメータが従う分布は、必ずしもガウス分布である必要はなく、一様分布、二項分布、または、多項分布等の分布であってもよい。また、各方策パラメータに関する分布は、互いに同じ分布である必要はなく、方策パラメータごとに異なる分布であってもよい。例えば、パラメータθ_φが従う分布と、パラメータθ_ｖが従う分布とは、互いに異なってもよい。または、各方策パラメータに関する分布は、平均、及び、標準偏差が相互に異なる分布であってもよい。すなわち、当該分布は、上述した例に限定されない。以下の例では、各方策パラメータがガウス分布に従うとする。

次に、ある分布に従い、各方策パラメータの値を算出する処理について説明する。説明の便宜上、ある方策パラメータに関する分布が、平均がμであり、標準偏差がσであるガウス分布であるとする。ただし、μは実数であり、σは正の実数であるとする。また、μ、及び、σは、方策パラメータごとに異なる値であってもよいし、同じ値であってもよい。方策作成部１０２は、後述するＳ１１１，Ｓ１１２及びＳ１１３の処理において、ガウス分布に従い、方策パラメータの値（方策パラメータ値）を算出する。方策作成部１０２は、たとえば、当該ガウス分布に従い、各方策パラメータ値（パラメータθ_φ、パラメータθ_ｖ及びパラメータθ_ｕ）をランダムに１つ作成する。方策作成部１０２は、たとえば、乱数、または、ある乱数種を用いた擬似乱数を用いて、当該ガウス分布に従った値となるよう、方策パラメータ値を算出する。言い換えると、方策作成部１０２は、当該ガウス分布に従った乱数を、方策パラメータの値として算出する。このように、方策を予め定められた分布に従う方策パラメータで表現し、分布に従って各方策パラメータを算出することで方策におけるルール（条件及び動作）を決定することで、より効率的に、方策を表現することができる。

図８のフローチャートの各処理について説明する。まず始めに、方策作成部１０２は、各条件における特徴量を算出する（図８におけるステップＳ１１１）。この処理について説明する。説明の便宜上、対象１７０に関してＦ種類の観測値（特徴量）が観測されているとする（但し、Ｆは自然数）。つまり、ある条件に対する特徴量の候補がＦ種類あることになる。

方策作成部１０２は、たとえば、木構造を幅優先にて辿る順に、特徴量を決定する。ここで、条件における特徴量を表すパラメータθ_φは、（条件の個数×Ｆ）個の値を有しているとする。なお、図９のような木構造を有する方策の例では、「条件の個数」は、非終端ノード数（２^Ｄ－１）である。したがって、パラメータθ_φは、以下の式１のように、（２^Ｄ－１）行Ｆ列のマトリクス形式で表すことができる。
（式１）

ここで、上記の式１のマトリクスの各行が条件（非終端ノード）に対応し、各列が特徴量の種類に対応する。したがって、図９の木構造の例において、Ｆ＝５個の特徴量の種類の条件で方策を作成する場合、上記式１は、３行５列のマトリクスとなる。また、上述したように、方策作成部１０２は、（条件の個数×Ｆ）個のパラメータθ_φの値を、それぞれ、ガウス分布等の分布（確率分布）に従うように算出する。なお、方策作成部１０２は、（条件の個数×Ｆ）個それぞれのパラメータθ_φを、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。したがって、例えば、上記の式１において、パラメータθ_φ ^{（ｎ，ｆ）}が従う分布は、パラメータθ_φ ^{（ｎ，Ｆ）}が従う分布とは異なり得る。

方策作成部１０２は、ある条件に関する特徴量を決定する場合に、パラメータθ_φからある条件に対応するＦ個のパラメータを確認する。そして、方策作成部１０２は、当該条件に対応するＦ個のパラメータθ_φの値の中である規則、例えば最も大きい値を選択するという規則に従い、パラメータθ_φに対応する特徴量を決定する。例えば、上記の式１において、条件１（条件２０１）のパラメータθ_φ ^{（１，１）}～θ_φ ^{（１，Ｆ）}においてθ_φ ^{（１，２）}の値が最も大きい場合、方策作成部１０２は、条件１（条件２０１）における特徴量として、θ_φ ^{（１，２）}に対応する特徴量を決定する。

なお、方策作成部１０２は、たとえば、Ｆ種類の特徴量のうち、特徴量を表すパラメータθ_φの値の大きさが上位（たとえば、上位５％、１０％等）の中から特徴量を選択してもよい。このような処理を実行することによって、多くの情報量を含む特徴量を選択することができるため、対象１７０の状態を効果的に判定する基準を作成することができる。

次に、方策作成部１０２は、各条件に関して決定した特徴量に関して、判定基準を表す閾値を算出する（図８におけるステップＳ１１２）。方策作成部１０２は、ガウス分布等の分布（確率分布）に従った値θ_ｖを算出する。ここで、図９のような木構造の方策を作成する場合、パラメータθ_ｖは、以下の式２のように、条件ｎに関する判定基準を決定するためのパラメータθ_ｖ ^（ｎ）を成分とする１行（２^Ｄ－１）列のマトリクス形式で表され得る。
（式２）

ここで、図９の木構造の例において方策を作成する場合、上記式２は、１行３列のマトリクスとなる。なお、方策作成部１０２は、（２^Ｄ－１）個それぞれのパラメータθ_ｖを、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。したがって、例えば、上記の式２において、パラメータθ_ｖ ^（ｎ）が従う分布は、パラメータθ_ｖ ^（１）が従う分布とは異なり得る。

方策作成部１０２は、算出した値θ_ｖに対して、以下の式３に示す処理を実行することによって、特徴量に関する判定基準を算出する。
（式３）
（閾値）＝（Ｖ_ｍａｘ－Ｖ_ｍｉｎ）×ｇ（θ_ｖ）＋Ｖ_ｍｉｎ

ただし、Ｖ_ｍｉｎは、特徴量に関して観測された値の最小値を表す。Ｖ_ｍａｘは、特徴量に関して観測された値の最大値を表す。ｇ（ｘ）は、実数ｘに対して、０から１までの値を与える関数であって、単調に変化する関数を表す。ｇ（ｘ）は、活性化関数とも呼ばれ、たとえば、シグモイド（ｓｉｇｍｏｉｄ）関数によって実現される。

したがって、方策作成部１０２は、ガウス分布等の分布に従ってパラメータθ_ｖの値を算出する。そして、式３で示すように、方策作成部１０２は、パラメータθ_ｖの値を用いて、特徴量に関する観測値の範囲（この例では、Ｖ_ｍｉｎからＶ_ｍａｘまでの範囲）から、当該特徴量に関する判定基準（閾値）を算出する。

次に、方策作成部１０２は、当該特徴量を判定する際の不等号を決定する。たとえば、方策作成部１０２は、ランダムに不等号の向きを決めてもよいし、一定の向きに不等号を決めてもよいし、所定の手順に従い（たとえば、交互に）不等号の向きを決めてもよい。これらの処理の結果、方策作成部１０２は、各条件における特徴量に関する判定基準を算出する。このような処理を実行することによって、対象１７０に関する動作を施す状況が不明確な場合であっても、方策作成部１０２は、対象１７０の状態を判定する判定基準に含まれている閾値を、効率よく探索することができる。方策作成部１０２は、このような処理を、条件２０１乃至条件２０３（図９に例示）に含まれる特徴量に関して実行する。

次に、方策作成部１０２は、条件（ルール）ごとに、動作（状態）を算出する（ステップＳ１１３）。ここで、動作には、連続値で示される場合と、離散値で示される場合とがある。連続値である場合は、動作を示す値は、対象１７０の制御値であってもよい。例えば、対象１７０が図３に示した倒立振り子である場合、トルク値であってもよいし、振り子の角度であってもよい。また、動作が離散値で示される場合、動作を示す値は、動作の種類（図４の「ｐｕｓｈ」，「ｔｕｒｎ」，「ｐｕｌｌ」）に対応する値であってもよい。

まず、動作（状態）が連続値である場合の処理について説明する。方策作成部１０２は、ある動作（図９における動作２１１乃至動作２１４のうちの１つの動作）に関して、ガウス分布等の分布（確率分布）に従った値θ_ｕを算出する。ここで、図９のような木構造の方策を作成する場合、パラメータθ_ｕは、以下の式４のように、葉ノードｌ（ｌ＝１～２^Ｄ）に関する動作を決定するためのパラメータθ_ｕ ^（ｌ）を成分とする１行（２^Ｄ）列のマトリクス形式で表され得る。
（式４）

ここで、図９の木構造の例において方策を作成する場合、上記式４は、１行４列のマトリクスとなる。なお、方策作成部１０２は、２^Ｄ個それぞれのパラメータθ_ｕを、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。したがって、例えば、上記の式４において、パラメータθ_ｖｕ ^（ｌ）が従う分布は、パラメータθ_ｕ ^（１）が従う分布とは異なり得る。

方策作成部１０２は、算出した値θ_ｕに対して、以下の式５に示す処理を実行することによって、ある条件（ルール）に関する動作を表す動作値を算出する。
（式５）
（動作値）＝（Ｕ_ｍａｘ－Ｕ_ｍｉｎ）×ｈ（θ_ｕ）＋Ｕ_ｍｉｎ

ただし、Ｕ_ｍｉｎは、ある動作（状態）を表す値の最小値を表す。Ｕ_ｍａｘは、ある動作（状態）を表す値の最大値を表す。Ｕ_ｍｉｎ及びＵ_ｍａｘは、例えばユーザによって予め定められてもよい。ｈ（ｘ）は、実数ｘに対して、０から１までの値を与える関数であって、単調に変化する関数を表す。ｈ（ｘ）は、活性化関数とも呼ばれ、たとえば、シグモイド関数によって実現されてもよい。

したがって、方策作成部１０２は、ガウス分布等の分布に従ってパラメータθ_ｕの値を算出する。そして、式５で示すように、方策作成部１０２は、パラメータθ_ｕの値を用いて、観測値の範囲（この例では、Ｕ_ｍｉｎからＵ_ｍａｘまでの範囲）から、あるルールにおける動作を示す１つの動作値を算出する。このような処理を、方策作成部１０２は、動作２１１乃至動作２１４（図９に例示）に含まれる各動作に関して実行する。

なお、方策作成部１０２は、上記の式５の「Ｕ_ｍａｘ－Ｕ_ｍｉｎ」について、予め定められた値を用いなくてもよい。方策作成部１０２は、動作に関する動作値の履歴から、最大の動作値をＵ_ｍａｘとし、最小の動作値をＵ_ｍｉｎとして決定してもよい。あるいは、葉ノードが「状態」で定義されている場合、方策作成部１０２は、状態を表す観測値の履歴における最大値及び最小値から、ルールにおいて次状態を示す値（状態値）の範囲を決定してもよい。このような処理によって、方策作成部１０２は、対象１７０の状態を判定するルールに含まれている動作を、効率よく決定することができる。

次に、動作（状態）が離散値である場合の処理について説明する。説明の便宜上、対象１７０に関してＡ種類の動作（状態）があるとする（但し、Ａは自然数）。つまり、あるルールに対する動作の候補がＡ種類あることになる。方策作成部１０２は、たとえば、葉ノード（図９の動作２１１～２１４）の左端から順に、動作（状態）を決定する。ここで、動作（状態）を表すパラメータθ_ｕは、（葉ノード数×Ａ）個の値を有しているとする。したがって、パラメータθ_ｕは、以下の式６のように、２^Ｄ行Ａ列のマトリクス形式で表すことができる。
（式６）

ここで、上記の式６のマトリクスの各行が葉ノード（終端ノード）に対応し、各列が動作の種類に対応する。したがって、図９の木構造の例において、Ａ＝３個の動作の種類の方策を作成する場合、上記式６は、４行３列のマトリクスとなる。また、上述したように、方策作成部１０２は、（葉ノード数×Ａ）個のパラメータθ_ｕの値を、それぞれ、ガウス分布等の分布（確率分布）に従うように算出する。なお、方策作成部１０２は、（葉ノード数×Ａ）個それぞれのパラメータθ_ｕを、互いに異なるガウス分布（つまり平均値及び標準偏差の少なくとも一方が異なるガウス分布）に従うように算出してもよい。したがって、例えば、上記の式６において、パラメータθ_ｕ ^{（ｌ，ｋ）}が従う分布は、パラメータθ_φ ^{（ｌ，Ａ）}が従う分布とは異なり得る。

方策作成部１０２は、ある葉ノードにおける動作（条件）を決定する場合に、パラメータθ_uからある葉ノードに対応するＡ個のパラメータを確認する。そして、方策作成部１０２は、当該動作（状態）に対応するパラメータ値の中で、ある規則、例えば最も大きい値を選択するという規則に対応する動作（状態）を決定する。例えば、上記の式６において、葉ノード＃１（動作２１１）のパラメータθ_ｕ ^{（１，１）}～θ_ｕ ^{（１，Ａ）}においてθ_ｕ ^{（１，２）}の値が最も大きい場合、方策作成部１０２は、葉ノード＃１（動作２１１）における動作として、θ_ｕ ^{（１，２）}に対応する動作を決定する。

図８に示されたステップＳ１１１乃至ステップＳ１１３における処理の結果、方策作成部１０２は、１つの方策を作成する。方策作成部１０２は、そのような処理を繰り返し実行することによって、複数の方策を作成する。ここで、ステップＳ１１１乃至ステップＳ１１３における処理により作成された各方策において、非終端ノードそれぞれについて、パラメータθ_φ及びパラメータθ_ｖが設定される。同様に、作成された各方策において、葉ノードそれぞれについて、パラメータθ_ｕが設定される。したがって、各方策は、１つの方策パラメータの集合（パラメータθ_φ、パラメータθ_ｖ、パラメータθ_ｕを結合させたもの）で定義され得る。つまり、各方策は、式１、式２及び式４、又は、式１、式２及び式６を用いて定義され得る。なお、方策パラメータはガウス分布等の分布（確率分布）に従ってランダムに算出されるので、複数の方策それぞれにおいて、各方策パラメータの値は異なり得る。したがって、異なる複数の方策が作成され得る。ここで、方策パラメータの集合をθとし、作成される方策の数をｂ（ｂは２以上の整数）とすると、方策作成部１０２は、θ_１～θ_ｂにそれぞれ対応する複数の方策を作成することとなる。

次に、図１１を参照しながら、方策評価部１０４が方策の質を評価する処理（図２のＳ１０３）について説明する。図１１は、第１の実施形態に係る方策評価部１０４における処理の流れを示すフローチャートである。ここで、作成された複数の方策それぞれについて、図１１のフローチャートの処理が実行される。

動作決定部１０３は、対象１７０に関して観測された観測値（状態値）を取得する。そして、動作決定部１０３は、取得した観測値（状態値）に対して、図８に示す処理によって作成された方策の１つに従って、当該状態における動作を決定する（ステップＳ１２２）。次に、動作評価部１０８は、動作決定部１０３によって決定された動作に関する評価値を表す評価情報を受け取ることによって、動作の評価値を決定する（ステップＳ１２３）。動作評価部１０８は、所望の状態と、当該動作によって生じる状態との差異に従い、当該動作に関する評価値を作成することによって、動作の評価値を決定してもよい。この場合、動作評価部１０８は、たとえば、当該差異が大きいほど動作に関する質が低く、当該差異が小さいほど動作に関する質が高いことを表す評価値を作成する。そして、動作評価部１０８は、複数の状態を含むエピソードに関して、各状態を実現する動作の質を、それぞれ決定する（ステップＳ１２１乃至ステップＳ１２４に示されたループ）。

次に、総合評価部１０９は、各動作に関する評価値の合計を算出する。すなわち、総合評価部１０９は、当該方策に従い決定した一連の動作に対する合計値を算出することによって、当該方策に関する評価値を算出する（ステップＳ１２５）。これにより、総合評価部１０９は、１つのエピソードについての当該方策に関する評価値を算出する。なお、総合評価部１０９は、方策に関して算出した評価値（すなわち、当該方策の質）と、当該方策を表す識別子とが関連付けされた評価情報を作成し、作成した方策評価情報を方策評価情報記憶部１０７に格納してもよい。

なお、方策評価部１０４は、図１１に例示した処理を複数のエピソードそれぞれに関して実行し、その平均値を算出することによって、当該方策の評価値を算出してもよい。また、動作決定部１０３は、次の状態を実現する動作を先に決定してもよい。すなわち、動作決定部１０３が、先に、エピソードに含まれている動作を、当該方策に従って全て求め、動作評価部１０８が、当該エピソードに含まれている状態の評価値を決める処理を実行してもよい。

具体例を参照しながら、図１１に示された処理について説明する。説明の便宜上、１エピソードは、２００ステップ（すなわち、２０１個の状態）で構成されているとする。また、１ステップごとに、各ステップの状態における動作が良好である場合には（＋１）、良好でない場合には（－１）なる評価値であるとする。この場合において、ある方策に従って動作を決定したとき、当該方策に関する評価値は、－２００から２００までの値である。動作が良好である場合か否かは、たとえば、所望の状態と、動作によって到達する状態との差異に基づき決定することができる。つまり、所望の状態と、動作によって到達する状態との差異が予め定められた閾値以下である場合に、動作が良好であると判定されてもよい。

動作決定部１０３は、評価対象である１つの方策に従い、ある状態に対する動作を決定する。制御部１５１は、決定された動作を実行する。次に、動作評価部１０８は、動作決定部１０３によって決定された動作に関する評価値を算出する。たとえば、動作評価部１０８は、動作が良好である場合には（＋１）、良好でない場合には（－１）なる評価値を算出する。動作評価部１０８は、２００ステップを含む１エピソードにおける各動作に関して、評価値を算出する。

方策評価部１０４において、総合評価部１０９は、各ステップについて算出された評価値の合計値を算出することによって、当該１つの方策に関する評価値を算出する。方策評価部１０４は、たとえば、方策１乃至方策４に関して、以下に示すような評価値を算出したとする。
方策１：２００
方策２：－２００
方策３：－４０
方策４：１００

この場合において、方策選択部１０５は、たとえば、４つの方策のうち、方策評価部１０４によって算出された評価値が上位５０％である２つの方策を選ぶときに、評価値が大きい方策１、及び、方策４を選択する。つまり、方策選択部１０５は、複数の方策の中から、質が高い方策を選択する（図２のＳ１０４）。

分布更新部１０６は、方策選択部１０５によって選択された、質の高い方策に含まれる各方策パラメータに関して、当該パラメータ値の平均と標準偏差とを算出する。これにより、分布更新部１０６は、各方策パラメータが従うガウス分布等の分布（確率分布）を更新する（図２のＳ１０５）。そして、更新された分布を用いて、再度、図２の処理が行われる。つまり、方策作成部１０２は、更新された分布を用いて、図８に示した処理を実行して、再度、複数（ｂ個）の方策を作成する。そして、動作決定部１０３は、再度作成された複数の方策それぞれについて、方策に従う動作を決定し、方策評価部１０４は、再度作成された複数の方策それぞれについて、評価値を決定する。

このように、質の高い方策を用いて分布を更新していくので、方策パラメータが従う分布における平均値μが、より質の高い方策を実現し得るような値に近づき得る。さらに、方策パラメータが従う分布における標準偏差σが、より小さくなり得る。したがって、分布の幅は、更新されるにつれて、より狭くなり得る。これにより、方策作成部１０２は、更新された分布を用いることで、より評価値の高い（質の高い）方策を表現する方策パラメータを算出する可能性が高くなる。言い換えると、方策作成部１０２が、更新された分布を用いて方策パラメータを算出することで、質の高い方策を作成する可能性が高くなる。したがって、図２に示すような処理を繰り返すことで、方策の評価値が、向上し得る。そして、例えば、このような処理を予め定められた回数繰り返して、得られた複数の方策のうち、評価値が最大となる方策を、対象１７０に関する方策として決定してもよい。これにより、質の高い方策を得ることが可能となる。

なお、動作決定部１０３は、方策評価情報記憶部１０７に格納されている方策評価情報の中から、評価値が最も大きな（すなわち、質が最も高い）方策を表す識別子を特定し、特定した識別子が表す方策に従い、当該動作を決定してもよい。つまり、方策作成部１０２は、再度複数の方策を作成する際に、例えば、更新された分布を用いて（ｂ－１）個の方策を作成し、残りの１個を、過去に作成された方策のうちで評価値が最も大きな方策を抽出してもよい。そして、動作決定部１０３は、更新された分布を用いて作成された（ｂ－１）個の方策と、過去に作成された方策のうちで評価値が最も大きな方策とについて、動作を決定してもよい。このようにすることで、過去に評価値の高かった方策が、分布が更新されていった後であっても評価が比較的高かった場合に、その方策を適切に選択することができる。したがって、質の高い方策をより効率的に作成することが可能となる。

図３に例示された倒立振り子の例において、動作が良好であるか否かの判定は、当該動作によって生じた状態と、振り子が倒立した状態ＶＩとの差異に基づき行う。たとえば、当該状態によって生じた状態が状態ＩＩＩであるとすると、状態ＶＩにおける振り子の方向と、状態ＩＩＩにおける振り子の方向とのなす角に基づいて、動作が良好であるか否かの判定を行う。

また、上述した例において、方策評価部１０４は、エピソードに含まれている各状態に基づいて方策を評価した。しかしながら、動作を実行することによって将来到達しうる状態を予測し、予測した状態と、所望の状態との差異を算出することによって、当該方策を評価してもよい。言い換えると、方策評価部１０４は、動作を実行することによって決定される状態に関する評価値の見積もり値（または、期待値）に基づき、方策を評価してもよい。また、方策評価部１０４は、ある方策に関して、複数のエピソードを用いて図１１に示された処理を繰り返し実行することによって、各エピソードに関する方策の評価値を算出し、その平均値（中央値等）を算出してもよい。すなわち、方策評価部１０４が実行する処理は上述した例に限定されない。

次に、第１の実施形態に係る方策作成装置１０１に関する効果について説明する。第１の実施形態に係る方策作成装置１０１によれば、質が高くかつ、視認性が高い方策を作成することができる。この理由は、方策作成装置１０１が、所定の個数のルールを含む方策を、対象１７０に適合するように作成するからである。

まず、図１２及び図１３を参照しながら、第１の実施形態に係る方策作成装置１０１が、上述したような効果のうち、質が高いという効果を奏する理由について説明する。図１２及び図１３は、第１の実施形態において、倒立振り子（図３に例示）を例題として用いた場合において、方策の質を評価した結果を表す図である。

図１２及び図１３の横軸は、図４における方策を表す決定木の深さを表し、右側であるほど、決定木が深いことを表す。図１２及び図１３の縦軸は、方策の質を表し、上側であるほど質が高く、下側であるほど質が低いことを表している。点線は、ニューラルネットワークを用いて方策を作成した場合に到達した最高の質を表している。折れ線は、本実施形態に係る方策作成装置１０１が、各決定木の深さにて作成した方策の質を表している。図１２は、トレーニングデータに対する方策の質を表している。図１３は、テストデータに対する方策の質を表している。

図１２において、点線と折れ線とを比較すると、決定木の深さが３以上の方策において、点線と折れ線とが同等の質であることが示されている。これは、本実施形態に係る方策作成装置１０１は、決定木の深さが３以上の方策で、ニューラルネットワークを用いた場合に達成しうる最高の質と同程度の方策を作成したことを表す。同様に、図１３において、点線と折れ線とを比較すると、決定木の深さが３以上の方策において、点線と折れ線とが同等の質であることが示されている。これは、本実施形態に係る方策作成装置１０１は、決定木の深さが３以上の方策で、ニューラルネットワークを用いた場合に達成しうる最高の質と同程度の方策を作成したことを表す。したがって、方策作成装置１０１は、トレーニングデータ及びテストデータのいずれの場合にも、決定木の深さが３以上の方策において、ニューラルネットワークを用いた場合に達成しうる最高の質と同程度の方策を作成することができる。

次に、図１４を参照しながら、第１の実施形態に係る方策作成装置１０１が、上述したような効果のうち、視認性が高い方策を作成するという効果を奏する理由について説明する。図１４は、倒立振り子を例題として用いた場合において、第１の実施形態に係る方策作成装置１０１が作成した方策を概念的に表す図である。

倒立振り子（図３に例示）の例の場合に、図１４の例では、深さが３（Ｄ＝３）の決定木で方策を表している。したがって、方策作成装置１０１は、図１４に例示されているように、７個（＝２^３－１）の条件と、８個（＝２^３）の動作と含む方策を用いて、対象１７０に適した方策を作成している。図１４においては、決定木の深さ（階層の深さ）は、「３」であるので、決定木の木構造は、比較的浅く、したがってユーザが容易に理解可能な程度に簡単な構造である。さらに、図１４においては、各ノードにおいて、条件を表すパラメータ、及び、動作（次の状態）を表すパラメータが、明示的に示されている。したがって、図１４に示された方策では、対象１７０に関して施す動作を決定する際の判定処理が明確に示されているので、ユーザは、当該方策に従い、たとえば、動作を決定する際にどの観測値が起因しているのかを、視覚的に容易に特定することができる。したがって、第１の実施形態に係る方策作成装置１０１によれば、質が高くかつ、視認性が高い方策を作成することができる。

なお、「対象１７０の状態」という言葉を用いて、方策作成装置１０１における処理を説明したが、状態は、必ずしも、対象１７０の実際の状態である必要はない。例えば、対象１７０の状態をシミュレーションしたシミュレータによって算出された結果を表す情報であってもよい。この場合、制御部１５１は、シミュレータで実現され得る。

（第２の実施形態）
次に、第２の実施形態について説明する。
図１５は、第２の実施形態に係る方策作成装置１０１の構成を示すブロック図である。以下、図１５を参照しながら、第２の実施形態に係る方策作成装置２０１が有する構成について詳細に説明する。

第２の実施形態に係る方策作成装置２０１は、方策作成部２０２と、動作決定部２０３と、方策評価部２０４と、方策選択部２０５とを有する。方策作成部２０２は、図１等を参照しながら説明したような方策作成部１０２が有している機能と同様な機能によって実現することができる。動作決定部２０３は、図１等を参照しながら説明したような動作決定部１０３が有している機能と同様な機能によって実現することができる。方策評価部２０４は、図１等を参照しながら説明したような方策評価部１０４が有している機能と同様な機能によって実現することができる。方策選択部２０５は、図１等を参照しながら説明したような方策選択部１０５が有している機能と同様な機能によって実現することができる。したがって、方策作成装置２０１は、図１等を参照しながら説明したような方策作成装置１０１が有している機能と同様な機能によって実現することができる。そして、方策作成装置２０１は、対象に関して施す動作を決定する方策を、決定した当該動作に関する質に基づき作成する。

図１６は、第２の実施形態に係る方策作成装置２０１によって実行される方策作成方法の流れを示すフローチャートである。図１６を参照しながら、第２の実施形態に係る方策作成装置２０１における処理について詳細に説明する。

方策作成部２０２は、対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する（ステップＳ２０１）。方策作成部２０２は、たとえば、対象１７０の状態に関して観測された観測値に基づき、対象１７０の状態を判定する条件と、当該条件に応じた動作を決定する。あるいは、方策作成部２０２は、たとえば、対象１７０の状態に関して観測された観測値に基づき、対象１７０の状態を判定する条件と、当該条件に応じた状態の次に生じる次状態とを特定し、特定した次状態に至るための動作を決定してもよい。方策作成部２０２は、特定した条件と、決定した動作とが組み合わされたルールを作成する。そして、方策作成部２０２は、このルールを所定の個数含むような方策を、複数作成する。

動作決定部２０３は、方策作成部２０２によって作成された複数の方策それぞれについて、方策に従って、対象１７０の状態が第１状態から第２状態になるまでの動作を決定する（ステップＳ２０２）。方策評価部２０４は、第１状態と第２状態との間の状態と、所望の状態と差異に従って、決定された動作の質を決定し、決定された動作の質に基づいて、複数の方策それぞれについて方策の質を決定する（ステップＳ２０３）。なお、所望の状態は、対象の目的となり得る状態を表す。

次に、方策選択部２０５は、作成された複数の方策の中から、決定された質が高い方策を選択する（ステップＳ２０４）。具体的には、方策選択部２０５は、複数の方策の中から、質が最も高い方策、または、質が比較的高い（すなわち、質が上位の）方策を選択する。ここで、「質が上位の方策」とは、たとえば、複数の方策のうち、質が高いほうから数えて５％、１０％、１５％等までに含まれている方策であってもよい。また、「質が上位の方策」とは、たとえば、ｂ個の方策のうち、質が高い上位ｍ個（ｍはｂよりも小さい整数）の方策であってもよい。

次に、本発明の第２の実施形態に係る方策作成装置２０１に関する効果について説明する。第２の実施形態に係る方策作成装置２０１によれば、質が高くかつ、視認性が高い方策を作成することができる。この理由は、方策作成装置２０１が、所定の個数のルールを含む方策を、対象に適合するように作成するからである。

（ハードウェア構成例）
上述した各実施形態に係る方策作成装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、各実施形態に係る方策作成装置は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、各実施形態に係る方策作成装置は、専用の装置として実現されてもよいし、汎用の情報処理装置で実現されてもよい。

図１７は、各実施形態に係る方策作成装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。計算処理装置２０は、ＣＰＵ２１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央処理演算装置）、揮発性記憶装置２２、ディスク２３、不揮発性記録媒体２４、及び、通信ＩＦ２７（ＩＦ：Ｉｎｔｅｒｆａｃｅ）を有する。したがって、各実施形態に係る方策作成装置は、ＣＰＵ２１、揮発性記憶装置２２、ディスク２３、不揮発性記録媒体２４、及び、通信ＩＦ２７を有しているといえる。計算処理装置２０は、入力装置２５及び出力装置２６に接続可能であってもよい。計算処理装置２０は、入力装置２５及び出力装置２６を備えていてもよい。また、計算処理装置２０は、通信ＩＦ２７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。

不揮発性記録媒体２４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）である。また、不揮発性記録媒体２４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であってもよい。不揮発性記録媒体２４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。なお、不揮発性記録媒体２４は、上述した媒体に限定されない。また、不揮発性記録媒体２４の代わりに、通信ＩＦ２７及び通信ネットワークを介して、係るプログラムが供給されてもよい。

揮発性記憶装置２２は、コンピュータが読み取り可能であって、一時的にデータを記憶することができる。揮発性記憶装置２２は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のメモリ等である。

すなわち、ＣＰＵ２１は、ディスク２３に格納されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際に揮発性記憶装置２２にコピーし、演算処理を実行する。ＣＰＵ２１は、プログラムの実行に必要なデータを揮発性記憶装置２２から読み取る。表示が必要な場合、ＣＰＵ２１は、出力装置２６に出力結果を表示する。外部からプログラムを入力する場合、ＣＰＵ２１は、入力装置２５からプログラムを取得する。ＣＰＵ２１は、上述した図１または図１５に示される各構成要素の機能（処理）に対応する方策作成プログラム（図２、図８、図１１、または、図１６）を解釈し実行する。ＣＰＵ２１は、上述した各実施形態において説明した処理を実行する。言い換えると、上述した図１または図１５に示される各構成要素の機能は、ディスク２３又は揮発性記憶装置２２に格納された方策作成プログラムを、ＣＰＵ２１が実行することによって実現され得る。

すなわち、各実施形態は、上述した方策作成プログラムによっても成し得ると捉えることができる。さらに、上述した方策作成プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明の各実施形態は成し得ると捉えることができる。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理（ステップ）の順序は、適宜、変更可能である。また、複数ある処理（ステップ）のうちの１つ以上は、省略されてもよい。

また、上述した実施の形態では、方策パラメータごとに、つまり、式１、式２、式４、式６で示すパラメータθ_φ、パラメータθ_ｖ、および、パラメータθ_ｕの成分ごとに、独立した分布（確率分布）に従って、各方策パラメータの値を算出するとした。つまり、分布更新部１０６は、方策パラメータごとに、独立して、各方策パラメータに対応する分布について平均値及び標準偏差を算出して、分布を更新するとした。しかしながら、本実施の形態は、このような構成に限られない。方策パラメータそれぞれに相関がある場合、共分散を用いて、分布を更新してもよい。この場合、式１、式２、式４、式６に対して分散共分散行列を適用してもよい。

上述したように、方策プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する方策作成手段と、
作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定する動作決定手段と、
前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定する方策評価手段と、
作成された前記複数の方策の中から、決定された前記質が高い方策を選択する方策選択手段と
を備える方策作成装置。
（付記２）
前記方策は、予め定められた少なくとも１つの分布に従う方策パラメータで表され、
前記方策作成手段は、前記分布に従って前記方策パラメータの値を算出することで、前記方策における前記条件及び前記動作のそれぞれを決定する
付記１に記載の方策作成装置。
（付記３）
前記方策選択手段によって選択された前記方策パラメータから、当該方策パラメータに関する前記分布を更新する分布更新手段
をさらに備え、
前記方策作成手段は、前記分布更新手段によって更新された前記分布に従って前記方策パラメータの値を算出することで、前記方策を作成する
付記２に記載の方策作成装置。
（付記４）
前記ルールにおける前記条件は、前記対象に関する複数の種類の特徴量のうちの少なくとも一部の種類の特徴量と、当該特徴量に関する観測値を判定する判定基準とを含み、
前記方策作成手段は、前記分布に従って算出された前記特徴量に関する前記方策パラメータに基づいて、前記条件における前記特徴量を選択する
付記２又は３に記載の方策作成装置。
（付記５）
前記方策作成手段は、前記一部の種類の特徴量それぞれについて前記特徴量に関する前記方策パラメータを算出し、前記方策パラメータのうち大きさが上位のものに関する前記特徴量を、前記条件における前記特徴量として選択する
付記４に記載の方策作成装置。
（付記６）
前記方策作成手段は、前記特徴量の観測値の範囲と、前記分布に従って算出された前記判定基準に関する前記方策パラメータに基づいて、前記条件における前記選択された特徴量に関する前記判定基準を算出する
付記４又は５に記載の方策作成装置。
（付記７）
前記方策作成手段は、前記ルールにおける前記動作に関する前記方策パラメータを前記分布に従って算出し、算出された前記動作に関する前記方策パラメータに基づいて、前記ルールにおける前記動作を決定する
付記２から６のいずれか１項に記載の方策作成装置。
（付記８）
前記方策作成手段は、前記方策を、終端ノードと前記終端ノードとは異なる非終端ノードとで構成される木構造に従って作成し、
前記木構造における前記非終端ノードには、前記条件が配置され、
前記木構造における終端ノードには、当該終端ノードに至る前記非終端ノードに配置された前記条件に応じた前記動作が配置されている
付記１から７のいずれか１項に記載の方策作成装置。
（付記９）
前記方策評価手段によって決定された前記方策の質と、前記方策を表す識別子とが関連付けされた方策評価情報を格納する方策評価情報記憶手段
をさらに備え、
前記方策評価手段は、決定した前記方策の質と、前記方策の識別子とを関連付けされた前記方策評価情報を前記方策評価情報記憶手段に格納し、
前記動作決定手段は、前記方策評価情報記憶手段に格納されている前記方策評価情報の中から、最も質が高い前記方策と関連付けされた前記識別子を選択し、選択した前記識別子が表す前記方策に従い、前記動作を決定する
付記１から８のいずれか１項に記載の方策作成装置。
（付記１０）
付記１から９のいずれか１項に記載の方策作成装置と、
前記方策作成装置によって決定された前記動作に従って前記対象に関する制御を行う制御部と
を備える制御装置。
（付記１１）
対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成し、
作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定し、
前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定し、
作成された前記複数の方策の中から、決定された前記質が高い方策を選択する
方策作成方法。
（付記１２）
対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する機能と、
作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定する機能と、
前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定する機能と、
作成された前記複数の方策の中から、決定された前記質が高い方策を選択する機能と
をコンピュータに実現させる方策作成プログラムが格納された非一時的なコンピュータ可読媒体。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年１２月２７日に出願された日本出願特願２０１８－２４４５９８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０１ 方策作成装置
１０２ 方策作成部
１０３ 動作決定部
１０４ 方策評価部
１０５ 方策選択部
１０６ 分布更新部
１０７ 方策評価情報記憶部
１０８ 動作評価部
１０９ 総合評価部
１５０ 制御装置
１５１ 制御部
１７０ 対象
２０１ 方策作成装置
２０２ 方策作成部
２０３ 動作決定部
２０４ 方策評価部
２０５ 方策選択部
２１１ 動作
２１２ 動作
２１３ 動作
２１４ 動作

Claims (10)

1. 対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する方策作成手段と、
   作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定する動作決定手段と、
   前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定する方策評価手段と、
   作成された前記複数の方策の中から、決定された前記質が高い方策を選択する方策選択手段と
   を備える方策作成装置。
2. 前記方策は、予め定められた少なくとも１つの分布に従う方策パラメータで表され、
   前記方策作成手段は、前記分布に従って前記方策パラメータの値を算出することで、前記方策における前記条件及び前記動作のそれぞれを決定する
   請求項１に記載の方策作成装置。
3. 前記方策選択手段によって選択された前記方策パラメータから、当該方策パラメータに関する前記分布を更新する分布更新手段
   をさらに備え、
   前記方策作成手段は、前記分布更新手段によって更新された前記分布に従って前記方策パラメータの値を算出することで、前記方策を作成する
   請求項２に記載の方策作成装置。
4. 前記ルールにおける前記条件は、前記対象に関する複数の種類の特徴量のうちの少なくとも一部の種類の特徴量と、当該特徴量に関する観測値を判定する判定基準とを含み、
   前記方策作成手段は、前記分布に従って算出された前記特徴量に関する前記方策パラメータに基づいて、前記条件における前記特徴量を選択する
   請求項２又は３に記載の方策作成装置。
5. 前記方策作成手段は、前記ルールにおける前記動作に関する前記方策パラメータを前記分布に従って算出し、算出された前記動作に関する前記方策パラメータに基づいて、前記ルールにおける前記動作を決定する
   請求項２から４のいずれか１項に記載の方策作成装置。
6. 前記方策作成手段は、前記方策を、終端ノードと前記終端ノードとは異なる非終端ノードとで構成される木構造に従って作成し、
   前記木構造における前記非終端ノードには、前記条件が配置され、
   前記木構造における終端ノードには、当該終端ノードに至る前記非終端ノードに配置された前記条件に応じた前記動作が配置されている
   請求項１から５のいずれか１項に記載の方策作成装置。
7. 前記方策評価手段によって決定された前記方策の質と、前記方策を表す識別子とが関連付けされた方策評価情報を格納する方策評価情報記憶手段
   をさらに備え、
   前記方策評価手段は、決定した前記方策の質と、前記方策の識別子とを関連付けされた前記方策評価情報を前記方策評価情報記憶手段に格納し、
   前記動作決定手段は、前記方策評価情報記憶手段に格納されている前記方策評価情報の中から、最も質が高い前記方策と関連付けされた前記識別子を選択し、選択した前記識別子が表す前記方策に従い、前記動作を決定する
   請求項１から６のいずれか１項に記載の方策作成装置。
8. 請求項１から７のいずれか１項に記載の方策作成装置と、
   前記方策作成装置によって決定された前記動作に従って前記対象に関する制御を行う制御部と
   を備える制御装置。
9. 演算装置と記憶装置とを有するコンピュータによって実現される方策作成装置によって実行される方策作成方法であって、
   前記方策作成装置によって、対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成し、
   前記方策作成装置によって、作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定し、
   前記方策作成装置によって、前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定し、
   前記方策作成装置によって、作成された前記複数の方策の中から、決定された前記質が高い方策を選択する
   方策作成方法。
10. 演算装置と記憶装置とを有するコンピュータによって実現される方策作成装置によって実現される方策作成プログラムであって、当該方策作成プログラムは、前記記憶装置に格納され、
    対象の状態を判定する条件と当該状態における動作とが組み合わされたルールを所定の個数分含む方策を、複数作成する機能と、
    作成された前記複数の方策それぞれについて、前記方策に従って、前記対象の状態が第１状態から第２状態になるまでの動作を決定する機能と、
    前記第１状態と前記第２状態との間の状態と、所望の状態との差異に従って、決定された前記動作の質を決定し、決定された前記動作の質に基づいて、前記複数の方策それぞれについて前記方策の質を決定する機能と、
    作成された前記複数の方策の中から、決定された前記質が高い方策を選択する機能と
    を前記コンピュータの前記演算装置に実現させる方策作成プログラム。

Images