JP5847425B2 - 観測行動選択機能を有する分類システム及び該システムを使用する分類方法 - Google Patents

Description

本発明は、強化学習を使用した観測行動選択機能を有する分類システム及び該システムを使用する分類方法に関する。

ロボットなどの機械が対象物（物体）を操作する際に、対象物をできるだけ早く、かつ正確に分類する必要がある。たとえば、ロボットは対象物を観測し、観測データに基づいて対象物を分類する。ここで、観測データは、ロボットと対象物との位置関係によって変化する。したがって、対象物を早く、かつ正確に分類するためには、対象物を適切な位置から観測した観測データを使用して分類処理を行う必要がある。このように、対象物を早く、かつ正確に分類するためには、ロボットの観測行動の行動戦略が必要である。

しかし、対象物を早く、かつ正確に分類するための行動戦略は、従来、ケースごとに設計者によって作成されていた。関連するものとして物体認識のために強化学習を使用する方法が提案されているが（非特許文献１）、対象物を早く、かつ正確に分類するため行動戦略を自動的に作成する観測行動選択機能を有する分類システム及び該システムを使用する分類方法は開発されていなかった。

Ｌｕｃａｓ Ｐａｌｅｔｔａ，Ｇｅｒａｌｄ Ｆｒｉｔｚ，ａｎｄ Ｃｈｒｉｓｔｉｎ Ｓｅｉｆｅｒｔ，"Ｒｅｉｎ ｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ｏｆ Ｉｎｆｏｒｍａｔｉｖｅ Ａｔｔｅｎｔｉｏｎ Ｐａｔｔｅｒｎｓ ｆｏｒ ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００５ ４▲ｔｈ▼ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ Ｌｅａｒｎｉｎｇ

したがって、対象物を早く、かつ正確に分類するため行動戦略を自動的に作成する観測行動選択機能を有する分類システム及び該システムを使用する分類方法に対するニーズがある。

本発明の第１の態様による観測行動選択機能を有する分類システムは、物体の観測行動を繰り返しながら、観測行動によって得られた観測データに基づいて該物体をクラスに分類する分類システムである。本分類システムは、該物体がそれぞれのクラスに分類される確率である分類確率を決定する分類確率決定部と、観測データと該分類確率とから構成される状態空間を使用する強化学習に基づいて次の観測行動を選択する行動選択部とを備えている。

本発明の第１の態様による分類システムによれば、観測データと該分類確率とから構成される状態空間を使用する強化学習に基づいて次の観測行動が選択されるので、観測行動の行動戦略が自動的に作成される。

本発明の第１の態様の実施形態において、前記行動選択部は、前記分類確率決定手段によって決定された分類確率から求められたエントロピーの減少分に応じて報酬を決定し、該報酬に基づいて強化学習を行う。

本実施形態によれば、分類確率から求められたエントロピーの減少分に応じて報酬が決定されるので、エントロピーを減少させように強化学習を行わせることができる。

本発明の第１の態様の実施形態において、前記分類確率決定部は、観測行動ごとに前記物体がそれぞれのクラスに分類される確率を求め、観測行動に関する累積確率を分類確率とする。

本実施形態によれば、観測行動に関する累積確率を分類確率とするので、複数の観測行動の結果を適切に集約することができる。

本発明の第１の態様の実施形態において、前記分類確率決定手段は、所定の物体の複数の観測データを、ＥＭアルゴリズムで最尤推定することによって求めた、クラスの混合正規分布モデルを使用して分類確率を決定する。

本実施形態によれば、所定の物体の複数の観測データを、ＥＭアルゴリズムで最尤推定することによって求めた、クラスの混合正規分布モデルを使用するので、所定の物体の複数の観測データを少ないパラメータによって効率的にモデル化することができる。

本発明の第２の態様による、観測行動選択機能を有する分類システムによって物体を分類する分類方法は、該観測行動選択機能を有する分類システムが、物体の観測行動を実施するステップと、該観測行動選択機能を有する分類システムの分類確率決定部が、観測行動によって得られた観測データに基づいて、該物体がそれぞれのクラスに分類される確率である分類確率を決定するステップと、該観測行動選択機能を有する分類システムの行動選択部が、観測データと該分類確率とから構成される状態空間を使用する強化学習に基づいて次の観測行動を選択するステップと、を含む。

本発明の第２の態様による分類方法によれば、観測データと該分類確率とから構成される状態空間を使用する強化学習に基づいて次の観測行動が選択されるので、観測行動の行動戦略が自動的に作成される。

本発明の第２の態様の実施形態において、前記行動選択部は、前記分類確率決定手段によって決定された分類確率から求められたエントロピーの減少分に応じて報酬を決定し、該報酬に基づいて強化学習を行う。

本実施形態によれば、分類確率から求められたエントロピーの減少分に応じて報酬が決定されるので、エントロピーを減少させように強化学習を行わせることができる。

本発明の第２の態様の実施形態において、前記分類確率決定部は、観測行動ごとに前記物体がそれぞれのクラスに分類される確率を求め、観測行動に関する累積確率を分類確率とする。

本実施形態によれば、観測行動に関する累積確率を分類確率とするので、複数の観測行動の結果を適切に集約することができる。

本発明の第２の態様の実施形態による分類方法は、初期化処理として、前記分類確率決定手段が、所定の物体の複数の観測データを、ＥＭアルゴリズムで最尤推定することによって、分類確率を決定するために使用される、クラスの混合正規分布モデルを求めるステップをさらに含み、前記分類確率決定手段は、分類確率を決定するステップにおいて、該混合正規分布モデルを使用して分類確率を決定する。

本実施形態によれば、所定の物体の複数の観測データを、ＥＭアルゴリズムで最尤推定することによって求めた、クラスの混合正規分布モデルを使用するので、所定の物体の複数の観測データを少ないパラメータによって効率的にモデル化し、該混合正規分布モデルを使用して効率的に分類確率を決定することができる。

本発明の一実施形態による観測行動選択機能を有する分類システムの構成を示す図である。 観測行動選択機能を有する分類システムの分類確率決定部の初期化処理の手順を示す流れ図である。 観測行動選択機能を有する分類システムによる、観測行動選択及び物体分類処理を示す流れ図である。 シミュレーション実験の手順を説明するための流れ図である。 クラス１、クラス１から生成した個体Ｐ及びクラス２、クラス２から生成した個体Ｑを示す概念図である。 クラス１から生成した個体Ｐの観測データの採取を説明するための図である。 分類処理の繰り返し数と分類に必要な行動数との関係を示す図である。 分類処理の繰り返し数と分類結果の正答率との関係を示す図である。

図１は、本発明の一実施形態による観測行動選択機能を有する分類システム１００の構成を示す図である。観測行動選択機能を有する分類システム１００は、たとえば、自律式ロボットに搭載される。観測行動選択機能を有する分類システム１００は、物体２０１を観測して観測データを取得するデータ取得部１０１と、データ取得部１０１が取得した観測データに基づいて、物体がそれぞれのクラスに分類される確率である分類確率を決定する分類確率決定部１０３と、該分類確率に基づいて強化学習の報酬を計算する報酬計算部１０５と、該観測データ、該分類確率及び報酬計算部１０５によって計算された報酬を使用して強化学習を実施し、その結果に基づいて観測行動を選択する行動選択部１０７と、を含む。図１において報酬計算部１０５は、行動選択部１０７とは別のコンポーネントとして構成されているが、報酬計算部１０５は、行動選択部１０７の一部として構成してもよい。行動選択部１０７によって選択された観測行動は、行動生成手段１０９によって実現され、その結果、データ取得部１０１が新たな観測データを取得する。分類確率決定部１０３、報酬計算部１０５及び行動選択部１０７の機能の詳細は、後で説明する。

図２は、観測行動選択機能を有する分類システム１００の分類確率決定部１０３の初期化処理の手順を示す流れ図である。初期化処理において、観測行動に関する学習が行われる。

図２のステップＳ１０１０において、外部入力などによって学習対象の１個体が定められる。

図２のステップＳ１０２０において、観測行動選択機能を有する分類システム１００が、観測行動を実行し、１個体から観測データを取得する。

図２のステップＳ１０３０において、外部入力などによって観測数が十分であるかどうかが判断される。観測数が十分であれば、ステップＳ１０４０に進む。観測数が十分でなければステップＳ１０２０に戻り、観測行動を繰り返す。

図２のステップＳ１０４０において、外部入力などによって個体のクラス分類の正解のクラスラベルが教示される。ここで、クラスラベルとは、物体を分類した結果の表示である。たとえば、ロボットが家具の置かれた室内で物体を分類する場合は、椅子やテーブルなどがクラスラベルに相当する。

図２のステップＳ１０５０において、観測行動選択機能を有する分類システム１００の分類確率決定部１０３は、クラスラベルのデータとして観測データを格納する。より具体的に、分類確率決定部１０３は、クラス数の混合正規分布モデル（以下において、ＧＭＭと呼称する）を予め備えるように構成されており、該クラスラベルのＧＭＭのデータとして観測データを格納する。

図２のステップＳ１０６０において、観測行動選択機能を有する分類システム１００の分類確率決定部１０３は、該クラスラベルのＧＭＭをＥＭアルゴリズムで最尤推定する。ＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）とは、確率モデルのパラメータを最尤法に基づいて推定する手法のひとつであり、観測不可能な隠れ変数に確率モデルが依存する場合に用いられる方法である。具体的には、ＥＭアルゴリズムでＧＭＭの以下のパラメータを定める。

ここで、

は、各クラスを表し、

は、ＧＭＭにおける各混合成分を表す。ＧＭＭをＥＭアルゴリズムで最尤推定する方法は広く知られており、たとえば、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍｉｘｔｕｒｅ＿ｍｏｄｅｌ＃Ｇｅｎｅｒａｌ＿ｍｉｘｔｕｒｅ＿ｍｏｄｅｌなどに記載されている。

図２のステップＳ１０７０において、外部入力などによって学習対象の個体が他にあるかどうか判断される。学習対象の個体が他にあれば、ステップＳ１０１０に進む。学習対象の個体が他になければ、処理を終了する。

このようにして、観測行動選択機能を有する分類システム１００の分類確率決定部１０３は、クラスラベルごとに、最尤推定されたＧＭＭを予め準備し保持する。

図３は、観測行動選択機能を有する分類システム１００による、観測行動選択及び物体分類処理を示す流れ図である。
図３のステップＳ０１０において、外部入力などによって観察対象の１個体が定められる。

図３のステップＳ２０２０において、分類確率決定部１０３は、観察対象の１個体に対するクラス推定確率を初期化する。また、行動選択部１０７は、初動観測行動を決定する。具体的に、初動行動は、所定の行動とするかランダムに設定された行動とする。

図３のステップＳ２０３０において、行動生成手段１０９は、行動選択部１０７によって決定された初動行動を実行し、データ取得部１０１は、観測対象の物体を観測し、観測データを取得する。具体的に、たとえば、ロボットは、観測対象の物体と所定の関係の位置に移動し、その位置から観測対象の物体を観察する。ここで、時刻ｔにおける観測データを

で表し、時刻ｔまでの時系列観測データを

で表す。すなわち、

は、時刻ｔ＋１までの時系列観測データであり、

と表せる。

図３のステップＳ２０４０において、分類確率決定部１０３は、クラス推定分布、すなわち、図２の流れ図に示す方法によって求められた、クラスごとのＧＭＭよりクラス累積確率を計算する。この計算方法を以下に説明する。

あるクラスのＧＭＭが、観測データ

を示す確率は以下の式で表せる。

ここで、

は、クラスの正規分布を表す。
観測対象があるクラス

である場合に、観測データ

が得られる確率は以下の式で表せる。

ここで、

は、クラス数を表す。
さらに、観測対象があるクラス

である場合に、時系列観測データ

が得られる確率、すなわちクラス累積確率は以下の式で表せる。

ここで、ｎは各時系列データを表し、Ｎは時系列観測データのデータ数を表す。

図３のステップＳ２０５０において、行動選択部１０７は、データ取得部１０１から受け取った観測データ及び分類確率決定部１０３から受け取ったクラス累積確率から定めた状態

によって状態空間を構成する。ここで、

は、各クラスのクラス累積確率の集合を表す。

図３のステップＳ２０６０において、行動選択部１０７は、政策関数により次行動を決定する。具体的に政策関数は、ε−Ｇｒｅｅｄｙ法であってもよい。ε−Ｇｒｅｅｄｙ法は、εが０以上１以下の定数であるとして、確率１−εで、その状態において、後で説明するＱ値が最大となる行動を次行動として選択し、確率εでランダムに次行動を選択する。

図３のステップＳ２０７０において、報酬計算部１０５は、分類確率決定部１０３からクラス累積確率を受け取り、クラス累積確率に基づいて報酬を計算する。具体的に報酬計算部１０５は、全クラスの累積クラス確率のエントロピーの和の減少分に応じて報酬を決定する。時刻ｔにおける全クラスの累積クラス確率のエントロピーの和は、以下の式によって表わせる。

したがって、時刻ｔ＋１における報酬ｒ_ｔ＋１は、以下の式によって計算される。

式（５）においてλは、正の定数を表す。

図３のステップＳ２０８０において、行動選択部１０７は、報酬計算部１０５から報酬の値を受け取り、報酬の値を使用して、その時の状態及び行動に対応するＱ値を更新する。ここで、Ｑ値とは、ある状態である行動をとった場合の報酬の期待値である。具体的にＱ−Ｌｅａｒｎｉｎｇによる場合には、以下の式によってＱ値を更新する。

また、Ｓａｒｓａ（Ｓｔａｔｅ−Ａｃｔｉｏｎ−Ｒｅｗａｒｄ−Ｓｔａｔｅ−Ａｃｔｉｏｎ）による場合には、以下の式によってＱ値を更新する。

式（６）及び（７）において、ｓは状態を表し、ａは行動を表す。

図３のステップＳ２０９０において、分類確率決定部１０３は、クラス累積確率の閾値判定を行う。具体的に、各クラスのクラス累積確率のうち最大のものと閾値とを比較する。すなわち、

が満たされれば、ステップＳ２１００に進む。式（８）が満たされなければ、ステップＳ２０３０に戻り、観測行動を継続する。ここで、Ｔｈは閾値を表す。

図３のステップＳ２１００において、分類確率決定部１０３は、クラス累積確率が閾値を超えたクラスが物体のクラスであると判定する。

シミュレーション実験
本発明の効果を確認するためのシミュレーション実験について以下に説明する。複数の分類クラスが存在する。そのうちの一つに属する個体から観測データを取得して、その観測データに基づいて本発明の実施形態による観測行動選択機能を有する分類システム１００によって物体のクラスを分類する。
図４は、シミュレーション実験の手順を説明するための流れ図である。
図４のステップＳ３０１０において、個体のモデルを作成する。各クラスが正規分布を有するとして、その平均と共分散行列を設定する。

個体をどのクラスから発生させるかを決定し、決定したクラスから個体の平均を発生させる。クラス１から個体Ｐを発生させる場合は、以下のように表現される。

予め設定した範囲から共分散行列を乱数にて生成し、個体モデルを生成する。クラス１から生成した個体モデルＰは、以下のように表す。

図５は、クラス１、クラス１から生成した個体Ｐ及びクラス２、クラス２から生成した個体Ｑを示す概念図である。
図４のステップＳ３０２０において、図２の流れ図に示した方法によって、観測行動選択機能を有する分類システム１００の分類確率決定部１０３の初期化処理（クラス分類の学習）を行う。観測数は、約３００である。

図６は、クラス１から生成した個体Ｐの観測データの採取を説明するための図である。観測行動は、ａ１及びａ２の２種類であるとする。観測行動ａ１では、平均線より左側のデータが得られ、観測行動ａ２では、平均線より右側のデータが得られるとする。具体的に、観測行動ａ１の場合には、以下の手順によって観測データを定める。対象となる個体モデルの分布から分布に従った正規乱数（観測データ）を発生させる。

上記の値が平均線より左側であればこの値を観測データとする。そうでなければ、上記の乱数発生を繰り返す。

図４のステップＳ３０３０において、図３の流れ図に示した、観測行動選択機能を有する分類システム１００に観測行動選択及び物体分類処理を実施させる。

図４のステップＳ３０４０において、分類結果の評価を行う。すなわち、分類されたクラスが、個体の発生したクラスと同じであるかどうか評価する。

分類処理は、１００００回繰り返す。

図７は、分類処理の繰り返し数と分類に必要な行動数との関係を示す図である。図７の横軸は、分類処理の繰り返し数を表す。図７の縦軸は、１回の分類処理に必要な行動数を表す。図７は、１００回の実験の平均値を示す。本発明の場合には、ランダムな観測行動を行った場合と比較して、初期の段階から、分類処理に必要な行動数が少ない。さらに、分類処理を繰り返すにしたがって、分類処理に必要な行動数が減少する。

図８は、分類処理の繰り返し数と分類結果の正答率との関係を示す図である。図８の横軸は、分類処理の繰り返し数を表す。図８の縦軸は、分類結果の正答率を示す。図８は、１００回の実験の平均値を示す。本発明の場合とランダムな観測行動を行った場合と比較して、分類結果の正答率に有意差はない。

シミュレーション実験の結果、本発明によれば、観測行動の行動戦略を作成することによって、分類の正確さを維持したまま、より早く分類を実施できることが明らかになった。

１００…観測行動選択機能を有する分類システム、１０１…データ取得部、１０３…分類確率決定部、１０５…報酬計算部、１０７…行動選択部

Claims (8)

1. 物体の観測行動を繰り返しながら、観測行動によって得られた観測データに基づいて該物体をクラスに分類する分類システムであって、該物体がそれぞれのクラスに分類される確率である分類確率を決定する分類確率決定部と、観測データと該分類確率とから構成される状態空間を使用する強化学習に基づいて次の観測行動を選択する行動選択部とを備えた、観測行動選択機能を有する分類システム。
2. 前記行動選択部は、前記分類確率決定部によって決定された分類確率から求められたエントロピーの減少分に応じて報酬を決定し、該報酬に基づいて強化学習を行う請求項１に記載の観測行動選択機能を有する分類システム。
3. 前記分類確率決定部は、観測行動ごとに前記物体がそれぞれのクラスに分類される確率を求め、観測行動に関する累積確率を分類確率とする請求項１または２に記載の観測行動選択機能を有する分類システム。
4. 前記分類確率決定部は、所定の物体の複数の観測データを、ＥＭアルゴリズムで最尤推定することによって求めた、クラスの混合正規分布モデルを使用して分類確率を決定する請求項１から３のいずれかに記載の観測行動選択機能を有する分類システム。
5. 観測行動選択機能を有する分類システムによって物体を分類する分類方法であって、
   該観測行動選択機能を有する分類システムが、物体の観測行動を実施するステップと、
   該観測行動選択機能を有する分類システムの分類確率決定部が、観測行動によって得られた観測データに基づいて、該物体がそれぞれのクラスに分類される確率である分類確率を決定するステップと、
   該観測行動選択機能を有する分類システムの行動選択部が、観測データと該分類確率とから構成される状態空間を使用する強化学習に基づいて次の観測行動を選択するステップと、を含む分類方法。
6. 前記行動選択部は、前記分類確率決定部によって決定された分類確率から求められたエントロピーの減少分に応じて報酬を決定し、該報酬に基づいて強化学習を行う請求項５に記載の分類方法。
7. 前記分類確率決定部は、観測行動ごとに前記物体がそれぞれのクラスに分類される確率を求め、観測行動に関する累積確率を分類確率とする請求項５または６に記載の分類方法。
8. 初期化処理として、前記分類確率決定部が、所定の物体の複数の観測データを、ＥＭアルゴリズムで最尤推定することによって、分類確率を決定するために使用される、クラスの混合正規分布モデルを求めるステップをさらに含み、前記分類確率決定部は、分類確率を決定するステップにおいて、該混合正規分布モデルを使用して分類確率を決定する請求項５から７のいずれかに記載の分類方法。

Images