JP5874292B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP5874292B2 JP5874292B2 JP2011224638A JP2011224638A JP5874292B2 JP 5874292 B2 JP5874292 B2 JP 5874292B2 JP 2011224638 A JP2011224638 A JP 2011224638A JP 2011224638 A JP2011224638 A JP 2011224638A JP 5874292 B2 JP5874292 B2 JP 5874292B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- action
- reward
- state
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
ここで、以下に記載する説明の流れについて簡単に述べる。
1:基盤技術
1−1:推定機の自動構築方法
1−1−1:推定機の構成
1−1−2:構築処理の流れ
1−2:オンライン学習について
1−3:学習用データの統合方法
1−3−1:特徴量空間における学習用データの分布と推定機の精度
1−3−2:データ統合時にサンプリングする構成
1−3−3:データ統合時に重み付けする構成
1−3−4:データ統合時にサンプリング及び重み付けする構成
1−4:効率的なサンプリング/重み付け方法
1−4−1:サンプリング方法
1−4−2:重み付け方法
1−4−3:組み合わせ方法
1−5:サンプリング処理及び重み付け処理に関する変形例
1−5−1:変形例1(距離に基づく処理)
1−5−2:変形例2(クラスタリングに基づく処理)
1−5−3:変形例3(密度推定手法に基づく処理)
2:実施形態
2−1:思考ルーチンの自動構築方法
2−1−1:思考ルーチンとは
2−1−2:思考ルーチンの構成
2−1−3:報酬推定機の構築方法
2−2:情報処理装置10の構成
2−3:効率的な推定報酬機の構築方法
2−4:(変形例1)アクションスコア推定機を用いる思考ルーチン
2−5:(変形例2)予測機を用いた報酬の推定
2−5−1:予測機の構築方法
2−5−2:報酬の推定方法
2−6:(変形例3)複数エージェントの同時学習
3:応用例
3−1:「三目並べ」への応用
3−2:「対戦ゲーム」への応用
3−3:「五目並べ」への応用
3−4:「ポーカー」への応用
3−5:「ロールプレイングゲーム」への応用
4:ハードウェア構成例
5:まとめ
後述する実施形態は、推定機の自動構築方法に関する。また、同実施形態は、推定機の構築に用いる学習用データを追加できるようにする仕組み(以下、オンライン学習)に関する。そこで、同実施形態に係る技術について詳細に説明するに先立ち、推定機の自動構築方法及びオンライン学習方法(以下、基盤技術)について説明する。なお、以下では遺伝アルゴリズムに基づく推定機の自動構築方法を例に挙げて説明を進めるが、同実施形態に係る技術の適用範囲はこれに限定されない。
推定機の自動構築方法について説明する。
はじめに、図1〜図3を参照しながら、推定機の構成について説明する。図1は、推定機を利用するシステムのシステム構成例を示した説明図である。また、図2は、推定機の構築に利用する学習用データの構成例を示した説明図である。そして、図3は、推定機の構造及び構築方法の概要を示した説明図である。
さて、基底関数φk(k=1〜M)の構成、基底関数リストの構成、推定関数fの構成は、学習用データに基づく機械学習により決定される。以下、この機械学習による推定機の構築処理について、より詳細に説明する。
まず、図4を参照しながら、全体的な処理の流れについて説明する。図4は、全体的な処理の流れについて説明するための説明図である。なお、以下で説明する処理は、情報処理装置10により実行される。
ここで、図5〜図10を参照しながら、ステップS102の処理(基底関数の生成)について、より詳細に説明する。
次に、図6及び図7を参照しながら、ステップS112の処理について、より詳細に説明する。ステップS112の処理は、第1世代の基底関数を生成する処理に関する。
次に、図7を参照しながら、ステップS122の処理について、より詳細に説明する。
次に、図8〜図10を参照しながら、ステップS113の処理について、より詳細に説明する。ステップS113の処理は、第τ世代(τ≧2)の基底関数を生成する処理に関する。従って、ステップS113を実行する際には、第τ−1世代の基底関数φm,τ−1(m=1〜M)及び当該基底関数φm,τ−1の評価値vm,τ−1が得られている。
次に、図9を参照しながら、ステップS144の処理について、より詳細に説明する。
次に、図10を参照しながら、ステップS145の処理について、より詳細に説明する。
次に、図7を参照しながら、ステップS146の処理について、より詳細に説明する。
次に、図11を参照しながら、ステップS103の処理(基底関数の計算)について、より詳細に説明する。
次に、図12を参照しながら、ステップS104の処理(基底関数の評価・推定関数の生成)について、より詳細に説明する。
さて、上記のように、機械学習により推定機を自動構築するアルゴリズムの場合、学習用データの数が多いほど、構築される推定機の性能が高くなる。そのため、可能な限り多くの学習用データを利用して推定機を構築するのが好ましい。また、後述する実施形態に係る技術においては、学習用データを追加する仕組みが利用される。そこで、学習用データを追加できるようにする新たな仕組み(以下、オンライン学習)について紹介する。
学習用データの統合方法について、より詳細に説明する。
まず、図14を参照しながら、特徴量空間における学習用データの分布と推定機の精度との関係について考察する。図14は、特徴量空間における学習用データの分布例を示した説明図である。
まず、図16を参照しながら、学習用データをサンプリングする方法について説明する。図16は、学習用データをサンプリングする方法について説明するための説明図である。
次に、学習用データに重みを設定する方法について説明する。
また、学習用データをサンプリングする方法と、学習用データに重みを設定する方法とを組み合わせてもよい。例えば、特徴量座標の分布が所定の分布となるように学習用データを間引いた後、間引き後の学習用データの集合に属する学習用データに対し、特徴量座標の密度に応じた重みを設定する。このように、間引き処理と重み付け処理とを組み合わせることにより、メモリリソースが限られていても、より高精度の推定機を構築することが可能になる。
次に、学習用データの効率的なサンプリング/重み付け方法について説明する。
まず、図17を参照しながら、学習用データの効率的なサンプリング方法について説明する。図17は、学習用データの効率的なサンプリング方法について説明するための説明図である。
次に、図24を参照しながら、学習用データの効率的な重み付け方法について説明する。図24は、学習用データの効率的な重み付け方法について説明するための説明図である。
次に、図28を参照しながら、上記の効率的なサンプリング方法と効率的な重み付け方法とを組み合わせる方法について説明する。図28は、上記の効率的なサンプリング方法と効率的な重み付け方法とを組み合わせる方法について説明するための説明図である。
次に、サンプリング処理及び重み付け処理に関する変形例を紹介する。
まず、図29を参照しながら、特徴量座標間の距離に基づく学習用データのサンプリング方法について説明する。図29は、特徴量座標間の距離に基づく学習用データのサンプリング方法について説明するための説明図である。
次に、クラスタリングに基づく学習用データのサンプリング/重み付け方法について説明する。なお、以下ではサンプリング方法及び重み付け方法についてそれぞれ別々に説明するが、これらの方法を組み合わせてもよい。
まず、図30を参照しながら、クラスタリングに基づく学習用データのサンプリング方法について説明する。図30は、クラスタリングに基づく学習用データのサンプリング方法について説明するための説明図である。
次に、図31を参照しながら、クラスタリングに基づく学習用データの重み付け方法について説明する。図31は、クラスタリングに基づく学習用データの重み付け方法について説明するための説明図である。
次に、密度推定手法に基づく学習用データのサンプリング/重み付け方法について説明する。なお、以下ではサンプリング方法及び重み付け方法についてそれぞれ別々に説明するが、これらの方法を組み合わせてもよい。
まず、図32を参照しながら、密度推定手法に基づく学習用データのサンプリング方法について説明する。図32は、密度推定手法に基づく学習用データのサンプリング方法について説明するための説明図である。
次に、図33を参照しながら、密度推定手法に基づく学習用データの重み付け方法について説明する。図33は、密度推定手法に基づく学習用データの重み付け方法について説明するための説明図である。
以下、本技術の一実施形態について説明する。
本実施形態は、ロボットのようなエージェントの思考ルーチンや様々なゲームに登場するNPC(Non−Player Character)の思考ルーチンを自動構築する技術に関する。例えば、本実施形態は、ある状態SにおかれたNPCが次にとる行動aを決定する思考ルーチンを自動構築する技術に関する。本稿においては、状態Sの入力に応じて行動aを出力するプログラムを思考ルーチンと呼ぶことにする。また、以下では、NPCの行動aを決定する思考ルーチンを例に挙げて説明を進めることにする。もちろん、ロボットなどの行動を決定する思考ルーチンも同様に自動構築することが可能である。
上記の通り、本稿に言う思考ルーチンは、図34に示すように、状態Sの入力に応じて行動aを出力するプログラムである。なお、状態Sとは、ある瞬間に、行動aを決定すべきNPCがおかれた環境を意味する。例えば、図34に示すように、2つのNPC(NPC#1及び#2)が対戦する対戦ゲームについて考えてみよう。この対戦ゲームは、NPC#1及び#2がそれぞれヒットポイントを有しており、ダメージを受けるとヒットポイントが減少していく仕組みになっているものとする。この例において、ある瞬間における状態Sは、NPC#1及び#2のヒットポイント及び位置関係になる。
図35に示すように、本実施形態に係る思考ルーチンは、行動履歴データに基づく思考ルーチンの自動構築技術により生成される。この行動履歴データは、状態S、行動a、報酬rにより構成される。例えば、状態S=S1において、NPC#1が行動a=“右へ移動”をとった場合にNPC#2からダメージを受けてヒットポイントが0になったとしよう。この場合、行動履歴データは、状態S=S1、行動a=“右へ移動”、報酬r=“0”となる。このような構成を有する行動履歴データを予め蓄積しておき、この行動履歴データを学習データとする機械学習により思考ルーチンを自動構築することができる。
例えば、オンライン学習に係る技術を利用した報酬推定機の構築及び更新は、図38に示すような処理の流れに沿って行われる。なお、これらの処理は、情報処理装置10により実行されるものとする。図38に示すように、まず、行動履歴データが情報処理装置10に入力される(Step 1)。
ここで、図39及び図40を参照しながら、本実施形態に係る情報処理装置10の機能構成について説明する。図39は、本実施形態に係る情報処理装置10の全体的な機能構成を示した説明図である。一方、図40は、本実施形態に係る情報処理装置10を構成する報酬推定機構築部12の詳細な機能構成を示した説明図である。
まず、図39を参照しながら、全体的な機能構成について説明する。図39に示すように、情報処理装置10は、主に、行動履歴データ取得部11と、報酬推定機構築部12と、入力データ取得部13と、行動選択部14とにより構成される。
次に、図40を参照しながら、報酬推定機構築部12の機能構成について詳細に説明する。図40に示すように、報酬推定機構築部12は、基底関数リスト生成部121と、特徴量計算部122と、推定関数生成部123と、行動履歴データ統合部124とにより構成される。
これまで、先に紹介した推定機の自動構築方法に基づく思考ルーチンの自動構築方法について説明してきた。確かに、この方法を適用すると、思考ルーチンを自動構築することが可能になる。しかし、賢く行動するNPCの思考ルーチンを自動構築するには、ある程度長い時間をかけて学習処理を繰り返し実行する必要がある。そこで、本件発明者は、より効率良く高性能な推定報酬機を構築する方法を考案した。
さて、これまでは報酬推定機を用いて報酬を推定し、推定した報酬に基づいて行動を選択する思考ルーチンについて考えてきた。ここでは、図44に示すように、アクションスコア推定機を用いてアクションスコアを推定し、推定したアクションスコアに基づいて行動を選択する思考ルーチンについて考えてみたい。ここで言うアクションスコアとは、とりうる各行動に対応付けられたスコアであり、対応する行動をとることで好ましい結果が得られる確率の高さを表す。
次に、予測機を用いた報酬の推定方法について説明する。なお、ここで言う予測機とは、ある時刻t1における状態S(t1)及び状態S(t1)においてNPCがとった行動a(t1)を入力した場合に、次の時刻t2における状態S(t2)を出力するアルゴリズムのことを意味する。
上記の予測機は、図45に示すような方法で構築される。図45に示すように、時刻毎に取得された行動履歴データが学習データとして利用される。例えば、時刻t2において状態S2にあるNPCが何もしなかった場合に好ましい結果が得られた場合、行動履歴データは、時刻t=t2、状態S=S2、行動a=“何もせず”、報酬r=“1”となる。なお、予測機の自動構築方法については、特願2009−277084号明細書に詳しく記載されている。同明細書には、ある時点までの観測値から将来の時点における観測値を予測する予測機を機械学習により自動構築する方法が記載されている。
上記の予測機を利用すると、図46に示すように、将来得るであろう報酬を推定することが可能になる。例えば、時刻tにおいて状態S(t)にあるNPCが行動a(t)をとった場合に時刻t+1において実現される状態S(t+1)を予測し、その状態S(t+1)においてNPCがとりうる行動毎に推定報酬yを算出することができるようになる。そのため、時刻t+1において推定される報酬に基づいて時刻tにおいてNPCがとるべき行動を選択することができるようになる。また、図47に示すように、予測機を繰り返し用いて数ステップ先の状態S(t+q)から推定される推定報酬yを算出することもできる。この場合、各時刻においてNPCがとりうる行動の組み合わせを考慮し、最終的に最も高い推定報酬が得られる行動の組み合わせを選択することができるようになる。
さて、これまでは1つのNPCに注目して最適な行動を選択する思考ルーチンの構築方法について考えてきた。しかし、2つ以上のNPCがとる行動を同時に考慮して思考ルーチンを構築することも可能である。2つのNPCが同じ環境中で行動する場合、両NPCがとる行動は状態Sに反映される。そのため、この方法を適用すると、他のNPCが最も高い推定報酬を見込める行動を選択して行動する環境中において、自身のNPCが最も高い推定報酬を見込める行動を選択するような思考ルーチンを自動構築することができる。例えば、MinMax法などを用いることにより、このような思考ルーチンの自動構築が実現される。以上、複数エージェントの同時学習について説明した。
次に、本実施形態の技術を具体的に応用する方法について紹介する。
まず、図48〜図54を参照しながら、本実施形態に係る技術を「三目並べ」へ応用する方法について説明する。図48に示すように、「三目並べ」の主なルールは、(1)交互に手を打つ、(2)先に3つのマークが1列に並んだ方が勝ち、の2点である。また、「三目並べ」において、状態Sは盤面であり、行動aは各プレーヤが打つ手である。
次に、図55〜図62を参照しながら、本実施形態に係る技術を「対戦ゲーム」へと応用する方法について説明する。ここで考える「対戦ゲーム」の主なルールは、図55に示すように、(1)2人対戦ゲームであること、(2)各プレーヤの行動は「左移動」「右移動」「左右移動なし」「ジャンプ」「ジャンプなし」の組み合わせであること、(3)相手のプレーヤを踏んだらY軸方向の加速度差に応じて相手にダメージを与えられること、の3点である。また、ヒットポイントが0になったプレーヤが負けである。なお、「対戦ゲーム」への応用には、先に説明したアクションスコア推定機を用いる思考ルーチンの構築方法が用いられる。
次に、図63及び図64を参照しながら、本実施形態に係る技術を「五目並べ」へと応用する方法について説明する。「五目並べ」の主なルールは、(1)交互に手を打つ、(2)縦横斜めに先に5つの石を並べた方が勝ち、の2点である。また、「五目並べ」において、状態Sは盤面であり、行動aは各プレーヤが打つ手である。
次に、図65〜図67を参照しながら、本実施形態に係る技術を「ポーカー」へと応用する方法について説明する。「ポーカー」の主なルールは、図65に示すように、(1)5枚のカードを配る、(2)捨てるカードを選択する、(3)役の強い方が勝ち、の3点である。ここでは、カードが配られたときに、捨てるカードを決める思考ルーチンの構築方法について考える。
次に、図68〜図79を参照しながら、本実施形態に係る技術を「ロールプレイングゲーム」へと応用する方法について説明する。ここでは、「ロールプレイングゲーム」の戦闘シーンにおいてプレーヤに代わってキャラクタを賢く自動操作する思考ルーチンの自動構築方法について考える。なお、ここで考える「ロールプレイングゲーム」のルールは、図68に示した通りである。また、図68に示すように、状態Sはプレーヤに提供される情報であり、行動aはキャラクタを操作するコマンドである。
(A)集中攻撃:
集中攻撃することで敵の数を素早く減らす。
(B)HP減少したら回復:
HPが減少した味方のHPを回復して味方が倒されにくくする。
(C)単体攻撃、全体攻撃の使い分け:
敵の数がある程度多い時は全体攻撃魔法を使う。現在集中攻撃中の敵が残りわずかなダメージで倒せそうなときは、全体攻撃魔法を用いて集中攻撃中の敵を倒しながら、他の敵にもダメージを与える。
(D)魔法の無駄打ちはしない:
HPの減っていない味方に対して回復魔法を使わない。魔法の効かない敵に対して魔法を使わない。
上記の情報処理装置10が有する各構成要素の機能は、例えば、図80に示すハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図80に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy−phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、PC、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する報酬推定機生成部を備え、
前記報酬推定機生成部は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成部と、
前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出部と、
前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰/判別学習により算出する推定関数算出部と、
を含み、
前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理装置。
エージェントがおかれた現在の状態を表す状態データと、当該エージェントが次にとりうる行動を表す行動データとを前記報酬推定機に入力し、当該行動をとった結果として当該エージェントが得る報酬値を推定する報酬値推定部と、
前記現在の状態において前記エージェントが次にとりうる行動のうち、前記報酬値推定部により推定された報酬値が最も高い値となる行動を選択する行動選択部と、
をさらに備える、
上記(1)に記載の情報処理装置。
前記行動選択部による選択結果に基づいてエージェントを行動させる行動制御部と、
前記エージェントの行動に伴って更新される状態データ及び行動データを蓄積し、当該行動の結果としてエージェントが得た報酬を表す報酬値と、蓄積した状態データ及び行動データとを対応付けて前記行動履歴データに追加する履歴データ追加部と、
をさらに備える、
上記(2)に記載の情報処理装置。
前記状態データ、前記行動データ、及び前記報酬値の組が前記行動履歴データに追加された場合、前記特徴量ベクトル算出部は、前記行動履歴データに含まれる全ての状態データ及び行動データについて特徴量ベクトルを算出し、
前記情報処理装置は、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組を間引く分布調整部をさらに備える、
上記(3)に記載の情報処理装置。
前記状態データ、前記行動データ、及び前記報酬値の組が前記行動履歴データに追加された場合、前記特徴量ベクトル算出部は、前記行動履歴データに含まれる全ての状態データ及び行動データについて特徴量ベクトルを算出し、
前記情報処理装置は、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組のそれぞれに重みを設定する分布調整部をさらに備える、
上記(3)に記載の情報処理装置。
前記分布調整部は、間引き後に残った前記状態データ、前記行動データ、及び前記報酬値の組について、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組のそれぞれに重みを設定する、
上記(4)に記載の情報処理装置。
前記行動履歴データを学習データとして用い、現在の時刻においてエージェントがおかれた状態を表す状態データ及び現在の時刻においてエージェントがとる行動を表す行動データから次の時刻におけるエージェントの状態を表す状態データを予測する予測機を機械学習により生成する予測機生成部をさらに備え、
前記報酬値推定部は、
現在の時刻における状態データ及び行動データを前記予測機に入力して次の時刻におけるエージェントの状態を表す状態データを予測し、
前記次の時刻におけるエージェントの状態を表す状態データと、当該状態においてエージェントがとりうる行動を表す行動データとを前記報酬推定機に入力して、当該行動をとった結果として当該エージェントが得る報酬値を推定する、
上記(2)〜(6)のいずれか1項に記載の情報処理装置。
前記行動履歴データを学習データとして用い、現在の時刻においてエージェントがおかれた状態を表す状態データ及び現在の時刻においてエージェントがとる行動を表す行動データから次の時刻におけるエージェントの状態を表す状態データを予測する予測機を機械学習により生成する予測機生成部をさらに備え、
前記報酬値推定部は、現在の時刻を時刻t0とした場合に、
時刻t0における状態データ及び行動データを前記予測機に入力して次の時刻t1におけるエージェントの状態を表す状態データを予測する処理を実行し、
k=1〜n−1(n≧2)について、時刻tkにおける状態データ及び時刻tkにおいてエージェントがとりうる行動を表す行動データを前記予測機に入力して時刻tk+1におけるエージェントの状態を表す状態データを予測する処理を逐次実行し、
予測した時刻tnにおけるエージェントの状態を表す状態データと、当該状態においてエージェントがとりうる行動を表す行動データとを前記報酬推定機に入力して、当該行動をとった結果として当該エージェントが得る報酬値を推定する、
上記(2)〜(6)のいずれか1項に記載の情報処理装置。
前記報酬推定機生成部は、複数のエージェントの状態を表す状態データと、当該状態において各エージェントがとった行動を表す行動データと、当該行動の結果として各エージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する、
上記(1)〜(8)のいずれか1項に記載の情報処理装置。
前記基底関数生成部は、遺伝的アルゴリズムに基づいて前記基底関数を更新し、
前記特徴量ベクトル算出部は、前記基底関数が更新された場合に、更新後の前記基底関数に前記状態データ及び前記行動データを入力して特徴量ベクトルを算出し、
前記推定関数算出部は、前記更新後の基底関数を用いて算出された特徴量ベクトルの入力に応じて前記報酬値を推定する推定関数を算出する、
上記(1)〜(9)のいずれか1項に記載の情報処理装置。
エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するスコア算出部と、
前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するスコア推定機生成部と、
を備え、
前記スコア推定機生成部は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成部と、
前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出部と、
前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰/判別学習により算出する推定関数算出部と、
を含み、
前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理装置。
エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成するステップを含み、
前記生成するステップは、
複数の処理関数を組み合わせて複数の基底関数を生成するステップと、
前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出するステップと、
前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰/判別学習により算出するステップと、
を含み、
前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理方法。
エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するステップと、
前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するステップと、
を含み、
前記生成するステップは、
複数の処理関数を組み合わせて複数の基底関数を生成するステップと、
前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出するステップと、
前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰/判別学習により算出するステップと、
を含み、
前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理方法。
エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する報酬推定機生成機能をコンピュータに実現させるためのプログラムであり、
前記報酬推定機生成機能は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成機能と、
前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出機能と、
前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰/判別学習により算出する推定関数算出機能と、
を含み、
前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
プログラム。
エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するスコア算出機能と、
前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するスコア推定機生成機能と、
をコンピュータに実現させるためのプログラムであり、
前記スコア推定機生成機能は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成機能と、
前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出機能と、
前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰/判別学習により算出する推定関数算出機能と、
を含み、
前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
プログラム。
上記の報酬推定機構築部12は、報酬推定機生成部の一例である。上記の基底関数リスト生成部121は、基底関数生成部の一例である。上記の特徴量計算部122は、特徴量ベクトル算出部の一例である。上記の推定関数生成部123は、推定関数算出部の一例である。上記の行動選択部14は、報酬値推定部、行動選択部、行動制御部の一例である。上記の行動履歴データ取得部11は、履歴データ追加部の一例である。上記の行動履歴データ統合部124は、分布調整部の一例である。上記の報酬推定機構築部12は、予測機生成部の一例である。上記の報酬推定機構築部12は、スコア算出部、スコア推定機生成部の一例である。
11 行動履歴データ取得部
12 報酬推定機構築部
121 基底関数リスト生成部
122 特徴量計算部
123 推定関数生成部
124 行動履歴データ統合部
13 入力データ取得部
14 行動選択部
Claims (15)
- エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する報酬推定機生成部を備え、
前記報酬推定機生成部は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成部と、
前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出部と、
前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰/判別学習により算出する推定関数算出部と、
を含み、
前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理装置。 - エージェントがおかれた現在の状態を表す状態データと、当該エージェントが次にとりうる行動を表す行動データとを前記報酬推定機に入力し、当該行動をとった結果として当該エージェントが得る報酬値を推定する報酬値推定部と、
前記現在の状態において前記エージェントが次にとりうる行動のうち、前記報酬値推定部により推定された報酬値が最も高い値となる行動を選択する行動選択部と、
をさらに備える、
請求項1に記載の情報処理装置。 - 前記行動選択部による選択結果に基づいてエージェントを行動させる行動制御部と、
前記エージェントの行動に伴って更新される状態データ及び行動データを蓄積し、当該行動の結果としてエージェントが得た報酬を表す報酬値と、蓄積した状態データ及び行動データとを対応付けて前記行動履歴データに追加する履歴データ追加部と、
をさらに備える、
請求項2に記載の情報処理装置。 - 前記状態データ、前記行動データ、及び前記報酬値の組が前記行動履歴データに追加された場合、前記特徴量ベクトル算出部は、前記行動履歴データに含まれる全ての状態データ及び行動データについて特徴量ベクトルを算出し、
前記情報処理装置は、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組を間引く分布調整部をさらに備える、
請求項3に記載の情報処理装置。 - 前記状態データ、前記行動データ、及び前記報酬値の組が前記行動履歴データに追加された場合、前記特徴量ベクトル算出部は、前記行動履歴データに含まれる全ての状態データ及び行動データについて特徴量ベクトルを算出し、
前記情報処理装置は、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組のそれぞれに重みを設定する分布調整部をさらに備える、
請求項3に記載の情報処理装置。 - 前記分布調整部は、間引き後に残った前記状態データ、前記行動データ、及び前記報酬値の組について、特徴領空間において前記特徴量ベクトルにより示される座標点の分布が所定の分布に近づくように前記行動履歴データに含まれる前記状態データ、前記行動データ、及び前記報酬値の組のそれぞれに重みを設定する、
請求項4に記載の情報処理装置。 - 前記行動履歴データを学習データとして用い、現在の時刻においてエージェントがおかれた状態を表す状態データ及び現在の時刻においてエージェントがとる行動を表す行動データから次の時刻におけるエージェントの状態を表す状態データを予測する予測機を機械学習により生成する予測機生成部をさらに備え、
前記報酬値推定部は、
現在の時刻における状態データ及び行動データを前記予測機に入力して次の時刻におけるエージェントの状態を表す状態データを予測し、
前記次の時刻におけるエージェントの状態を表す状態データと、当該状態においてエージェントがとりうる行動を表す行動データとを前記報酬推定機に入力して、当該行動をとった結果として当該エージェントが得る報酬値を推定する、
請求項2〜6のいずれか1項に記載の情報処理装置。 - 前記行動履歴データを学習データとして用い、現在の時刻においてエージェントがおかれた状態を表す状態データ及び現在の時刻においてエージェントがとる行動を表す行動データから次の時刻におけるエージェントの状態を表す状態データを予測する予測機を機械学習により生成する予測機生成部をさらに備え、
前記報酬値推定部は、現在の時刻を時刻t0とした場合に、
時刻t0における状態データ及び行動データを前記予測機に入力して次の時刻t1におけるエージェントの状態を表す状態データを予測する処理を実行し、
k=1〜n−1(n≧2)について、時刻tkにおける状態データ及び時刻tkにおいてエージェントがとりうる行動を表す行動データを前記予測機に入力して時刻tk+1におけるエージェントの状態を表す状態データを予測する処理を逐次実行し、
予測した時刻tnにおけるエージェントの状態を表す状態データと、当該状態においてエージェントがとりうる行動を表す行動データとを前記報酬推定機に入力して、当該行動をとった結果として当該エージェントが得る報酬値を推定する、
請求項2〜6のいずれか1項に記載の情報処理装置。 - 前記報酬推定機生成部は、複数のエージェントの状態を表す状態データと、当該状態において各エージェントがとった行動を表す行動データと、当該行動の結果として各エージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する、
請求項1〜8のいずれか1項に記載の情報処理装置。 - 前記基底関数生成部は、遺伝的アルゴリズムに基づいて前記基底関数を更新し、
前記特徴量ベクトル算出部は、前記基底関数が更新された場合に、更新後の前記基底関数に前記状態データ及び前記行動データを入力して特徴量ベクトルを算出し、
前記推定関数算出部は、前記更新後の基底関数を用いて算出された特徴量ベクトルの入力に応じて前記報酬値を推定する推定関数を算出する、
請求項1〜9のいずれか1項に記載の情報処理装置。 - エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するスコア算出部と、
前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するスコア推定機生成部と、
を備え、
前記スコア推定機生成部は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成部と、
前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出部と、
前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰/判別学習により算出する推定関数算出部と、
を含み、
前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理装置。 - エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成するステップを含み、
前記生成するステップは、
複数の処理関数を組み合わせて複数の基底関数を生成するステップと、
前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出するステップと、
前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰/判別学習により算出するステップと、
を含み、
前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理方法。 - エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するステップと、
前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するステップと、
を含み、
前記生成するステップは、
複数の処理関数を組み合わせて複数の基底関数を生成するステップと、
前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出するステップと、
前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰/判別学習により算出するステップと、
を含み、
前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
情報処理方法。 - エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データを学習データとして用い、入力された状態データ及び行動データから報酬値を推定する報酬推定機を機械学習により生成する報酬推定機生成機能をコンピュータに実現させるためのプログラムであり、
前記報酬推定機生成機能は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成機能と、
前記行動履歴データに含まれる状態データ及び行動データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出機能と、
前記特徴量ベクトルから前記行動履歴データに含まれる報酬値を推定する推定関数を回帰/判別学習により算出する推定関数算出機能と、
を含み、
前記報酬推定機は、前記複数の基底関数と前記推定関数とにより構成される、
プログラム。 - エージェントの状態を表す状態データと、当該状態においてエージェントがとった行動を表す行動データと、当該行動の結果としてエージェントが得た報酬を表す報酬値とを含む行動履歴データに基づき、高い報酬を得たエージェントがとった行動及び低い報酬を得たエージェントがとらなかった行動に高いスコアを与え、高い報酬を得たエージェントがとらなかった行動及び低い報酬を得たエージェントがとった行動に低いスコアを与える条件で、各状態データに対応する行動毎のスコアを算出するスコア算出機能と、
前記行動履歴データ及び前記行動毎のスコアを学習データとして用い、入力された状態データから行動毎のスコアを推定するスコア推定機を機械学習により生成するスコア推定機生成機能と、
をコンピュータに実現させるためのプログラムであり、
前記スコア推定機生成機能は、
複数の処理関数を組み合わせて複数の基底関数を生成する基底関数生成機能と、
前記行動履歴データに含まれる状態データを前記複数の基底関数に入力して特徴量ベクトルを算出する特徴量ベクトル算出機能と、
前記特徴量ベクトルから前記行動毎のスコアを推定する推定関数を回帰/判別学習により算出する推定関数算出機能と、
を含み、
前記スコア推定機は、前記複数の基底関数と前記推定関数とにより構成される、
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011224638A JP5874292B2 (ja) | 2011-10-12 | 2011-10-12 | 情報処理装置、情報処理方法、及びプログラム |
US13/616,988 US9082081B2 (en) | 2011-10-12 | 2012-09-14 | Information processing apparatus, information processing method, and program |
US14/738,522 US10282665B2 (en) | 2011-10-12 | 2015-06-12 | Action selection with a reward estimator applied to machine learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011224638A JP5874292B2 (ja) | 2011-10-12 | 2011-10-12 | 情報処理装置、情報処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013084175A JP2013084175A (ja) | 2013-05-09 |
JP2013084175A5 JP2013084175A5 (ja) | 2014-11-13 |
JP5874292B2 true JP5874292B2 (ja) | 2016-03-02 |
Family
ID=48529293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011224638A Expired - Fee Related JP5874292B2 (ja) | 2011-10-12 | 2011-10-12 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US9082081B2 (ja) |
JP (1) | JP5874292B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020178908A (ja) * | 2019-04-25 | 2020-11-05 | 株式会社コナミアミューズメント | ゲーム装置、ゲームシステム、ゲーム装置の動作方法およびプログラム |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5874292B2 (ja) * | 2011-10-12 | 2016-03-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP5815458B2 (ja) * | 2012-04-20 | 2015-11-17 | 日本電信電話株式会社 | 報酬関数推定装置、報酬関数推定方法、およびプログラム |
JP6259428B2 (ja) * | 2015-07-31 | 2018-01-10 | ファナック株式会社 | 機械指令に応じたフィルタを学習する機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法 |
JP6551101B2 (ja) * | 2015-09-17 | 2019-07-31 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2018005739A (ja) * | 2016-07-06 | 2018-01-11 | 株式会社デンソー | ニューラルネットワークの強化学習方法及び強化学習装置 |
JP6351671B2 (ja) * | 2016-08-26 | 2018-07-04 | 株式会社 ディー・エヌ・エー | ニューロエボリューションを用いたニューラルネットワークの構造及びパラメータ調整のためのプログラム、システム、及び方法 |
JP6728495B2 (ja) * | 2016-11-04 | 2020-07-22 | ディープマインド テクノロジーズ リミテッド | 強化学習を用いた環境予測 |
JP6782679B2 (ja) * | 2016-12-06 | 2020-11-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理装置、情報処理方法及びプログラム |
WO2018105320A1 (ja) * | 2016-12-06 | 2018-06-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理装置、情報処理方法及びプログラム |
US10795326B2 (en) * | 2016-12-07 | 2020-10-06 | Sony Corporation | Information processing apparatus, and method |
CN110326004B (zh) * | 2017-02-24 | 2023-06-30 | 谷歌有限责任公司 | 使用路径一致性学习训练策略神经网络 |
JP2018151876A (ja) * | 2017-03-13 | 2018-09-27 | 株式会社日立製作所 | 機械学習に使用される経験を格納する経験データベースを更新する方法 |
EP3680845A4 (en) * | 2017-09-05 | 2021-01-13 | Rakuten, Inc. | ESTIMATION SYSTEM, ESTIMATION PROCESS AND PROGRAM |
US10510010B1 (en) * | 2017-10-11 | 2019-12-17 | Liquid Biosciences, Inc. | Methods for automatically generating accurate models in reduced time |
WO2019087478A1 (ja) * | 2017-10-30 | 2019-05-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN108211362B (zh) * | 2017-12-26 | 2020-10-09 | 浙江大学 | 一种基于深度q学习网络的非玩家角色战斗策略学习方法 |
JP2019118461A (ja) * | 2017-12-28 | 2019-07-22 | 株式会社 ディー・エヌ・エー | 情報処理装置及び情報処理プログラム |
JP6963511B2 (ja) * | 2018-01-12 | 2021-11-10 | 株式会社日立製作所 | 解探索処理装置および解探索処理方法 |
US11763190B2 (en) | 2018-03-26 | 2023-09-19 | Balanced Media Technology, LLC | Abstracted interface for gamification of machine learning algorithms |
CN109905271B (zh) * | 2018-05-18 | 2021-01-12 | 华为技术有限公司 | 一种预测方法、训练方法、装置及计算机存储介质 |
JP7375751B2 (ja) * | 2018-06-29 | 2023-11-08 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法 |
JP6965314B2 (ja) * | 2018-08-21 | 2021-11-10 | グリー株式会社 | プログラム、情報処理装置及び制御方法 |
JP7187961B2 (ja) * | 2018-10-12 | 2022-12-13 | 富士通株式会社 | 強化学習プログラム、強化学習方法、および強化学習装置 |
KR102079745B1 (ko) * | 2019-07-09 | 2020-04-07 | (주) 시큐레이어 | 인공지능 에이전트의 훈련 방법, 이에 기반한 사용자 액션의 추천 방법 및 이를 이용한 장치 |
CN110852436B (zh) * | 2019-10-18 | 2023-08-01 | 桂林力港网络科技股份有限公司 | 一种电子扑克游戏的数据处理方法、装置及存储介质 |
JP6861309B1 (ja) * | 2020-03-11 | 2021-04-21 | 株式会社メルカリ | システム、情報処理方法及びプログラム |
JP7417451B2 (ja) | 2020-03-24 | 2024-01-18 | 株式会社 ディー・エヌ・エー | 電子ゲーム情報処理装置及び電子ゲーム情報処理プログラム |
CN112870722B (zh) * | 2021-03-11 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 对战格斗类ai游戏模型的生成方法、装置、设备及介质 |
CN116747521B (zh) * | 2023-08-17 | 2023-11-03 | 腾讯科技(深圳)有限公司 | 控制智能体进行对局的方法、装置、设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060271441A1 (en) * | 2000-11-14 | 2006-11-30 | Mueller Raymond J | Method and apparatus for dynamic rule and/or offer generation |
US7403904B2 (en) * | 2002-07-19 | 2008-07-22 | International Business Machines Corporation | System and method for sequential decision making for customer relationship management |
US8990688B2 (en) * | 2003-09-05 | 2015-03-24 | Samsung Electronics Co., Ltd. | Proactive user interface including evolving agent |
US20060291657A1 (en) * | 2005-05-03 | 2006-12-28 | Greg Benson | Trusted monitoring system and method |
JP5070860B2 (ja) * | 2007-01-31 | 2012-11-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP4392620B2 (ja) | 2007-08-14 | 2010-01-06 | ソニー株式会社 | 情報処理装置、情報処理方法、演算装置、演算方法、プログラム、および記録媒体 |
DE102008007700A1 (de) * | 2007-10-31 | 2009-05-07 | Siemens Aktiengesellschaft | Verfahren zur rechnergestützten Exploration von Zuständen eines technischen Systems |
JP5909943B2 (ja) * | 2011-09-08 | 2016-04-27 | ソニー株式会社 | 情報処理装置、推定機生成方法、及びプログラム |
JP5874292B2 (ja) * | 2011-10-12 | 2016-03-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2011
- 2011-10-12 JP JP2011224638A patent/JP5874292B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-14 US US13/616,988 patent/US9082081B2/en not_active Expired - Fee Related
-
2015
- 2015-06-12 US US14/738,522 patent/US10282665B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020178908A (ja) * | 2019-04-25 | 2020-11-05 | 株式会社コナミアミューズメント | ゲーム装置、ゲームシステム、ゲーム装置の動作方法およびプログラム |
JP7419635B2 (ja) | 2019-04-25 | 2024-01-23 | 株式会社コナミアミューズメント | ゲームシステム、制御システム、制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20130246318A1 (en) | 2013-09-19 |
JP2013084175A (ja) | 2013-05-09 |
US9082081B2 (en) | 2015-07-14 |
US10282665B2 (en) | 2019-05-07 |
US20150278694A1 (en) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5874292B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5879899B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7399277B2 (ja) | 情報処理方法、装置、コンピュータプログラム及び電子装置 | |
KR20180044191A (ko) | 멀티플레이어 비디오 게임 매치메이킹 시스템 및 방법들 | |
JP2022502112A (ja) | 仮想環境における仮想対象のスケジューリング方法、装置、デバイス及びコンピュータプログラム | |
Lin et al. | Juewu-mc: Playing minecraft with sample-efficient hierarchical reinforcement learning | |
Zhang et al. | Improving hearthstone AI by learning high-level rollout policies and bucketing chance node events | |
CN115033878A (zh) | 快速自博弈强化学习方法、装置、计算机设备和存储介质 | |
Cai et al. | Evolutionary swarm neural network game engine for Capture Go | |
Fu et al. | Greedy when sure and conservative when uncertain about the opponents | |
Cuccu et al. | Playing Atari with few neurons: Improving the efficacy of reinforcement learning by decoupling feature extraction and decision making | |
Zhou et al. | A Swarm Intelligence Assisted IoT-Based Activity Recognition System for Basketball Rookies | |
Zhou et al. | Discovering of game AIs’ characters using a neural network based AI imitator for AI clustering | |
CN116850601A (zh) | 一种游戏对象处理方法、装置、计算机设备及存储介质 | |
CN115708951A (zh) | 一种用于麻将的智能决策方法、系统、存储介质及设备 | |
Chole et al. | Locust Mayfly optimization-tuned neural network for AI-based pruning in Chess game | |
Chang et al. | Construction of macro actions for deep reinforcement learning | |
Dukkancı | Level generation using genetic algorithms and difficulty testing using reinforcement learning in match-3 game | |
Baek et al. | 3-Dimensional convolutional neural networks for predicting StarCraft Ⅱ results and extracting key game situations | |
Kodama et al. | Distributed deep reinforcement learning method using profit sharing for learning acceleration | |
US10857460B2 (en) | Socially-driven modeling systems and methods | |
Czupyt et al. | Capitalizing on the Opponent's Uncertainty in Reconnaissance Blind Chess | |
Mandel | Better Education Through Improved Reinforcement Learning | |
Pleines et al. | Memory Gym: Partially Observable Challenges to Memory-Based Agents in Endless Episodes | |
Gough | Influencing Exploration in Actor-Critic Reinforcement Learning Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5874292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |