JP7255671B2 - 機械学習システム、情報端末、情報処理方法、プログラム - Google Patents
機械学習システム、情報端末、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP7255671B2 JP7255671B2 JP2021506853A JP2021506853A JP7255671B2 JP 7255671 B2 JP7255671 B2 JP 7255671B2 JP 2021506853 A JP2021506853 A JP 2021506853A JP 2021506853 A JP2021506853 A JP 2021506853A JP 7255671 B2 JP7255671 B2 JP 7255671B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- machine learning
- user
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
画像認識装置は、第1識別器による学習評価画像の識別結果を評価するとともに、第1識別器では誤識別領域を、識別が難しい小領域として選択する。そして、画像認識装置は、選択された誤識別領域を含む複数の小領域からなる領域を識別するための第2の識別器を学習する。最後に、画像認識装置は、第1識別器による識別結果と第2識別器による識別結果とを統合して、統合識別器を学習する。
図1は、本発明の一実施形態に係る画面フローの一例を表す概要図である。
この図は、図2の携帯端末2-1~2-N(各々を「携帯端末2」とも称する。「情報端末」の一例)が表示する画面フローである。この画面フローは、携帯端末2にインストールされたゲームのモバイルアプリケーション(「ゲームアプリ」とも称する)によって、携帯端末2のディスプレイに表示される。
そのゲームアプリは、対戦型ゲームのゲームアプリである。その対戦型ゲームにおいて、イベントが発生し、各イベントにおいて、ゲームキャラクタ同士の対戦が行われる。
領域G112には、対戦キャラクタG111を攻撃する画像のクラス(「目的情報」の一例)として、猫、チーズ、及び、自動車が表示されている。クラスとは、画像を分類(識別も含む)する情報であり、例えば、画像に描画された被写体(「オブジェクト」の一例)の称呼である。つまり、画面G11は、ユーザに対して、対戦キャラクタG111を攻撃するためには、猫、チーズ又は自動車の画像を提供すべきことを表している。
ボタンBT12がユーザにタッチされた場合、携帯端末2は、携帯端末2のフォルダ内のファイルを選択可能な画面(図示せず)を表示する。この画面では、ユーザは、画像ファイルを選択することができる。ユーザが撮影をした後、又は、ユーザがファイルを選択した後、携帯端末2は、画面G12を表示する。
プルダウンメニューG122には、画像G121のクラスの候補として、猫、チーズ、及び、自動車が表示されている。ユーザは、プルダウンメニューG122を用いて、猫、チーズ、又は自動車のいずれか1つを選択することができる。つまり、携帯端末2は、プルダウンメニューG122を用いて、画面G11で提示したクラスのうち、ユーザがどのクラスを選択させる。ユーザが選択したクラスを確定クラスとも称する。
ボタンBT13は、画像G121と確定クラスを用いて、操作キャラクタに対戦相手G111を攻撃させるボタンである。ボタンBT13がユーザにタッチされた場合、携帯端末2は、画面G13を表示する。
これにより、携帯端末2は、クラスと画像G121のデータセットを、機械学習に用いるデータとして、ユーザから収集できる。ユーザは、クラスを指定された上で、簡易な操作で画像を提供できるので、携帯端末2は、効率的に機械学習に用いるデータを収集できる。また、ユーザは、認識評価に応じた報酬が付与されるので、認識評価で評価が高くなる画像を提供する。この場合、携帯端末2は、モデル認識率が高くなる画像を、機械学習に用いるデータとして収集できる。
図2は、本実施形態に係る機械学習システムSysの構成例を示す概略図である。
機械学習システムSysは、データ収集システムSysA(「第1システム」の一例)、及び、複数の人工知能システムSysB-1~SysB-M(「第2システム」の一例。各々を「人工知能システムSysB」とも称する)を含んで構成される。
学習サーバ4は、上記の繰り返しによって、複数のデータセット(「収集データセット」とも称する)を収集する。各人工知能サーバ5は、収集データセットの少なくとも1個に基づいて機械学習が行われた学習済みモデル(「追加学習済モデル」とも称する)を記憶する。各人工知能サーバ5は、追加学習済モデルに基づいて、画像が入力された場合に、クラスを出力する。
図3は、本実施形態に係る機械学習システムSysでの処理の流れの一例を示すシーケンス図である。である。なお、シーケンスは、これに限られるものではなく、各処理の順序が変わっていてもよいし、複数の処理を並列して行ってもよい。
(ステップS102)人工知能サーバ5は、人工知能システムSysBで利用している学習済モデルの設定(「基準モデル設定」とも称する)及び基準データセットを、管理サーバ1へ送信する。
基準データセットとは、認識評価に用いられるデータセットであって、画像とその画像の被写体のクラス(分類上、正しいクラス)のセットである。例えば、基準データセットでは、猫の画像に対して、正しく「猫」のクラスが対応付けられている。
(ステップS112)ゲームサーバ3は、ゲームの進行中に、ステップS104のゲーム設定を参照する。ゲームサーバ3は、そのゲーム設定のクラスを含む画像要求を、携帯端末2へ送信する。
(ステップS114)ゲームサーバ3は、ステップS113の応答に含まれるデータセットを、評価要求として、学習サーバ4へ送信する。
(ステップS116)ゲームサーバ3は、ステップS115の評価結果に応じて、ヒットポイントやカード等の報酬を決定する。ゲームサーバ3は、決定した報酬を、携帯端末2へ送信する。携帯端末2は、受信した報酬を、S113で画像を入力したユーザに対して付与する(図1の画面G13、G14)。
(ステップS118)学習サーバ4は、ステップS117のゲームログに、ステップS115の認識評価で算出したモデル認識率等を、識別情報として追加することで、サービスログ(図15)を生成する。学習サーバ4は、サービスログを管理サーバ1へ送信する。
(ステップS122)学習サーバ4は、収集データセットを用いて、基準モデル設定の学習済モデルに対して機械学習を行う。学習サーバ4は、この学習の結果、追加学習済モデルを生成する。この追加学習済モデルを、「追加学習情報」とも称する。学習サーバ4は、追加学習情報と収集データセットを、管理サーバ1へ送信する。
(ステップS124)管理サーバ1は、ステップS101の注文情報に基づいて請求情報を生成し、請求情報は、注文情報の依頼元へ送信される。依頼元は、請求情報の料金を支払うことで、決済が完了する。
以上の図3のシーケンス図の処理は、1個の注文ごとに行われる。機械学習システムSysは、1又は複数の依頼元から、複数の注文を、同時期又は異なる時期に受注できる。収集データセットは、注文情報の単位(注文IDごと)に収集される。
図4は、本実施形態に係るサービス設定画面の一例を表す概略図である。
サービス設定画面G2は、注文情報表示G21、及び、設定情報表示G22から構成される。注文情報表示G21は、注文情報を、管理者に参照させる表示である。設定情報表示G22は、学習設定及びゲーム設定を、管理者に参照、更新させる表示である。
なお、サービス設定画面G2は、管理サーバ1によって注文ごと(端末T1から入力された注文IDごと)に生成され、端末T1のアプリケーションによって表示される。
注文基本表示G211には、注文ID、依頼元、依頼日、納品先、納品期限、及び納品状況が表示されている。注文IDは、注文を識別する識別子であり、注文ごとに管理サーバ1によって生成される。
図5は、本実施形態に係るサービス管理画面G3の一例を表す概略図である。
サービス管理画面G3は、サービス状況表示G31、クラス状況表示G32、注文基本表示G331、及びゲーム設定表示G332から構成される。サービス状況表示G31及びクラス状況表示G32は、ゲーム状況情報や収集状況情報(「サービス状況情報」とも称する)を、管理者に参照させる表示である。クラス状況表示G32は、クラスごとにサービス状況情報を参照させ、サービス状況表示G31は、サービス全体のサービス状況情報を参照させる表示である。注文基本表示G331及びゲーム設定表示G332の各項目は、注文基本表示G211ゲーム設定表示G221の各項目と同じであるので、説明を省略する。なお、サービス管理画面は、管理サーバ1によって注文ごと(入力された注文IDごと)に生成され、端末T1のアプリケーションによって表示される。
対戦数は、設定された対戦キャラクタと各ユーザの操作キャラクタが対戦した回数である。成功数は、取得したデータセットで、モデル認識率が上がった回数である。失敗数は、取得したデータセットで、モデル認識率が下がった回数である。データセット数は、データセットを取得した回数であり、成功数と失敗数の合計値となる。対戦数、成功数、失敗数、及び、データセット数は、予め定めた時間単位(例えば1時間)ごとの回数も算出され、サービス状況表示G31に表示される。
ボタンBT32又はボタンBT33がクリックされた場合、追加学習情報要求が学習サーバ4へ送信され(図3のステップS121)、追加学習情報又は収集データセットが管理サーバ1へ送信される(図3のステップS122)。
サービス状況表示G31は、クラスごとに、認識率(モデル認識率)、対戦数、成功数、失敗数、データセット数、及び報酬数が表示されている。報酬数は、報酬ごとの報酬の付与回数である。ボタンBT34がクリックされた場合、追加学習情報要求が学習サーバ4へ送信され(図3のステップS121)、第1クラスの収集データセットが管理サーバ1へ送信される(図3のステップS122)。ボタンBT35がクリックされた場合、ゲームサーバ3及び学習サーバ4は、第1クラスについてサービスを停止する。例えば、ゲームサーバ3は、機械学習のためのクラスとして、第1クラスの表示を削除する(図1参照)。ボタンBT36、BT37は第2クラスについて、ボタンBT38、BT39は第2クラスについて、それぞれ、ボタンBT35、BT36と同様の機能を有する。
図6は、本実施形態に係る管理サーバ1の構成を示す概略ブロック図である。
管理サーバ1は、入出力部I1、記憶部M1、及び制御部P1を含んで構成される。
入出力部I1は、通信部111を含んで構成される。記憶部M1は、注文情報記憶部121、ゲーム設定記憶部122、学習設定記憶部123、状況情報記憶部124、収集情報記憶部125、及びサービスログ記憶部126を含んで構成される。制御部P1は、注文管理部131、設定更新部132、ゲーム設定部133、学習設定部134、サービス管理部135、及び納品管理部136を含んで構成される。
(注文テーブル、注文学習テーブル、注文料金テーブル:注文情報)
図7は、本実施形態に係る注文テーブルの一例を示す概略図である。
注文テーブルは、注文基本表示G211(図4)の生成に用いられる。注文テーブルでは、注文ID、依頼元、依頼日、納品期限、納品情報、納品日、注文学習ID、注文料金ID、及びサービスIDの各項目が対応付けられている。注文テーブルは、注文IDを主キーとして、注文情報のうち、注文基本情報がレコードとして格納される。
注文学習テーブルは、注文料金表示G213(図4)の生成に用いられる。注文学習テーブルでは、注文学習ID、基準モデル設定、基準データセット、注文クラス設定、及び注文データ収集条件の各項目が対応付けられている。注文学習テーブルは、注文学習IDを主キーとして、注文情報のうち、注文学習情報がレコードとして格納される。
基準モデル設定及び基準データセットには、それぞれ、基準モデル設定及び基準データセットの格納先のURIが格納される。
注文料金テーブルは、注文料金表示G213(図4)の生成に用いられる。注文学習テーブルでは、注文料金ID、認識率単価、データ数単価、利用者数単価、対戦キャラクタ加算、パラメータ単価、及び報酬加算の各項目が対応付けられている。注文料金テーブルは、注文料金IDを主キーとして、注文情報のうち、注文料金情報がレコードとして格納される。
注文学習テーブルの各項目は、注文料金表示G213に表示される料金設定の単価である。パラメータ単価は、ヒットポイントについての単価の例を示したが、他のゲームでの変数ごとに、単価が設定されてもよい。
図10は、本実施形態に係るゲーム設定テーブルの一例を示す概略図である。
ゲーム設定テーブルは、ゲーム設定表示G221及び学習設定表示G222(図4)の生成に用いられ、また、ゲーム設定表示G221及び学習設定表示G222に表示された内容で更新される。
ゲーム設定テーブルでは、サービスID、ゲーム_データ収集条件、設定クラス、ゲームID、イベントID、対戦キャラクタID、報酬ID、及び関連サーバの各項目が対応付けられている。ゲーム設定テーブルは、サービスIDを主キーとして、ゲーム設定がレコードとして格納される。ゲーム_データ収集条件は、データ収集条件のうち、ゲームサーバ3に設定される条件である。ゲーム_データ収集条件は、報酬の条件である。クラス設定には、第1クラス、第2クラス、第3クラス(図4の例の場合、「猫」、「チーズ」、「自動車」)が格納されている。報酬IDは、報酬を識別する識別子であり、報酬設定ごとに生成される関連サーバには、管理サーバ1、ゲームサーバ3、及び学習サーバ4のURIが格納される。
図11は、本実施形態に係る学習設定テーブルの一例を示す概略図である。
学習設定テーブルは、学習設定表示G222(図4)の生成に用いられ、また、学習設定表示G222に表示された内容で更新される。
学習設定テーブルでは、サービスID、学習_データ収集条件、設定クラス、基準学習設定、基準データセット、及び関連サーバの各項目が対応付けられている。学習設定テーブルは、サービスIDを主キーとして、学習設定がレコードとして格納される。
図12は、本実施形態に係るゲーム状況テーブルの一例を示す概略図である。
ゲーム状況テーブルは、サービス管理画面G3(図5)の生成に用いられる。
ゲーム状況テーブルでは、サービスID、ゲーム状況、第1クラスゲーム状況、第2クラスゲーム状況、第3クラスゲーム状況、及びゲーム報告設定の各項目が対応付けられている。ゲーム状況テーブルは、サービスIDを主キーとして、ゲーム状況情報がレコードとして格納される。
収集状況テーブルは、サービス管理画面G3(図5)の生成に用いられる。
収集状況テーブルでは、サービスID、収集状況、第1クラス収集状況、第2クラス収集状況、第3クラス収集状況、及び収集報告設定の各項目が対応付けられている。収集状況テーブルは、サービスIDを主キーとして、収集状況情報がレコードとして格納される。
図14は、本実施形態に係る収集管理テーブルの一例を示す概略図である。
収集管理テーブルは、追加学習情報及び収集データセットの管理に用いられる。
収集状況テーブルでは、サービスID、追加学習情報、第1クラスデータセット、第2クラスデータセット、第3クラスデータセット、及び取得日時の各項目が対応付けられている。収集管理テーブルは、サービスIDを主キーとして、収集情報がレコードとして格納される。追加学習情報には、追加学習情報のURIが格納される。第1クラスデータセット、第2クラスデータセット、及び第3クラスデータセットには、それぞれ、第1クラス、第2クラス、及び第3クラスの収集データセットのURIが格納される。
図15は、本実施形態に係るサービスログの一例を示す概略図である。
サービスログは、ユーザID、日時、サービスID、モデル情報、確定クラス、データセット、認識情報、ゲームID、イベントID、対戦キャラクタID、及び報酬IDを含んで構成される。サービスログは、認識評価を行ったときの履歴である。
図15のサービスログは、「ユーザID」のユーザから、「日時」の日時に、「サービスID」のサービスで「モデル情報」の示す学習モデルに対して、「データセット」のクラスと画像のデータセットが入力され、このデータセットは、認識評価で「認識情報」のモデル認識率、認識率改善値、及び認識評価値となったことを示す。また、このデータセットは、「ゲームID」のゲームの「イベントID」のイベントにおいて、「対戦キャラクタID」の対戦キャラクタとの対戦で入力され、ユーザに対して「報酬ID」の報酬が付与されたことを示す。
図16は、本実施形態に係る管理サーバ1の処理の一例を示すフロー図である。
以下、図6を参照して、管理サーバ1の各部の処理を説明する。
なお、管理サーバ1の各部は、他の装置と、通信部111を介して通信する。
(ステップS202)設定更新部132は、ステップS201の注文情報に基づいて、サービス設定画面G2を生成して、端末T1に表示させる。設定更新部132は、管理者からの入力に基づいて、ゲーム設定及び学習設定を更新する。ここで、設定更新部132は、クラス設定で「自動」が選択されている場合、例えば認識率の低いクラスを決定する。
(ステップS204)学習設定部134は、ステップS202で更新された学習設定を、学習設定記憶部123の学習設定テーブルに記憶させるとともに、学習サーバ4へ送信する。
(ステップS206)サービス管理部135は、学習情報要求条件を充足するか否かを判定する。学習情報要求条件は、例えば、管理者が、図5のボタンBT32、BT33、BT34、BT35、又は、BT38をクリックするという条件である。また、学習情報要求条件は、例えば、学習設定のデータ収集条件を充足するという条件である。学習情報要求条件が充足されない場合、サービス管理部135は、ステップS205とステップS206の処理を継続する。
(ステップS208)納品管理部136は、管理者からの納品指示により、ステップS206で取得した追加学習情報と収集データセットを、納品情報の納品先(例えば、人工知能サーバ5)へ送信する。納品管理部136は、注文テーブルの注文情報の納品日に日付を書き込む。なお、納品管理部136は、管理者から納品日が入力された場合、その日付を納品日に書き込んでもよい。
図17は、本実施形態に係る携帯端末2の構成を示す概略ブロック図である。
携帯端末2は、入出力部I2、記憶部M2、及び制御部P2を含んで構成される。
入出力部I2は、通信部211、入力部212、出力部213、撮像部214、及びセンサ部215を含んで構成される。記憶部M2は、オペレーション記憶部221、ゲーム記憶部222、及びデータ記憶部223を含んで構成される。制御部P2は、オペレーション部231、ゲーム制御部232、撮影制御部233、情報閲覧部234、ファイル管理部235、及び表示制御部236を含んで構成される。
入力部212は、タッチパネルやソフトウェアキーボードで実現され、ユーザからの入力を受け付ける。入力部212は、マイクや物理的なボタンで実現され、ユーザから、声や押下による入力を受け付ける。
撮像部214は、カメラで実現され、撮像素子で撮影した画像(動画を含む)をデジタルデータ(画像ファイル)として記録する。
センサ部215は、GPS(全地球測位システム)、加速度センサ、ジャイロセンサ、又は照度センサ等のセンサで実現され、装置の状態又は装置の周囲環境(ユーザの状態を含む)を測定し、測定結果のデータを保存する。
ゲーム制御部232は、ゲーム記憶部222にインストールされたゲームアプリによって、ゲームを制御する。ゲーム制御部232は、ゲーム記憶部222にデータを読み書きすることで、ゲームを制御する。ゲーム制御部232の詳細は、後述する。
情報閲覧部234は、ウェブブラウザである。情報閲覧部234は、ゲーム制御部232からAPIを呼出され、ウェブ(例えば、インターネット)上のファイルを、ユーザに閲覧させる。また、情報閲覧部234は、画像の送受信が可能なアプリである。情報閲覧部234は、画像ファイルを、ダウンロードしてデータ記憶部223に記憶させる。
ファイル管理部235は、ファイルブラウザである。ファイル管理部235は、ゲーム制御部232からAPIを呼出され、記憶部M2に記憶されているファイルを、ユーザに閲覧させる。
なお、撮影制御部233、情報閲覧部234、及びファイル管理部235は、ユーザからの入力により直接動作するアプリであってもよい。
ゲームサーバ3は、入出力部I3、記憶部M3、及び制御部P3を含んで構成される。
入出力部I3は、通信部311を含んで構成される。記憶部M3は、オペレーション記憶部321、及び管理アプリ記憶部322を含んで構成される。制御部P3は、オペレーション部331、及び管理アプリ制御部332を含んで構成される。
オペレーション部331は、オペレーション記憶部321にインストールされたOSによって、コンピュータのオペレーションを行う。オペレーション部331は、オペレーション記憶部321にデータを読み書きすることで、オペレーションを行う。
管理アプリ制御部332は、管理アプリ記憶部322にインストールされた管理アプリケーションによって、携帯端末2のゲームを制御する。管理アプリ制御部332は、管理アプリ記憶部322にデータを読み書きすることで、ゲームを制御する。管理アプリ制御部332の詳細は、後述する。
ゲーム制御部232は、イベント管理部2321、クラス提示部2322、画像取得部2323、データセット提供部2324、変数値更新部2325、及び報酬付与部2326を含んで構成される。管理アプリ制御部332は、イベント通知部3321、クラス管理部3322、データセット受信部3323、判定部3324、報酬決定部3325、及びログ生成部3326を含んで構成される。
以下、図17、図18、図19を参照して、ゲーム制御部232と管理アプリ制御部332の各部の処理を説明する。なお、管理アプリ制御部332は、管理サーバ1から受信したゲーム設定(図10)を、管理アプリ記憶部322に記憶させる。
(ステップS302)イベント管理部2321は、ステップS301で通知されたゲームIDのゲームにおいて、対戦キャラクタIDに対応するアイコンを、表示制御部236に表示させる。このアイコンがユーザにタップされた場合、イベント管理部2321は、サービスIDを、管理アプリ制御部332へ通知する。
(ステップS304)クラス提示部2322は、ステップS303で通知された設定クラスを、表示制御部236に表示させる。例えば図1では、表示制御部236は、画面G11(出力部213)の領域G112に、第1クラス(猫)、第2クラス(チーズ)、及び第3クラス(自動車)を表示させている。
なお、ユーザがボタンBT11をタップした場合、画像取得部2323は、ファイル管理部235を呼出して、ユーザに画像ファイルを選択させる。画像取得部2323は、ファイル管理部235で選択された画像を取得する。
(ステップS307)データセット提供部2324は、ステップS305で取得された画像と、ステップS306で選択された確定クラスと、をデータセットとして、管理アプリ制御部332へ送信する。
(ステップS309)判定部3324は、ステップS308で受信されたデータセットを、認識評価を要求する評価要求として、学習サーバ4へ送信する。判定部3324は、認識評価の評価結果として、学習サーバ4から、認識率改善値を受信する。認識率改善値は、モデル認識率の改善具合を10段階で評価した値(後述する図27)である。
(ステップS310)報酬決定部3325は、ステップS309で受信された認識率改善値に応じて、ユーザに付与する報酬を決定する(「報酬決定処理」とも称する)。報酬決定処理については、後述する(図20参照)。
(ステップS312)報酬付与部2326は、ステップS301で決定された報酬のうち、ゲームオブジェクト(カード)を付与する。報酬付与部2326は、付与の結果を表示制御部236に表示させる。例えば図1では、表示制御部236は、画面G14(出力部213)に、カードG141を表示させている。
報酬決定部3325が行う報酬決定処理について、説明する。
報酬決定部3325は、報酬選択テーブル(図21)を参照し、認識率改善値に対する報酬を、ユーザに付与する報酬とする。
報酬選択テーブルは、管理アプリ記憶部322に記憶され、報酬決定処理に用いられる。報酬選択テーブルは、サービス設定画面G2(図4)からの入力で更新されてもよい。
報酬選択テーブルでは、サービスID、認識評価値、対象変数、変数値、付与条件、及びゲームオブジェクトの各項目が対応付けられている。報酬選択テーブルは、サービスIDと認識評価値を主キーとして、報酬選択情報がレコードとして格納される。
より良い報酬とは、操作キャラクタの変数値がより高く上がる報酬、対戦キャラクタの変数値がより低く下がる報酬、ゲームオブジェクトが付与される報酬、又は、より高いレアリティのゲームオブジェクトが付与される報酬である。より悪い報酬とは、操作キャラクタの変数値がより低く下がる報酬、対戦キャラクタの変数値がより高く上がる報酬、ゲームオブジェクトが付与されない報酬、又は、より低いレアリティのゲームオブジェクトが付与される報酬である。
なお、認識評価値は、モデル認識率が高くなる程、又は認識率改善値が増加する程、高い値となる。逆に、認識評価値は、モデル認識率が低くなる程、又は認識率改善値が減少する程、低い値となる。認識率改善値とは、データセットによる学習後の学習済モデルのモデル認識率から、学習前の学習済モデルのモデル認識率を差し引いた値である。
学習サーバ4は、入出力部I4、記憶部M4、及び制御部P4を含んで構成される。
入出力部I4は、通信部411を含んで構成される。記憶部M4は、サービスIDごとに、学習設定記憶部421、基準記憶部422、収集データ記憶部423、及び収集ログ記憶部424を含んで構成される。図22では、説明の簡便のため、特定のサービスIDについての学習サーバ4の構成が示されている。制御部P4は、学習設定部431、データ取得部432、学習部433、評価部434、及び報告部435を含んで構成される。
収集データ記憶部423は、追加学習済モデル記憶部4231、第1データセット記憶部4232、第2データセット記憶部4233、及び第3データセット記憶部4234を含んで構成される。
図23は、本実施形態に係る学習サーバ4の処理の一例を示すフロー図である。
以下、図22を参照して、学習サーバ4の各部の処理を説明する。
なお、学習サーバ4の各部は、他の装置と、通信部411を介して通信する。
学習設定部431は、算出した基準認識率を、基準認識率として、基準記憶部422に記憶させる。ここで、学習設定部431は、クラスごとに、少なくとも1対の基準データセットに基づいて基準認識率を算出して、基準記憶部422に記憶させる。
(ステップS405)評価部434は、評価学習済モデルに、データセットの確定クラスの基準データセットの画像を入力することで、モデル認識率(「評価認識率」とも称する)を算出する。評価部434は、算出した評価認識率から基準認識率を差し引いた値を、認識率改善値として算出する。
(ステップS406)評価部434は、評価値テーブルを用いて(図27参照)、算出した認識率改善値に応じた認識評価値を決定する。評価部434は、決定した認識評価値を、ステップS403の評価要求への応答として返信する。
ステップS404からステップS406までの評価処理についての詳細は、後述する。
(ステップS408)報告部435は、学習設定の「学習_データ収集条件」の条件を充足するか否かを判定する。その条件が充足されている場合、制御部P4は、ステップS403からS407の処理を繰り返す。
特定のクラス(「終了クラス」とも称する)のみについての条件が充足されない場合、制御部P4は、その終了クラスについてのデータセットの収集を終了する。報告部435は、ゲームサーバ3に、終了する対象のサービスID及び終了クラスを通知し、例えば、サービスIDに対応するイベントIDのイベントで、終了クラスの表示を削除させる。この場合、その他のクラスについて、制御部P4は、ステップS403からS407の処理を繰り返す。
追加学習情報には、例えばCNN等のニューラルネットワークの場合、追加学習済モデルの重み係数が含まれる。
以下、制御部P4が行う評価処理について、詳細を説明する。次の例は、学習設定のモデル種別が「CNN」の場合の例である。
学習部433は、ユーザから入力されたデータセットから、画像と確定クラスを抽出する。学習部433は、学習用のCNNに対して、画像の画素値を入力層に入力する入力変数とし、確定クラスを出力層から出力される出力変数として設定する。なお、出力変数は、確定クラスに対応付けられた数値や分類であってもよい。
図24は、本実施形態に係る機械学習における実行手順を説明する説明図である。
この図において、CNNは、L個の層L0~L4から構成される。層L1は入力層、層L2~層L3は中間層或いは隠れ層、層L4は出力層とも呼ばれる。
1番目の中間層L1は、畳み込み処理(フィルター処理とも呼ばれる)とプーリング処理が行われる層である。
中間層L1の畳み込み処理の一例について説明する。畳み込み処理は、元の画像にフィルタをかけて特徴マップを出力する処理である。
具体的には、入力された画素値は、それぞれ、Rのサブ画素行列D121、Bのサブ画素行列D122、Gのサブ画素行列D123に分けられる。各サブ画素行列D121、D122、D123(各々を「サブ画素行列D12」とも称する)は、それぞれ、s行t列の部分行列ごとに、その部分行列の各要素とs行t列のコンボリューション行列CM1(カーネルとも呼ばれる)の要素が乗算されて加算されることで、第1画素値が算出される。各サブ画素行列D12で算出された第1画素値は、それぞれ、重み係数を乗算されて加算されることで、第2画素値が算出される。第2画素値は、部分行列の位置に対応する行列要素として、畳込画像行列D131の各要素に設定される。各サブ画素行列D12において部分行列の位置が要素(サブ画素)ごとにずらされることで、各位置での第2画素値が算出され、畳込画像行列D131の全ての行列要素が算出される。
また同様に、他の重み付け係数又は他のコンボリューション行列を用いて、畳込画像行列D132、・・・が算出される。
中間層L1のプーリング処理の一例について説明する。プーリング処理は、画像の特徴を残しながら画像を縮小する処理である。
具体的には、畳込画像行列D131は、u行v列の領域PMごとに、領域内の行列要素の代表値が算出される。代表値は、例えば、最大値である。その代表値は、領域の位置に対応する行列要素として、CNN画像行列D141の各要素に設定される。畳込画像行列D131において領域が、領域PMごとにずらされることで、各位置での代表値が算出され、畳込画像行列D131の全ての行列要素が算出される。
出力層L4のノードはz(L-1)であり、その出力は、M個のym(m=1、2、・・・M)である。つまり、CNNの出力層からは、ymを要素とするベクトルy(=(y1、y2、y3、・・・yM))が出力される。
この図において、図24のCNNが機械学習を行う場合の説明図である。
データセットの画像の画素値に対して、第1番目の中間層から出力されたベクトルxをベクトルXとする。データセットの確定クラスを表すベクトルをベクトルYとする。
重み行列W(i)は、勾配ΔEiに基づいて更新される。同様に、第1番目の中間層においても、コンボリューション行列CM又は重み係数が更新される。
学習設定部431は、CNNの場合、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、重み行列を設定する。
学習設定部431は、例えば、層数として、4層(L=3)を設定する。ただし、本発明はこれに限らず、総数は、5層以上であってもよい。学習設定部431は、各層のノードの数(「ノード数」とも称する)として、ベクトルxの要素数(ノード数N)に800、第2番目の中間層(i=2)のノード数に500、出力層(i=3)に10を設定する。ただし、ノード数には、別の値が設定されてもよい。
学習設定部431は、より多くの畳み込み処理又はプーリング処理を行ってもよい。
学習部433は、上記CNNを用いた学習の結果、重み行列w(i)コンボリューション行列CM又は重み係数が更新されたCNNを、評価学習済みモデルとして取得する。
評価部434は、基準データセットの画像の画素値を、評価学習済みモデルに入力することで、その出力として評価認識率を取得する。評価部434は、算出した評価認識率から基準認識率を差し引いた値を、認識率改善値として算出する。
この図は、確定クラスが「猫」のとき、図23の処理が行われた場合の説明図である。
ステップS402の処理で、基準データセットの画像に対して、基準学習済モデルでの基準認識率は、「猫」の「89%」である。
ステップS404の処理で、ユーザから入力されたデータセットを用いて、基準学習済モデルに対して機械学習が行われた結果、「評価学習済モデル」が生成される。
ステップS405では、基準データセットの画像に対して、「評価学習済モデル」での基準認識率は、「猫」の「90.2%」である。
この場合、クラス「猫」での認識率改善値は、1.2%(90.2%-89%)と算出される。
評価部434は、基準記憶部422に記憶されている評価値テーブルを用いて、認識率改善値に応じた認識評価値を決定する。なお、評価値テーブルは、サービス設定画面G2(図4)からの入力で更新されてもよい。
評価値テーブルでは、サービスID、認識率改善値、及び認識評価値の各項目が対応付けられている。認識評価値は、サービスIDと認識率改善値を主キーとして、評価値情報がレコードとして格納される。
認識評価値は、認識率改善値が高くなる程、高い値が設定されている。逆に、認識評価値は、認識率改善値が低くなる程、低い値が設定されている。
図28は、本実施形態に係る人工知能サーバ5の構成を示す概略ブロック図である。
人工知能サーバ5は、入出力部I5、記憶部M5及び制御部P5を含んで構成される。
入出力部I5は、通信部511を含んで構成される。記憶部M5は、オペレーション記憶部521、及びアプリ記憶部522を含んで構成される。制御部P5は、オペレーション部531、機器制御部532、及び学習部533を含んで構成される。
オペレーション部531は、オペレーション記憶部521にインストールされたOSによって、コンピュータのオペレーションを行う。オペレーション部531は、オペレーション記憶部521にデータを読み書きすることで、オペレーションを行う。
機器制御部532は、アプリ記憶部522にインストールされたアプリケーションによって、制御機器6を制御する。機器制御部532は、管理サーバ1から納品された追加学習済モデルを、アプリ記憶部522に記憶させる。機器制御部532は、制御機器6から入力された画像を、この追加学習済モデルに入力し、出力されたクラスを用いて、制御機器6を制御する。
制御機器6は、入出力部I6、記憶部M6、及び制御部P6を含んで構成される。
入出力部I6は、通信部611、入力部612、出力部613、撮像部614、センサ部615、及び駆動部616の一部或いは全部を含んで構成される。記憶部M6は、オペレーション記憶部621、及びアプリ記憶部622を含んで構成される。制御部P6は、オペレーション部631、アプリ制御部632、及び撮影制御部633を含んで構成される
入力部612は、タッチパネルやソフトウェアキーボードで実現され、ユーザからの入力を受け付ける。入力部612は、マイクや物理的なボタンで実現され、ユーザから、声や押下による入力を受け付ける。
撮像部614は、カメラで実現され、撮像素子で撮影した画像(動画を含む)をデジタルデータ(画像ファイル)として記録する。
センサ部615は、GPS、加速度センサ、ジャイロセンサ、照度センサ、赤外線センサ、温度センサ、姿勢センサ等のセンサで実現され、装置の状態又は装置の周囲環境を測定し、測定結果のデータを保存する。
駆動部616は、ロボットアームのアーム部や把持部等の動作機器、空調や調温等の制御機器、物理的な動作又は物理的な状態を変化させる機器である。
アプリ制御部632は、アプリ記憶部622にインストールされたアプリケーションによって、出力を制御する。アプリ制御部632は、アプリ記憶部622にデータを読み書きすることで、出力を制御する。
撮影制御部633は、撮像部614を用いて撮影を行うアプリケーションである。撮影制御部633は、アプリ制御部632からAPIを呼び出され、動作する。
(1)以上のように、機械学習システム(例えば、機械学習システムSys)は、第1システム(例えばデータ収集システムSysA)と第2システム(人工知能システムSysB)を備える。
第1システムでは、提示部(例えば、ゲーム制御部232、クラス提示部2322)、機械学習のための目的情報(例えばクラス)を提示する。入力部(例えば画像取得部2323)は、前記目的情報に対する説明情報(例えば、画像)を、ユーザから入力される。取得部(例えば、データセット提供部2324、データセット受信部3323、データ取得部432)は、前記説明情報と前記目的情報を取得する。評価部(例えば評価部434)は、前記説明情報に基づく入力変数(例えば画像の画素値)と前記目的情報に基づく出力変数(例えば確定クラス)のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度(例えば認識率)についての評価(例えば認識評価)を行う。報酬付与部(例えば、報酬決定部3325、報酬付与部2326)は、前記評価に応じた報酬(例えばヒットポイントの増減、カード)を、前記ユーザに対して付与する。履歴生成部(例えば報告部435)は、前記目的情報、前記評価結果、及び前記報酬を関係付けられた履歴情報(サービスログ)を生成する。
第2システムでは、モデル記憶部(例えばアプリ記憶部522)は、前記データセットの少なくとも1個に基づいて学習が行われた学習済モデル(例えば追加学習済モデル)を記憶する。実行部(例えば機器制御部532)は、前記モデル記憶部が記憶する学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する。
また、機械学習システムは、ユーザが目的情報を指定された上で、簡易な操作で説明情報を提供できるので、効率的に機械学習に用いるデータを収集できる。また、ユーザが評価結果に応じた報酬が付与されるので、評価結果が良くなる画像を提供する。この場合、機械学習システムは、評価結果が良くなる画像を、機械学習に用いるデータとして収集できる。また、機械学習システムは、目的情報、評価結果、及び報酬を関係付けられた履歴情報を生成するので、例えば履歴情報を集計することで、目的情報、評価結果、及び報酬の関係を分析することができる。
予め定められた学習済モデルは、依頼先から入手した学習済モデルの種類や各種変数であってもよいし、固定或いは選択された学習済モデルであってもよい。例えば、人工知能サーバ5-1が用いる学習済モデルと、学習サーバ4が認識評価に用いる学習済モデルは異なっていてもよい。これらが異なる場合、管理サーバ1は、収集データセットを納品し、学習部533は、納品された収集データセットを用いて機械学習を行ってもよい。人工知能サーバ5-1が用いる学習済モデルは、収集データセットの一部を用いて、機械学習が行われたものであってもよい。
これにより、機械学習システムは、機械学習に用いるデータとして、収集したいオブジェクトに応じた画像を収集できる。また、ユーザが提示されたオブジェクトを先に知ることができるので、オブジェクトを特定した上で、そのオブジェクトの写真を撮ることや、フォルダから探すことができる。
描画とは、コンピュータにおいて、画像又は映像としてレンダリングできることであってもよい。また、描画とは、写真に写されること、映像に撮影されること、イラスト等として描かれることが含まれてもよい。
これにより、機械学習システムは、複数のユーザから、機械学習に用いるデータとして、目的情報と説明情報のデータセットを収集できる。複数のユーザが説明情報を入力するので、機械学習システムは、多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。
なお、情報端末は、スマートフォンに限られず、タブレット端末、ヘッドマウントディスプレイ、パーソナルコンピュータ、音楽プレーヤー、デジタルカメラ、テレビ、スマートスピーカ、家電機器、及び、ウェアラブル端末等であってもよい。情報端末は、携帯される端末に限らず、設置型の端末であってもよい。
これにより、機械学習システムは、アプリケーションプログラムを、インターネットを介して提供するので、一般的なユーザに幅広く利用されることができる。機械学習システムは、多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。
なお、アプリケーションプログラムは、ゲームに限らず、情報閲覧、画像閲覧、コミュニケーション、オフィスツール等のアプリケーションプログラムであってもよい。
これにより、機械学習システムは、複数の依頼元から、データセットを収集する依頼を受注し、その注文管理することができる。また、機械学習システムは、データセットの納品を管理することができる。これにより、機械学習システムは、管理者に対して、データセットを収集するサービスのプラットフォームを提供でき、そのサービスによるビジネスを円滑に行わせることができる。
これにより、ユーザは、複数の目的情報から、説明変数を提供可能な目的情報を選択できる。例えば、ユーザは、写真を撮ることができるクラスや、画像を保持しているクラスを選択できるので、機械学習システムは、1つだけ提示する場合と比較して、データセットを収集できる可能性を高くすることができる。また、機械学習システムは、1つだけ提示する場合と比較して、ユーザがクラスの画像を提供できずに、ゲームをあきらめてしまい、サービスを利用しなくなる可能性を低くすることができる。
これにより、ユーザは、これから撮影する画像、又は過去に撮影した画像を、画像を撮影し記録可能な情報端末から入力することができる。例えば、ユーザは、提示されたオブジェクトを、提示が参照された情報端末の撮像部で撮影できる。ユーザは、提示されたオブジェクトが描写された画像を有していない場合でも、提示を参照した情報端末で撮影し、撮影した画像を提供できる。
これにより、ユーザは、ゲームで楽しみながら、データセットを提供できる。
なお、ゲーム内のイベントとは、ゲームでの対戦等である。ゲームのシナリオにおいて、ユーザが対戦相手と遭遇すること、ユーザが対戦相手を選択すること、又は、所定条件で自動的に対戦が始まることも含まれる。対戦相手には、コンピュータが制御するノンプレイヤーキャラクタだけではなく、通信等で人間が操作するキャラクタも含まれる。
これにより、機械学習システムは、分類精度の低い目的情報を提示して、その目的情報の説明情報を取得することができる。これにより、機械学習システムは、分類精度の低い目的情報の分類精度を、優先して向上させることができる。
なお、設定更新部132は、基準学習済モデルに基準データセットを入力し、認識率の低いクラスを、設定クラスに決定する。
図30は、本実施形態に係る各装置のハードウェア構成を説明する説明図である。
各装置とは、管理サーバ1、携帯端末2、ゲームサーバ3、学習サーバ4、人工知能サーバ5、制御機器6、又は、端末T1である。各装置は、入出力モジュールI、記憶モジュールM、及び制御モジュールPを含んで構成される。入出力モジュールIは、通信モジュールH11、接続モジュールH12、ポインティングデバイスH21、キーボードH22、ディスプレイH23、ボタンH3、マイクH41、スピーカH42、カメラH51、又はセンサH52の一部或いは全部を含んで実現される。記憶モジュールMは、トライブH7を含んで実現される。記憶モジュールMは、さらに、メモリH8の一部或いは全部を含んで構成されてもよい。制御モジュールPは、メモリH8及びプロセッサH9を含んで実現される。これらのハードウェア構成要素は、バス(Bus)を介して、相互に通信可能に接続されるとともに、電源H6から電力を供給されている。
メモリH8は、ランダムアクセスメモリ等の主記憶媒体である。なお、メモリH8は、キャッシュメモリであってもよい。メモリH8は、一又は複数のプロセッサH9によって命令が実行されるときに、これらの命令を格納する。
プロセッサH9は、プロセッサH9は、CPU(中央演算装置)である。プロセッサH9は、MPU(マイクロプロセッシングユニット)又はGPU(グラフィックスプロセッシングユニット)であってもよい。プロセッサH9は、メモリH8を介してドライブH7から、プログラム及び各種データを読み出して演算を行うことで、一又は複数のメモリH8に格納した命令を実行する。
なお、本明細書等において、管理サーバ1、携帯端末2、ゲームサーバ3、学習サーバ4、人工知能サーバ5、及び制御機器6との記載は、それぞれ、制御部P1、P2、P3、P4、P5、及びP6との記載に置き換えられてもよいし、これらの各装置及び端末T1との記載は、制御モジュールPとの記載に置き換えられてもよい。
上記実施形態において、情報端末は、ソーシャルネットワークサービス(コミュニケーションサービスを含む)、ブログ、情報掲載サイト、又は情報検索サイト等のウェブサイトや、それらのモバイルアプリケーションで表示されるコンテンツの画像を、ユーザに選択させて、確定クラスの画像としてユーザに入力させてもよい。
この図は、情報端末の一例である携帯端末2の制御部P2が、入出力部I2に表示させる画面フローの一例である。図31と図1を比較すると、画面G1とボタンBT41が異なる。これ以外の表示は同じであるので、説明を省略する。
これにより、ユーザは、ネットワークサービスの画像を、データセットの画像として選択できる。機械学習システムは、ネットワークサービスの画像も取得できるので、さらに多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。
この図は、携帯端末2の制御部P2が、入出力部I2に表示させる画面フローの一例である。携帯端末2は、操作ごとに選択するクラスを予め設定されている。
例えば、携帯端末2は、画面の左上から右下へ、右斜め下がりにドラッグされた場合、第1クラス(猫)を選択し、画面の右上から左下へ、左斜め下がりにドラッグされた場合、第3クラス(自動車)を選択するように設定されている。
なお、ボタンBT13は、図1のものと同じである。また、始点と終点は、2回のタップで指定されてもよい。
なお、携帯端末2は、操作の方向、又は、画面上の2点の位置関係に応じて、ラジオボタンやチェックボックスの選択肢の1個又は複数を、初期値として選択してもよい。
また、携帯端末2は、ドラッグ後の画面G52、画面G53において、ショートカットメニューを表示し、ショートカットのメニューとして、ドラッグの方向に対応するクラスを優先して、選択可能に表示してもよい。
学習サーバ4(例えば制御部P4)は、説明情報として音データを取得してもよい。
この図は、携帯端末2の制御部P2が、入出力部I2に表示させる画面フローの一例である。図33と図1を比較すると、画面G71、G72、及び画面G73の表示732が異なる。これ以外の表示は同じであるので、説明を省略する。
領域G712には、画像のクラスとして、猫、犬、及び、自動車が表示されている。
ボタンBT71がユーザにタッチされた場合、携帯端末2は、マイクを起動し、音を録音可能な画面(図示せず)を表示する。この画面では、ユーザは、録音ボタンをタップすることで、音を録音することができる。
画面G72には、画像G721に音データの情報(「説明情報」の一例)が表示されている。音データは、音データで、再生ボタンをタップすることで、再生可能である。
画面73の画像G732は、画像G721の音の評価として、評価の高い音である旨(「GREAT Sound」)を表す画像である。
例えば、携帯端末2は、基準学習済モデルを用いて、撮影している画像からオブジェクトを認識し、そのオブジェクトの認識率を取得する。この認識率は、設定クラスの認識率であってもよいし、認識率の最大となるクラスの認識率であってもよい。携帯端末2は、学習サーバ4へ画像を送信してもよいし、自装置に基準学習済モデルを記憶してもよい。
携帯端末2は、認識率が高くなるように、被写体との位置関係やズーム、又は、自装置の向きのガイダンス表示を行う。
この図は、携帯端末2の制御部P2が、入出力部I2に表示させる画面フローの一例である。画面G81には、被写体S(猫)が認識され、被写体Sを囲む枠G811が表示されている。ガイダンス表示G812は、枠G811で囲った部分を大きく写すこと、つまり、被写体に近づくかカメラのズーム機能を使うべき(ズームアップすべき)ことを案内している。
画面G82には、被写体Sを囲む枠G821が表示されている。ガイダンス表示G822は、携帯端末2を被写体Sに対して回転(ヨー軸の回転)させるべきことを案内している。また、ガイダンス表示G822は、認識率に応じた報酬として、ノーマルカードが付与されることも表している。つまり、画面G82の状態で、撮影した被写体Sの画像をデータセットにした場合、報酬としてノーマルカードが付与される。
画面G81には、被写体Sを囲む枠G831が表示されている。ガイダンス表示G832は、携帯端末2を、別の方向に回転(ロール軸の回転)させるべきことを案内している。また、ガイダンス表示G832は、認識率に応じた報酬として、レアカードが付与されることも表している。つまり、画面G82の状態で、撮影した被写体Sの画像をデータセットにした場合、報酬としてレアカードが付与される。
画面G84には、被写体Sを囲む枠G841が表示されている。ガイダンス表示G842は、この状態で、撮影すべきことを案内している。また、ガイダンス表示G832は、認識率に応じた報酬として、スーパーレアカードが付与されることも表している。つまり、画面G84の状態で、撮影した被写体Sの画像をデータセットにした場合、報酬としてレアカードが付与される。
画面G85は、画面G84でBT81がタップされ、枠G841部分が撮影されたことを表している。
この図は、携帯端末2の制御部P2が、入出力部I2に表示させる画面の一例である。画面G91には、あるユーザから取得した画像G911と確定クラス「猫」が表示されている。画面G91には、いいね(Like)ボタンBT91といやだね(Dislike)ボタンBT92が表示されている。ボタンBT91は、986人の他のユーザ(986個のユーザID)からタップされ、ボタンBT92は、15人の他のユーザからタップされている。
管理サーバ1は、ボタンBT91による評価数とボタンBT92による評価数の差が、閾値以上になった場合、データセットとして適切であると判定する。
このように、機械学習システムSysは、人間の評価も含めて、データセットを取得することができる。また、機械学習システムSysは、不特定多数のユーザがデータセットを提供可能である場合でも、他の人間の評価により、適切なデータセットを取得できる。
また、ユーザは、サンプル画像に似た写真を撮影或いは選択するので、サンプル画像で、被写体の大きさや向き(角度)を指定することもできる。これにより、機械学習システムSysは、学習データセットとして、所望の大きさや向きの被写体が描写された画像を取得できる可能性が高くなる。
この図は、携帯端末2の制御部P2が、入出力部I2に表示させる画面フローの一例である。画面Ga11には、クラスとして、猫及び自動車が、文字とサンプル画像で表示されている。画像Ga111は、クラス「猫」のサンプル画像である。また、画面Ga11では、クラスごとに、カメラを起動するボタン、画像を選択する機能を発生させるボタンが配置されている。これにより、携帯端末2は、ユーザが選択したクラスや画像の種類(撮影した画像又は選択した画像)を特定できる。例えばボタンBTa11がユーザにタッチされた場合、携帯端末2は、カメラを起動し、画面Ga12を表示する。
ユーザが撮影ボタンBTa121をタップした場合、携帯端末2は、そのとき撮影していた画像を画像ファイルとして記憶する。その後、携帯端末2は、画面Ga13において、画像ファイルの画像を表示する。画面Ga13において、ボタンBta131がユーザにタッチされた場合、携帯端末2は、図20のステップS308~S310の処理を行った後、画面Ga14を表示する。
管理サーバ1(サービス管理部135)は、データセットの確定クラスごとに、各ゲーム因子(ゲームID、イベントID、対戦キャラクタID、又は報酬ID)に対して、モデル認識率の平均値、対戦数又はデータセット数を算出する。管理サーバ1は、同一又は類似する確定クラスの画像を収集する場合に、モデル認識率の平均値、対戦数又はデータセット数が最大となるゲーム因子を管理者へ提示し、ゲーム設定として設定する。なお、サービスログの集計では、モデル認識率に代えて或いは追加して、認識率改善値や認識評価値が用いられてもよい。
Claims (10)
- 第1システムは、
機械学習のための目的情報であって、ユーザが提供する目的情報を提示する提示部と、
前記目的情報に対する説明情報を、前記ユーザから入力される入力部と、
前記説明情報と前記目的情報を取得する取得部と、
前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行う評価部と、
前記評価に応じた報酬を、前記ユーザに対して付与する報酬付与部と、
前記目的情報、前記評価の結果、及び前記報酬が関係付けられた履歴情報を生成する履歴生成部と、
を備え、
第2システムは、
前記データセットの少なくとも1個に基づいて機械学習が行われた学習済モデルを記憶するモデル記憶部と、
前記モデル記憶部が記憶する学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する実行部と、
を備え、
前記評価部は、前記予め定められた学習済モデルと、前記データセットの少なくとも1個に基づいて機械学習が行われた学習済モデルと、に基づいて、前記分類精度についての評価を行う
機械学習システム。 - 前記提示部は、オブジェクトを表す目的情報を提示し、
前記入力部は、前記オブジェクトが描画された画像を、前記説明情報として入力され、
前記評価部は、前記画像による前記目的情報の分類精度についての評価を行い、
前記実行部は、オブジェクトが描画された画像が入力された場合に、当該オブジェクトを表す目的情報を出力する
請求項1に記載の機械学習システム。 - 前記提示部は、複数のユーザの情報端末各々の表示部に、前記目的情報を提示し、
前記取得部は、前記情報端末各々の前記入力部から入力された前記説明情報を取得する
請求項1又は請求項2に記載の機械学習システム。 - 前記第1システムは、複数の情報端末と、前記複数の情報端末各々とインターネットを介して接続されるサーバと、を具備し、
インターネットを介して提供されたアプリケーションプログラムは、前記情報端末各々を前記提示部と前記入力部として機能させ、
前記サーバは、前記取得部を備え、
前記取得部は、複数のユーザの情報端末各々から、インターネットを介して、前記説明情報と前記目的情報を取得する
請求項1から請求項3のいずれか一項に記載の機械学習システム。 - 前記第1システムは、
第2システムに関する依頼元であって、前記説明情報と前記目的情報を取得することを依頼する依頼元を示す依頼元情報を管理する注文管理部と、
前記データセットの納品状況であって、前記依頼元情報が示す依頼元への納品状況を管理する納品管理部と、
をさらに備え、
前記モデル記憶部は、納品された前記データセットの少なくとも1個に基づいて機械学習が行われた学習済モデルを記憶し、
前記注文管理部は、前記依頼元が要求する学習済モデルの認識率を示す認識率情報を管理し、
前記評価部は、前記データセットの少なくとも1個に基づいて機械学習が行われた学習済モデルの認識率を示す認識率情報を算出し、前記分類精度についての評価を行う
請求項1から請求項4のいずれか一項に記載の機械学習システム。 - 前記提示部は、複数の前記目的情報を提示し、
前記入力部は、前記ユーザが選択した前記目的情報と、当該目的情報に対する説明情報と、を入力され、
前記取得部は、複数の前記目的情報について、前記説明情報と前記目的情報を取得する
請求項1から請求項5のいずれか一項に記載の機械学習システム。 - 前記第1システムは、情報端末を具備し、
前記情報端末は、前記提示部、前記入力部、及び撮像部を備え、
前記提示部は、オブジェクトを表す目的情報を提示し、
前記入力部は、前記説明情報として、前記撮像部で撮像された画像であって、前記オブジェクトが描画された画像を、前記説明情報として入力される
請求項1から請求項6のいずれか一項に記載の機械学習システム。 - 機械学習のための目的情報であって、ユーザが提供する目的情報を提示する提示部と、
前記目的情報に対する説明情報を、ユーザから入力される入力部と、
前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与する報酬付与部と、
を備え、
前記評価は、予め定められた学習済モデルであって前記説明情報による前記目的情報の分類精度についての評価を行う学習済モデルと、前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセットの少なくとも1個に基づいて機械学習が行われた学習済モデルと、に基づいて行われる、
情報端末。 - 機械学習のための目的情報であって、ユーザが提供する目的情報を提示し、
前記目的情報に対する説明情報を、ユーザから入力され、
前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与し、
前記評価は、予め定められた学習済モデルであって前記説明情報による前記目的情報の分類精度についての評価を行う学習済モデルと、前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセットの少なくとも1個に基づいて機械学習が行われた学習済モデルと、に基づいて行われる、
情報処理方法。 - 情報端末のコンピュータに、
機械学習のための目的情報であって、ユーザが提供する目的情報を提示させる提示手順、
前記目的情報に対する説明情報を、ユーザから入力される入力手順、
前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与させる報酬付与手順、
を実行させ、
前記評価は、予め定められた学習済モデルであって前記説明情報による前記目的情報の分類精度についての評価を行う学習済モデルと、前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセットの少なくとも1個に基づいて機械学習が行われた学習済モデルと、に基づいて行われるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/011193 WO2020188701A1 (ja) | 2019-03-18 | 2019-03-18 | 機械学習システム、情報端末、情報処理装置、情報処理方法、プログラム、学習済モデル、及び、学習済モデルを生産する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020188701A1 JPWO2020188701A1 (ja) | 2020-09-24 |
JP7255671B2 true JP7255671B2 (ja) | 2023-04-11 |
Family
ID=72520694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506853A Active JP7255671B2 (ja) | 2019-03-18 | 2019-03-18 | 機械学習システム、情報端末、情報処理方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220168640A1 (ja) |
JP (1) | JP7255671B2 (ja) |
WO (1) | WO2020188701A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021093568A (ja) * | 2019-12-06 | 2021-06-17 | キヤノン株式会社 | 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム |
US20220008824A1 (en) * | 2020-07-13 | 2022-01-13 | Nvidia Corporation | Game generation using one or more neural networks |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106662A (ja) | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2018531543A (ja) | 2015-09-17 | 2018-10-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ワイヤレスネットワークにおけるクラウドソースの写真撮影の管理 |
-
2019
- 2019-03-18 WO PCT/JP2019/011193 patent/WO2020188701A1/ja active Application Filing
- 2019-03-18 JP JP2021506853A patent/JP7255671B2/ja active Active
- 2019-03-18 US US17/437,946 patent/US20220168640A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018531543A (ja) | 2015-09-17 | 2018-10-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ワイヤレスネットワークにおけるクラウドソースの写真撮影の管理 |
JP2018106662A (ja) | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020188701A1 (ja) | 2020-09-24 |
WO2020188701A1 (ja) | 2020-09-24 |
US20220168640A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109272380B (zh) | 虚拟宠物商品的交易方法、装置、设备及存储介质 | |
US20230022301A1 (ja) | ||
US8909706B2 (en) | Social networking data augmented gaming kiosk | |
US10636082B2 (en) | Proxy agent for distributed computing transactions | |
KR20190084290A (ko) | 증강 현실 기반의 가상 오브젝트를 할당하기 위한 방법 및 디바이스 | |
US10350492B2 (en) | Server, information processing system, storage medium storing information processing program, and information processing method | |
US20130311566A1 (en) | Method and apparatus for creating rule-based interaction of portable client devices at a live event | |
JP5714666B2 (ja) | ネットワークシステム、並びにそれに用いるサーバ装置、サーバ装置の制御方法及びコンピュータプログラム | |
JP7245853B2 (ja) | バーチャルペットの繁殖方法、装置、機器及びコンピュータプログラム | |
JP6401133B2 (ja) | ネットワークシステム及び制御プログラム | |
CN106796700A (zh) | 用于电子商务的使用标记媒体、3d索引虚拟现实图像和全球定位系统位置的用户界面 | |
US20140358695A1 (en) | Communication facilitator | |
JP7255671B2 (ja) | 機械学習システム、情報端末、情報処理方法、プログラム | |
WO2015164969A1 (en) | System and method for cross-application virtual goods management | |
US11964209B2 (en) | Machine learning based gaming platform messaging risk management using gamer behavior | |
JP5820895B2 (ja) | ネットワークシステム、サーバコンピュータ、及び、端末装置のプログラム | |
US8588944B1 (en) | Virtual user-based scoring of real events | |
CN106030603A (zh) | 通过逐步公开的个人守护程序交互 | |
JP6574454B2 (ja) | ゲームシステム及びプログラム | |
CN107807940B (zh) | 信息推荐方法和装置 | |
TWI677833B (zh) | 個性化定制系統及方法 | |
KR102445530B1 (ko) | 공공복지 활동의 시각화를 위한 방법 및 장치 | |
WO2014169191A2 (en) | Mobile rewarder with mapping and tagging | |
JP6688353B2 (ja) | ネットワークシステム、サーバコンピュータ及び制御プログラム | |
JP2018158018A (ja) | ゲームプログラム、ゲーム処理方法、およびゲームシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7255671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |