WO2020188701A1

WO2020188701A1 - 機械学習システム、情報端末、情報処理装置、情報処理方法、プログラム、学習済モデル、及び、学習済モデルを生産する方法

Info

Publication number: WO2020188701A1
Application number: PCT/JP2019/011193
Authority: WO
Inventors: 健一朗猪田; 啓至北嶋
Original assignee: 日本電気株式会社
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2020-09-24
Also published as: US20220168640A1; JPWO2020188701A1; JP7255671B2

Abstract

複数の情報端末（２－１～２－Ｎ）は、機械学習のための目的情報を提示する。複数の情報端末（２－１～２－Ｎ）は、目的情報に対する説明情報を、ユーザから入力される。サーバ（４）は、説明情報と目的情報を取得する。

Description

機械学習システム、情報端末、情報処理装置、情報処理方法、プログラム、学習済モデル、及び、学習済モデルを生産する方法

　本発明は、機械学習システム、情報端末、情報処理装置、情報処理方法、プログラム、学習済モデル、及び、学習済モデルを生産する方法に関する。

　近年、機械学習に関する技術が発展している。例えば、画像認識の機械学習に関して、特許文献１には、次の記載がある。
　画像認識装置は、第１識別器による学習評価画像の識別結果を評価するとともに、第１識別器では誤識別領域を、識別が難しい小領域として選択する。そして、画像認識装置は、選択された誤識別領域を含む複数の小領域からなる領域を識別するための第２の識別器を学習する。最後に、画像認識装置は、第１識別器による識別結果と第２識別器による識別結果とを統合して、統合識別器を学習する。

特開２０１６－９９６６８号公報

　しかしながら、学習済モデル（特許文献１では識別器）の分類精度は、機械学習に用いるデータにも依存する。したがって、より効率的に、機械学習に用いるデータを収集することが望まれている。

　そこでこの発明は、より効率的に、機械学習に用いるデータを収集できる機械学習システム、情報端末、情報処理装置、情報処理方法、プログラム、学習済モデル、及び、学習済モデルを生産する方法を提供することを目的としている。

　本発明は、上述の課題を解決すべくなされたもので、上記目的を達成するために、本発明の一態様は、第１システムは、機械学習のための目的情報を提示する提示部と、前記目的情報に対する説明情報を、ユーザから入力される入力部と、前記説明情報と前記目的情報を取得する取得部と、前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行う評価部と、前記評価に応じた報酬を、前記ユーザに対して付与する報酬付与部と、前記目的情報、前記評価の結果、及び前記報酬が関係付けられた履歴情報を生成する履歴生成部と、を備え、第２システムは、前記データセットの少なくとも１個に基づいて機械学習が行われた学習済モデルを記憶するモデル記憶部と、前記モデル記憶部が記憶する学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する実行部と、を備える機械学習システムである。

　また本発明の一態様は、機械学習のための目的情報を提示する提示部と、前記目的情報に対する説明情報を、ユーザから入力される入力部と、前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与する報酬付与部と、を備える情報端末である。

　また本発明の一態様は、機械学習のための目的情報、前記目的情報に対する説明情報であってユーザから情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価を行う評価部と、前記目的情報、及び前記評価の結果が関係付けられた履歴情報を生成する履歴生成部と、を備える情報処理装置である。

　また本発明の一態様は、機械学習のための目的情報を、情報端末へ送信する送信部と、前記目的情報、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価に応じて、前記ユーザに付与する報酬を決定する報酬決定部と、を備える情報処理装置である。

　また本発明の一態様は、械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、学習が行われた学習済モデルをモデル記憶部から読み出し、前記学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する実行部と、を備える情報処理装置である。

　また本発明の一態様は、機械学習のための目的情報を提示し、前記目的情報に対する説明情報を、ユーザから入力され、前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与する、情報処理方法である。

　また本発明の一態様は、機械学習のための目的情報と、前記目的情報に対する説明情報であってユーザから情報端末に入力された説明情報と、を取得し、前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行い、前記目的情報、及び前記評価の結果が関係付けられた履歴情報を生成する、情報処理方法である。

　また本発明の一態様は、機械学習のための目的情報を、情報端末へ送信し、前記目的情報、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価に応じて、前記ユーザに付与する報酬を決定する、情報処理方法である。

　また本発明の一態様は、機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルをモデル記憶部から読み出し、前記学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する、情報処理方法である。

　また本発明の一態様は、情報処理装置のコンピュータに、情報端末のコンピュータに、機械学習のための目的情報を提示させる提示手順、前記目的情報に対する説明情報を、ユーザから入力される入力手順、前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与させる報酬付与手順、を実行させるためのプログラムである。

　また本発明の一態様は、情報処理装置のコンピュータに、機械学習のための目的情報と、前記目的情報に対する説明情報であってユーザから情報端末に入力された説明情報と、を取得させる取得手順、前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行わせる評価手順、前記目的情報、及び前記評価の結果が関係付けられた履歴情報を生成させる履歴生成手順、を実行させるためのプログラムである。

　また本発明の一態様は、情報処理装置のコンピュータに、機械学習のための目的情報を、情報端末へ送信する送信手順、前記目的情報、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価に応じて、前記ユーザに付与する報酬を決定する報酬決定手順、を実行させるためのプログラムである。

　また本発明の一態様は、情報処理装置のコンピュータに、機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルをモデル記憶部から読み出させ、前記学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力させる実行手順を実行させるためのプログラムである。

　また本発明の一態様は、機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルであって、前記説明情報が入力された場合に、前記目的情報を出力する学習済モデルである。

　また本発明の一態様は、機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個を取得し、前記データセットの少なくとも１個に基づいて機械学習を行うことで、学習済モデルを生産する、学習済モデルを生産する方法である。

　本発明によれば、より効率的に、機械学習に用いるデータを収集できる。

本発明の一実施形態に係る画面フローの一例を表す概要図である。本実施形態に係る機械学習システムの構成例を示す概略図である。本実施形態に係る機械学習システムでの処理の流れの一例を示すシーケンス図である。本実施形態に係るサービス設定画面の一例を表す概略図である。本実施形態に係るサービス管理画面の一例を表す概略図である。本実施形態に係る管理サーバの構成を示す概略ブロック図である。本実施形態に係る注文テーブルの一例を示す概略図である。本実施形態に係る注文学習テーブルの一例を示す概略図である。本実施形態に係る注文料金テーブルの一例を示す概略図である。本実施形態に係るゲーム設定テーブルの一例を示す概略図である。本実施形態に係る学習設定テーブルの一例を示す概略図である。本実施形態に係るゲーム状況テーブルの一例を示す概略図である。本実施形態に係る収集状況テーブルの一例を示す概略図である。本実施形態に係る収集管理テーブルの一例を示す概略図である。本実施形態に係るサービスログの一例を示す概略図である。本実施形態に係る管理サーバの処理の一例を示すフロー図である。本実施形態に係る携帯端末の構成を示す概略ブロック図である。本実施形態に係るゲームサーバの構成を示す概略ブロック図である。本実施形態に係るゲーム制御部と管理アプリ制御部の構成を示す概略ブロック図である。本実施形態に係るゲーム制御部と管理アプリ制御部の処理の一例を示すシーケンス図である。本実施形態に係る報酬選択テーブルの一例を示す概略図である。本実施形態に係る学習サーバの構成を示す概略ブロック図である。本実施形態に係る学習サーバの処理の一例を示すフロー図である。本実施形態に係る機械学習における実行手順を説明する説明図である。本実施形態に係る機械学習における学習手順を説明する説明図である。本実施形態に係る認識率改善値の算出処理を説明する説明図である。本実施形態に係る評価値テーブルの一例を示す概略図である。本実施形態に係る人工知能サーバの構成を示す概略ブロック図である。本実施形態に係る制御機器の構成を示す概略ブロック図である。本実施形態に係る装置のハードウェア構成の一例を示す概略図である。本実施形態に係る画面フローの別の一例を表す概要図である。本実施形態に係る画面フローの別の一例を表す概要図である。本実施形態に係る画面フローの別の一例を表す概要図である。本実施形態に係る画面フローの別の一例を表す概要図である。本実施形態に係る画面の別の一例を表す概要図である。本実施形態に係る画面フローの別の一例を表す概要図である。

　以下、図面を参照しながら本発明の一実施形態について詳しく説明する。

＜画面フロー＞
　図１は、本発明の一実施形態に係る画面フローの一例を表す概要図である。
　この図は、図２の携帯端末２－１～２－Ｎ（各々を「携帯端末２」とも称する。「情報端末」の一例）が表示する画面フローである。この画面フローは、携帯端末２にインストールされたゲームのモバイルアプリケーション（「ゲームアプリ」とも称する）によって、携帯端末２のディスプレイに表示される。
　そのゲームアプリは、対戦型ゲームのゲームアプリである。その対戦型ゲームにおいて、イベントが発生し、各イベントにおいて、ゲームキャラクタ同士の対戦が行われる。

　画面Ｇ１１には、対戦キャラクタＧ１１１が表示されている。対戦キャラクタＧ１１１は、ユーザが操作するゲームキャラクタ（「操作キャラクタ」とも称する）と対戦するキャラクタである。
　領域Ｇ１１２には、対戦キャラクタＧ１１１を攻撃する画像のクラス（「目的情報」の一例）として、猫、チーズ、及び、自動車が表示されている。クラスとは、画像を分類（識別も含む）する情報であり、例えば、画像に描画された被写体（「オブジェクト」の一例）の称呼である。つまり、画面Ｇ１１は、ユーザに対して、対戦キャラクタＧ１１１を攻撃するためには、猫、チーズ又は自動車の画像を提供すべきことを表している。

　ボタンＢＴ１１がユーザにタッチされた場合、携帯端末２は、カメラを起動し、写真を撮影可能な画面（例えば図３６の画面Ｇａ１２）を表示する。この画面では、ユーザは、撮影ボタンをタップ（タッチ）することで、静止画又は動画を撮影することができる。
　ボタンＢＴ１２がユーザにタッチされた場合、携帯端末２は、携帯端末２のフォルダ内のファイルを選択可能な画面（図示せず）を表示する。この画面では、ユーザは、画像ファイルを選択することができる。ユーザが撮影をした後、又は、ユーザがファイルを選択した後、携帯端末２は、画面Ｇ１２を表示する。

　画面Ｇ１２には、画像Ｇ１２１（「説明情報」の一例）が表示されている。画像Ｇ１２１は、ユーザが撮影した画像、又は、ユーザが選択した画像ファイルの画像である。
　プルダウンメニューＧ１２２には、画像Ｇ１２１のクラスの候補として、猫、チーズ、及び、自動車が表示されている。ユーザは、プルダウンメニューＧ１２２を用いて、猫、チーズ、又は自動車のいずれか１つを選択することができる。つまり、携帯端末２は、プルダウンメニューＧ１２２を用いて、画面Ｇ１１で提示したクラスのうち、ユーザがどのクラスを選択させる。ユーザが選択したクラスを確定クラスとも称する。
　ボタンＢＴ１３は、画像Ｇ１２１と確定クラスを用いて、操作キャラクタに対戦相手Ｇ１１１を攻撃させるボタンである。ボタンＢＴ１３がユーザにタッチされた場合、携帯端末２は、画面Ｇ１３を表示する。

　画面Ｇ１３では、対戦キャラクタＧ１１１は、操作キャラクタから攻撃を受けている。画像Ｇ１３１は、画像Ｇ１２１の評価（「認識評価」とも称する）として、評価の高い画像である旨（「ＧＲＥＡＴ　Ｐｉｃｔｕｒｅ」）を表す画像である。認識評価は、画像Ｇ１２１によるクラスの分類精度についての評価である。例えば、認識評価は、この画像Ｇ１２１と確定クラスを用いて機械学習が行われることで、その学習済モデルによる画像の認識率（「モデル認識率」とも称する）が向上する場合には、評価が高くなる。一方、認識評価は、モデル認識率が低下する場合には、評価が低くなる。認識評価の詳細については、後述する（図２６参照）。

　画像Ｇ１３２は、対戦キャラクタＧ１１１のヒットポイント（「報酬」又は「ゲームでの変数」の一例）から、３００ポイントを差し引かれたことを表している。ヒットポイントは、その値がゼロになった場合に、そのキャラクタが倒された（負けた）ことになるデータである。一方、画像Ｇ１３３は、操作キャラクタのヒットポイントに、１００ポイントが加えられたことを表している。例えば、画像Ｇ１３４では、ヒットポイントが、画面Ｇ１１の１３６ポイントに、１００ポイントが加えられて、２３６ポイントになったことを表している。

　このように、携帯端末２は、ユーザが提供した画像Ｇ１２１の認識評価に応じて、対戦キャラクタＧ１１１又は操作キャラクタのヒットポイントの増減（「ゲームでの変数の更新」の一例）を行う。ユーザは、画像を提供することで、対戦キャラクタＧ１１１を倒し、対戦に勝利することができる。対戦キャラクタＧ１１１を倒した場合、携帯端末２は、画面Ｇ１４を表示する。

　画面Ｇ１２には、対戦に勝利した結果、ユーザに付与されたカードＧ１４１（「報酬」又は「ゲームオブジェクト」の一例）が表示されている。このカードＧ１４１は、希少価値の高い「スーパーレア」（「ＳＲ」とも称する）のカードであり、認識評価で評価が高い場合に付与される。なお、ゲームアプリにおいて、カードは、操作キャラクタ、アイテム、特殊効果の発生、ゲームでの変数の更新等に用いられる。

　以上のように、携帯端末２は、画面Ｇ１１にて、機械学習のためのクラスを表示する（領域Ｇ１１２）。携帯端末２は、提示したクラスに対する画像Ｇ１２１を、ユーザから入力される。携帯端末２は、クラス（プルダウンメニューＧ１２２で選択された確定クラス）と画像Ｇ１２１に応じた報酬（ヒットポイントの増減、カード）を、ユーザに対して付与する。
　これにより、携帯端末２は、クラスと画像Ｇ１２１のデータセットを、機械学習に用いるデータとして、ユーザから収集できる。ユーザは、クラスを指定された上で、簡易な操作で画像を提供できるので、携帯端末２は、効率的に機械学習に用いるデータを収集できる。また、ユーザは、認識評価に応じた報酬が付与されるので、認識評価で評価が高くなる画像を提供する。この場合、携帯端末２は、モデル認識率が高くなる画像を、機械学習に用いるデータとして収集できる。

　なお、ゲームアプリは、スマートフォン等に搭載される汎用のオペレーティングシステム（「ＯＳ」とも称する）上で実行される。ゲームアプリは、モバイルアプリケーション（「アプリ」とも称する）を配信するアプリケーションストアから、インターネットを介してダウンロードされる。アプリケーションストアは、アプリに対応したタウンロードディストリビューションプラットフォームである。つまり、ゲームアプリは、携帯端末の一般的なＯＳで動作させることができ、アプリケーションストアが配信されるので、一般的なユーザに幅広く利用されることができる。ただし、ゲームアプリは、特定のウェブサイトやデータフォルダからダウンロードされてもよいし、ローカルネットワークやパーソナルコンピュータを介してダウンロードされてもよい。

＜機械学習システム＞
　図２は、本実施形態に係る機械学習システムＳｙｓの構成例を示す概略図である。
　機械学習システムＳｙｓは、データ収集システムＳｙｓＡ（「第１システム」の一例）、及び、複数の人工知能システムＳｙｓＢ－１～ＳｙｓＢ－Ｍ（「第２システム」の一例。各々を「人工知能システムＳｙｓＢ」とも称する）を含んで構成される。

　データ収集システムＳｙｓＡは、管理サーバ１、携帯端末２－１～２－Ｎ、ゲームサーバ３、及び学習サーバ４を具備する。管理サーバ１と端末Ｔ１は、ローカルネットエリアワークＬ１を介して接続さている。管理サーバ１と、ゲームサーバ３及び学習サーバ４とは、ローカルエリアネットワークＬ１とインターネットＮＷを介して接続されている。ゲームサーバ３と学習サーバ４は、インターネットＮＷを介して接続されている。携帯端末２とゲームサーバ３は、インターネットＮＷと基地局装置ＢＳを介して、接続されている。

　人工知能システムＳｙｓＢ－ｍは、人工知能サーバ５－ｍ（「人工知能サーバ５」とも称する）、及び制御機器６－ｍ（「制御機器６」とも称する）を具備する（ｍ＝１～Ｍ）。人工知能システムＳｙｓＢは、機械学習の結果の学習済モデルを用いて、サービスを提供するシステムである。制御機器６－１は、携帯端末であり、ユーザから入力された画像に対し、クラスを表示する。制御機器６－２は、ロボットアームであり、被搬送物を撮影した画像に応じて、アームの動作を制御する。制御機器６－Ｍは、品質管理装置であり、検査対象物を撮影した画像に応じて、検査対象物が正常であるか異常があるかを判定する。

　人工知能サーバ５－１と制御機器６－１は、インターネットＮＷと基地局装置ＢＳを介して、接続されている。人工知能サーバ５－２と制御機器６－２は、ローカルエリアネットワークＬ２を介して、接続されている。人工知能サーバ５－Ｍと制御機器６－Ｍは、直接、接続されている。なお、機械学習システムＳｙｓは、複数の人工知能システムＳｙｓＢを備えず、１個の人工知能システムＳｙｓＢを備えてもよいし、人工知能システムＳｙｓＢは、１個の装置（筐体）であってもよい。

　機械学習システムＳｙｓでは、ゲームサーバ３は、機械学習のためのクラスを、各携帯端末２へ送信する。各携帯端末２は、ユーザに対して、クラスを表示する。各携帯端末２は、クラスに対する画像を、ユーザから入力される。各携帯端末２は、入力されたクラスと画像のデータセットをゲームサーバ３に送信する。学習サーバ４は、各携帯端末２からゲームサーバ３を介して、そのデータセットを取得する。学習サーバ４は、取得したデータセット、及び、予め定められた学習済モデルに基づいて、認識評価を行う。ゲームサーバ３は、認識評価に応じた報酬を、ユーザに対して付与する。
　学習サーバ４は、上記の繰り返しによって、複数のデータセット（「収集データセット」とも称する）を収集する。各人工知能サーバ５は、収集データセットの少なくとも１個に基づいて機械学習が行われた学習済みモデル（「追加学習済モデル」とも称する）を記憶する。各人工知能サーバ５は、追加学習済モデルに基づいて、画像が入力された場合に、クラスを出力する。

　これにより、機械学習システムＳｙｓは、多数のユーザから、機械学習に用いるデータとして、クラスと画像のデータセットを収集できる。機械学習システムＳｙｓは、少数のユーザからデータセットを取得する場合と比較して、多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。

＜機械学習システムでの処理＞
　図３は、本実施形態に係る機械学習システムＳｙｓでの処理の流れの一例を示すシーケンス図である。である。なお、シーケンスは、これに限られるものではなく、各処理の順序が変わっていてもよいし、複数の処理を並列して行ってもよい。

（ステップＳ１０１）端末Ｔ１は、管理者から、注文情報が入力される。注文情報は、機械学習に用いるデータ（クラスと画像のデータセット）の収集を依頼する情報である。注文情報には、依頼元を示す依頼元情報が含まれる。依頼元は、管理者がデータの収集を依頼された依頼主体であり、例えば、人工知能システムＳｙｓＢを提供する企業である。端末Ｔ１は、注文情報を管理サーバ１へ送信する。
（ステップＳ１０２）人工知能サーバ５は、人工知能システムＳｙｓＢで利用している学習済モデルの設定（「基準モデル設定」とも称する）及び基準データセットを、管理サーバ１へ送信する。

　ここで、基準モデル設定には、データセットの収集前の機械学習プログラムが含まれる。機械学習プログラムは、データセットを用いて機械学習を行うことで、学習済モデルを生成するアプリケーションプログラムである。機械学習プログラムは、例えば、ＣＮＮ（畳み込みニューラルネットワーク）のプログラムである。
　基準データセットとは、認識評価に用いられるデータセットであって、画像とその画像の被写体のクラス（分類上、正しいクラス）のセットである。例えば、基準データセットでは、猫の画像に対して、正しく「猫」のクラスが対応付けられている。

（ステップＳ１０３）管理サーバ１は、ステップＳ１０１の注文情報、ステップＳ１０２の基準モデル設定及び基準データセットに基づいて、学習設定を生成する。学習設定は、認識評価を行うための設定であり、端末Ｔ１のサービス設定画面（図４）を用いて設定される。学習設定には、機械学習プログラムや基準データセットが含まれる。管理サーバ１は、生成した学習設定を学習サーバ４へ送信する。

（ステップＳ１０４）管理サーバ１は、ステップＳ１０１の注文情報に基づいて、ゲーム設定を生成する（図４参照）。ゲーム設定は、ゲームアプリにおいて、機械学習に用いるデータを収集するための設定であり、端末Ｔ１のサービス設定画面（図４）を用いて設定される。管理サーバ１は、クラスが含まれるゲーム設定をゲームサーバ３へ送信する。

（ステップＳ１１１）ゲームサーバ３と携帯端末２は、ユーザ操作に基づいて、ゲームを進行する。
（ステップＳ１１２）ゲームサーバ３は、ゲームの進行中に、ステップＳ１０４のゲーム設定を参照する。ゲームサーバ３は、そのゲーム設定のクラスを含む画像要求を、携帯端末２へ送信する。

（ステップＳ１１３）携帯端末２は、ステップＳ１１２の画像要求に含まれるクラスを表示する（図１の画面Ｇ１１）。携帯端末２は、表示したクラスに対して、ユーザから入力された画像を取得する（画面Ｇ１２）。携帯端末２は、そのクラス（確定クラス）と取得した画像のデータセットを含む応答を、ゲームサーバ３へ送信する。
（ステップＳ１１４）ゲームサーバ３は、ステップＳ１１３の応答に含まれるデータセットを、評価要求として、学習サーバ４へ送信する。

（ステップＳ１１５）学習サーバ４は、ステップＳ１１４の評価要求を参照し、データセットの画像に対して、認識評価を行う。ここで、学習サーバ４は、ステップＳ１０３の学習設定を参照し、その学習設定の基準モデル設定と基準データセットを用いて、認識評価を行う。学習サーバ４は、認識評価の評価結果をゲームサーバ３へ送信する。
（ステップＳ１１６）ゲームサーバ３は、ステップＳ１１５の評価結果に応じて、ヒットポイントやカード等の報酬を決定する。ゲームサーバ３は、決定した報酬を、携帯端末２へ送信する。携帯端末２は、受信した報酬を、Ｓ１１３で画像を入力したユーザに対して付与する（図１の画面Ｇ１３、Ｇ１４）。

（ステップＳ１１７）ゲームサーバ３は、ゲームログを学習サーバ４へ送信する。ゲームログは、図１５のサービスログの項目うち、ゲームサーバ３で収集されるデータである。
（ステップＳ１１８）学習サーバ４は、ステップＳ１１７のゲームログに、ステップＳ１１５の認識評価で算出したモデル認識率等を、識別情報として追加することで、サービスログ（図１５）を生成する。学習サーバ４は、サービスログを管理サーバ１へ送信する。

　以上のステップＳ１１１からステップＳ１１８の処理Ｓ１１は、同一又は他の携帯端末２（同一又は他のユーザ）に対して、複数回、行われる。例えば、１０００個のデータセットを収集する場合、処理Ｓ１１は、少なくとも１０００回は行われる。

（ステップＳ１２１）管理サーバ１は、複数回の処理Ｓ１１によって収集した収集データセットを要求する条件（「学習情報要求条件」とも称する）を充足した場合、追加学習情報要求を、学習サーバ４へ送信する。
（ステップＳ１２２）学習サーバ４は、収集データセットを用いて、基準モデル設定の学習済モデルに対して機械学習を行う。学習サーバ４は、この学習の結果、追加学習済モデルを生成する。この追加学習済モデルを、「追加学習情報」とも称する。学習サーバ４は、追加学習情報と収集データセットを、管理サーバ１へ送信する。

（ステップＳ１２３）管理サーバ１は、ステップＳ１２２で受信した追加学習済モデルと収集データセットを、人工知能サーバ５へ送信することで納品する。なお、この納品は、人手を介して行われてもよい。例えば、人間は、追加学習済モデル又は収集データセットを記憶媒体に記憶させて運搬し、記憶媒体から人工知能サーバ５へ複製してもよい。
（ステップＳ１２４）管理サーバ１は、ステップＳ１０１の注文情報に基づいて請求情報を生成し、請求情報は、注文情報の依頼元へ送信される。依頼元は、請求情報の料金を支払うことで、決済が完了する。
　以上の図３のシーケンス図の処理は、１個の注文ごとに行われる。機械学習システムＳｙｓは、１又は複数の依頼元から、複数の注文を、同時期又は異なる時期に受注できる。収集データセットは、注文情報の単位（注文ＩＤごと）に収集される。

＜サービス設定画面＞
　図４は、本実施形態に係るサービス設定画面の一例を表す概略図である。
　サービス設定画面Ｇ２は、注文情報表示Ｇ２１、及び、設定情報表示Ｇ２２から構成される。注文情報表示Ｇ２１は、注文情報を、管理者に参照させる表示である。設定情報表示Ｇ２２は、学習設定及びゲーム設定を、管理者に参照、更新させる表示である。
　なお、サービス設定画面Ｇ２は、管理サーバ１によって注文ごと（端末Ｔ１から入力された注文ＩＤごと）に生成され、端末Ｔ１のアプリケーションによって表示される。

　注文情報表示Ｇ２１は、注文基本表示Ｇ２１１、注文学習表示Ｇ２１２、及び注文料金表示Ｇ２１３から構成される。注文情報表示Ｇ２１には、依頼元から注文された情報が表示される。
　注文基本表示Ｇ２１１には、注文ＩＤ、依頼元、依頼日、納品先、納品期限、及び納品状況が表示されている。注文ＩＤは、注文を識別する識別子であり、注文ごとに管理サーバ１によって生成される。

　注文学習表示Ｇ２１２には、基準モデル、基準モデル設定、基準データセット、注文クラス設定、及び注文データ収集条件が表示されている。基準モデルは、基準モデルの名称とその種類を示す情報である。注文クラス設定は、注文されたクラス設定である。クラス設定は、クラスを選択する設定である。注文データ収集条件は、データを収集する収集の期間、件数、認識率（モデル認識率）、報酬の条件であり、注文された設定である。

　注文料金表示Ｇ２１３には、料金（料金設定）が表示されている。例えば、料金は、向上した認識率（モデル認識率）、データセットの総件数（データ数）、利用者数、参照数、対戦キャラクタ、ヒットポイント、付与した報酬に応じた料金である。これらの料金設定に基づいて、上述の請求情報が生成される。

　設定情報表示Ｇ２２は、ゲーム設定表示Ｇ２２１、学習設定表示Ｇ２２２、及び報酬設定表示Ｇ２２３から構成される。設定情報表示Ｇ２２のタイトル部分には、サービスＩＤが表示されている。サービスＩＤは、各注文に対するサービスを識別する識別子であり、注文ごとに管理サーバ１によって生成される。

　ゲーム設定表示Ｇ２２１には、ゲーム情報、イベント情報、及び対戦キャラクタが表示されている。ゲーム情報は、ゲームアプリを識別するゲームＩＤ、及びゲームアプリの名称である。イベント情報は、イベントを識別するイベントＩＤ、及びイベントの名称である。対戦キャラクタは、対戦キャラクタを識別する対戦キャラクタＩＤ、及び対戦キャラクタの画像である。ゲーム設定表示Ｇ２２１の設定は、管理者がボタンＢＴ２１をクリックして、情報を入力することで更新（新規に設定又は変更）される。

　学習設定表示Ｇ２２２には、学習サーバ情報、クラス設定、及びデータ収集条件が表示されている。学習サーバ情報は、学習サーバを識別する識別情報であり、学習サーバのＵＲＩ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＩｄｅｎｔｉｆｉｅｒ）やサーバ名である。クラス設定及びデータ収集条件には、注文クラス設定及び注文データ設定が複製される。クラス設定及びデータ収集条件は、それぞれ、ボタンＢＴ２２、ＢＴ２３をクリックすることで、管理者が更新できる。

　学習設定表示Ｇ２２２には、クラス設定として、自動でモデル認識率が低いクラスを選択すること、及び、依頼元が指定したクラスを選択すること、が表示されている。学習設定表示Ｇ２２２には、モデル認識率が低いクラスとして、モデル認識率が低い順に「チーズ」及び「自動車」が選択され、依頼元が指定したクラスとして「猫」が選択されていることが表示されている。この場合、依頼元が指定したクラス、モデル認識率が低いクラス（低い方が先）の順で、優先順位が付され、第１クラスに「猫」、第２クラスに「チーズ」、第３クラスに「自動車」が設定される。なお、図１の領域Ｇ１１２及びプルダウンメニューＧ１２には、この順序で、クラスが表示されている。

　学習設定表示Ｇ２２２には、データ収集条件として、収集の期間、件数、認識率（モデル認識率）、報酬の条件が表示されている。件数の条件は、収集されたデータセットの合計件数に基づく条件であり、例えば、収集データセットの合計件数が閾値（１０００件）以内である。つまり、収集データセットの合計件数が閾値を超えた場合、収集が終了される設定である。認識率の条件は、モデル認識率に基づく条件であり、例えば、モデル認識率が閾値（９０％）以内である。つまり、モデル認識率が閾値を超えた場合、収集が終了される設定である。報酬の条件は、報酬に基づく条件であり、例えば、スーパーレアのカードを付与する枚数が閾値（１０００枚）以内である。つまり、スーパーレアのカードの付与数が閾値を超えた場合、収集が終了される設定である。

　報酬設定表示Ｇ２２３には、報酬設定として、選択された報酬が表示される。報酬設定表示Ｇ２２３には、スーパーレアのカードを付与すること、及び、ヒットポイントについて対戦キャラクタから３００ポイントを差し引き、ユーザの操作キャラクタに１００ポイントを加えること、が表示されている。

　報酬設定は、ボタンＢＴ２４をクリックすることで、管理者が更新できる。例えば、管理者は、ゲームオブジェクトの種類（種別）を選択できる。ゲームオブジェクトとは、ゲームに用いられるオブジェクトであって、例えば、カード、コイン、アイテム、キャラクタ、又はプレゼント等である。また管理者は、ゲームオブジェクトの種類として、カードの場合、レアリティを更新できる。また管理者は、ゲームでの変数について、報酬の対象となる変数やその変数値を更新できる。ゲームでの変数には、例えば、レベル、能力（攻撃力や守備力等）、マジックポイント、クリティカルヒット等の確率、カードや特殊効果等の出現確率、チームレベル、ライフ等がある。

　ボタンＢＴ２５がクリックされた場合、サービス設定画面Ｇ２に表示された情報が設定される。例えば、注文学習表示Ｇ２１２及び学習設定表示Ｇ２２２に表示された情報は、学習設定として、管理サーバ１及び学習サーバ４に設定される。ゲーム設定表示Ｇ２２１及び報酬設定表示Ｇ２２３に表示された情報は、ゲーム設定として、管理サーバ１及びゲームサーバ３に設定される。

　なお、注文データ収集条件、料金設定、イベント情報、対戦キャラクタ、データ収集条件、又は報酬設定は、クラスごとに設定されてもよいし、クラスごとに、複数の内容や条件が設定されてもよい。

＜サービス管理画面＞
　図５は、本実施形態に係るサービス管理画面Ｇ３の一例を表す概略図である。
　サービス管理画面Ｇ３は、サービス状況表示Ｇ３１、クラス状況表示Ｇ３２、注文基本表示Ｇ３３１、及びゲーム設定表示Ｇ３３２から構成される。サービス状況表示Ｇ３１及びクラス状況表示Ｇ３２は、ゲーム状況情報や収集状況情報（「サービス状況情報」とも称する）を、管理者に参照させる表示である。クラス状況表示Ｇ３２は、クラスごとにサービス状況情報を参照させ、サービス状況表示Ｇ３１は、サービス全体のサービス状況情報を参照させる表示である。注文基本表示Ｇ３３１及びゲーム設定表示Ｇ３３２の各項目は、注文基本表示Ｇ２１１ゲーム設定表示Ｇ２２１の各項目と同じであるので、説明を省略する。なお、サービス管理画面は、管理サーバ１によって注文ごと（入力された注文ＩＤごと）に生成され、端末Ｔ１のアプリケーションによって表示される。

　サービス状況表示Ｇ３１には、サービスＩＤ、及び、サービス状況（全体）としての認識率、対戦数、成功数、失敗数、及びデータセット数が表示されている。認識率は、クラスごとのモデル認識率の平均値である。対戦数、成功数、失敗数、及び、データセット数は、全クラス（第１クラス、第２クラス、第３クラス）のものを合算した合計値である。
　対戦数は、設定された対戦キャラクタと各ユーザの操作キャラクタが対戦した回数である。成功数は、取得したデータセットで、モデル認識率が上がった回数である。失敗数は、取得したデータセットで、モデル認識率が下がった回数である。データセット数は、データセットを取得した回数であり、成功数と失敗数の合計値となる。対戦数、成功数、失敗数、及び、データセット数は、予め定めた時間単位（例えば１時間）ごとの回数も算出され、サービス状況表示Ｇ３１に表示される。

　ボタンＢＴ３１がクリックされた場合、ゲームサーバ３及び学習サーバ４は、表示されている注文についてサービスを停止する。例えば、ゲームサーバ３は、設定されているイベントＩＤを削除し、設定された対戦キャラクタを登場させなくする。
　ボタンＢＴ３２又はボタンＢＴ３３がクリックされた場合、追加学習情報要求が学習サーバ４へ送信され（図３のステップＳ１２１）、追加学習情報又は収集データセットが管理サーバ１へ送信される（図３のステップＳ１２２）。

　サービス状況表示Ｇ３１は、第１クラス状況表示Ｇ３２１、第２クラス状況表示Ｇ３２２、及び第３クラス状況表示Ｇ３２３から構成される。第１クラス状況表示Ｇ３２１、第２クラス状況表示Ｇ３２２、及び第３クラス状況表示Ｇ３２３は、それぞれ、第１クラス、第２クラス、及び第３クラスのゲームの利用状況やデータの収集状況が表示されている。
　サービス状況表示Ｇ３１は、クラスごとに、認識率（モデル認識率）、対戦数、成功数、失敗数、データセット数、及び報酬数が表示されている。報酬数は、報酬ごとの報酬の付与回数である。ボタンＢＴ３４がクリックされた場合、追加学習情報要求が学習サーバ４へ送信され（図３のステップＳ１２１）、第１クラスの収集データセットが管理サーバ１へ送信される（図３のステップＳ１２２）。ボタンＢＴ３５がクリックされた場合、ゲームサーバ３及び学習サーバ４は、第１クラスについてサービスを停止する。例えば、ゲームサーバ３は、機械学習のためのクラスとして、第１クラスの表示を削除する（図１参照）。ボタンＢＴ３６、ＢＴ３７は第２クラスについて、ボタンＢＴ３８、ＢＴ３９は第２クラスについて、それぞれ、ボタンＢＴ３５、ＢＴ３６と同様の機能を有する。

＜管理サーバの構成＞
　図６は、本実施形態に係る管理サーバ１の構成を示す概略ブロック図である。
　管理サーバ１は、入出力部Ｉ１、記憶部Ｍ１、及び制御部Ｐ１を含んで構成される。
　入出力部Ｉ１は、通信部１１１を含んで構成される。記憶部Ｍ１は、注文情報記憶部１２１、ゲーム設定記憶部１２２、学習設定記憶部１２３、状況情報記憶部１２４、収集情報記憶部１２５、及びサービスログ記憶部１２６を含んで構成される。制御部Ｐ１は、注文管理部１３１、設定更新部１３２、ゲーム設定部１３３、学習設定部１３４、サービス管理部１３５、及び納品管理部１３６を含んで構成される。

＜データ＞
（注文テーブル、注文学習テーブル、注文料金テーブル：注文情報）
　図７は、本実施形態に係る注文テーブルの一例を示す概略図である。
　注文テーブルは、注文基本表示Ｇ２１１（図４）の生成に用いられる。注文テーブルでは、注文ＩＤ、依頼元、依頼日、納品期限、納品情報、納品日、注文学習ＩＤ、注文料金ＩＤ、及びサービスＩＤの各項目が対応付けられている。注文テーブルは、注文ＩＤを主キーとして、注文情報のうち、注文基本情報がレコードとして格納される。

　納品情報は、納品物（追加学習情報又は収集データセット）や納品先を示す情報である。納品先には、例えば、人工知能サーバ５のＵＲＩが格納される。また、ある注文ＩＤの注文に対して、管理者等が納品物を納品した場合、その注文ＩＤのレコードの納品日に日付が入力される。納品日に日付がない場合は、納品状態が未納品であり、納品日に日付がない場合は、納品状態が納品済みである。

　注文学習ＩＤ及び注文料金ＩＤは、それぞれ、注文学習テーブル及び注文料金テーブルと関連付けるための識別子であり、管理サーバ１によって生成される。注文学習ＩＤ及び注文料金ＩＤは、それぞれ、注文学習テーブル及び注文料金テーブルと注文テーブルを関連付けるための識別子であり、管理サーバ１によって生成される。サービスＩＤは、学習設定テーブル、ゲーム設定テーブル、状況管理テーブル、及び収集管理テーブルと注文テーブルを関連付ける。

　図８は、本実施形態に係る注文学習テーブルの一例を示す概略図である。
　注文学習テーブルは、注文料金表示Ｇ２１３（図４）の生成に用いられる。注文学習テーブルでは、注文学習ＩＤ、基準モデル設定、基準データセット、注文クラス設定、及び注文データ収集条件の各項目が対応付けられている。注文学習テーブルは、注文学習ＩＤを主キーとして、注文情報のうち、注文学習情報がレコードとして格納される。
　基準モデル設定及び基準データセットには、それぞれ、基準モデル設定及び基準データセットの格納先のＵＲＩが格納される。

　図９は、本実施形態に係る注文料金テーブルの一例を示す概略図である。
　注文料金テーブルは、注文料金表示Ｇ２１３（図４）の生成に用いられる。注文学習テーブルでは、注文料金ＩＤ、認識率単価、データ数単価、利用者数単価、対戦キャラクタ加算、パラメータ単価、及び報酬加算の各項目が対応付けられている。注文料金テーブルは、注文料金ＩＤを主キーとして、注文情報のうち、注文料金情報がレコードとして格納される。
　注文学習テーブルの各項目は、注文料金表示Ｇ２１３に表示される料金設定の単価である。パラメータ単価は、ヒットポイントについての単価の例を示したが、他のゲームでの変数ごとに、単価が設定されてもよい。

（ゲーム設定テーブル：ゲーム設定）
　図１０は、本実施形態に係るゲーム設定テーブルの一例を示す概略図である。
　ゲーム設定テーブルは、ゲーム設定表示Ｇ２２１及び学習設定表示Ｇ２２２（図４）の生成に用いられ、また、ゲーム設定表示Ｇ２２１及び学習設定表示Ｇ２２２に表示された内容で更新される。
　ゲーム設定テーブルでは、サービスＩＤ、ゲーム＿データ収集条件、設定クラス、ゲームＩＤ、イベントＩＤ、対戦キャラクタＩＤ、報酬ＩＤ、及び関連サーバの各項目が対応付けられている。ゲーム設定テーブルは、サービスＩＤを主キーとして、ゲーム設定がレコードとして格納される。ゲーム＿データ収集条件は、データ収集条件のうち、ゲームサーバ３に設定される条件である。ゲーム＿データ収集条件は、報酬の条件である。クラス設定には、第１クラス、第２クラス、第３クラス（図４の例の場合、「猫」、「チーズ」、「自動車」）が格納されている。報酬ＩＤは、報酬を識別する識別子であり、報酬設定ごとに生成される関連サーバには、管理サーバ１、ゲームサーバ３、及び学習サーバ４のＵＲＩが格納される。

（学習設定テーブル：学習設定）
　図１１は、本実施形態に係る学習設定テーブルの一例を示す概略図である。
　学習設定テーブルは、学習設定表示Ｇ２２２（図４）の生成に用いられ、また、学習設定表示Ｇ２２２に表示された内容で更新される。
　学習設定テーブルでは、サービスＩＤ、学習＿データ収集条件、設定クラス、基準学習設定、基準データセット、及び関連サーバの各項目が対応付けられている。学習設定テーブルは、サービスＩＤを主キーとして、学習設定がレコードとして格納される。

　学習＿データ収集条件は、データ収集条件のうち、学習サーバ４に設定される条件である。学習＿データ収集条件は、収集の期間、件数、モデル認識率の条件である。関連サーバには、管理サーバ１、ゲームサーバ３、及び学習サーバ４のＵＲＩが格納される。

（ゲーム状況テーブル、収集状況テーブル：状況情報）
　図１２は、本実施形態に係るゲーム状況テーブルの一例を示す概略図である。
　ゲーム状況テーブルは、サービス管理画面Ｇ３（図５）の生成に用いられる。
　ゲーム状況テーブルでは、サービスＩＤ、ゲーム状況、第１クラスゲーム状況、第２クラスゲーム状況、第３クラスゲーム状況、及びゲーム報告設定の各項目が対応付けられている。ゲーム状況テーブルは、サービスＩＤを主キーとして、ゲーム状況情報がレコードとして格納される。

　ゲーム状況には、サービス状況（全体）としての対戦数、成功数、失敗数、及びこれらの時間変化が格納される。第１クラスゲーム状況、第２クラスゲーム状況、及び第３クラスゲーム状況には、それぞれ、第１クラス、第２クラス、及び第３クラスについて、対戦数、成功数、失敗数、及びこれらの時間変化が格納される。ゲーム報告設定は、ゲーム状況情報を報告する設定であり、報告先（管理サーバ１）のＵＲＩや報告タイミングが格納されている。

　図１３は、本実施形態に係る収集状況テーブルの一例を示す概略図である。
　収集状況テーブルは、サービス管理画面Ｇ３（図５）の生成に用いられる。
　収集状況テーブルでは、サービスＩＤ、収集状況、第１クラス収集状況、第２クラス収集状況、第３クラス収集状況、及び収集報告設定の各項目が対応付けられている。収集状況テーブルは、サービスＩＤを主キーとして、収集状況情報がレコードとして格納される。

　収集状況には、サービス状況（全体）としてのモデル認識率及びデータセット数、及びこれらの時間変化が格納される。第１クラス収集状況、第２クラス収集状況、及び第３クラス収集状況には、それぞれ、第１クラス、第２クラス、及び第３クラスについて、モデル認識率及びデータセット数、及びこれらの時間変化が格納される。収集報告設定は、収集状況情報を報告する設定であり、報告先（管理サーバ１）のＵＲＩや報告タイミングが格納されている。

（収集管理テーブル：追加学習情報、収集データセット）
　図１４は、本実施形態に係る収集管理テーブルの一例を示す概略図である。
　収集管理テーブルは、追加学習情報及び収集データセットの管理に用いられる。
　収集状況テーブルでは、サービスＩＤ、追加学習情報、第１クラスデータセット、第２クラスデータセット、第３クラスデータセット、及び取得日時の各項目が対応付けられている。収集管理テーブルは、サービスＩＤを主キーとして、収集情報がレコードとして格納される。追加学習情報には、追加学習情報のＵＲＩが格納される。第１クラスデータセット、第２クラスデータセット、及び第３クラスデータセットには、それぞれ、第１クラス、第２クラス、及び第３クラスの収集データセットのＵＲＩが格納される。

（サービスログ）
　図１５は、本実施形態に係るサービスログの一例を示す概略図である。
　サービスログは、ユーザＩＤ、日時、サービスＩＤ、モデル情報、確定クラス、データセット、認識情報、ゲームＩＤ、イベントＩＤ、対戦キャラクタＩＤ、及び報酬ＩＤを含んで構成される。サービスログは、認識評価を行ったときの履歴である。

　ユーザＩＤは、ユーザを識別する識別子である。ユーザＩＤは、データを収集するサービスでのユーザＩＤであるが、ゲームでユーザを識別するユーザＩＤであってもよい。モデル情報は、認識評価に用いた学習済モデルの識別情報である。認識情報は、モデル認識率、認識率改善値、及び認識評価値である。データセットは、ユーザから入力されたクラス（確定クラス）と画像のデータセットである。
　図１５のサービスログは、「ユーザＩＤ」のユーザから、「日時」の日時に、「サービスＩＤ」のサービスで「モデル情報」の示す学習モデルに対して、「データセット」のクラスと画像のデータセットが入力され、このデータセットは、認識評価で「認識情報」のモデル認識率、認識率改善値、及び認識評価値となったことを示す。また、このデータセットは、「ゲームＩＤ」のゲームの「イベントＩＤ」のイベントにおいて、「対戦キャラクタＩＤ」の対戦キャラクタとの対戦で入力され、ユーザに対して「報酬ＩＤ」の報酬が付与されたことを示す。

＜管理サーバ１の処理＞
　図１６は、本実施形態に係る管理サーバ１の処理の一例を示すフロー図である。
　以下、図６を参照して、管理サーバ１の各部の処理を説明する。
　なお、管理サーバ１の各部は、他の装置と、通信部１１１を介して通信する。

（ステップＳ２０１）注文管理部１３１は、端末Ｔ１から注文情報を取得する。注文管理部１３１は、人工知能サーバ５から基準モデル設定及び基準データセットを取得する。注文管理部１３１は、注文情報を、注文情報記憶部１２１の注文テーブル、注文学習テーブル、注文料金テーブルに記憶させる。
（ステップＳ２０２）設定更新部１３２は、ステップＳ２０１の注文情報に基づいて、サービス設定画面Ｇ２を生成して、端末Ｔ１に表示させる。設定更新部１３２は、管理者からの入力に基づいて、ゲーム設定及び学習設定を更新する。ここで、設定更新部１３２は、クラス設定で「自動」が選択されている場合、例えば認識率の低いクラスを決定する。

（ステップＳ２０３）ゲーム設定部１３３は、ステップＳ２０２で更新されたゲーム設定を、ゲーム設定記憶部１２２のゲーム設定テーブルに記憶させるとともに、ゲームサーバ３へ送信する。
（ステップＳ２０４）学習設定部１３４は、ステップＳ２０２で更新された学習設定を、学習設定記憶部１２３の学習設定テーブルに記憶させるとともに、学習サーバ４へ送信する。

（ステップＳ２０５）サービス管理部１３５は、学習サーバ４から、サービスログを取得し、サービスログ記憶部１２６に記憶させる。サービス管理部１３５は、ゲームサーバ３からゲーム状況情報を取得し、状況情報記憶部１２４のゲーム状況テーブルに記憶させる。サービス管理部１３５は、学習サーバ４から収集状況情報を取得し、状況情報記憶部１２４の学習状況テーブルに記憶させる。
（ステップＳ２０６）サービス管理部１３５は、学習情報要求条件を充足するか否かを判定する。学習情報要求条件は、例えば、管理者が、図５のボタンＢＴ３２、ＢＴ３３、ＢＴ３４、ＢＴ３５、又は、ＢＴ３８をクリックするという条件である。また、学習情報要求条件は、例えば、学習設定のデータ収集条件を充足するという条件である。学習情報要求条件が充足されない場合、サービス管理部１３５は、ステップＳ２０５とステップＳ２０６の処理を継続する。

（ステップＳ２０７）学習情報要求条件が充足された場合、サービス管理部１３５は、追加学習情報要求を学習サーバ４へ送信する。サービス管理部１３５は、学習サーバ４から、追加学習情報と収集データセットを取得し、フォルダに保存する。サービス管理部１３５は、保存先のＵＲＩを、収集情報記憶部１２５の収集管理テーブルに記憶させる。
（ステップＳ２０８）納品管理部１３６は、管理者からの納品指示により、ステップＳ２０６で取得した追加学習情報と収集データセットを、納品情報の納品先（例えば、人工知能サーバ５）へ送信する。納品管理部１３６は、注文テーブルの注文情報の納品日に日付を書き込む。なお、納品管理部１３６は、管理者から納品日が入力された場合、その日付を納品日に書き込んでもよい。

（ステップＳ２０９）サービス管理部１３５は、ステップＳ２０５で取得したサービスログを集計し、ゲーム状況情報及び収集状況情報と併せて分析する。

＜携帯端末とゲームサーバ＞
　図１７は、本実施形態に係る携帯端末２の構成を示す概略ブロック図である。
　携帯端末２は、入出力部Ｉ２、記憶部Ｍ２、及び制御部Ｐ２を含んで構成される。
　入出力部Ｉ２は、通信部２１１、入力部２１２、出力部２１３、撮像部２１４、及びセンサ部２１５を含んで構成される。記憶部Ｍ２は、オペレーション記憶部２２１、ゲーム記憶部２２２、及びデータ記憶部２２３を含んで構成される。制御部Ｐ２は、オペレーション部２３１、ゲーム制御部２３２、撮影制御部２３３、情報閲覧部２３４、ファイル管理部２３５、及び表示制御部２３６を含んで構成される。

　通信部２１１は、通信モジュールで実現され、他の装置と通信を行う。
　入力部２１２は、タッチパネルやソフトウェアキーボードで実現され、ユーザからの入力を受け付ける。入力部２１２は、マイクや物理的なボタンで実現され、ユーザから、声や押下による入力を受け付ける。

　出力部２１３は、ディスプレイで実現され、画像（文字を含む）を表示する。出力部２１３は、スピーカ、ライト又は振動子で実現され、音、光又は振動による出力を行う。
　撮像部２１４は、カメラで実現され、撮像素子で撮影した画像（動画を含む）をデジタルデータ（画像ファイル）として記録する。
　センサ部２１５は、ＧＰＳ（全地球測位システム）、加速度センサ、ジャイロセンサ、又は照度センサ等のセンサで実現され、装置の状態又は装置の周囲環境（ユーザの状態を含む）を測定し、測定結果のデータを保存する。

　オペレーション部２３１は、オペレーション記憶部２２１にインストールされたＯＳによって、コンピュータのオペレーションを行う。オペレーション部２３１は、オペレーション記憶部２２１にデータを読み書きすることで、オペレーションを行う。
　ゲーム制御部２３２は、ゲーム記憶部２２２にインストールされたゲームアプリによって、ゲームを制御する。ゲーム制御部２３２は、ゲーム記憶部２２２にデータを読み書きすることで、ゲームを制御する。ゲーム制御部２３２の詳細は、後述する。

　撮影制御部２３３は、撮像部２１４を用いて撮影を行うアプリケーションである。撮影制御部２３３は、ゲーム制御部２３２からＡＰＩ（アプリケーションプログラミングインタフェース）を呼び出され、動作する。撮影制御部２３３は、撮像部２１４で撮影した画像について、その画像ファイルをデータ記憶部２２３に記憶させる。
　情報閲覧部２３４は、ウェブブラウザである。情報閲覧部２３４は、ゲーム制御部２３２からＡＰＩを呼出され、ウェブ（例えば、インターネット）上のファイルを、ユーザに閲覧させる。また、情報閲覧部２３４は、画像の送受信が可能なアプリである。情報閲覧部２３４は、画像ファイルを、ダウンロードしてデータ記憶部２２３に記憶させる。
　ファイル管理部２３５は、ファイルブラウザである。ファイル管理部２３５は、ゲーム制御部２３２からＡＰＩを呼出され、記憶部Ｍ２に記憶されているファイルを、ユーザに閲覧させる。

　表示制御部２３６は、制御部Ｐ２の各部からの映像データに従って、映像信号を生成し、出力部２１３に画像を表示させる。
　なお、撮影制御部２３３、情報閲覧部２３４、及びファイル管理部２３５は、ユーザからの入力により直接動作するアプリであってもよい。

　図１８は、本実施形態に係るゲームサーバ３の構成を示す概略ブロック図である。
　ゲームサーバ３は、入出力部Ｉ３、記憶部Ｍ３、及び制御部Ｐ３を含んで構成される。
　入出力部Ｉ３は、通信部３１１を含んで構成される。記憶部Ｍ３は、オペレーション記憶部３２１、及び管理アプリ記憶部３２２を含んで構成される。制御部Ｐ３は、オペレーション部３３１、及び管理アプリ制御部３３２を含んで構成される。

　通信部３１１は、通信モジュールで実現され、他の装置と通信を行う。
　オペレーション部３３１は、オペレーション記憶部３２１にインストールされたＯＳによって、コンピュータのオペレーションを行う。オペレーション部３３１は、オペレーション記憶部３２１にデータを読み書きすることで、オペレーションを行う。
　管理アプリ制御部３３２は、管理アプリ記憶部３２２にインストールされた管理アプリケーションによって、携帯端末２のゲームを制御する。管理アプリ制御部３３２は、管理アプリ記憶部３２２にデータを読み書きすることで、ゲームを制御する。管理アプリ制御部３３２の詳細は、後述する。

　図１９は、本実施形態に係るゲーム制御部２３２と管理アプリ制御部３３２の構成を示す概略ブロック図である。
　ゲーム制御部２３２は、イベント管理部２３２１、クラス提示部２３２２、画像取得部２３２３、データセット提供部２３２４、変数値更新部２３２５、及び報酬付与部２３２６を含んで構成される。管理アプリ制御部３３２は、イベント通知部３３２１、クラス管理部３３２２、データセット受信部３３２３、判定部３３２４、報酬決定部３３２５、及びログ生成部３３２６を含んで構成される。

　図２０は、本実施形態に係るゲーム制御部２３２と管理アプリ制御部３３２の処理の一例を示すシーケンス図である。
　以下、図１７、図１８、図１９を参照して、ゲーム制御部２３２と管理アプリ制御部３３２の各部の処理を説明する。なお、管理アプリ制御部３３２は、管理サーバ１から受信したゲーム設定（図１０）を、管理アプリ記憶部３２２に記憶させる。

（ステップＳ３０１）イベント通知部３３２１は、管理アプリ記憶部３２２に記憶されたゲーム設定を読み出し、ゲーム設定のサービスＩＤ、ゲームＩＤ、イベントＩＤ及び対戦キャラクタＩＤを、ゲーム制御部２３２へ通知する。
（ステップＳ３０２）イベント管理部２３２１は、ステップＳ３０１で通知されたゲームＩＤのゲームにおいて、対戦キャラクタＩＤに対応するアイコンを、表示制御部２３６に表示させる。このアイコンがユーザにタップされた場合、イベント管理部２３２１は、サービスＩＤを、管理アプリ制御部３３２へ通知する。

（ステップＳ３０３）クラス管理部３３２２は、ステップＳ３０２で通知されたサービスＩＤに対して、ゲーム設定で対応する設定クラスを参照する。クラス管理部３３２２は、参照した設定クラスとして、第１クラス、第２クラス、第３クラスを、ゲーム制御部２３２へ通知する。
（ステップＳ３０４）クラス提示部２３２２は、ステップＳ３０３で通知された設定クラスを、表示制御部２３６に表示させる。例えば図１では、表示制御部２３６は、画面Ｇ１１（出力部２１３）の領域Ｇ１１２に、第１クラス（猫）、第２クラス（チーズ）、及び第３クラス（自動車）を表示させている。

（ステップＳ３０５）ユーザが撮影を選択した場合、画像取得部２３２３は、撮影制御部２３３を呼出して、ユーザに撮影させる。ユーザは、ステップＳ３０４で表示された設定クラスのオブジェクトを、撮影する。画像取得部２３２３は、撮影制御部２３３が撮影した画像を取得する。例えば図１では、ユーザは、画面Ｇ１１でボタンＢＴ１１をタップし、画面Ｇ１２の画像Ｇ１２１を撮影している。
　なお、ユーザがボタンＢＴ１１をタップした場合、画像取得部２３２３は、ファイル管理部２３５を呼出して、ユーザに画像ファイルを選択させる。画像取得部２３２３は、ファイル管理部２３５で選択された画像を取得する。

（ステップＳ３０６）データセット提供部２３２４は、ユーザにクラスを選択させる表示を、表示制御部２３６に表示させる。例えば図１では、表示制御部２３６は、画面Ｇ１２（出力部２１３）に、第１クラス（猫）、第２クラス（チーズ）、又は第３クラス（自動車）のいずれか１個を選択させるプルダウンメニューＧ１２２を、表示させている。ユーザがクラスを選択した場合、データセット提供部２３２４は、選択されたクラスを、確定クラスとする。
（ステップＳ３０７）データセット提供部２３２４は、ステップＳ３０５で取得された画像と、ステップＳ３０６で選択された確定クラスと、をデータセットとして、管理アプリ制御部３３２へ送信する。

（ステップＳ３０８）データセット受信部３３２３は、ステップＳ３０７で送信されたデータセットを受信する。
（ステップＳ３０９）判定部３３２４は、ステップＳ３０８で受信されたデータセットを、認識評価を要求する評価要求として、学習サーバ４へ送信する。判定部３３２４は、認識評価の評価結果として、学習サーバ４から、認識率改善値を受信する。認識率改善値は、モデル認識率の改善具合を１０段階で評価した値（後述する図２７）である。
（ステップＳ３１０）報酬決定部３３２５は、ステップＳ３０９で受信された認識率改善値に応じて、ユーザに付与する報酬を決定する（「報酬決定処理」とも称する）。報酬決定処理については、後述する（図２０参照）。

（ステップＳ３１１）変数値更新部２３２５は、ステップＳ３０１で決定された報酬のうち、ゲームでの変数（ヒットポイント）を更新する。変数値更新部２３２５は、更新の結果を表示制御部２３６に表示させる。例えば図１では、表示制御部２３６は、画面Ｇ１３（出力部２１３）に、画像Ｇ１３２（マイナス３００ポイント）と画像Ｇ１３３（プラス１００ポイント）を表示せている。
（ステップＳ３１２）報酬付与部２３２６は、ステップＳ３０１で決定された報酬のうち、ゲームオブジェクト（カード）を付与する。報酬付与部２３２６は、付与の結果を表示制御部２３６に表示させる。例えば図１では、表示制御部２３６は、画面Ｇ１４（出力部２１３）に、カードＧ１４１を表示させている。

（ステップＳ３１１）ログ生成部３３２６は、ゲームログ（図１５参照）を生成し、管理サーバ１へ送信する。具体的には、ログ生成部３３２６は、ユーザの「ユーザＩＤ」、ステップステップＳ３０９で認識率改善値を受信した「日時」、ステップＳ３０７の「データセット」（確定クラスと画像）を、ゲームログとして記録する。また、ログ生成部３３２６は、ステップＳ３０２で通知された「サービスＩＤ」に対応する「ゲームＩＤ」、「イベントＩＤ」、「対戦キャラクタＩＤ」、及び、ステップＳ３０１で決定された報酬の「報酬ＩＤ」を、ゲームログに記録する。ログ生成部３３２６は、記録したゲームログを、学習サーバ４へ送信する。また、ログ生成部３３２６は、サービスＩＤ及び設定クラスごとに、対戦数、成功数、失敗数、及びこれらの時間変化を算出することで、ゲーム状況情報を生成する。ログ生成部３３２６は、ゲーム報告設定に従って、管理サーバ１へ送信する。

（報酬決定処理）
　報酬決定部３３２５が行う報酬決定処理について、説明する。
　報酬決定部３３２５は、報酬選択テーブル（図２１）を参照し、認識率改善値に対する報酬を、ユーザに付与する報酬とする。

　図２１は、本実施形態に係る報酬選択テーブルの一例を示す概略図である。
　報酬選択テーブルは、管理アプリ記憶部３２２に記憶され、報酬決定処理に用いられる。報酬選択テーブルは、サービス設定画面Ｇ２（図４）からの入力で更新されてもよい。
　報酬選択テーブルでは、サービスＩＤ、認識評価値、対象変数、変数値、付与条件、及びゲームオブジェクトの各項目が対応付けられている。報酬選択テーブルは、サービスＩＤと認識評価値を主キーとして、報酬選択情報がレコードとして格納される。

　対象変数は、報酬として更新されるゲームでの変数である。変数値は、更新後の変数の値または変数の値の変化である。付与条件はゲームオブジェクトを付与する条件である。報酬は、認識評価値が高い程、つまり、モデル認識率が高くなる程、より良い報酬が設定されている。逆に、報酬は、認識評価値が低い程、つまり、モデル認識率が低くなる程、より悪い報酬が設定されている。
　より良い報酬とは、操作キャラクタの変数値がより高く上がる報酬、対戦キャラクタの変数値がより低く下がる報酬、ゲームオブジェクトが付与される報酬、又は、より高いレアリティのゲームオブジェクトが付与される報酬である。より悪い報酬とは、操作キャラクタの変数値がより低く下がる報酬、対戦キャラクタの変数値がより高く上がる報酬、ゲームオブジェクトが付与されない報酬、又は、より低いレアリティのゲームオブジェクトが付与される報酬である。

　報酬決定部３３２５は、管理アプリ記憶部３２２に記憶された報酬選択テーブルを用いることで、認識評価値に応じて報酬を決定する。具体的には、報酬決定部３３２５は、認識評価値が高くなるほど、報酬を、より良い報酬に決定する。逆に、報酬決定部３３２５は、認識評価値が低くなるほど、報酬を、より悪い報酬に決定する。
　なお、認識評価値は、モデル認識率が高くなる程、又は認識率改善値が増加する程、高い値となる。逆に、認識評価値は、モデル認識率が低くなる程、又は認識率改善値が減少する程、低い値となる。認識率改善値とは、データセットによる学習後の学習済モデルのモデル認識率から、学習前の学習済モデルのモデル認識率を差し引いた値である。

　図２２は、本実施形態に係る学習サーバ４の構成を示す概略ブロック図である。
　学習サーバ４は、入出力部Ｉ４、記憶部Ｍ４、及び制御部Ｐ４を含んで構成される。
　入出力部Ｉ４は、通信部４１１を含んで構成される。記憶部Ｍ４は、サービスＩＤごとに、学習設定記憶部４２１、基準記憶部４２２、収集データ記憶部４２３、及び収集ログ記憶部４２４を含んで構成される。図２２では、説明の簡便のため、特定のサービスＩＤについての学習サーバ４の構成が示されている。制御部Ｐ４は、学習設定部４３１、データ取得部４３２、学習部４３３、評価部４３４、及び報告部４３5を含んで構成される。
　収集データ記憶部４２３は、追加学習済モデル記憶部４２３１、第１データセット記憶部４２３２、第２データセット記憶部４２３３、及び第３データセット記憶部４２３４を含んで構成される。

＜学習サーバ＞
　図２３は、本実施形態に係る学習サーバ４の処理の一例を示すフロー図である。
　以下、図２２を参照して、学習サーバ４の各部の処理を説明する。
　なお、学習サーバ４の各部は、他の装置と、通信部４１１を介して通信する。

（ステップＳ４０１）学習設定部４３１は、管理サーバ１から送信された学習設定（図１１）を受信し、学習設定記憶部４２１に記憶させる。学習設定部４３１は、その学習設定の機会学習プログラムを設定する。このとき設定された機会学習プログラムの学習済モデルを「基準学習済モデル」とも称する。

（ステップＳ４０２）学習設定部４３１は、学習設定の基準データセットを、学習設定記憶部４２１に記憶させる。学習設定部４３１は、ステップＳ４０１で設定された基準学習済モデルに基準データセットの画像を入力することで、基準データセットのクラスについてのモデル認識率（「基準認識率」とも称する）を算出する。例えば、猫の画像と「猫」が基準データセットの場合、学習設定部４３１は、その猫の画像を入力し、出力されたクラスごとの確率のうち、画像が「猫」である確率を、基準認識率として算出する。
　学習設定部４３１は、算出した基準認識率を、基準認識率として、基準記憶部４２２に記憶させる。ここで、学習設定部４３１は、クラスごとに、少なくとも１対の基準データセットに基づいて基準認識率を算出して、基準記憶部４２２に記憶させる。

（ステップＳ４０３）データ取得部４３２は、ゲームサーバ３から送信された評価要求（図３のステップＳ１１４、図２０のステップＳ３０９）を受信し、ユーザから入力されたデータセットを取得する。データ取得部４３２は、取得したデータセットを収集データ記憶部４２３に記憶させる。なお、データ取得部４３２は、例えば、確定クラスが「猫」、「チーズ」、「自動車」の場合、それぞれ、第１データセット記憶部、第２データセット記憶部、第３データセット記憶部に記憶させる。

（ステップＳ４０４）学習部４３３は、ステップＳ４０３で取得されたデータセットを用いて、機会学習プログラムに、ステップＳ４０１で設定された基準学習済モデルに対して、さらなる機械学習を行わせる。この機械学習によって、機会学習プログラムが生成した学習済モデルを、「評価学習済モデル」とも称する。
（ステップＳ４０５）評価部４３４は、評価学習済モデルに、データセットの確定クラスの基準データセットの画像を入力することで、モデル認識率（「評価認識率」とも称する）を算出する。評価部４３４は、算出した評価認識率から基準認識率を差し引いた値を、認識率改善値として算出する。
（ステップＳ４０６）評価部４３４は、評価値テーブルを用いて（図２７参照）、算出した認識率改善値に応じた認識評価値を決定する。評価部４３４は、決定した認識評価値を、ステップＳ４０３の評価要求への応答として返信する。
　ステップＳ４０４からステップＳ４０６までの評価処理についての詳細は、後述する。

（ステップＳ４０７）報告部４３５は、ゲームサーバ３から送信されたログ（図３のステップＳ１１７、図２０のステップＳ３１３）を受信する。報告部４３５は、受信したログに、認識情報としてモデル認識率、認識率改善値、及び認識評価値を追加することで、サービスログを生成する。報告部４３５は、生成したサービスログを収集ログ記憶部４２４に記憶させるとともに、管理サーバ１へ送信する（図１５参照）。また、報告部４３５は、サービスＩＤ及び設定クラスごとに、モデル認識率及びデータセット数、及びこれらの時間変化を算出することで、収集状況情報を生成する。報告部４３５は、収集報告設定に従って、管理サーバ１へ送信する。
（ステップＳ４０８）報告部４３５は、学習設定の「学習＿データ収集条件」の条件を充足するか否かを判定する。その条件が充足されている場合、制御部Ｐ４は、ステップＳ４０３からＳ４０７の処理を繰り返す。

　一方、その条件が充足されない場合、制御部Ｐ４は、データセットの収集を終了する。この場合、報告部４３５は、ゲームサーバ３に、終了する対象のサービスＩＤを通知し、サービスＩＤに対応するイベントＩＤのイベントを終了させる。
　特定のクラス（「終了クラス」とも称する）のみについての条件が充足されない場合、制御部Ｐ４は、その終了クラスについてのデータセットの収集を終了する。報告部４３５は、ゲームサーバ３に、終了する対象のサービスＩＤ及び終了クラスを通知し、例えば、サービスＩＤに対応するイベントＩＤのイベントで、終了クラスの表示を削除させる。この場合、その他のクラスについて、制御部Ｐ４は、ステップＳ４０３からＳ４０７の処理を繰り返す。

（ステップＳ４０８）管理サーバから追加学習情報要求を受信した場合、学習部４３３は、第１データセット記憶部４２３２、第２データセット記憶部４２３３、及び第３データセット記憶部４２３４に記憶されたデータセット（収集データセット）を読み出す。学習部４３３は、読み出した収集データセットを用いて、機会学習プログラムに、基準学習済モデルに対して機械学習を行わせる。この機械学習によって、機会学習プログラムは、追加学習済モデルを生成する。報告部４３５は、追加学習済モデルの追加学習情報及び収集データセットを、追加学習情報要求への応答として、管理サーバ１へ送信する。
　追加学習情報には、例えばＣＮＮ等のニューラルネットワークの場合、追加学習済モデルの重み係数が含まれる。

＜評価処理＞
　以下、制御部Ｐ４が行う評価処理について、詳細を説明する。次の例は、学習設定のモデル種別が「ＣＮＮ」の場合の例である。
　学習部４３３は、ユーザから入力されたデータセットから、画像と確定クラスを抽出する。学習部４３３は、学習用のＣＮＮに対して、画像の画素値を入力層に入力する入力変数とし、確定クラスを出力層から出力される出力変数として設定する。なお、出力変数は、確定クラスに対応付けられた数値や分類であってもよい。

［ＣＮＮについて］
　図２４は、本実施形態に係る機械学習における実行手順を説明する説明図である。
　この図において、ＣＮＮは、Ｌ個の層Ｌ０～Ｌ４から構成される。層Ｌ１は入力層、層Ｌ２～層Ｌ３は中間層或いは隠れ層、層Ｌ４は出力層とも呼ばれる。

　ＣＮＮは、入力層Ｌ０に、入力画像が入力される。入力画像は、入力画像の垂直方向の位置と水平方向の位置を、行列の位置とする画素行列Ｄ１１で表される。画素行列Ｄ１１の各要素は、行列の位置に対応する画素のサブ画素値として、Ｒ（赤）のサブ画素値、Ｇ（緑）のサブ画素値、Ｂ（青）サブ画素値が入力されている。
　１番目の中間層Ｌ１は、畳み込み処理（フィルター処理とも呼ばれる）とプーリング処理が行われる層である。

（畳み込み処理）
中間層Ｌ１の畳み込み処理の一例について説明する。畳み込み処理は、元の画像にフィルタをかけて特徴マップを出力する処理である。
　具体的には、入力された画素値は、それぞれ、Ｒのサブ画素行列Ｄ１２１、Ｂのサブ画素行列Ｄ１２２、Ｇのサブ画素行列Ｄ１２３に分けられる。各サブ画素行列Ｄ１２１、Ｄ１２２、Ｄ１２３（各々を「サブ画素行列Ｄ１２」とも称する）は、それぞれ、s行ｔ列の部分行列ごとに、その部分行列の各要素とs行ｔ列のコンボリューション行列ＣＭ１（カーネルとも呼ばれる）の要素が乗算されて加算されることで、第１画素値が算出される。各サブ画素行列Ｄ１２で算出された第１画素値は、それぞれ、重み係数を乗算されて加算されることで、第２画素値が算出される。第２画素値は、部分行列の位置に対応する行列要素として、畳込画像行列Ｄ１３１の各要素に設定される。各サブ画素行列Ｄ１２において部分行列の位置が要素（サブ画素）ごとにずらされることで、各位置での第２画素値が算出され、畳込画像行列Ｄ１３１の全ての行列要素が算出される。

　例えば、図２４は３行３列のコンボレーション行列ＣＭ１の場合の一例であり、畳込画素値Ｄ１３１１は、各サブ画素行列Ｄ１２の２行目から４行目、かつ、２列目から４列目までの４行４列の部分行列について第１画素値が算出される。各サブ画素行列Ｄ１２１、Ｄ１２２、Ｄ１２３の第１画素値に、重み係数が算出されて加算されることで、畳込画像行列Ｄ１３１の２行目２列目の行列要素として、第２画素値が算出される。同様に、３行目から５行目、かつ、２列目から４列目の部分行列から、畳込画像行列Ｄ１３１の３行目２列目の行列要素の第２画素値が算出される。
　また同様に、他の重み付け係数又は他のコンボリューション行列を用いて、畳込画像行列Ｄ１３２、・・・が算出される。

（プーリング処理）
　中間層Ｌ１のプーリング処理の一例について説明する。プーリング処理は、画像の特徴を残しながら画像を縮小する処理である。
　具体的には、畳込画像行列Ｄ１３１は、ｕ行ｖ列の領域ＰＭごとに、領域内の行列要素の代表値が算出される。代表値は、例えば、最大値である。その代表値は、領域の位置に対応する行列要素として、ＣＮＮ画像行列Ｄ１４１の各要素に設定される。畳込画像行列Ｄ１３１において領域が、領域ＰＭごとにずらされることで、各位置での代表値が算出され、畳込画像行列Ｄ１３１の全ての行列要素が算出される。

　例えば、図２４は２行２列の領域ＰＭの場合の一例であり、畳込画像行列Ｄ１３１の３行目から４行目、かつ、３列目から４列目までの２行２列の領域について、領域内の第２画素値のうち最大値が、代表値として算出される。この代表値は、ＣＮＮ画像行列Ｄ１４１の２行目２列目の行列要素に設定される。同様に、５行目から６行目、かつ、２列目から４列目の部分行列から、ＣＮＮ画像行列Ｄ１４１の３行目２列目の行列要素の代表値が算出される。また同様に、畳込画像行列Ｄ１３２、・・・から、ＣＮＮ画像行列Ｄ１４２、・・・が算出される。

　ＣＮＮ画像行列Ｄ１４１、Ｄ１４２、・・・の各行列要素（Ｎ個）は、予め定められた順序で並べられることで、ベクトルｘが生成される。図２４では、ベクトルｘの要素ｘ_ｎ（ｎ＝１、２、３、・・・Ｎ）は、Ｎ個のノードで表されている。

　中間層Ｌ２は、第ｉ番目の中間層（ｉ＝２～Ｌ－１）の中間層を表している。第ｉ目の中間層のノードからは、ベクトルｕ^（ｉ）が関数ｆ（ｕ^（ｉ））に入力された値として、ベクトルｚ^（ｉ）が出力される。ベクトルｕ^（ｉ）は、第ｉ－１目の中間層のノードから出力されるベクトルｚ^{（ｉ-１）}に、重み行列Ｗ^（ｉ）を左から乗算し、ベクトルｂ^（ｉ）を加算したベクトルである。関数ｆ（ｕ^（ｉ））は、活性化関数であり、ベクトルｂ^（ｉ）は、バイアスである。またベクトルｕ^（０）は、ベクトルｘである。
　出力層Ｌ４のノードはｚ^{（Ｌ-１）}であり、その出力は、Ｍ個のｙ_ｍ（ｍ＝１、２、・・・Ｍ）である。つまり、ＣＮＮの出力層からは、ｙ_ｍを要素とするベクトルｙ（＝（ｙ_１、ｙ_２、ｙ_３、・・・ｙ_Ｍ））が出力される。

　以上により、ＣＣＮは、入力変数として入力画像の画素値が入力された場合に、出力変数としてベクトルｙを出力する。ベクトルｙは、クラスごとの認識率を表す。

　図２５は、本実施形態に係る機械学習における学習手順を説明する説明図である。
　この図において、図２４のＣＮＮが機械学習を行う場合の説明図である。
　データセットの画像の画素値に対して、第１番目の中間層から出力されたベクトルｘをベクトルＸとする。データセットの確定クラスを表すベクトルをベクトルＹとする。

　重み行列Ｗ^（ｉ）には、初期値が設定される。入力画像が入力層に入力され、その結果、第２番目の中間層にベクトルＸが入力された場合、出力層からベクトルＸに応じたベクトルｙ（Ｘ）が出力される。ベクトルｙ（Ｘ）とベクトルＹの誤差Ｅは、損失関数を用いて計算される。第ｉ層の勾配ΔＥ_ｉは、各層からの出力ｚ_ｉと誤差信号δ_ｉを用いて計算される。誤差信号δ_ｉは、誤差信号δ_ｉ－１を用いて計算される。なお、このように、出力層側から入力層側へ誤差信号を伝えていくことは、逆伝搬とも呼ばれる。
　重み行列Ｗ^（ｉ）は、勾配ΔＥ_ｉに基づいて更新される。同様に、第１番目の中間層においても、コンボリューション行列ＣＭ又は重み係数が更新される。

［基準学習済モデルの設定］
　学習設定部４３１は、ＣＮＮの場合、層数、各層のノード数、各層間のノードの結合方式、活性化関数、誤差関数、及び勾配降下アルゴリズム、プーリングの領域、カーネル、重み係数、重み行列を設定する。
　学習設定部４３１は、例えば、層数として、４層（Ｌ＝３）を設定する。ただし、本発明はこれに限らず、総数は、５層以上であってもよい。学習設定部４３１は、各層のノードの数（「ノード数」とも称する）として、ベクトルｘの要素数（ノード数Ｎ）に８００、第２番目の中間層（ｉ＝２）のノード数に５００、出力層（ｉ＝３）に１０を設定する。ただし、ノード数には、別の値が設定されてもよい。

　学習設定部４３１は、２０個の５行５列のコンボリューション行列ＣＭをし、２行２列の領域ＰＭを設定する。ただし、本発明はこれに限らず、別の行列数又は別の個数のコンボリューション行列ＣＭが設定されてもよい。また、別の行列数の領域ＰＭが設定されてもよい。
　学習設定部４３１は、より多くの畳み込み処理又はプーリング処理を行ってもよい。

　学習設定部４３１は、ニューラルネットワークの各層の結合として、全結合を設定する。ただし、本発明はこれに限らず、一部或いは全ての層の結合は、非全結合に設定であってもよい。学習設定部４３１は、活性化関数として、全ての層の活性化関数にシグモイド関数を設定する。ただし、本発明はこれに限らず、各層の活性化関数は、ステップ関数、線形結合、ソフトサイン、ソフトプラス、ランプ関数、切断冪関数、多項式、絶対値、動径基底関数、ウェーブレット、ｍａｘｏｕｔ等、他の活性化関数であってもよい。また、ある層の活性化関数は、他の層とは異なる種類であってもよい。

　学習設定部４３１は、誤差関数として、二乗損失（平均二乗誤差）を設定する。ただし、本発明はこれに限らず、誤差関数は、交差エントロピー、τ－分位損失、Ｈｕｂｅｒ損失、ε感度損失（ε許容誤差関数）であってもよい。また、学習設定部４３１は、勾配を計算するアルゴリズム（勾配降下アルゴリズム）として、ＳＧＤ（確率的勾配降下）を設定する。ただし、本発明はこれに限らず、勾配降下アルゴリズムには、Ｍｏｍｅｎｔｕｍ（慣性項）ＳＤＧ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍ（Ａｄａｐｔｉｖｅｍｏｍｅｎｔｅｓｔｉｍａｔｉｏｎ）等が用いられても良い。

　学習設定部４３１は、畳み込みニューラルネットワーク（ＣＮＮ）に限らず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク（ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）等の他のニューラルネットワークを設定してもよい。また、学習設定部４３１は、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、線形回帰、ロジスティック回帰、又は、ＳＶＭ（サポートベクターマシン）等の教師あり学習の学習済モデルを一部或いは全部に設定してもよい。

［評価処理］
　学習部４３３は、上記ＣＮＮを用いた学習の結果、重み行列ｗ^（ｉ）コンボリューション行列ＣＭ又は重み係数が更新されたＣＮＮを、評価学習済みモデルとして取得する。
　評価部４３４は、基準データセットの画像の画素値を、評価学習済みモデルに入力することで、その出力として評価認識率を取得する。評価部４３４は、算出した評価認識率から基準認識率を差し引いた値を、認識率改善値として算出する。

　図２６は、本実施形態に係る認識率改善値の算出処理を説明する説明図である。
　この図は、確定クラスが「猫」のとき、図２３の処理が行われた場合の説明図である。
　ステップＳ４０２の処理で、基準データセットの画像に対して、基準学習済モデルでの基準認識率は、「猫」の「８９％」である。
　ステップＳ４０４の処理で、ユーザから入力されたデータセットを用いて、基準学習済モデルに対して機械学習が行われた結果、「評価学習済モデル」が生成される。
　ステップＳ４０５では、基準データセットの画像に対して、「評価学習済モデル」での基準認識率は、「猫」の「９０．２％」である。
　この場合、クラス「猫」での認識率改善値は、１．２％（９０．２％－８９％）と算出される。

　図２７は、本実施形態に係る評価値テーブルの一例を示す概略図である。
　評価部４３４は、基準記憶部４２２に記憶されている評価値テーブルを用いて、認識率改善値に応じた認識評価値を決定する。なお、評価値テーブルは、サービス設定画面Ｇ２（図４）からの入力で更新されてもよい。
　評価値テーブルでは、サービスＩＤ、認識率改善値、及び認識評価値の各項目が対応付けられている。認識評価値は、サービスＩＤと認識率改善値を主キーとして、評価値情報がレコードとして格納される。
　認識評価値は、認識率改善値が高くなる程、高い値が設定されている。逆に、認識評価値は、認識率改善値が低くなる程、低い値が設定されている。

　なお、認識率改善値と認識評価値の関係は、サービスＩＤごとに、異なる関係を設定できる。例えば、同じデータセットでも、異なる基準モデル設定（基準学習済モデル）では、通常、認識率改善値は異なる。本実施形態では、サービスＩＤごとに認識率改善値と認識評価値の関係を設定できるので、機械学習システムＳｙｓは、基準モデル設定が異なる場合（サービスＩＤも異なる）でも、異なる関係を設定できる。これにより、機械学習システムＳｙｓは、認識評価での認識率改善値の算出基準が変わってしまう場合でも、ユーザに対して、基準の違いを吸収して、報酬を付与することができる。

＜人工知能サーバ５と制御機器６＞
　図２８は、本実施形態に係る人工知能サーバ５の構成を示す概略ブロック図である。
　人工知能サーバ５は、入出力部Ｉ５、記憶部Ｍ５及び制御部Ｐ５を含んで構成される。
　入出力部Ｉ５は、通信部５１１を含んで構成される。記憶部Ｍ５は、オペレーション記憶部５２１、及びアプリ記憶部５２２を含んで構成される。制御部Ｐ５は、オペレーション部５３１、機器制御部５３２、及び学習部５３３を含んで構成される。

　通信部５１１は、通信モジュールで実現され、他の装置と通信を行う。
　オペレーション部５３１は、オペレーション記憶部５２１にインストールされたＯＳによって、コンピュータのオペレーションを行う。オペレーション部５３１は、オペレーション記憶部５２１にデータを読み書きすることで、オペレーションを行う。
　機器制御部５３２は、アプリ記憶部５２２にインストールされたアプリケーションによって、制御機器６を制御する。機器制御部５３２は、管理サーバ１から納品された追加学習済モデルを、アプリ記憶部５２２に記憶させる。機器制御部５３２は、制御機器６から入力された画像を、この追加学習済モデルに入力し、出力されたクラスを用いて、制御機器６を制御する。

　なお、学習部５３３は、他のデータセットを用いて、追加学習済モデルに対して、さらなる機械学習を行ってもよい。また、学習部５３３は、管理サーバ１から納品された収集データセットの一部或いは全部を用いて、他の学習済モデル（例えば、基準学習済モデル）に対して、機械学習を行ってもよい。

　図２９は、本実施形態に係る制御機器６の構成を示す概略ブロック図である。
　制御機器６は、入出力部Ｉ６、記憶部Ｍ６、及び制御部Ｐ６を含んで構成される。
　入出力部Ｉ６は、通信部６１１、入力部６１２、出力部６１３、撮像部６１４、センサ部６１５、及び駆動部６１６の一部或いは全部を含んで構成される。記憶部Ｍ６は、オペレーション記憶部６２１、及びアプリ記憶部６２２を含んで構成される。制御部Ｐ６は、オペレーション部６３１、アプリ制御部６３２、及び撮影制御部６３３を含んで構成される

　通信部６１１は、通信モジュールで実現され、他の装置と通信を行う。
　入力部６１２は、タッチパネルやソフトウェアキーボードで実現され、ユーザからの入力を受け付ける。入力部６１２は、マイクや物理的なボタンで実現され、ユーザから、声や押下による入力を受け付ける。

　出力部６１３は、ディスプレイで実現され、画像（文字を含む）を表示する。出力部６１３は、スピーカ、ライト又は振動子で実現され、音、光又は振動による出力を行う。
　撮像部６１４は、カメラで実現され、撮像素子で撮影した画像（動画を含む）をデジタルデータ（画像ファイル）として記録する。
　センサ部６１５は、ＧＰＳ、加速度センサ、ジャイロセンサ、照度センサ、赤外線センサ、温度センサ、姿勢センサ等のセンサで実現され、装置の状態又は装置の周囲環境を測定し、測定結果のデータを保存する。
　駆動部６１６は、ロボットアームのアーム部や把持部等の動作機器、空調や調温等の制御機器、物理的な動作又は物理的な状態を変化させる機器である。

　オペレーション部６３１は、オペレーション記憶部６２１にインストールされたＯＳによって、コンピュータのオペレーションを行う。オペレーション部６３１は、オペレーション記憶部６２１にデータを読み書きすることで、オペレーションを行う。
　アプリ制御部６３２は、アプリ記憶部６２２にインストールされたアプリケーションによって、出力を制御する。アプリ制御部６３２は、アプリ記憶部６２２にデータを読み書きすることで、出力を制御する。
　撮影制御部６３３は、撮像部６１４を用いて撮影を行うアプリケーションである。撮影制御部６３３は、アプリ制御部６３２からＡＰＩを呼び出され、動作する。

　アプリ制御部６３２は、撮像部６１４で撮影した画像を、人工知能サーバ５へ送信する。アプリ制御部６３２は、人工知能サーバ５からクラスを受信する。アプリ制御部６３２は、受信したクラスに応じて、入出力部Ｉ６の各部を制御する。

＜まとめ＞
（１）以上のように、機械学習システム（例えば、機械学習システムＳｙｓ）は、第１システム（例えばデータ収集システムＳｙｓＡ）と第２システム（人工知能システムＳｙｓＢ）を備える。
　第１システムでは、提示部（例えば、ゲーム制御部２３２、クラス提示部２３２２）、機械学習のための目的情報（例えばクラス）を提示する。入力部（例えば画像取得部２３２３）は、前記目的情報に対する説明情報（例えば、画像）を、ユーザから入力される。取得部（例えば、データセット提供部２３２４、データセット受信部３３２３、データ取得部４３２）は、前記説明情報と前記目的情報を取得する。評価部（例えば評価部４３４）は、前記説明情報に基づく入力変数（例えば画像の画素値）と前記目的情報に基づく出力変数（例えば確定クラス）のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度（例えば認識率）についての評価（例えば認識評価）を行う。報酬付与部（例えば、報酬決定部３３２５、報酬付与部２３２６）は、前記評価に応じた報酬（例えばヒットポイントの増減、カード）を、前記ユーザに対して付与する。履歴生成部（例えば報告部４３５）は、前記目的情報、前記評価結果、及び前記報酬を関係付けられた履歴情報（サービスログ）を生成する。
　第２システムでは、モデル記憶部（例えばアプリ記憶部５２２）は、前記データセットの少なくとも１個に基づいて学習が行われた学習済モデル（例えば追加学習済モデル）を記憶する。実行部（例えば機器制御部５３２）は、前記モデル記憶部が記憶する学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する。

　これにより、機械学習システムは、目的情報を提示した上で、各ユーザから、機械学習に用いるデータとして、目的情報と説明情報のデータセットを収集できる。各ユーザが説明情報を入力するので、機械学習システムは、多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。
　また、機械学習システムは、ユーザが目的情報を指定された上で、簡易な操作で説明情報を提供できるので、効率的に機械学習に用いるデータを収集できる。また、ユーザが評価結果に応じた報酬が付与されるので、評価結果が良くなる画像を提供する。この場合、機械学習システムは、評価結果が良くなる画像を、機械学習に用いるデータとして収集できる。また、機械学習システムは、目的情報、評価結果、及び報酬を関係付けられた履歴情報を生成するので、例えば履歴情報を集計することで、目的情報、評価結果、及び報酬の関係を分析することができる。

　なお、目的情報は、クラス以外の目的変数、従属変数、外敵基準であってもよい。目的情報は、教示あり学習における出力又は出力に関する情報であってもよい。目的情報は、教師データであってもよい。説明情報は、画像以外の独立変数であってもよく、例えば文字列、音等の波形、又は特徴量空間等の座標の値であってもよい。説明情報は、教示あり学習における入力又は入力に関する情報であってもよい。　入力変数及び出力変数には、それぞれ、説明情報及び目的情報の複製も含まれる。また、出力変数は、画像であってもよい。

　また、説明情報をユーザから入力されることには、複数の説明変数を一度に、又は、連続して入力されることが含まれる。例えば、提示されたクラス（例えば「猫」）に対し、「猫」の撮像画像を、複数枚を一度に送信することが含まれる。複数枚を一度に送信することには、連続撮影した画像群を一度に送信させることが含まれる。連続撮影した画像群を送信させる場合、機械学習システムＳｙｓは、類似する複数の画像をデータセットとして取得できる。これにより、機械学習システムＳｙｓは、例えばモデル認識率が高い画像を、複数枚の画像群として学習に用いることができ、認識率改善値を高くできる場合がある。また連続撮影した画像群を送信する場合、ゲームサーバ３（制御部Ｐ３）又は学習サーバ４（制御部Ｐ４）は、認識率改善値の最大値を認識率改善値にしてもよいし、認識率改善値に加算や乗算をしてもよい。また連続撮影した画像群を送信する場合、ゲームサーバ３は、１枚の画像を送信する場合と比較して、高い報酬を決定してもよい。

　報酬は、ゲーム以外の報酬であってもよい。例えば、報酬は、商取引媒体コンテンツであってもよい。商取引媒体とは、例えば、電子マネー、ポイントサービスでのポイント、物やサービスとの引換券、クーポンであってもよい。引換券には、音楽や映像、画像等、電子的データをダウンロードするものや、限定コンテンツへのアクセス等の電子的データの利用権限を付与するものも含まれる。クーポンには、例えば提携先の飲食店で使用可能なクーポンや、電子商取引サイトで使用可能なカード等に付随するポイントが含まれる。ここで、カードには、お金の決済に利用できるクレジットカードや非接触型カードだけでなく、お金の代わりとして使えるカードが含まれる。なお、ゲームサーバ３は、報酬の付与数を、提携先に報告するための報告情報を生成してもよい。また、管理サーバ１は、ゲームサーバ３から報酬の付与数を示す報告情報を受信し、付与数に応じて、提携先に支払いをするための支払情報を生成してもよい。

　分類精度には、分類の精度や認識の精度に限らず、識別の精度も含まれる。説明情報による目的情報の分類精度についての評価は、上述の認識評価に限られない。例えば、データセットの画像を入力し、確定クラスでの認識率を基準認識率と比較してもよい。この場合、確定クラスでの認識率から基準認識率を差し引いた値を、認識率改善値としてもよい。
　予め定められた学習済モデルは、依頼先から入手した学習済モデルの種類や各種変数であってもよいし、固定或いは選択された学習済モデルであってもよい。例えば、人工知能サーバ５－１が用いる学習済モデルと、学習サーバ４が認識評価に用いる学習済モデルは異なっていてもよい。これらが異なる場合、管理サーバ１は、収集データセットを納品し、学習部５３３は、納品された収集データセットを用いて機械学習を行ってもよい。人工知能サーバ５－１が用いる学習済モデルは、収集データセットの一部を用いて、機械学習が行われたものであってもよい。

（２）また、機械学習システムでは、前記提示部は、オブジェクト（例えば画像の被写体）を表す目的情報を提示する。前記入力部は、前記オブジェクトが描画された画像を、前記説明情報として入力される。前記評価部は、前記画像による前記目的情報の分類精度についての評価を行う。前記実行部は、オブジェクトが描画された画像が入力された場合に、当該オブジェクトを表す目的情報を出力する。
　これにより、機械学習システムは、機械学習に用いるデータとして、収集したいオブジェクトに応じた画像を収集できる。また、ユーザが提示されたオブジェクトを先に知ることができるので、オブジェクトを特定した上で、そのオブジェクトの写真を撮ることや、フォルダから探すことができる。

　なお、画像は、写真やイラスト、アニメーションの画像に限られない。例えば、画像は、物理量を測定し、その分布を表した画像であってもよい。例えば、画像は、物体から放射される赤外線を分析し、熱分布を図として表したサーモグラフィであってもよい。
　描画とは、コンピュータにおいて、画像又は映像としてレンダリングできることであってもよい。また、描画とは、写真に写されること、映像に撮影されること、イラスト等として描かれることが含まれてもよい。

（３）また、機械学習システムでは、前記提示部は、複数のユーザの情報端末（例えば携帯端末２－１～２－Ｎ）各々の表示部に、前記目的情報を提示する。前記取得部は、前記情報端末各々の前記入力部から入力された前記説明情報を取得する。
　これにより、機械学習システムは、複数のユーザから、機械学習に用いるデータとして、目的情報と説明情報のデータセットを収集できる。複数のユーザが説明情報を入力するので、機械学習システムは、多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。
　なお、情報端末は、スマートフォンに限られず、タブレット端末、ヘッドマウントディスプレイ、パーソナルコンピュータ、音楽プレーヤー、デジタルカメラ、テレビ、スマートスピーカ、家電機器、及び、ウェアラブル端末等であってもよい。情報端末は、携帯される端末に限らず、設置型の端末であってもよい。

（４）また、機械学習システムでは、前記第１システムは、複数の情報端末と、複数の情報端末各々とインターネットを介して接続されるサーバ（学習サーバ４）と、を具備する。インターネットを介して提供されたアプリケーションプログラム（例えばモバイルアプリケーション、ゲームアプリ）は、前記情報端末各々を前記提示部と前記入力部として機能させる。前記サーバは、前記取得部を備える。前記取得部は、複数のユーザの情報端末各々から、インターネットを介して、前記説明情報と前記目的情報を取得する。
　これにより、機械学習システムは、アプリケーションプログラムを、インターネットを介して提供するので、一般的なユーザに幅広く利用されることができる。機械学習システムは、多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。
　なお、アプリケーションプログラムは、ゲームに限らず、情報閲覧、画像閲覧、コミュニケーション、オフィスツール等のアプリケーションプログラムであってもよい。

（５）また、機械学習システムでは、前記第１システムは、注文管理部（例えば注文管理部１３１）と納品管理部（例えば納品管理部１３６）をさらに備える。注文管理部は、第２システムに関する依頼元であって、前記説明情報と前記目的情報を取得することを依頼する依頼元を示す依頼元情報を管理する。納品管理部は、前記データセットの納品状況であって、前記依頼元情報が示す依頼元への納品状況を管理する。前記モデル記憶部は、納品された前記データセットの少なくとも１個に基づいて学習が行われた学習済モデルを記憶する。
　これにより、機械学習システムは、複数の依頼元から、データセットを収集する依頼を受注し、その注文管理することができる。また、機械学習システムは、データセットの納品を管理することができる。これにより、機械学習システムは、管理者に対して、データセットを収集するサービスのプラットフォームを提供でき、そのサービスによるビジネスを円滑に行わせることができる。

（６）また、機械学習システムでは、前記提示部は、複数の前記目的情報を提示する（図１の領域Ｇ１１２、プルダウンメニューＧ１２２参照）。前記入力部は、前記ユーザが選択した前記目的情報と、当該目的情報に対する説明情報と、を入力される。前記取得部は、複数の前記目的情報について、前記説明情報と前記目的情報を取得する。
　これにより、ユーザは、複数の目的情報から、説明変数を提供可能な目的情報を選択できる。例えば、ユーザは、写真を撮ることができるクラスや、画像を保持しているクラスを選択できるので、機械学習システムは、１つだけ提示する場合と比較して、データセットを収集できる可能性を高くすることができる。また、機械学習システムは、１つだけ提示する場合と比較して、ユーザがクラスの画像を提供できずに、ゲームをあきらめてしまい、サービスを利用しなくなる可能性を低くすることができる。

（７）また、機械学習システムでは、前記第１システムは、情報端末を具備し、前記情報端末は、前記提示部、前記入力部、及び撮像部（例えば撮像部２１４）を備え、前記提示部は、オブジェクトを表す目的情報を提示し、前記入力部は、前記説明情報として、前記撮像部で撮像された画像であって、前記オブジェクトが描画された画像を、前記説明情報として入力される。
　これにより、ユーザは、これから撮影する画像、又は過去に撮影した画像を、画像を撮影し記録可能な情報端末から入力することができる。例えば、ユーザは、提示されたオブジェクトを、提示が参照された情報端末の撮像部で撮影できる。ユーザは、提示されたオブジェクトが描写された画像を有していない場合でも、提示を参照した情報端末で撮影し、撮影した画像を提供できる。

（８）また、機械学習システムでは、ゲームプログラムは、複数の前記情報端末各々を前記提示部、前記入力部、報酬付与部として機能させる。前記提示部は、ゲーム内のイベントにおいて、前記目的情報を提示する。前記入力部は、前記ユーザが前記ゲームを進行させるために、前記目的情報に対する画像を、前記説明情報として入力される。前記報酬付与部は、前記ゲームの報酬として、前記ゲームでの変数の更新、又はゲームオブジェクトの付与を行う。
　これにより、ユーザは、ゲームで楽しみながら、データセットを提供できる。
　なお、ゲーム内のイベントとは、ゲームでの対戦等である。ゲームのシナリオにおいて、ユーザが対戦相手と遭遇すること、ユーザが対戦相手を選択すること、又は、所定条件で自動的に対戦が始まることも含まれる。対戦相手には、コンピュータが制御するノンプレイヤーキャラクタだけではなく、通信等で人間が操作するキャラクタも含まれる。

（９）また、機械学習システムでは、設定部（例えば設定更新部１３２）は、予め定められた学習済モデルにおける目的情報の分類精度に基づいて、前記提示部に提示させる目的情報（例えば認識率の低いクラス）を決定する。
　これにより、機械学習システムは、分類精度の低い目的情報を提示して、その目的情報の説明情報を取得することができる。これにより、機械学習システムは、分類精度の低い目的情報の分類精度を、優先して向上させることができる。
　なお、設定更新部１３２は、基準学習済モデルに基準データセットを入力し、認識率の低いクラスを、設定クラスに決定する。

＜ハードウェア構成＞
　図３０は、本実施形態に係る各装置のハードウェア構成を説明する説明図である。
　各装置とは、管理サーバ１、携帯端末２、ゲームサーバ３、学習サーバ４、人工知能サーバ５、制御機器６、又は、端末Ｔ１である。各装置は、入出力モジュールＩ、記憶モジュールＭ、及び制御モジュールＰを含んで構成される。入出力モジュールＩは、通信モジュールＨ１１、接続モジュールＨ１２、ポインティングデバイスＨ２１、キーボードＨ２２、ディスプレイＨ２３、ボタンＨ３、マイクＨ４１、スピーカＨ４２、カメラＨ５１、又はセンサＨ５２の一部或いは全部を含んで実現される。記憶モジュールＭは、トライブＨ７を含んで実現される。記憶モジュールＭは、さらに、メモリＨ８の一部或いは全部を含んで構成されてもよい。制御モジュールＰは、メモリＨ８及びプロセッサＨ９を含んで実現される。これらのハードウェア構成要素は、バス（Ｂｕｓ）を介して、相互に通信可能に接続されるとともに、電源Ｈ６から電力を供給されている。

　接続モジュールＨ１２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉｕｌ　Ｂｕｓ）等のデジタル入出力ポートである。携帯機器の場合、ポインティングデバイスＨ２１、キーボードＨ２２、及びディスプレイＨ２３は、タッチパネルである。センサＨ５２は、加速度センサ、ジャイロセンサ、ＧＰＳ受信モジュール、近接センサ等である。電源Ｈ６は、各装置を動かすために必要な電気を供給する電源ユニットである。携帯機器の場合、電源Ｈ６は、バッテリーである。

　ドライブＨ７は、ハードディスクドライブやソリッドステートドライブ等の補助記憶媒体である。ドライブＨ７は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリ、又は、光磁気ディスクドライブやフレキシブルディスクドライブであってもよい。また、ドライブＨ７は、例えば、各装置に内蔵されるものに限らず、ＩＦモジュールＨ１２のコネクタに接続された外付け型の記憶装置でもよい。
　メモリＨ８は、ランダムアクセスメモリ等の主記憶媒体である。なお、メモリＨ８は、キャッシュメモリであってもよい。メモリＨ８は、一又は複数のプロセッサＨ９によって命令が実行されるときに、これらの命令を格納する。
　プロセッサＨ９は、プロセッサＨ９は、ＣＰＵ（中央演算装置）である。プロセッサＨ９は、ＭＰＵ（マイクロプロセッシングユニット）又はＧＰＵ（グラフィックスプロセッシングユニット）であってもよい。プロセッサＨ９は、メモリＨ８を介してドライブＨ７から、プログラム及び各種データを読み出して演算を行うことで、一又は複数のメモリＨ８に格納した命令を実行する。

　入出力モジュールＩは、入出力部Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、及びＩ６を実現する。記憶モジュールＭは、記憶部Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、及びＭ６を実現する。制御モジュールＰは、制御部Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、及びＰ６を実現する。
　なお、本明細書等において、管理サーバ１、携帯端末２、ゲームサーバ３、学習サーバ４、人工知能サーバ５、及び制御機器６との記載は、それぞれ、制御部Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、及びＰ６との記載に置き換えられてもよいし、これらの各装置及び端末Ｔ１との記載は、制御モジュールＰとの記載に置き換えられてもよい。

＜変形例＞
　上記実施形態において、情報端末は、ソーシャルネットワークサービス（コミュニケーションサービスを含む）、ブログ、情報掲載サイト、又は情報検索サイト等のウェブサイトや、それらのモバイルアプリケーションで表示されるコンテンツの画像を、ユーザに選択させて、確定クラスの画像としてユーザに入力させてもよい。

　図３１は、本実施形態に係る画面フローの別の一例を表す概要図である。
　この図は、情報端末の一例である携帯端末２の制御部Ｐ２が、入出力部Ｉ２に表示させる画面フローの一例である。図３１と図１を比較すると、画面Ｇ１とボタンＢＴ４１が異なる。これ以外の表示は同じであるので、説明を省略する。

　ボタンＢＴ１１がユーザにタッチされた場合、携帯端末２（制御部Ｐ２）は、ウェブブラウザ機能を起動し、ウェブサイトを表示する。画面Ｇ４１は、このウェブサイトが表示された画面である。画面Ｇ４１では、ユーザは、画像をタップすることで、静止画又は動画を選択することができる。画像が選択された状態で、ボタンＢＴ４２がユーザにタッチされた場合、携帯端末２は、その画像が選択された画面Ｇ１２を表示する。

　このように、前記第１システムは、情報端末を具備する。前記情報端末は、前記提示部、前記入力部、及び、ネットワークサービスにて画像を含む情報を前記ユーザに閲覧させる情報閲覧部（例えば制御部Ｐ２、情報閲覧部２３４）を備える。前記提示部は、オブジェクトを表す目的情報を提示する。前記入力部は、前記ユーザが指定した前記画像の少なくとも一部であって、前記オブジェクトが描画された前記画像を、前記説明情報として入力される。
　これにより、ユーザは、ネットワークサービスの画像を、データセットの画像として選択できる。機械学習システムは、ネットワークサービスの画像も取得できるので、さらに多数のデータセット又は多様なデータセットを取得でき、より効率的に、機械学習に用いるデータを収集できる。

　なお、本実施形態に係るゲームアプリは、ソーシャルネットワークサービス、ブログ、情報掲載サイト、又は情報検索サイト等のウェブサイトや、それらのモバイルアプリケーションの一機能として、実装されてもよい。例えば、携帯端末２（ゲームアプリ、ゲーム制御部２３２）は、ユーザが友人の投稿を参照した場合に、設定クラスを提示してもよい。例えば、携帯端末２は、友人の投稿を参照させた場合に、クラス「カレー」、「アイスクリーム」、「自動車」を提示する。ユーザは、投稿から画像を選択し、確定クラスとともに、これらのデータセットを提供する。ここで、携帯端末２は、ユーザが友人に画像を選択することの許諾を得る機能を提供し、許諾が得られた場合に、データセットを取得してもよいし、または、報酬を付与してもよい。

　携帯端末２（例えば制御部Ｐ２）は、ユーザに画像を選択させる場合に、タッチ操作に応じて、確定カテゴリを選択してもよい。タッチ操作には、複数回のタップ、ドラッグ、又はスワイプが含まれる。例えば、携帯端末２は、ドラッグの始点と終点の位置（ドラッグの方向）に応じて、確定カテゴリを選択する。

　図３２は、本実施形態に係る画面フローの別の一例を表す概要図である。
　この図は、携帯端末２の制御部Ｐ２が、入出力部Ｉ２に表示させる画面フローの一例である。携帯端末２は、操作ごとに選択するクラスを予め設定されている。
　例えば、携帯端末２は、画面の左上から右下へ、右斜め下がりにドラッグされた場合、第１クラス（猫）を選択し、画面の右上から左下へ、左斜め下がりにドラッグされた場合、第３クラス（自動車）を選択するように設定されている。

　画面Ｇ５１は、始点Ｆ５１から終点Ｆ５２へ、つまり、画面の左上から右下へ、右斜め下がりにドラッグが行われている。この場合、携帯端末２は、画面Ｇ５２のように、始点Ｆ５１と終点Ｆ５２を頂点とする矩形を、ユーザに選択された選択領域Ｇ５２１として、表示する。選択領域Ｇ５２１が表示された状態で、ボタンＢＴ５１がユーザにタッチされた場合、携帯端末２は、画面Ｇ５３を表示する。画面Ｇ５３では、クラスを選択するプルダウンメニューの初期値として、第１クラスの「猫」が選択されて表示されている。

　画面Ｇ６１は、始点Ｆ６１から終点Ｆ６２へ、つまり、画面の右上から左下へ、左斜め下がりにドラッグが行われている。この場合、携帯端末２は、画面Ｇ６２のように、始点Ｆ６１と終点Ｆ６２を頂点とする矩形を、ユーザに選択された選択領域Ｇ６２１として、表示する。選択領域Ｇ６２１が表示された状態で、ボタンＢＴ６１がユーザにタッチされた場合、携帯端末２は、画面Ｇ６３を表示する。画面Ｇ６３では、クラスを選択するプルダウンメニューの初期値として、第３クラスの「自動車」が選択されて表示されている。
　なお、ボタンＢＴ１３は、図１のものと同じである。また、始点と終点は、２回のタップで指定されてもよい。

　このように、携帯端末２は、操作の方向、又は、画面上の２点の位置関係に応じて、プルダウンメニューの選択肢の１個を、初期値として選択して表示する。これにより、ユーザは、簡易な操作で、入力する選択肢を、初期値として選択できる。
　なお、携帯端末２は、操作の方向、又は、画面上の２点の位置関係に応じて、ラジオボタンやチェックボックスの選択肢の１個又は複数を、初期値として選択してもよい。
　また、携帯端末２は、ドラッグ後の画面Ｇ５２、画面Ｇ５３において、ショートカットメニューを表示し、ショートカットのメニューとして、ドラッグの方向に対応するクラスを優先して、選択可能に表示してもよい。

　携帯端末２（例えば制御部Ｐ２）は、ユーザが撮影した後、撮影された画像について、顔部分を検出し、検出した顔部分をぼかす等のモザイク処理を行ってもよい。これにより、機械学習システムＳｙｓは、ユーザのプライバシー保護に配慮しつつ、データセットの画像を取得できる。
　学習サーバ４（例えば制御部Ｐ４）は、説明情報として音データを取得してもよい。

　図３３は、本実施形態に係る画面フローの別の一例を表す概要図である。
　この図は、携帯端末２の制御部Ｐ２が、入出力部Ｉ２に表示させる画面フローの一例である。図３３と図１を比較すると、画面Ｇ７１、Ｇ７２、及び画面Ｇ７３の表示７３２が異なる。これ以外の表示は同じであるので、説明を省略する。

　画面Ｇ７１は、画面Ｇ１１と比較して、領域７１２とボタンＢＴ７１の表示が異なる。
　領域Ｇ７１２には、画像のクラスとして、猫、犬、及び、自動車が表示されている。
　ボタンＢＴ７１がユーザにタッチされた場合、携帯端末２は、マイクを起動し、音を録音可能な画面（図示せず）を表示する。この画面では、ユーザは、録音ボタンをタップすることで、音を録音することができる。
　画面Ｇ７２には、画像Ｇ７２１に音データの情報（「説明情報」の一例）が表示されている。音データは、音データで、再生ボタンをタップすることで、再生可能である。
　画面７３の画像Ｇ７３２は、画像Ｇ７２１の音の評価として、評価の高い音である旨（「ＧＲＥＡＴ　Ｓｏｕｎｄ」）を表す画像である。

　携帯端末２（例えば制御部Ｐ２）は、撮像部２１４で撮像させる場合に、認識率に基づくガイダンス表示を行ってもよい。
　例えば、携帯端末２は、基準学習済モデルを用いて、撮影している画像からオブジェクトを認識し、そのオブジェクトの認識率を取得する。この認識率は、設定クラスの認識率であってもよいし、認識率の最大となるクラスの認識率であってもよい。携帯端末２は、学習サーバ４へ画像を送信してもよいし、自装置に基準学習済モデルを記憶してもよい。
　携帯端末２は、認識率が高くなるように、被写体との位置関係やズーム、又は、自装置の向きのガイダンス表示を行う。

　図３４は、本実施形態に係る画面フローの別の一例を表す概要図である。
　この図は、携帯端末２の制御部Ｐ２が、入出力部Ｉ２に表示させる画面フローの一例である。画面Ｇ８１には、被写体Ｓ（猫）が認識され、被写体Ｓを囲む枠Ｇ８１１が表示されている。ガイダンス表示Ｇ８１２は、枠Ｇ８１１で囲った部分を大きく写すこと、つまり、被写体に近づくかカメラのズーム機能を使うべき（ズームアップすべき）ことを案内している。

　画面Ｇ８２は、ユーザがガイダンス表示に従って、被写体Ｓを大きく写した場合に表示される。画面Ｇ８２では、認識率が画面Ｇ８１の７０％から８０％に増加している。
　画面Ｇ８２には、被写体Ｓを囲む枠Ｇ８２１が表示されている。ガイダンス表示Ｇ８２２は、携帯端末２を被写体Ｓに対して回転（ヨー軸の回転）させるべきことを案内している。また、ガイダンス表示Ｇ８２２は、認識率に応じた報酬として、ノーマルカードが付与されることも表している。つまり、画面Ｇ８２の状態で、撮影した被写体Ｓの画像をデータセットにした場合、報酬としてノーマルカードが付与される。

　画面Ｇ８３は、ユーザがガイダンス表示に従って、携帯端末２を被写体Ｓに対して回転させた場合に表示される。画面Ｇ８３では、認識率が画面Ｇ８２の８０％から８５％に増加している。
　画面Ｇ８１には、被写体Ｓを囲む枠Ｇ８３１が表示されている。ガイダンス表示Ｇ８３２は、携帯端末２を、別の方向に回転（ロール軸の回転）させるべきことを案内している。また、ガイダンス表示Ｇ８３２は、認識率に応じた報酬として、レアカードが付与されることも表している。つまり、画面Ｇ８２の状態で、撮影した被写体Ｓの画像をデータセットにした場合、報酬としてレアカードが付与される。

　画面Ｇ８４は、ユーザがガイダンス表示に従って、携帯端末２を回転させた場合に表示される。画面Ｇ８４では、認識率が画面Ｇ８３の８５％から９４％に増加している。
　画面Ｇ８４には、被写体Ｓを囲む枠Ｇ８４１が表示されている。ガイダンス表示Ｇ８４２は、この状態で、撮影すべきことを案内している。また、ガイダンス表示Ｇ８３２は、認識率に応じた報酬として、スーパーレアカードが付与されることも表している。つまり、画面Ｇ８４の状態で、撮影した被写体Ｓの画像をデータセットにした場合、報酬としてレアカードが付与される。
　画面Ｇ８５は、画面Ｇ８４でＢＴ８１がタップされ、枠Ｇ８４１部分が撮影されたことを表している。

　管理サーバ１（制御部Ｐ１）は、データセットを提供した以外の複数のユーザに、データセットの画像を評価させ、評価結果に応じて、データセットとして適切か否かを判定してもよい。データセットとして適切か否かとは、データセットとして学習に用いるか否か、又は、データセットとして納品するか否かであってもよい。

　図３５は、本実施形態に係る画面の別の一例を表す概要図である。
　この図は、携帯端末２の制御部Ｐ２が、入出力部Ｉ２に表示させる画面の一例である。画面Ｇ９１には、あるユーザから取得した画像Ｇ９１１と確定クラス「猫」が表示されている。画面Ｇ９１には、いいね（Ｌｉｋｅ）ボタンＢＴ９１といやだね（Ｄｉｓｌｉｋｅ）ボタンＢＴ９２が表示されている。ボタンＢＴ９１は、９８６人の他のユーザ（９８６個のユーザＩＤ）からタップされ、ボタンＢＴ９２は、１５人の他のユーザからタップされている。

　つまり、９８６人の他のユーザは、画像Ｇ９１１を、「猫」の画像である、又は、「猫」の画像として適切である、と評価している。一方、１５人の他のユーザは、画像Ｇ９１１を、「猫」の画像ではない、又は、「猫」の画像として適切でない、と評価している。
　管理サーバ１は、ボタンＢＴ９１による評価数とボタンＢＴ９２による評価数の差が、閾値以上になった場合、データセットとして適切であると判定する。
　このように、機械学習システムＳｙｓは、人間の評価も含めて、データセットを取得することができる。また、機械学習システムＳｙｓは、不特定多数のユーザがデータセットを提供可能である場合でも、他の人間の評価により、適切なデータセットを取得できる。

　携帯端末２（例えば制御部Ｐ２）は、クラスを提示する画面、写真を撮影可能な画面、又は、ファイルやコンテンツの画像を選択可能な画面において、クラスの画像のサンプル（「サンプル画像」とも称する）を表示してもよい。これにより、ユーザは、撮影或いは選択すべき画像を認識しやすくなる。また、年齢の低い子供や外国人等、クラスを表す文字の言語に不慣れなユーザであっても、撮影或いは選択すべき画像を認識できる。
　また、ユーザは、サンプル画像に似た写真を撮影或いは選択するので、サンプル画像で、被写体の大きさや向き（角度）を指定することもできる。これにより、機械学習システムＳｙｓは、学習データセットとして、所望の大きさや向きの被写体が描写された画像を取得できる可能性が高くなる。

　図３６は、本実施形態に係る画面フローの別の一例を表す概要図である。
　この図は、携帯端末２の制御部Ｐ２が、入出力部Ｉ２に表示させる画面フローの一例である。画面Ｇａ１１には、クラスとして、猫及び自動車が、文字とサンプル画像で表示されている。画像Ｇａ１１１は、クラス「猫」のサンプル画像である。また、画面Ｇａ１１では、クラスごとに、カメラを起動するボタン、画像を選択する機能を発生させるボタンが配置されている。これにより、携帯端末２は、ユーザが選択したクラスや画像の種類（撮影した画像又は選択した画像）を特定できる。例えばボタンＢＴａ１１がユーザにタッチされた場合、携帯端末２は、カメラを起動し、画面Ｇａ１２を表示する。

　画面Ｇａ１２には、ユーザに選択されたクラス及びそのサンプル画像Ｇａ１２１が表示されている。画像Ｇａ１２２は、カメラが撮影している画像である。
　ユーザが撮影ボタンＢＴａ１２１をタップした場合、携帯端末２は、そのとき撮影していた画像を画像ファイルとして記憶する。その後、携帯端末２は、画面Ｇａ１３において、画像ファイルの画像を表示する。画面Ｇａ１３において、ボタンＢｔａ１３１がユーザにタッチされた場合、携帯端末２は、図２０のステップＳ３０８～Ｓ３１０の処理を行った後、画面Ｇａ１４を表示する。

　画面Ｇａ１４には、例えば電子商取引サイトやクレジットカードのポイントとして、１００ポイントが付与されたことが表示されている。また画面Ｇａ１４には、そのポイントの合計値が２３００ポイントであることが表示されている。また画面Ｇａ１４には、ポイントを消費するサイトへリンクされたボタンが表示されている。例えばボタンは、ポイントを消費して、商品と交換するサイトへリンクされたボタンである。例えばボタンは、ポイントを消費して、買い物をするサイトへリンクされたボタンである。

なお、サービスログは、次のように集計されてもよい（図１６のステップＳ２０９）。
管理サーバ１（サービス管理部１３５）は、データセットの確定クラスごとに、各ゲーム因子（ゲームＩＤ、イベントＩＤ、対戦キャラクタＩＤ、又は報酬ＩＤ）に対して、モデル認識率の平均値、対戦数又はデータセット数を算出する。管理サーバ１は、同一又は類似する確定クラスの画像を収集する場合に、モデル認識率の平均値、対戦数又はデータセット数が最大となるゲーム因子を管理者へ提示し、ゲーム設定として設定する。なお、サービスログの集計では、モデル認識率に代えて或いは追加して、認識率改善値や認識評価値が用いられてもよい。

　なお、データ収集システムＳｙｓＡと人工知能システムＳｙｓＢでは、システム或いはサービスの提供主体、開発主体、管理主体、或いは運用主体、又は、各システムの装置にインストールされるアプリケーション、アプリケーションの提供主体、開発主体、管理主体、或いは運用主体が異なる。データ収集システムＳｙｓＡと人工知能システムＳｙｓＢ－２、Ｂ－Ｍでは、ユーザ（一般ユーザと企業）やクライアント（一般ユーザの携帯端末２と企業の制御機器６－２、６－Ｍ）、ネットワーク（インターネットＮＷと、ローカルエリアネットワークＬ２或いは直接接続）が異なる。データ収集システムＳｙｓＡと人工知能システムＳｙｓＢでは、データセットに対する報酬（変数の更新或いはゲームオブジェクトと、料金）が異なる。ただし、本発明はこれに限らず、データ収集システムＳｙｓＡと人工知能システムＳｙｓＢは、同一の主体が提供してもよい。その場合、例えば、依頼元の情報はなくてもよい。

　上述の管理サーバ１、携帯端末２、ゲームサーバ３、学習サーバ４、人工知能サーバ５、及び制御機器６は内部に、コンピュータシステムを有している。そして、上述した図５の一部又は全部の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

　なお、図２における機械学習システムＳｙｓの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各種処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

　本発明の一態様は、例えば、人工知能を利用するシステムや装置、データを収集するシステムや装置において、利用することができる。人工知能は、様々な機器に利用できる。

Ｓｙｓ・・・機械学習システム、ＳｙｓＡ・・・データ収集システム、ＳｙｓＢ、ＳｙｓＢ－１～Ｂ－Ｍ・・・データ収集システム、１・・・管理サーバ、２、２－１～２－Ｍ・・・携帯端末、３・・・ゲームサーバ、４・・・学習サーバ、５、５－１～５－Ｍ・・・人工知能サーバ、６、６－１～６－Ｍ・・・制御機器、Ｉ、Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、Ｉ６・・・入出力部、Ｍ，Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ・・・記憶部、Ｐ、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６・・・制御部、１１１・・・通信部、１２１・・・注文情報記憶部、１２２・・・ゲーム設定記憶部、１２３・・・学習設定記憶部、１２４・・・状況情報記憶部、１２５・・・収集情報記憶部、１２６・・・サービスログ記憶部、１３１・・・注文管理部、１３２・・・設定更新部、１３３・・・ゲーム設定部、１３４・・・学習設定部、１３５・・・サービス管理部、１３６・・・納品管理部、２１１・・・通信部、２１２・・・入力部、２１３・・・出力部、２１４・・・撮像部、２１５・・・センサ部、２２１・・・オペレーション記憶部、２２２・・・ゲーム記憶部、２２３・・・データ記憶部、２３１・・・オペレーション部、２３２・・・ゲーム制御部、２３３・・・撮影制御部、２３４・・・情報閲覧部、２３５・・・ファイル管理部、２３６・・・表示制御部、３１１・・・通信部、３２１・・・オペレーション記憶部、３２２・・・管理アプリ記憶部、３３１・・・オペレーション部、３３２・・・管理アプリ制御部、２３２１・・・イベント管理部、２３２２・・・クラス提示部、２３２３・・・画像取得部、２３２４・・・データセット提供部、２３２５・・・変数値更新部、２３２・・・報酬付与部、３３２１・・・イベント通知部、３３２２・・・クラス管理部、３３２３・・・データセット受信部、３３２４・・・判定部、３３２５・・・報酬決定部、３３２６・・・ログ生成部、４１１・・・通信部、４２１・・・学習設定記憶部、４２２・・・基準記憶部、４２３・・・収集データ記憶部、４２４・・・収集ログ記憶部、４３１・・・学習設定部、４３２・・・データ取得部、４３３・・・学習部、４３４・・・評価部、４３5・・・報告部、４２３１・・・追加学習済モデル記憶部、４２３２・・・第１データセット記憶部、４２３３・・・第２データセット記憶部、４２３４・・・第３データセット記憶部、５１１・・・通信部、５２１・・・オペレーション記憶部、５２２・・・アプリ記憶部、５３１・・・オペレーション部、５３２・・・機器制御部、５３３・・・学習部、６１１・・・通信部、６１２・・・入力部、６１３・・・出力部、６１４・・・撮像部、６１５・・・センサ部、６１６・・・駆動部、６２１・・・オペレーション記憶部、６２２・・・アプリ記憶部、６３１・・・オペレーション部、６３２・・・アプリ制御部、６３３・・・撮影制御部、Ｈ１１・・・通信モジュール、Ｈ１２・・・接続モジュール、Ｈ２１・・・ポインティングデバイス、Ｈ２２・・・キーボード、Ｈ２３・・・ディスプレイ、Ｈ３・・・ボタン、Ｈ４１・・・マイク、Ｈ４２・・・スピーカ、Ｈ５１・・・カメラ、Ｈ５２・・・センサ、Ｈ６・・・電源、Ｈ７・・・ドライブ、Ｈ８・・・メモリ、Ｈ９・・・プロセッサ

Claims

　第１システムは、
　機械学習のための目的情報を提示する提示部と、
　前記目的情報に対する説明情報を、ユーザから入力される入力部と、
　前記説明情報と前記目的情報を取得する取得部と、
　前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行う評価部と、
　前記評価に応じた報酬を、前記ユーザに対して付与する報酬付与部と、
　前記目的情報、前記評価の結果、及び前記報酬が関係付けられた履歴情報を生成する履歴生成部と、
　を備え、
　第２システムは、
　前記データセットの少なくとも１個に基づいて機械学習が行われた学習済モデルを記憶するモデル記憶部と、
　前記モデル記憶部が記憶する学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する実行部と、
　を備える機械学習システム。
　前記提示部は、オブジェクトを表す目的情報を提示し、
　前記入力部は、前記オブジェクトが描画された画像を、前記説明情報として入力され、
　前記評価部は、前記画像による前記目的情報の分類精度についての評価を行い、
　前記実行部は、オブジェクトが描画された画像が入力された場合に、当該オブジェクトを表す目的情報を出力する
　請求項１に記載の機械学習システム。
　前記提示部は、複数のユーザの情報端末各々の表示部に、前記目的情報を提示し、
　前記取得部は、前記情報端末各々の前記入力部から入力された前記説明情報を取得する
　請求項１又は請求項２に記載の機械学習システム。
　前記第１システムは、複数の情報端末と、前記複数の情報端末各々とインターネットを介して接続されるサーバと、を具備し、
　インターネットを介して提供されたアプリケーションプログラムは、前記情報端末各々を前記提示部と前記入力部として機能させ、
　前記サーバは、前記取得部を備え、
　前記取得部は、複数のユーザの情報端末各々から、インターネットを介して、前記説明情報と前記目的情報を取得する
　請求項１から請求項３のいずれか一項に記載の機械学習システム。
　前記第１システムは、
　第２システムに関する依頼元であって、前記説明情報と前記目的情報を取得することを依頼する依頼元を示す依頼元情報を管理する注文管理部と、
　前記データセットの納品状況であって、前記依頼元情報が示す依頼元への納品状況を管理する納品管理部と、
　をさらに備え、
　前記モデル記憶部は、納品された前記データセットの少なくとも１個に基づいて機械学習が行われた学習済モデルを記憶する
　請求項１から請求項４のいずれか一項に記載の機械学習システム。
　前記提示部は、複数の前記目的情報を提示し、
　前記入力部は、前記ユーザが選択した前記目的情報と、当該目的情報に対する説明情報と、を入力され、
　前記取得部は、複数の前記目的情報について、前記説明情報と前記目的情報を取得する
　請求項１から請求項５のいずれか一項に記載の機械学習システム。
　前記第１システムは、情報端末を具備し、
　前記情報端末は、前記提示部、前記入力部、及び撮像部を備え、
　前記提示部は、オブジェクトを表す目的情報を提示し、
　前記入力部は、前記説明情報として、前記撮像部で撮像された画像であって、前記オブジェクトが描画された画像を、前記説明情報として入力される
　請求項１から請求項６のいずれか一項に記載の機械学習システム。
　前記第１システムは、情報端末を具備し、
　前記情報端末は、前記提示部、前記入力部、及び、ネットワークサービスにて画像を含む情報を前記ユーザに閲覧させる情報閲覧部を備え、
　前記提示部は、オブジェクトを表す目的情報を提示し、
　前記入力部は、前記ユーザが指定した前記画像の少なくとも一部であって、前記オブジェクトが描画された前記画像を、前記説明情報として入力される
　請求項１から請求項７のいずれか一項に記載の機械学習システム。
　ゲームプログラムは、複数の情報端末各々を前記提示部、前記入力部、報酬付与部として機能させ、
　前記提示部は、ゲーム内のイベントにおいて、前記目的情報を提示し、
　前記入力部は、前記ユーザが前記ゲームを進行させるために、前記目的情報に対する画像を、前記説明情報として入力され、
　前記報酬付与部は、前記ゲームの報酬として、前記ゲームでの変数の更新、又はゲームオブジェクトの付与を行う
　請求項１から請求項８のいずれか一項に記載の機械学習システム。
　予め定められた学習済モデルにおける目的情報の分類精度に基づいて、前記提示部に提示させる目的情報を決定する設定部をさらに備える
　請求項１から請求項９のいずれか一項に記載の機械学習システム。
　機械学習のための目的情報を提示する提示部と、
　前記目的情報に対する説明情報を、ユーザから入力される入力部と、
　前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与する報酬付与部と、
　を備える情報端末。
　機械学習のための目的情報、前記目的情報に対する説明情報であってユーザから情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価を行う評価部と、
　前記目的情報、及び前記評価の結果が関係付けられた履歴情報を生成する履歴生成部と、
　を備える情報処理装置。
　機械学習のための目的情報を、情報端末へ送信する送信部と、
　前記目的情報、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価に応じて、前記ユーザに付与する報酬を決定する報酬決定部と、
　を備える情報処理装置。
　機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルをモデル記憶部から読み出し、
　前記学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する実行部と、
　を備える情報処理装置。
　機械学習のための目的情報を提示し、
　前記目的情報に対する説明情報を、ユーザから入力され、
　前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与する、
　情報処理方法。
　機械学習のための目的情報と、前記目的情報に対する説明情報であってユーザから情報端末に入力された説明情報と、を取得し、
　前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行い、
　前記目的情報、及び前記評価の結果が関係付けられた履歴情報を生成する、
　情報処理方法。
　機械学習のための目的情報を、情報端末へ送信し、
　前記目的情報、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価に応じて、前記ユーザに付与する報酬を決定する、
　情報処理方法。
　機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルをモデル記憶部から読み出し、
　前記学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力する、情報処理方法。
　情報端末のコンピュータに、
　機械学習のための目的情報を提示させる提示手順、
　前記目的情報に対する説明情報を、ユーザから入力される入力手順、
　前記目的情報と前記説明情報を用いた評価に応じた報酬を、前記ユーザに対して付与させる報酬付与手順、
　を実行させるためのプログラム。
　情報処理装置のコンピュータに、
　機械学習のための目的情報と、前記目的情報に対する説明情報であってユーザから情報端末に入力された説明情報と、を取得させる取得手順、
　前記説明情報に基づく入力変数と前記目的情報に基づく出力変数のデータセット、及び、予め定められた学習済モデルに基づいて、前記説明情報による前記目的情報の分類精度についての評価を行わせる評価手順、
　前記目的情報、及び前記評価の結果が関係付けられた履歴情報を生成させる履歴生成手順、
　を実行させるためのプログラム。
　情報処理装置のコンピュータに、
　機械学習のための目的情報を、情報端末へ送信する送信手順、
　前記目的情報、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報、及び、予め定められた学習済モデルに基づく評価であって、前記説明情報による前記目的情報の分類精度についての評価に応じて、前記ユーザに付与する報酬を決定する報酬決定手順、
　を実行させるためのプログラム。
　情報処理装置のコンピュータに、
　機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルをモデル記憶部から読み出させ、
　前記学習済モデルに基づいて、前記説明情報が入力された場合に、前記目的情報を出力させる実行手順
　を実行させるためのプログラム。
　機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個に基づいて、機械学習が行われた学習済モデルであって、
　前記説明情報が入力された場合に、前記目的情報を出力する
　学習済モデル。
　機械学習のための目的情報であって情報端末に提示された目的情報に基づく入力変数と、前記目的情報に対する説明情報であってユーザから前記情報端末に入力された説明情報に基づく入力変数と、のデータセットの少なくとも１個を取得し、
　前記データセットの少なくとも１個に基づいて機械学習を行うことで、学習済モデルを生産する、学習済モデルを生産する方法。