JP6522173B1 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6522173B1 JP6522173B1 JP2018004598A JP2018004598A JP6522173B1 JP 6522173 B1 JP6522173 B1 JP 6522173B1 JP 2018004598 A JP2018004598 A JP 2018004598A JP 2018004598 A JP2018004598 A JP 2018004598A JP 6522173 B1 JP6522173 B1 JP 6522173B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- label information
- image
- information
- class name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報又はラベル情報を用いて機械学習を行った結果を提供するようにした情報処理装置を提供する。【解決手段】第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、第１の受付手段は、前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付け、表示手段は、前記画像と前記クラス名を前記第２のユーザーに表示し、第２の受付手段は、前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付け、提供手段は、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する。【選択図】図１
Description
本発明は、情報処理装置及び情報処理プログラムに関する。
例えば、特許文献１には、明示的な事前登録フェーズを設けることなく、教師データを収集し、その教師データによる学習を実行することができ、偏った教師データによる学習を防ぐことができるようにすることを課題とし、特徴学習装置は、時刻ｔにおける利用者ｍの本人キューテーブルに含まれる素性ベクトルの個数をＰｍ，ｔとし、特徴情報を要素として含む素性ベクトルｖｍ（ｔ）と利用者ｍの識別子ＩＤｍとを対応付けて本人キューテーブルに記憶する本人教師データ構成部と、Ｐｍ，ｔ個の素性ベクトルを、利用者ｍ以外の利用者の本人キューテーブルのいずれかの中から１個ずつ取り出し、Ｐｍ，ｔ個の取り出した素性ベクトルと識別子ＩＤｍとを対応付けて他人キューテーブルに記憶する他人教師データ構成部と、本人キューテーブルと他人キューテーブルとを教師データとして、教師あり機械学習を行う学習部とを含むことが開示されている。
機械学習は、教師データであるラベル情報を予め用意して、ある入力が与えられたときに、正しい出力ができるようにコンピュータに学習させるものである。したがって、機械学習を行うために、ラベル情報を収集する必要がある。
例えば、画像から物体を認識するモデルを生成するのに必要なラベル情報として、その物体が撮影されている画像から、その物体がある位置（例えば、その物体を囲んでいる矩形の位置）とその物体の名称のペアがラベル情報となる。正解率を高めるために、機械学習に必要なラベル情報数は膨大である。そして、このラベル情報は、人間が作成する必要がある。つまり、ラベル情報の作成は、コストが高いプロセスである。
本発明は、ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報又はラベル情報を用いて機械学習を行った結果を提供するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
例えば、画像から物体を認識するモデルを生成するのに必要なラベル情報として、その物体が撮影されている画像から、その物体がある位置（例えば、その物体を囲んでいる矩形の位置）とその物体の名称のペアがラベル情報となる。正解率を高めるために、機械学習に必要なラベル情報数は膨大である。そして、このラベル情報は、人間が作成する必要がある。つまり、ラベル情報の作成は、コストが高いプロセスである。
本発明は、ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報又はラベル情報を用いて機械学習を行った結果を提供するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける第２の受付手段と、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する提供手段と、前記画像と同じ画像であって前記クラス名と同じクラス名についてのラベル情報が複数ある場合は、既に機械学習されたモデルを用いて、いずれかのラベル情報を選択する選択手段を有し、前記提供手段は、前記選択手段によって選択されたラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する、情報処理装置である。
請求項１の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける第２の受付手段と、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する提供手段と、前記画像と同じ画像であって前記クラス名と同じクラス名についてのラベル情報が複数ある場合は、既に機械学習されたモデルを用いて、いずれかのラベル情報を選択する選択手段を有し、前記提供手段は、前記選択手段によって選択されたラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する、情報処理装置である。
請求項２の発明は、前記選択手段は、前記クラス名と類似するクラス名を持つラベル情報を用いて機械学習されたモデルを用いる、請求項１に記載の情報処理装置である。
請求項３の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける受付手段と、前記ラベル情報を前記第１のユーザーに表示する表示手段と、前記第１のユーザーによる購入操作にしたがって、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段を有する情報処理装置である。
請求項４の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含む第１のラベル情報を受け付ける第２の受付手段と、前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第２のラベル情報を受け付ける第３の受付手段と、前記第２のラベル情報を前記第１のユーザーに表示する表示手段と、前記第１のユーザーによる前記第２のラベル情報の購入操作にしたがって、前記第１のラベル情報と前記第２のラベル情報、又は、該第１のラベル情報と該第２のラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段を有する情報処理装置である。
請求項５の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されているコンピュータを、前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける第２の受付手段と、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する提供手段と、前記画像と同じ画像であって前記クラス名と同じクラス名についてのラベル情報が複数ある場合は、既に機械学習されたモデルを用いて、いずれかのラベル情報を選択する選択手段として機能させ、前記提供手段は、前記選択手段によって選択されたラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する、情報処理プログラムである。
請求項６の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されているコンピュータを、前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける受付手段と、前記ラベル情報を前記第１のユーザーに表示する表示手段と、前記第１のユーザーによる購入操作にしたがって、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段として機能させる情報処理プログラムである。
請求項７の発明は、第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されているコンピュータを、前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含む第１のラベル情報を受け付ける第２の受付手段と、前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第２のラベル情報を受け付ける第３の受付手段と、前記第２のラベル情報を前記第１のユーザーに表示する表示手段と、前記第１のユーザーによる前記第２のラベル情報の購入操作にしたがって、前記第１のラベル情報と前記第２のラベル情報、又は、該第１のラベル情報と該第２のラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段として機能させる情報処理プログラムである。
請求項１の情報処理装置によれば、ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報又はラベル情報を用いて機械学習を行った結果を提供することができる。また、同一画像の同一クラス名について複数のラベル情報が生成された場合であっても、人手を介さずにラベル情報を選択することができる。
請求項２の情報処理装置によれば、同一画像の同一クラス名について複数のラベル情報が生成された場合に、クラス名と類似するクラス名を持つラベル情報を用いて機械学習されたモデルを用いて選択することができる。
請求項３の情報処理装置によれば、一般ユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を提供することができる。
請求項４の情報処理装置によれば、ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報と自主的に作成したラベル情報又はそれらのラベル情報を用いて機械学習を行った結果を提供することができる。
請求項５の情報処理プログラムによれば、ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報又はラベル情報を用いて機械学習を行った結果を提供することができる。また、同一画像の同一クラス名について複数のラベル情報が生成された場合であっても、人手を介さずにラベル情報を選択することができる。
請求項６の情報処理プログラムによれば、一般ユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を提供することができる。
請求項７の情報処理プログラムによれば、ラベル情報の作成依頼に応じて、一般ユーザーが作成したラベル情報と自主的に作成したラベル情報又はそれらのラベル情報を用いて機械学習を行った結果を提供することができる。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
本実施の形態である情報処理装置１００は、機械学習（ディープラーニングを含む）に必要なラベル情報を収集するものであって、図１の例に示すように、ユーザー管理処理モジュール１０５、発注者・購入者用ＵＩモジュール１２０、ユーザー用ＵＩモジュール１２５、データベース１３０、ラベル情報処理モジュール１３５、学習処理モジュール１４０、決済処理モジュール１４５を有している。ラベル情報とは、機械学習における教師データ（教師付きデータ、訓練データ等ともいわれる）である。ラベル情報の生成は、機械学習のプロセスの中でもコストが高い。
情報処理装置１００は、第１のユーザーが用いるユーザー端末２５０及び第２のユーザーが用いる発注者・購入者用端末２００と通信回線２９９を介して接続されている。
第１のユーザーとして、発注を行う者又は購入を行う者（法人等を含めてもよい）が該当する。例えば、企業における社員であって、機械学習用の学習データ（教師データ）であるラベル情報の作成を依頼する者、又は、第２のユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を購入する者である。「ラベル情報を用いて機械学習を行った結果」とは、機械学習後のモデルをいい、認識処理、判別処理等を行う。
第２のユーザーとして、一般ユーザーであって、ラベリング処理（ラベル情報の作成処理）を行う者が該当する。
情報処理装置１００は、第１のユーザーが用いるユーザー端末２５０及び第２のユーザーが用いる発注者・購入者用端末２００と通信回線２９９を介して接続されている。
第１のユーザーとして、発注を行う者又は購入を行う者（法人等を含めてもよい）が該当する。例えば、企業における社員であって、機械学習用の学習データ（教師データ）であるラベル情報の作成を依頼する者、又は、第２のユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を購入する者である。「ラベル情報を用いて機械学習を行った結果」とは、機械学習後のモデルをいい、認識処理、判別処理等を行う。
第２のユーザーとして、一般ユーザーであって、ラベリング処理（ラベル情報の作成処理）を行う者が該当する。
ユーザー管理処理モジュール１０５は、発注者・購入者管理モジュール１１０、ユーザー管理モジュール１１５を有しており、発注者・購入者用ＵＩモジュール１２０、ユーザー用ＵＩモジュール１２５、決済処理モジュール１４５と接続されている。ユーザー管理処理モジュール１０５は、第１のユーザー、第２のユーザーを管理する。ここで、管理するとは、ユーザーの会員登録、ログイン処理等を行うものである。
発注者・購入者管理モジュール１１０は、第１のユーザーである発注者又は購入者の管理を行う。
ユーザー管理モジュール１１５は、第２のユーザーである一般ユーザーの管理を行う。
発注者・購入者管理モジュール１１０は、第１のユーザーである発注者又は購入者の管理を行う。
ユーザー管理モジュール１１５は、第２のユーザーである一般ユーザーの管理を行う。
発注者・購入者用ＵＩモジュール１２０は、ユーザー管理処理モジュール１０５、データベース１３０、ラベル情報処理モジュール１３５と接続されている。発注者・購入者用ＵＩモジュール１２０は、発注者・購入者管理モジュール１１０によってログイン処理された第１のユーザーとのユーザーインターフェースの機能を有している。具体的には、第１のユーザーに対して、ラベル情報の作成依頼、ラベル情報又はラベル情報を用いて機械学習を行った結果の購入等に関するＷｅｂページを表示する。第１のユーザーは、発注者・購入者用端末２００のＷｅｂブラウザを用いてそのＷｅｂページを閲覧する。
ユーザー用ＵＩモジュール１２５は、ユーザー管理処理モジュール１０５、データベース１３０、ラベル情報処理モジュール１３５と接続されている。ユーザー用ＵＩモジュール１２５は、ユーザー管理モジュール１１５によってログイン処理された第２のユーザーとのユーザーインターフェースの機能を有している。具体的には、第２のユーザーに対して、ラベル情報の作成依頼、第２のユーザーが作成したラベル情報の入力画面等を表示する。第２のユーザーは、ユーザー端末２５０のＷｅｂブラウザを用いてそのＷｅｂページを閲覧する。
データベース１３０は、発注者・購入者用ＵＩモジュール１２０、ユーザー用ＵＩモジュール１２５、ラベル情報処理モジュール１３５、学習処理モジュール１４０と接続されている。データベース１３０は、発注者・購入者用ＵＩモジュール１２０が受け付けたラベル情報作成依頼における画像、クラス名を蓄積し、ユーザー用ＵＩモジュール１２５、ラベル情報処理モジュール１３５に渡す。そして、データベース１３０は、ユーザー用ＵＩモジュール１２５が受け付けたラベル情報（第２のユーザーによって作成されたラベル情報）を蓄積し、発注者・購入者用ＵＩモジュール１２０、ラベル情報処理モジュール１３５に渡す。
ラベル情報処理モジュール１３５は、発注者・購入者用ＵＩモジュール１２０、ユーザー用ＵＩモジュール１２５、データベース１３０と接続されている。ラベル情報処理モジュール１３５は、ユーザー用ＵＩモジュール１２５が受け付けたラベル情報の選択、チェック等を行う。例えば、同じ画像に対して同じクラス名であるラベル情報が複数ある場合（例えば、複数の第２のユーザーが同じ画像に対して同じクラス名のラベル付けを行った場合であって、重複しているラベル情報があることになる）に、そのいずれかのラベル情報を選択する。又は、ラベル情報の品質のチェック等を行う。
学習処理モジュール１４０は、データベース１３０と接続されている。学習処理モジュール１４０は、データベース１３０に蓄積されたラベル情報を用いて、機械学習を行う。教師あり学習であれば、どのような機械学習であってもよい。例えば、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等であってもよい。以下、例示する場合は、ニューラルネットワークを用いて説明する。
決済処理モジュール１４５は、ユーザー管理処理モジュール１０５と接続されている。決済処理モジュール１４５は、第１のユーザーが、ラベル情報又はラベル情報を用いて機械学習を行った結果を購入する処理、そのラベル情報を作成した第２のユーザーに報酬を付与する処理等を行う。報酬として、金銭の他に、ポイント、商品等であってもよい。例えば、ゲームに用いることができるポイントであってもよく、第２のユーザーにとっては報酬を得ることができるようになる。
具体的には、報酬は、ラベル情報の単価、作成したラベル情報の数を用いて算出される。また、ラベル情報の品質に応じて、報酬を算出してもよい。具体的には、ラベル情報の正確性に応じて、報酬額を高くするようにしてもよい。
具体的には、報酬は、ラベル情報の単価、作成したラベル情報の数を用いて算出される。また、ラベル情報の品質に応じて、報酬を算出してもよい。具体的には、ラベル情報の正確性に応じて、報酬額を高くするようにしてもよい。
＜第１の処理例（オファー方式）＞
第１のユーザーとして、ラベル情報の発注を行う者（法人等を含めてもよい）が該当する。例えば、企業における社員であって、機械学習用の学習データ（教師データ）であるラベル情報の作成を依頼する者である。
第２のユーザーとして、一般ユーザーであって、ラベリング処理を行う者が該当する。
情報処理装置１００は、第１のユーザーの発注に応じて機械学習に必要な学習データを第２のユーザーに生成させる。
第１のユーザーとして、ラベル情報の発注を行う者（法人等を含めてもよい）が該当する。例えば、企業における社員であって、機械学習用の学習データ（教師データ）であるラベル情報の作成を依頼する者である。
第２のユーザーとして、一般ユーザーであって、ラベリング処理を行う者が該当する。
情報処理装置１００は、第１のユーザーの発注に応じて機械学習に必要な学習データを第２のユーザーに生成させる。
発注者・購入者用ＵＩモジュール１２０は、第１のユーザーから、機械学習の対象が撮影されている画像（以下、素材画像ともいう）とその対象のクラス名を受け付ける。つまり、その画像からクラス名の対象物を選択してラベリング作業を行うことの依頼である。
ユーザー用ＵＩモジュール１２５は、画像とクラス名を第２のユーザーに表示する。つまり、第１のユーザーからの依頼を第２のユーザーに表示し、第２のユーザーは、画像からクラス名の対象物を選択するラベリング作業を行う。具体的には、第２のユーザーは、表示された素材画像に対して、指定されたクラス名の対象物を矩形で囲む処理を行う。
そして、ユーザー用ＵＩモジュール１２５は、第２のユーザーから、画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報（ラベリング作業の結果）を受け付ける。
発注者・購入者用ＵＩモジュール１２０は、データベース１３０内のラベル情報、又は、そのラベル情報を用いて学習処理モジュール１４０が機械学習を行った結果を第１のユーザーに提供する。
ユーザー用ＵＩモジュール１２５は、画像とクラス名を第２のユーザーに表示する。つまり、第１のユーザーからの依頼を第２のユーザーに表示し、第２のユーザーは、画像からクラス名の対象物を選択するラベリング作業を行う。具体的には、第２のユーザーは、表示された素材画像に対して、指定されたクラス名の対象物を矩形で囲む処理を行う。
そして、ユーザー用ＵＩモジュール１２５は、第２のユーザーから、画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報（ラベリング作業の結果）を受け付ける。
発注者・購入者用ＵＩモジュール１２０は、データベース１３０内のラベル情報、又は、そのラベル情報を用いて学習処理モジュール１４０が機械学習を行った結果を第１のユーザーに提供する。
ラベル情報処理モジュール１３５は、依頼された画像と同じ画像であって、その依頼におけるクラス名と同じクラス名についてのラベル情報が複数ある場合は、既に機械学習されたモデルを用いて、いずれかのラベル情報を選択する。例えば、第１のユーザーが依頼した画像とクラス名の組が、複数人の第２のユーザーに提示され、複数のラベル情報が作成される場合がある。この場合、ラベル情報は１つで足りるので、正確に対象物を矩形で囲んだラベル情報を選択すべきである。ラベル情報処理モジュール１３５は、機械学習に適しているラベル情報を選択する。
ここで「既に機械学習されたモデル」として、例えば、既に収集したラベル情報を用いて機械学習されたモデルであってもよいし、他のクラス名で機械学習されたモデルであってもよい。前者は教師データが少ない状態で機械学習が行われたモデルとなる。後者については、後述する。
ここで「既に機械学習されたモデル」として、例えば、既に収集したラベル情報を用いて機械学習されたモデルであってもよいし、他のクラス名で機械学習されたモデルであってもよい。前者は教師データが少ない状態で機械学習が行われたモデルとなる。後者については、後述する。
ラベル情報処理モジュール１３５は、依頼されたクラス名と類似するクラス名を持つラベル情報を用いて機械学習されたモデルを用いるようにしてもよい。類似するクラス名を選択する際に、概念体系を示した木構造を用いるようにしてもよい。その概念体系として、オントロジーを用いてもよい。
また、ラベル情報処理モジュール１３５は、モデルによる処理結果であるラベル情報と最も近いラベル情報を生成した第２のユーザーのラベル情報を選択するようにしてもよい。
また、ラベル情報処理モジュール１３５は、モデルが複数ある場合は、複数のモデルによる処理結果のラベル情報の論理積を行い、その論理積の結果と最も近いラベル情報を生成した第２のユーザーのラベル情報を選択するようにしてもよい。
また、ラベル情報処理モジュール１３５は、モデルによる処理結果であるラベル情報と最も近いラベル情報を生成した第２のユーザーのラベル情報を選択するようにしてもよい。
また、ラベル情報処理モジュール１３５は、モデルが複数ある場合は、複数のモデルによる処理結果のラベル情報の論理積を行い、その論理積の結果と最も近いラベル情報を生成した第２のユーザーのラベル情報を選択するようにしてもよい。
そして、発注者・購入者用ＵＩモジュール１２０は、ラベル情報処理モジュール１３５によって選択されたラベル情報、又は、そのラベル情報を用いて機械学習を行った結果を第１のユーザーに提供する。つまり、提供するものは、ラベル情報そのものであってもよいし、そのラベル情報を用いて学習処理モジュール１４０が機械学習したモデルであってもよい。前者は、第１のユーザーが機械学習させる装置（又はソフトウェア）を有している場合である。後者は、ラベル情報処理モジュール１３５が、ラベル情報を選択する場合に、機械学習されたモデルを用いることができるようになる。
＜第２の処理例（セルフ方式）＞
第１のユーザーとして、ラベル情報の購入を行う者（法人等を含めてもよい）が該当する。例えば、企業における社員であって、第２のユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を購入する者である。
第２のユーザーとして、一般ユーザーであって、自主的にラベリング処理を行う者が該当する。
情報処理装置１００は、第２のユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を、第１のユーザーに提供することができる。
第１のユーザーとして、ラベル情報の購入を行う者（法人等を含めてもよい）が該当する。例えば、企業における社員であって、第２のユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を購入する者である。
第２のユーザーとして、一般ユーザーであって、自主的にラベリング処理を行う者が該当する。
情報処理装置１００は、第２のユーザーが自主的に作成したラベル情報又はそのラベル情報を用いて機械学習を行った結果を、第１のユーザーに提供することができる。
ユーザー用ＵＩモジュール１２５は、第２のユーザーから、機械学習の対象となり得る画像とその画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける。具体的には、第２のユーザーは、第２のユーザー自身が撮影した素材画像に対して、クラス名の対象物を矩形で囲む処理を行う。ここでのクラス名は、第２のユーザー自身が決定したものであってもよいし、予め情報処理装置１００から提示されたクラス名であってもよい。前者は、画像だけでなく、クラス名そのものも第２のユーザー自身が自主的に決定している。したがって、必ずしも需要があるラベル情報ではない。後者は、予め定められたクラス名（例えば、第１のユーザーからの要望で定められているクラス名）であり、素材画像を第２のユーザー自身が撮影したものである。したがって、需要があるラベル情報となる確率が高い。
発注者・購入者用ＵＩモジュール１２０は、ラベル情報を第１のユーザーに表示する。具体的には、クラス名とそのクラス名の対象物が矩形で囲まれた画像の組み合わせを、第１のユーザーに表示する。いわば、商品又は商品見本の展示に該当する。なお、表示する画像はサムネイル画像としてもよい。
そして、発注者・購入者用ＵＩモジュール１２０は、第１のユーザーによる購入操作にしたがって、第１の処理例と同様に、ラベル情報又はそのラベル情報を用いて機械学習を行った結果を、その第１のユーザーに提供する。
発注者・購入者用ＵＩモジュール１２０は、ラベル情報を第１のユーザーに表示する。具体的には、クラス名とそのクラス名の対象物が矩形で囲まれた画像の組み合わせを、第１のユーザーに表示する。いわば、商品又は商品見本の展示に該当する。なお、表示する画像はサムネイル画像としてもよい。
そして、発注者・購入者用ＵＩモジュール１２０は、第１のユーザーによる購入操作にしたがって、第１の処理例と同様に、ラベル情報又はそのラベル情報を用いて機械学習を行った結果を、その第１のユーザーに提供する。
＜第３の処理例（オファー方式とセルフ方式の組み合わせ）＞
第３の処理例は、第１の処理例と第２の処理例を組み合わせたものである。
例えば、第１の処理例において、第１のユーザーが提供した素材画像（発注者・購入者用ＵＩモジュール１２０が受け付けた機械学習の対象が撮影されている画像）だけでは不足している場合、第２の処理例において示した第２のユーザーが自主的に作成したラベル情報を付加するものである。
発注者・購入者用ＵＩモジュール１２０は、第１のユーザーから、機械学習の対象が撮影されている画像とその対象のクラス名を受け付ける。
ユーザー用ＵＩモジュール１２５は、画像とクラス名を第２のユーザーに表示する。
ユーザー用ＵＩモジュール１２５は、第２のユーザーから、画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第１のラベル情報を受け付ける。つまり、第１のユーザーからの依頼に対応するラベル情報である。
第３の処理例は、第１の処理例と第２の処理例を組み合わせたものである。
例えば、第１の処理例において、第１のユーザーが提供した素材画像（発注者・購入者用ＵＩモジュール１２０が受け付けた機械学習の対象が撮影されている画像）だけでは不足している場合、第２の処理例において示した第２のユーザーが自主的に作成したラベル情報を付加するものである。
発注者・購入者用ＵＩモジュール１２０は、第１のユーザーから、機械学習の対象が撮影されている画像とその対象のクラス名を受け付ける。
ユーザー用ＵＩモジュール１２５は、画像とクラス名を第２のユーザーに表示する。
ユーザー用ＵＩモジュール１２５は、第２のユーザーから、画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第１のラベル情報を受け付ける。つまり、第１のユーザーからの依頼に対応するラベル情報である。
そして、ユーザー用ＵＩモジュール１２５は、第２のユーザーから、機械学習の対象となり得る画像とその画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第２のラベル情報を受け付ける。つまり、第２のユーザーが自主的に作成したラベル情報である。
発注者・購入者用ＵＩモジュール１２０は、第２のラベル情報を第１のユーザーに表示する。
発注者・購入者用ＵＩモジュール１２０は、第１のユーザーによる第２のラベル情報の購入操作にしたがって、第１のラベル情報と第２のラベル情報、又は、第１のラベル情報と第２のラベル情報を用いて機械学習を行った結果を第１のユーザーに提供する。
発注者・購入者用ＵＩモジュール１２０は、第２のラベル情報を第１のユーザーに表示する。
発注者・購入者用ＵＩモジュール１２０は、第１のユーザーによる第２のラベル情報の購入操作にしたがって、第１のラベル情報と第２のラベル情報、又は、第１のラベル情報と第２のラベル情報を用いて機械学習を行った結果を第１のユーザーに提供する。
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
情報処理装置１００、発注者・購入者用端末２００Ａ、発注者・購入者用端末２００Ｂ、発注者・購入者用端末２００Ｃ、ユーザー端末２５０Ａ、ユーザー端末２５０Ｂ、ユーザー端末２５０Ｃ、ユーザー端末２５０Ｄは、通信回線２９９を介してそれぞれ接続されている。通信回線２９９は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置１００による機能は、クラウドサービスとして実現してもよい。
情報処理装置１００は、第１のユーザーが用いるユーザー端末２５０及び第２のユーザーが用いる発注者・購入者用端末２００と通信回線２９９を介して接続されている。
情報処理装置１００、発注者・購入者用端末２００Ａ、発注者・購入者用端末２００Ｂ、発注者・購入者用端末２００Ｃ、ユーザー端末２５０Ａ、ユーザー端末２５０Ｂ、ユーザー端末２５０Ｃ、ユーザー端末２５０Ｄは、通信回線２９９を介してそれぞれ接続されている。通信回線２９９は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置１００による機能は、クラウドサービスとして実現してもよい。
情報処理装置１００は、第１のユーザーが用いるユーザー端末２５０及び第２のユーザーが用いる発注者・購入者用端末２００と通信回線２９９を介して接続されている。
前述の第１の処理例では、例えば、第１のユーザーが用いる発注者・購入者用端末２００からラベル情報の作成依頼を受け付け、第２のユーザーが用いるユーザー端末２５０からラベル情報を受け取って、その発注者・購入者用端末２００に渡す。
前述の第２の処理例では、例えば、第２のユーザーが用いるユーザー端末２５０から自主的に作成したラベル情報を受け取って、第１のユーザーが用いる発注者・購入者用端末２００に渡す。
前述の第３の処理例では、例えば、第１のユーザーが用いる発注者・購入者用端末２００からラベル情報の作成依頼を受け付け、第２のユーザーが用いるユーザー端末２５０から作成依頼のあったラベル情報と自主的に作成したラベル情報を受け取って、その発注者・購入者用端末２００に渡す。
前述の第２の処理例では、例えば、第２のユーザーが用いるユーザー端末２５０から自主的に作成したラベル情報を受け取って、第１のユーザーが用いる発注者・購入者用端末２００に渡す。
前述の第３の処理例では、例えば、第１のユーザーが用いる発注者・購入者用端末２００からラベル情報の作成依頼を受け付け、第２のユーザーが用いるユーザー端末２５０から作成依頼のあったラベル情報と自主的に作成したラベル情報を受け取って、その発注者・購入者用端末２００に渡す。
図３は、本実施の形態を用いた処理例の概要を示す説明図である。
発注者・購入者用端末２００においては、発注者の操作によって、情報処理装置１００が提供している画面から、対象とするクラス名を選択する。図３の例では、クラス名は階層的になっており、お題（カテゴリ）３４０を上位（ルート）として、その下位に銅像３４２、さらにその下位に渋谷ハチ公３４４があり、対象とするクラス名として渋谷ハチ公３４４が選択されている。そして、発注者・購入者用端末２００は、渋谷ハチ公が撮影されている素材画像をオンラインストレージサービス３１０又は画像共有ＳＮＳ３１５に格納し、その場所（ＵＲＬ）を情報処理装置１００に送信する。なお、画像記憶装置群３０５として、オンラインストレージサービス３１０、画像共有ＳＮＳ３１５を例示したが、発注者・購入者用端末２００又は情報処理装置１００が有している画像記憶装置等であってもよい。
発注者・購入者用端末２００においては、発注者の操作によって、情報処理装置１００が提供している画面から、対象とするクラス名を選択する。図３の例では、クラス名は階層的になっており、お題（カテゴリ）３４０を上位（ルート）として、その下位に銅像３４２、さらにその下位に渋谷ハチ公３４４があり、対象とするクラス名として渋谷ハチ公３４４が選択されている。そして、発注者・購入者用端末２００は、渋谷ハチ公が撮影されている素材画像をオンラインストレージサービス３１０又は画像共有ＳＮＳ３１５に格納し、その場所（ＵＲＬ）を情報処理装置１００に送信する。なお、画像記憶装置群３０５として、オンラインストレージサービス３１０、画像共有ＳＮＳ３１５を例示したが、発注者・購入者用端末２００又は情報処理装置１００が有している画像記憶装置等であってもよい。
ユーザー端末２５０においては、オンラインストレージサービス３１０又は画像共有ＳＮＳ３１５に格納されている素材画像を画面３２０に表示し、一般ユーザーは渋谷ハチ公３４４の領域を矩形３２５で囲む操作を行い、ラベル情報３３０を生成し、情報処理装置１００に送信する。
発注者・購入者用端末２００は、情報処理装置１００からラベル情報３３０のデータ購入３５０を行い、情報処理装置１００に対して支払処理３５５を行う。情報処理装置１００は、そのラベル情報３３０を作成した一般ユーザーに対して支払処理３６５を行う。
発注者・購入者用端末２００は、情報処理装置１００からラベル情報３３０のデータ購入３５０を行い、情報処理装置１００に対して支払処理３５５を行う。情報処理装置１００は、そのラベル情報３３０を作成した一般ユーザーに対して支払処理３６５を行う。
情報処理装置１００は、管理情報３３５として、お題（カテゴリ）、画像ファイル、座標データ、ユーザーデータ、発注者・購入者データ等を管理している。図３の例では、具体的には、お題（カテゴリ）として渋谷ハチ公３４４、画像ファイルとしてオンラインストレージサービス３１０又は画像共有ＳＮＳ３１５に格納されている素材画像、座標データとして矩形３２５の対角の座標（ラベル情報３３０）、ユーザーデータとしてユーザー端末２５０を用いている一般ユーザー、発注者・購入者データとして発注者・購入者用端末２００を用いている発注者又は購入者がある。
なお、一般ユーザーへの支払額として、以下の式を用いるようにしてもよい。
カテゴリ数×タグ数×精度（％）＝支払額
なお、一般ユーザーへの支払額として、以下の式を用いるようにしてもよい。
カテゴリ数×タグ数×精度（％）＝支払額
図４は、本実施の形態による処理例（第１の処理例）を示すフローチャートである。
まず、一般ユーザーの会員登録処理例について説明する。
ステップＳ４０２ｃでは、ユーザー端末２５０は、情報処理装置１００に対して会員登録処理を行い、ステップＳ４０４ｂへ進む。ステップＳ４０２ｃの詳細については、図６の例を用いて後述する。
ステップＳ４０４ｂでは、情報処理装置１００は、ユーザー管理処理（登録処理）を行い、ステップＳ４１０ｂ（ステップＳ４１８ｂ）へ進む。
まず、一般ユーザーの会員登録処理例について説明する。
ステップＳ４０２ｃでは、ユーザー端末２５０は、情報処理装置１００に対して会員登録処理を行い、ステップＳ４０４ｂへ進む。ステップＳ４０２ｃの詳細については、図６の例を用いて後述する。
ステップＳ４０４ｂでは、情報処理装置１００は、ユーザー管理処理（登録処理）を行い、ステップＳ４１０ｂ（ステップＳ４１８ｂ）へ進む。
次に、ラベル情報作成依頼処理例について説明する。
ステップＳ４０２ａでは、発注者・購入者用端末２００は、題材登録処理を行う。例えば、後述する図６の例に示す発注者画面（発注）６００で行う。そして、静止画像４７２（素材画像）と予算情報４７４を情報処理装置１００に渡す。そして、ステップＳ４０８ｂへ進む。
ステップＳ４０８ｂでは、情報処理装置１００は、管理画面題材管理処理を行う。具体的には、静止画像４７２と予算情報４７４をデータベース１３０に格納する。そして、ユーザー端末２５０へのラベル情報作成依頼の画面を生成する。そして、ステップＳ４１０ｂへ進む。
ステップＳ４１０ｂでは、情報処理装置１００は、ラベル情報収集処理を行う。具体的には、ユーザー端末２５０にラベル情報作成依頼の画面（静止画像４７６（素材画像）、予算情報４７８が含まれている）を提示し、ユーザー端末２５０の一般ユーザーに対して、ラベル情報作成依頼を行う。
ステップＳ４１２ｃでは、ユーザー端末２５０は、一般ユーザーの操作に応じて、題材情報の閲覧処理を行う。例えば、後述する図８の例に示すユーザー画面（閲覧）８００で行う。ラベル情報作成依頼を受ける場合は、ステップＳ４１４ｃに進む。
ステップＳ４０２ａでは、発注者・購入者用端末２００は、題材登録処理を行う。例えば、後述する図６の例に示す発注者画面（発注）６００で行う。そして、静止画像４７２（素材画像）と予算情報４７４を情報処理装置１００に渡す。そして、ステップＳ４０８ｂへ進む。
ステップＳ４０８ｂでは、情報処理装置１００は、管理画面題材管理処理を行う。具体的には、静止画像４７２と予算情報４７４をデータベース１３０に格納する。そして、ユーザー端末２５０へのラベル情報作成依頼の画面を生成する。そして、ステップＳ４１０ｂへ進む。
ステップＳ４１０ｂでは、情報処理装置１００は、ラベル情報収集処理を行う。具体的には、ユーザー端末２５０にラベル情報作成依頼の画面（静止画像４７６（素材画像）、予算情報４７８が含まれている）を提示し、ユーザー端末２５０の一般ユーザーに対して、ラベル情報作成依頼を行う。
ステップＳ４１２ｃでは、ユーザー端末２５０は、一般ユーザーの操作に応じて、題材情報の閲覧処理を行う。例えば、後述する図８の例に示すユーザー画面（閲覧）８００で行う。ラベル情報作成依頼を受ける場合は、ステップＳ４１４ｃに進む。
次に、ラベリング作業処理について説明する。
ステップＳ４１４ｃでは、ユーザー端末２５０は、ラベリング作業処理を行う。例えば、後述する図１１の例に示すユーザー画面１１００で行う。そして、ラベル情報４８０を情報処理装置１００に送信する。
なお、第３の処理例における処理を行う場合は、ステップＳ４１６ｃで、図１４の例に示すフローチャートのステップＳ１４０６ｃへ進む。
ステップＳ４１８ｂでは、情報処理装置１００は、ラベル情報収集処理を行う。具体的には、ユーザー端末２５０からラベル情報４８０を受信し、データベース１３０に格納する。
ステップＳ４１４ｃでは、ユーザー端末２５０は、ラベリング作業処理を行う。例えば、後述する図１１の例に示すユーザー画面１１００で行う。そして、ラベル情報４８０を情報処理装置１００に送信する。
なお、第３の処理例における処理を行う場合は、ステップＳ４１６ｃで、図１４の例に示すフローチャートのステップＳ１４０６ｃへ進む。
ステップＳ４１８ｂでは、情報処理装置１００は、ラベル情報収集処理を行う。具体的には、ユーザー端末２５０からラベル情報４８０を受信し、データベース１３０に格納する。
次に、ラベル情報のレビュー（確認）処理例について説明する。
ステップＳ４２０ｂでは、情報処理装置１００は、データベース１３０からラベル情報の抽出処理を行い、ステップＳ４２２ａへ進む。なお、ステップＳ４２０ｂでは、単に、データベース１３０内のラベル情報４８２を抽出するだけではなく、前述したラベル情報処理モジュール１３５によって、重複しているラベル情報から機械学習に適しているラベル情報４８２を抽出するようにしてもよい。
ステップＳ４２２ａでは、発注者・購入者用端末２００は、ラベル情報４８２のレビューを行い、そのラベル情報４８２でＯＫの場合はステップＳ４２６ａ、ステップＳ４２８ｂへ進み、ＮＧの場合はステップＳ４２４ａへ進む。例えば、このレビューを後述する図１３の例に示す発注者画面（レビュー）１３００で行う。
ステップＳ４２４ａでは、発注者・購入者用端末２００は、再ラベリング依頼処理を行い、ステップＳ４０８ｂへ進む。ラベル情報４８２が不足している、又は、ラベル情報４８２が不正確である等の利用によって、再度のラベリング作業の依頼を情報処理装置１００を介してユーザー端末２５０の一般ユーザーに依頼する。
ステップＳ４２０ｂでは、情報処理装置１００は、データベース１３０からラベル情報の抽出処理を行い、ステップＳ４２２ａへ進む。なお、ステップＳ４２０ｂでは、単に、データベース１３０内のラベル情報４８２を抽出するだけではなく、前述したラベル情報処理モジュール１３５によって、重複しているラベル情報から機械学習に適しているラベル情報４８２を抽出するようにしてもよい。
ステップＳ４２２ａでは、発注者・購入者用端末２００は、ラベル情報４８２のレビューを行い、そのラベル情報４８２でＯＫの場合はステップＳ４２６ａ、ステップＳ４２８ｂへ進み、ＮＧの場合はステップＳ４２４ａへ進む。例えば、このレビューを後述する図１３の例に示す発注者画面（レビュー）１３００で行う。
ステップＳ４２４ａでは、発注者・購入者用端末２００は、再ラベリング依頼処理を行い、ステップＳ４０８ｂへ進む。ラベル情報４８２が不足している、又は、ラベル情報４８２が不正確である等の利用によって、再度のラベリング作業の依頼を情報処理装置１００を介してユーザー端末２５０の一般ユーザーに依頼する。
次に、学習処理について説明する。
ステップＳ４２６ａでは、発注者・購入者用端末２００は、学習処理を行う。詳細については、図５の例を用いて後述する。
ステップＳ４２６ａでは、発注者・購入者用端末２００は、学習処理を行う。詳細については、図５の例を用いて後述する。
次に、支払処理について説明する。
ステップＳ４２８ｂでは、情報処理装置１００は、データベース１３０内のラベル情報４８２を用いて、管理画面における支払管理を行う。
ステップＳ４３０ｂでは、情報処理装置１００は、支払処理を行い、ステップＳ４３２ｃへ進む。
ステップＳ４３２ｃでは、ユーザー端末２５０は、一般ユーザーへの報酬の受取処理を行う。
ステップＳ４２８ｂでは、情報処理装置１００は、データベース１３０内のラベル情報４８２を用いて、管理画面における支払管理を行う。
ステップＳ４３０ｂでは、情報処理装置１００は、支払処理を行い、ステップＳ４３２ｃへ進む。
ステップＳ４３２ｃでは、ユーザー端末２５０は、一般ユーザーへの報酬の受取処理を行う。
図５は、本実施の形態による処理例を示すフローチャートである。つまり、図４のステップＳ４２２ａでＯＫとなった後の処理である。
ステップＳ５０２ａでは、発注者・購入者用端末２００は、情報処理装置１００に対して、学習開始依頼処理を行う。
ステップＳ５０４ｂでは、情報処理装置１００は、人工知能サーバー５７２に、データベース１３０内のラベル情報４８２を用いて学習処理（機械学習）を行わせる。そして、学習済ファイル５７４（学習処理を行った結果、モデル）が人工知能サーバー５７２に格納される。
ステップＳ５０６ａでは、発注者・購入者用端末２００は、学習済ファイル５７４を用いた活用アプリケーションの開発等の処理を行う。
ステップＳ５０２ａでは、発注者・購入者用端末２００は、情報処理装置１００に対して、学習開始依頼処理を行う。
ステップＳ５０４ｂでは、情報処理装置１００は、人工知能サーバー５７２に、データベース１３０内のラベル情報４８２を用いて学習処理（機械学習）を行わせる。そして、学習済ファイル５７４（学習処理を行った結果、モデル）が人工知能サーバー５７２に格納される。
ステップＳ５０６ａでは、発注者・購入者用端末２００は、学習済ファイル５７４を用いた活用アプリケーションの開発等の処理を行う。
なお、機械学習は、情報処理装置１００（運営者側が保有するシステム）で行うことが好ましい。収集した学習データ（画像、座標、ラベル）の分類が自動化され、そのまま人工知能の機械学習に用いることが可能になるからである。もし、発注者側が同等のことを実施しようとすると、最初に「学習のための環境の構築」が必要になる。つまり、学習データフォーマットに合わせた環境が必要である。この環境構築は、非常に困難な作業であり、運営者側が行った方が効率がよい。
また、図１７等を用いて後述するように、重複したラベル情報を選択する場合に、他のラベル情報で機械学習したニューラルネットワークモデルを用いることができるようになる。
また、図１７等を用いて後述するように、重複したラベル情報を選択する場合に、他のラベル情報で機械学習したニューラルネットワークモデルを用いることができるようになる。
図６は、本実施の形態による発注者画面（発注）６００の表示例を示す説明図である。この発注者画面（発注）６００は、図４の例に示したステップＳ４０２ａで、発注者・購入者用端末２００に表示される画面である。
発注者画面（発注）６００には、カテゴリ欄６０５、題材名称欄６１０、素材画像欄６１５、要件欄６２０、チェックボックス（ラベルデータを公開する）欄６３６、チェックボックス（利用規約に同意する）欄６３８、「上記の内容で発注する」ボタン６４０を表示する。
カテゴリ欄６０５には、階層化されたカテゴリ（クラス名）を表示する。
題材名称欄６１０では、発注者の操作によって、ラベル付けのクラス名が指定される。
素材画像欄６１５には、発注者が用意した素材画像を表示する。例えば、オンラインストレージサービス３１０ａ、オンラインストレージサービス３１０ｂ、画像共有ＳＮＳ３１５ａ等から１つを選択して、ＵＲＬを指定することによって素材画像群を指定する。
発注者画面（発注）６００には、カテゴリ欄６０５、題材名称欄６１０、素材画像欄６１５、要件欄６２０、チェックボックス（ラベルデータを公開する）欄６３６、チェックボックス（利用規約に同意する）欄６３８、「上記の内容で発注する」ボタン６４０を表示する。
カテゴリ欄６０５には、階層化されたカテゴリ（クラス名）を表示する。
題材名称欄６１０では、発注者の操作によって、ラベル付けのクラス名が指定される。
素材画像欄６１５には、発注者が用意した素材画像を表示する。例えば、オンラインストレージサービス３１０ａ、オンラインストレージサービス３１０ｂ、画像共有ＳＮＳ３１５ａ等から１つを選択して、ＵＲＬを指定することによって素材画像群を指定する。
要件欄６２０には、画像数欄６２２、平均ラベル数欄６２４、ラベル単価欄６２６、価格欄６２８、お支払総額欄６３０、作業割当数欄６３２、ユーザー欄６３４を表示する。
画像数欄６２２には、発注者が用意した素材画像数を表示する。
平均ラベル数欄６２４では、１つの素材画像内に含まれているクラス名の対象物（図６の例では、素材画像内で撮影されている車種Ａの自動車）の数を指定する。
ラベル単価欄６２６では、ラベル情報の単価を指定する。
価格欄６２８には、ラベル情報全体の価格を表示する。具体的には、例えば、画像数×平均ラベル数×ラベル単価で算出した値である。
お支払総額欄６３０には、支払総額を表示する。具体的には、例えば、ラベル情報全体の価格と手数料を加算した値である。
作業割当数欄６３２では、一人の一般ユーザーが行うべき素材画像の枚数を指定する。他のユーザーと作業（矩形描画による切り取り）が重ならないようにする。１画像に１ユーザーが割り当てられる。図６の例では、一般ユーザーの一人あたり１００枚の画像を割り当てている。なお、１画像を複数人の一般ユーザーに割り当てるようにしてもよい。一般ユーザー間で競わせることによって、早くラベル情報を得る、又は、正確なラベル情報を得ることができるようになる。
ユーザー欄６３４では、ラベリング作業を行ってもらう一般ユーザーを指定する。例えば、過去に取引をした一般ユーザーや評価の高い一般ユーザーを任意に指定して発注することが可能である。
画像数欄６２２には、発注者が用意した素材画像数を表示する。
平均ラベル数欄６２４では、１つの素材画像内に含まれているクラス名の対象物（図６の例では、素材画像内で撮影されている車種Ａの自動車）の数を指定する。
ラベル単価欄６２６では、ラベル情報の単価を指定する。
価格欄６２８には、ラベル情報全体の価格を表示する。具体的には、例えば、画像数×平均ラベル数×ラベル単価で算出した値である。
お支払総額欄６３０には、支払総額を表示する。具体的には、例えば、ラベル情報全体の価格と手数料を加算した値である。
作業割当数欄６３２では、一人の一般ユーザーが行うべき素材画像の枚数を指定する。他のユーザーと作業（矩形描画による切り取り）が重ならないようにする。１画像に１ユーザーが割り当てられる。図６の例では、一般ユーザーの一人あたり１００枚の画像を割り当てている。なお、１画像を複数人の一般ユーザーに割り当てるようにしてもよい。一般ユーザー間で競わせることによって、早くラベル情報を得る、又は、正確なラベル情報を得ることができるようになる。
ユーザー欄６３４では、ラベリング作業を行ってもらう一般ユーザーを指定する。例えば、過去に取引をした一般ユーザーや評価の高い一般ユーザーを任意に指定して発注することが可能である。
チェックボックス（ラベルデータを公開する）欄６３６では、今回の発注で生成されたラベル情報を公開してもよいか否かを指定する。例えば、公開してもよい場合は、手数料（又は支払総額）を下げることを行ってもよい。
チェックボックス（利用規約に同意する）欄６３８では、利用規約に同意したか否かを指定する。
「上記の内容で発注する」ボタン６４０が発注者に選択されることによって、ステップＳ４０８ｂに進む。なお、チェックボックス（ラベルデータを公開する）欄６３６がチェックされていない等の場合、「上記の内容で発注する」ボタン６４０を選択できないようにしておいてもよい。
チェックボックス（利用規約に同意する）欄６３８では、利用規約に同意したか否かを指定する。
「上記の内容で発注する」ボタン６４０が発注者に選択されることによって、ステップＳ４０８ｂに進む。なお、チェックボックス（ラベルデータを公開する）欄６３６がチェックされていない等の場合、「上記の内容で発注する」ボタン６４０を選択できないようにしておいてもよい。
「上記の内容で発注する」ボタン６４０が選択された場合、発注者・購入者用端末２００は情報処理装置１００に、静止画像４７２、予算情報４７４として、例えば、発注情報テーブル７００を送信する。図７は、発注情報テーブル７００のデータ構造例を示す説明図である。発注情報テーブル７００は、発注者ＩＤ欄７０５、素材画像欄７１０、クラス名欄７１５、画像数欄７２０、平均ラベル数欄７２５、ラベル単価欄７３０、価格欄７３５、手数料欄７４０、作業割当数欄７４５、期限欄７５０、指名ユーザー欄７５５、公開許可欄７６０、利用規約同意情報欄７６５等を有している。発注情報テーブル７００を用いて、発注者画面（発注）６００を表示する。発注者ＩＤ欄７０５は、本実施の形態において、発注者を一意に識別するための情報（発注者ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。素材画像欄７１０は、素材画像を記憶している。素材画像欄７１０内に記憶する情報は、素材画像そのものであってもよいし、その素材画像が記憶されているオンラインストレージサービス３１０、画像共有ＳＮＳ３１５内の記憶フォルダーの場所を示すＵＲＬ等であってもよい。クラス名欄７１５は、対象物のクラス名を記憶している。画像数欄７２０は、画像数を記憶している。平均ラベル数欄７２５は、平均ラベル数を記憶している。ラベル単価欄７３０は、ラベル単価を記憶している。価格欄７３５は、価格を記憶している。手数料欄７４０は、手数料を記憶している。作業割当数欄７４５は、作業割当数を記憶している。期限欄７５０は、期限を記憶している。指名ユーザー欄７５５は、指名ユーザーを記憶している。公開許可欄７６０は、公開を許可するか否かの情報を記憶している。利用規約同意情報欄７６５は、利用規約同意情報を記憶している。
図８は、本実施の形態によるユーザー画面（閲覧）８００の表示例を示す説明図である。このユーザー画面（閲覧）８００は、図４の例に示したステップＳ４１２ｃで、ユーザー端末２５０に表示される画面である。
ユーザー画面（閲覧）８００には、発注内容欄８０５、素材画像欄８１０、残画像数欄８１５、ラベル単価欄８２０、希望作業枚数欄８２５、合計金額欄８３０、作業完了期限欄８３５、チェックボックス（利用規約に同意する）欄８４０、「上記の内容で作業を開始する」ボタン８４５を表示する。
ユーザー画面（閲覧）８００には、発注内容欄８０５、素材画像欄８１０、残画像数欄８１５、ラベル単価欄８２０、希望作業枚数欄８２５、合計金額欄８３０、作業完了期限欄８３５、チェックボックス（利用規約に同意する）欄８４０、「上記の内容で作業を開始する」ボタン８４５を表示する。
発注内容欄８０５には、発注者・購入者用端末２００から依頼されたラベリング処理の概要（例えば、代表的な素材画像、クラス名（題材）、単価、期限、ラベリング作業が必要な残枚数、そのラベリング作業を行っている現在の参加者数等）を表示する。図８では、例えば、車種Ａの自動車についての発注内容欄８０５ａ、渋谷ハチ公についての発注内容欄８０５ｂ、サプリメントＢについての発注内容欄８０５ｃを表示している。これらは、一般ユーザーによって選択可能に表示している。
素材画像欄８１０には、発注内容欄８０５で選択された素材画像のサムネイル画像を表示する。図８では、例えば、発注内容欄８０５ａが選択された場合の車種Ａの自動車が撮影されている写真のサムネイル画像を表示している。
残画像数欄８１５には、ラベリング作業が必要な残枚数を表示する。
ラベル単価欄８２０には、ラベリング作業の１枚あたりの単価を表示する。
希望作業枚数欄８２５では、一般ユーザーの操作によって、ラベリング作業を行いたい枚数が指定される。
合計金額欄８３０には、希望作業枚数欄８２５で指定された枚数のラベリング作業を完了した場合の報酬額を表示する。
作業完了期限欄８３５には、ラベリング作業を完了すべき期限を表示する。なお、希望する作業枚数（希望作業枚数欄８２５）から作業工数を見積もりし、期限日を設定するようにしてもよい。作業をしない休眠の一般ユーザーを削減するためである。
チェックボックス（利用規約に同意する）欄８４０では、利用規約に同意したか否かを指定する。
「上記の内容で作業を開始する」ボタン８４５が一般ユーザーに選択されることによって、ステップＳ４１４ｃに進む。なお、チェックボックス（利用規約に同意する）欄８４０がチェックされていない等の場合、「上記の内容で作業を開始する」ボタン８４５を選択できないようにしておいてもよい。
素材画像欄８１０には、発注内容欄８０５で選択された素材画像のサムネイル画像を表示する。図８では、例えば、発注内容欄８０５ａが選択された場合の車種Ａの自動車が撮影されている写真のサムネイル画像を表示している。
残画像数欄８１５には、ラベリング作業が必要な残枚数を表示する。
ラベル単価欄８２０には、ラベリング作業の１枚あたりの単価を表示する。
希望作業枚数欄８２５では、一般ユーザーの操作によって、ラベリング作業を行いたい枚数が指定される。
合計金額欄８３０には、希望作業枚数欄８２５で指定された枚数のラベリング作業を完了した場合の報酬額を表示する。
作業完了期限欄８３５には、ラベリング作業を完了すべき期限を表示する。なお、希望する作業枚数（希望作業枚数欄８２５）から作業工数を見積もりし、期限日を設定するようにしてもよい。作業をしない休眠の一般ユーザーを削減するためである。
チェックボックス（利用規約に同意する）欄８４０では、利用規約に同意したか否かを指定する。
「上記の内容で作業を開始する」ボタン８４５が一般ユーザーに選択されることによって、ステップＳ４１４ｃに進む。なお、チェックボックス（利用規約に同意する）欄８４０がチェックされていない等の場合、「上記の内容で作業を開始する」ボタン８４５を選択できないようにしておいてもよい。
ステップＳ４１０ｂで情報処理装置１００は発注者・購入者用端末２００に、静止画像４７６、予算情報４７８として、例えば、ユーザー発注情報テーブル９００を送信する。図９は、ユーザー発注情報テーブル９００のデータ構造例を示す説明図である。ユーザー発注情報テーブル９００は、題材ＩＤ欄９０５、素材画像欄９１０、クラス名欄９１５、ラベル単価欄９２０、期限欄９２５、残画像数欄９３０、参加者数欄９３５等を有している。これらは、ユーザー画面（閲覧）８００内の情報に対応している。題材ＩＤ欄９０５は、本実施の形態において、題材を一意に識別するための情報（題材ＩＤ）を記憶している。素材画像欄９１０は、その題材における素材画像を記憶している。クラス名欄９１５は、その題材のクラス名を記憶している。ラベル単価欄９２０は、ラベリング作業の１ラベル情報作成の単価を記憶している。期限欄９２５は、そのラベリング作業の期限を記憶している。残画像数欄９３０は、その題材における残画像数を記憶している。参加者数欄９３５は、その題材における参加者数を記憶している。
「上記の内容で作業を開始する」ボタン８４５が選択された場合、ユーザー端末２５０は情報処理装置１００に、例えば、ユーザー作業情報テーブル１０００を送信する。図１０は、ユーザー作業情報テーブル１０００のデータ構造例を示す説明図である。
ユーザー作業情報テーブル１０００は、ユーザーＩＤ欄１００５、題材ＩＤ欄１０１０、希望作業枚数欄１０１５、利用規約同意情報欄１０２０等を有している。これらは、発注者画面（発注）６００内で指定された情報に対応している。ユーザーＩＤ欄１００５は、本実施の形態において、ユーザーを一意に識別するための情報（ユーザーＩＤ）を記憶している。題材ＩＤ欄１０１０は、題材ＩＤを記憶している。希望作業枚数欄１０１５は、希望作業数を記憶している。利用規約同意情報欄１０２０は、利用規約同意情報を記憶している。
ユーザー作業情報テーブル１０００は、ユーザーＩＤ欄１００５、題材ＩＤ欄１０１０、希望作業枚数欄１０１５、利用規約同意情報欄１０２０等を有している。これらは、発注者画面（発注）６００内で指定された情報に対応している。ユーザーＩＤ欄１００５は、本実施の形態において、ユーザーを一意に識別するための情報（ユーザーＩＤ）を記憶している。題材ＩＤ欄１０１０は、題材ＩＤを記憶している。希望作業枚数欄１０１５は、希望作業数を記憶している。利用規約同意情報欄１０２０は、利用規約同意情報を記憶している。
図１１は、本実施の形態によるユーザー画面１１００の表示例を示す説明図である。このユーザー画面１１００は、図４の例に示したステップＳ４１４ｃで、発注者・購入者用端末２００に表示される画面である。
ユーザー画面１１００には、対象画像１１０５、操作情報欄１１２０、保存するボタン１１２５、その他の対象画像を表示する。図１１の例に示すユーザー画面１１００は、題材として「渋谷ハチ公」が選択された場合の表示画面である。
対象画像１１０５には、渋谷ハチ公が撮影されている素材画像を表示する。一般ユーザーは、カーソルキー、指、ペン等を用いて、渋谷ハチ公を囲む矩形（描画矩形（ユーザー自身）１１１０）を描画する。これがラベリング作業に該当する。具体的には、矩形の対角を指定する操作である。その際に、サンプルとして、既に、他の一般ユーザーが渋谷ハチ公を囲んだ矩形（描画矩形（他ユーザー）１１１５）を表示してもよい。
さらに、そのラベリング作業で生成される情報として、題材、素材画像名、矩形情報（対角の座標）等を示す操作情報欄１１２０を表示する。
また、その他の素材画像として、既にラベリング作業済みの素材画像（対象画像（サムネイル）１１３５、対象画像（サムネイル）１１４０）、未だラベリング作業が行われていない素材画像（対象画像（サムネイル）１１４５）を表示する。なお、スクロールバー１１３０、スクロールバー１１５０を表示し、その他の素材画像を表示できるようにしている。
ユーザー画面１１００には、対象画像１１０５、操作情報欄１１２０、保存するボタン１１２５、その他の対象画像を表示する。図１１の例に示すユーザー画面１１００は、題材として「渋谷ハチ公」が選択された場合の表示画面である。
対象画像１１０５には、渋谷ハチ公が撮影されている素材画像を表示する。一般ユーザーは、カーソルキー、指、ペン等を用いて、渋谷ハチ公を囲む矩形（描画矩形（ユーザー自身）１１１０）を描画する。これがラベリング作業に該当する。具体的には、矩形の対角を指定する操作である。その際に、サンプルとして、既に、他の一般ユーザーが渋谷ハチ公を囲んだ矩形（描画矩形（他ユーザー）１１１５）を表示してもよい。
さらに、そのラベリング作業で生成される情報として、題材、素材画像名、矩形情報（対角の座標）等を示す操作情報欄１１２０を表示する。
また、その他の素材画像として、既にラベリング作業済みの素材画像（対象画像（サムネイル）１１３５、対象画像（サムネイル）１１４０）、未だラベリング作業が行われていない素材画像（対象画像（サムネイル）１１４５）を表示する。なお、スクロールバー１１３０、スクロールバー１１５０を表示し、その他の素材画像を表示できるようにしている。
そして、一般ユーザーの操作によって、保存するボタン１１２５が選択された場合に、ユーザー端末２５０は情報処理装置１００に、対象画像１１０５上で行われたラベリング作業の結果であるラベル情報４８０として、例えば、ラベル情報テーブル１２００を送信する。図１２は、ラベル情報テーブル１２００のデータ構造例を示す説明図である。ラベル情報テーブル１２００は、ラベルＩＤ欄１２０５、ユーザーＩＤ欄１２１０、素材画像欄１２１５、ラベル欄１２２０を有しており、ラベル欄１２２０は、矩形座標欄１２２５、クラス名欄１２３５を有しており、矩形座標欄１２２５は、Ｘ０欄１２２７、Ｙ０欄１２２９、Ｘ１欄１２３１、Ｙ１欄１２３３を有している。ラベルＩＤ欄１２０５は、本実施の形態において、ラベル情報を一意に識別するための情報（ラベルＩＤ）を記憶している。ユーザーＩＤ欄１２１０は、そのラベル情報を作成したユーザーのユーザーＩＤを記憶している。素材画像欄１２１５は、そのラベル情報の素材画像を記憶している。ラベル欄１２２０は、ラベル情報の内容を記憶している。矩形座標欄１２２５は、矩形座標を記憶している。この例では、対角の座標情報（（Ｘ０，Ｙ０）と（Ｘ１，Ｙ１））を用いている。Ｘ０欄１２２７は、Ｘ０座標を記憶している。Ｙ０欄１２２９は、Ｙ０座標を記憶している。Ｘ１欄１２３１は、Ｘ１座標を記憶している。Ｙ１欄１２３３は、Ｙ１座標を記憶している。もちろんのことながら、その他の情報（例えば、矩形の左上角の座標と幅、高さ等）で表現されていてもよい。クラス名欄１２３５は、クラス名を記憶している。このラベル情報テーブル１２００によって、クラス名の対象物が、素材画像のどの位置にあるかがわかり、その矩形内の画像とクラス名の組が教師データとなる。
図１３は、本実施の形態による発注者画面（レビュー）１３００の表示例を示す説明図である。この発注者画面（レビュー）１３００は、図４の例に示したステップＳ４２２ａで、発注者・購入者用端末２００に表示される画面である。この発注者画面（レビュー）１３００は、ラベル情報４８２（ラベル情報テーブル１２００）に基づいて表示する。
発注者画面（レビュー）１３００には、題材名称欄１３０５、ラベル付結果画像欄１３１０、ベンチマーク欄１３１５、予約日時受付欄１３２０、学習予約ボタン１３２５を表示する。
題材名称欄１３０５には、題材（クラス名）を表示する。
ラベル付結果画像欄１３１０には、ラベリング作業が行われた結果を表示する。つまり、クラス名の対象物を囲んだ矩形を描画した素材画像のサムネイル画像を表示する。発注者は、この中で、好ましくない矩形（ＮＧ矩形）を指定可能である。ＮＧ矩形と指定されたラベル情報については、割り当てられている一般ユーザーが再度作業を実施する（ステップＳ４２４ａ）。
ベンチマーク欄１３１５には、発注者が予め用意したベンチマーク画像（評価用画像）を表示する。このベンチマーク画像を用いて、学習結果の評価を行うことが可能である。なお、ベンチマーク画像上では、認識率を表示している。認識率が悪いベンチマーク画像のラベリング作業を、再度一般ユーザーに依頼することが可能である。
また、素材画像数を増やすために、図１４の例で説明する第３の処理例（セルフ方式）を組み合わせることが可能である。一般ユーザーが自主的に作成したラベル付結果画像を表示して、選択可能としてもよい。
予約日時受付欄１３２０では、発注者の操作によって、機械学習を行う予約日時を指定する。
発注者の操作によって、学習予約ボタン１３２５が選択された場合に、ステップＳ４２６ａ（図５の例に示すフローチャート）に進む。つまり、作成されたラベル情報に基づいて、人工知能サーバー５７２で「機械学習」を行わせることが可能である。この機械学習は、有償であって、例えば５，０００円／回等のように定められている。また、時間帯によって、価格を変動（例えば、人工知能サーバー５７２が混んでいる時間帯は高値等）してもよい。
発注者画面（レビュー）１３００には、題材名称欄１３０５、ラベル付結果画像欄１３１０、ベンチマーク欄１３１５、予約日時受付欄１３２０、学習予約ボタン１３２５を表示する。
題材名称欄１３０５には、題材（クラス名）を表示する。
ラベル付結果画像欄１３１０には、ラベリング作業が行われた結果を表示する。つまり、クラス名の対象物を囲んだ矩形を描画した素材画像のサムネイル画像を表示する。発注者は、この中で、好ましくない矩形（ＮＧ矩形）を指定可能である。ＮＧ矩形と指定されたラベル情報については、割り当てられている一般ユーザーが再度作業を実施する（ステップＳ４２４ａ）。
ベンチマーク欄１３１５には、発注者が予め用意したベンチマーク画像（評価用画像）を表示する。このベンチマーク画像を用いて、学習結果の評価を行うことが可能である。なお、ベンチマーク画像上では、認識率を表示している。認識率が悪いベンチマーク画像のラベリング作業を、再度一般ユーザーに依頼することが可能である。
また、素材画像数を増やすために、図１４の例で説明する第３の処理例（セルフ方式）を組み合わせることが可能である。一般ユーザーが自主的に作成したラベル付結果画像を表示して、選択可能としてもよい。
予約日時受付欄１３２０では、発注者の操作によって、機械学習を行う予約日時を指定する。
発注者の操作によって、学習予約ボタン１３２５が選択された場合に、ステップＳ４２６ａ（図５の例に示すフローチャート）に進む。つまり、作成されたラベル情報に基づいて、人工知能サーバー５７２で「機械学習」を行わせることが可能である。この機械学習は、有償であって、例えば５，０００円／回等のように定められている。また、時間帯によって、価格を変動（例えば、人工知能サーバー５７２が混んでいる時間帯は高値等）してもよい。
図１４は、本実施の形態による処理例（第２の処理例）を示すフローチャートである。
まず、一般ユーザーの会員登録処理例について説明する。
ステップＳ１４０２ｃでは、ユーザー端末２５０は、会員登録処理を行う。
ステップＳ１４０４ｂでは、情報処理装置１００は、ユーザー管理処理を行う。
図４の例に示したステップＳ４０２ｃ、ステップＳ４０４ｂと同等の処理である。
まず、一般ユーザーの会員登録処理例について説明する。
ステップＳ１４０２ｃでは、ユーザー端末２５０は、会員登録処理を行う。
ステップＳ１４０４ｂでは、情報処理装置１００は、ユーザー管理処理を行う。
図４の例に示したステップＳ４０２ｃ、ステップＳ４０４ｂと同等の処理である。
次に、ラベリング作業処理について説明する。
ステップＳ１４０６ｃでは、ユーザー端末２５０は、一般ユーザーが写真を撮影し、静止画の用意処理を行う。つまり、素材画像となり得る静止画像１４８２を撮影する。
ステップＳ１４０８ｃでは、ユーザー端末２５０は、静止画像１４８２に対して、ラベリング作業の処理を行う。そして、ユーザー端末２５０は、ラベリング作業の結果である静止画像１４７２、価格情報１４７４、ラベル情報１４７６を情報処理装置１００に送信する。
ステップＳ１４１０ｂでは、情報処理装置１００は、ラベル情報収集処理を行う。つまり、ユーザー端末２５０から、静止画像１４７２、価格情報１４７４、ラベル情報１４７６を受信し、データベース１３０に蓄積する。
ステップＳ１４０６ｃ、ステップＳ１４０８ｃの処理は、例えば、後述する図１５の例に示すユーザー画面（セルフ方式）１５００で行う。
ステップＳ１４０６ｃでは、ユーザー端末２５０は、一般ユーザーが写真を撮影し、静止画の用意処理を行う。つまり、素材画像となり得る静止画像１４８２を撮影する。
ステップＳ１４０８ｃでは、ユーザー端末２５０は、静止画像１４８２に対して、ラベリング作業の処理を行う。そして、ユーザー端末２５０は、ラベリング作業の結果である静止画像１４７２、価格情報１４７４、ラベル情報１４７６を情報処理装置１００に送信する。
ステップＳ１４１０ｂでは、情報処理装置１００は、ラベル情報収集処理を行う。つまり、ユーザー端末２５０から、静止画像１４７２、価格情報１４７４、ラベル情報１４７６を受信し、データベース１３０に蓄積する。
ステップＳ１４０６ｃ、ステップＳ１４０８ｃの処理は、例えば、後述する図１５の例に示すユーザー画面（セルフ方式）１５００で行う。
次に、ラベル情報の購入処理例について説明する。
ステップＳ１４１２ｂでは、情報処理装置１００は、データベース１３０からラベル情報の抽出処理を行い、ステップＳ１４１４ａへ進む。なお、ステップＳ１４１２ｂでは、単に、データベース１３０内のラベル情報１４７６を抽出するだけではなく、前述したラベル情報処理モジュール１３５によって、重複しているラベル情報から機械学習に適しているラベル情報１４７６を抽出するようにしてもよい。
ステップＳ１４１４ａでは、発注者・購入者用端末２００は、ラベル情報の閲覧処理を行う。
ステップＳ１４１２ｂでは、情報処理装置１００は、データベース１３０からラベル情報の抽出処理を行い、ステップＳ１４１４ａへ進む。なお、ステップＳ１４１２ｂでは、単に、データベース１３０内のラベル情報１４７６を抽出するだけではなく、前述したラベル情報処理モジュール１３５によって、重複しているラベル情報から機械学習に適しているラベル情報１４７６を抽出するようにしてもよい。
ステップＳ１４１４ａでは、発注者・購入者用端末２００は、ラベル情報の閲覧処理を行う。
ステップＳ１４１６ａでは、発注者・購入者用端末２００は、購入者の操作に基づいて、購入する場合はステップＳ１４１８ａへ進み、それ以外の場合（購入しない場合）は処理を終了する（ステップＳ１４９８ａ）。
ステップＳ１４１８ａでは、発注者・購入者用端末２００は、購入処理を行う。
ステップＳ１４２０ｂでは、情報処理装置１００は、決済処理を行い、ステップＳ１４２２ｂ、ステップＳ１４２６ｃへ進む。
ステップＳ１４２２ｂでは、情報処理装置１００は、ダウンロード処理を行う。つまり、データベース１３０内から静止画像１４７８、ラベル情報１４８０を抽出し、購入者の発注者・購入者用端末２００に送信する。
ステップＳ１４２４ａでは、発注者・購入者用端末２００は、ラベルデータ（静止画像１４７８、ラベル情報１４８０）を受信する。
ステップＳ１４２６ａでは、発注者・購入者用端末２００は、静止画像１４７８、ラベル情報１４８０を用いて学習処理を行う。図５の例を用いて既述した。
ステップＳ１４２６ｃでは、ユーザー端末２５０は、報酬の受取処理を行う。
ステップＳ１４１８ａでは、発注者・購入者用端末２００は、購入処理を行う。
ステップＳ１４２０ｂでは、情報処理装置１００は、決済処理を行い、ステップＳ１４２２ｂ、ステップＳ１４２６ｃへ進む。
ステップＳ１４２２ｂでは、情報処理装置１００は、ダウンロード処理を行う。つまり、データベース１３０内から静止画像１４７８、ラベル情報１４８０を抽出し、購入者の発注者・購入者用端末２００に送信する。
ステップＳ１４２４ａでは、発注者・購入者用端末２００は、ラベルデータ（静止画像１４７８、ラベル情報１４８０）を受信する。
ステップＳ１４２６ａでは、発注者・購入者用端末２００は、静止画像１４７８、ラベル情報１４８０を用いて学習処理を行う。図５の例を用いて既述した。
ステップＳ１４２６ｃでは、ユーザー端末２５０は、報酬の受取処理を行う。
図１５は、本実施の形態によるユーザー画面（セルフ方式）１５００の表示例を示す説明図である。このユーザー画面（セルフ方式）１５００は、図１４の例に示したステップＳ１４１４ａで、発注者・購入者用端末２００に表示される画面である。
ユーザー画面（セルフ方式）１５００には、カテゴリ欄１５０５、題材名称欄１５１０、「題材（カテゴリ）新規作成」ボタン１５１５、撮影欄１５２０、素材画像アップロード欄１５２５、ラベリング結果画像欄１５３０、ラベル単価欄１５３５、「ラベルを販売する」ボタン１５４０を表示する。
カテゴリ欄１５０５には、階層化されたカテゴリ（クラス名）を表示する。
題材名称欄１５１０では、一般ユーザーの操作によって、ラベル付けのクラス名が指定される。
「題材（カテゴリ）新規作成」ボタン１５１５が一般ユーザーに選択されることによって、新たな題材（カテゴリ、クラス名）が作成される。なお、情報処理装置１００が予め定められた題材のリストを提示し、そのリスト内から題材を選択するようにしてもよい。
ユーザー画面（セルフ方式）１５００には、カテゴリ欄１５０５、題材名称欄１５１０、「題材（カテゴリ）新規作成」ボタン１５１５、撮影欄１５２０、素材画像アップロード欄１５２５、ラベリング結果画像欄１５３０、ラベル単価欄１５３５、「ラベルを販売する」ボタン１５４０を表示する。
カテゴリ欄１５０５には、階層化されたカテゴリ（クラス名）を表示する。
題材名称欄１５１０では、一般ユーザーの操作によって、ラベル付けのクラス名が指定される。
「題材（カテゴリ）新規作成」ボタン１５１５が一般ユーザーに選択されることによって、新たな題材（カテゴリ、クラス名）が作成される。なお、情報処理装置１００が予め定められた題材のリストを提示し、そのリスト内から題材を選択するようにしてもよい。
撮影欄１５２０には、一般ユーザーによって撮影された画像を表示する。
素材画像アップロード欄１５２５には、一般ユーザーが撮影した画像（素材画像）の一覧を表示し、その素材画像のアップロード先であるオンラインストレージサービス３１０ａ、オンラインストレージサービス３１０ｂ、画像共有ＳＮＳ３１５ａ等を表示する。素材画像のアップロード先として、オンラインストレージサービス３１０ａ、オンラインストレージサービス３１０ｂ、画像共有ＳＮＳ３１５ａ等のいずれが選択される。
ラベリング結果画像欄１５３０には、ラベリング作業の結果を表示する。つまり、題材の対象物を囲んだ矩形を描画した素材画像を表示する。なお、ラベリング作業用の画面は、図１１の例に示したユーザー画面１１００を用いればよい。
ラベル単価欄１５３５では、一般ユーザーの操作によって、ラベル情報の単価が指定される。
素材画像アップロード欄１５２５には、一般ユーザーが撮影した画像（素材画像）の一覧を表示し、その素材画像のアップロード先であるオンラインストレージサービス３１０ａ、オンラインストレージサービス３１０ｂ、画像共有ＳＮＳ３１５ａ等を表示する。素材画像のアップロード先として、オンラインストレージサービス３１０ａ、オンラインストレージサービス３１０ｂ、画像共有ＳＮＳ３１５ａ等のいずれが選択される。
ラベリング結果画像欄１５３０には、ラベリング作業の結果を表示する。つまり、題材の対象物を囲んだ矩形を描画した素材画像を表示する。なお、ラベリング作業用の画面は、図１１の例に示したユーザー画面１１００を用いればよい。
ラベル単価欄１５３５では、一般ユーザーの操作によって、ラベル情報の単価が指定される。
そして、一般ユーザーの操作によって、「ラベルを販売する」ボタン１５４０が選択された場合に、ユーザー端末２５０は情報処理装置１００に、ラベリング作業の結果である静止画像１４７２、価格情報１４７４、ラベル情報１４７６として、例えば、ラベル情報テーブル１６００を送信する。図１６は、ラベル情報テーブル１６００のデータ構造例を示す説明図である。ラベル情報テーブル１６００は、図１２の例に示すラベル情報テーブル１２００に価格情報欄１６４０を加えたものである。ラベル情報テーブル１６００は、ラベルＩＤ欄１６０５、ユーザーＩＤ欄１６１０、素材画像欄１６１５、ラベル欄１６２０、価格情報欄１６４０を有しており、ラベル欄１６２０は、矩形座標欄１６２５、クラス名欄１６３５を有しており、矩形座標欄１６２５は、Ｘ０欄１６２７、Ｙ０欄１６２９、Ｘ１欄１６３１、Ｙ１欄１６３３を有している。ラベルＩＤ欄１６０５は、ラベルＩＤを記憶している。ユーザーＩＤ欄１６１０は、ユーザーＩＤを記憶している。素材画像欄１６１５は、素材画像を記憶している。ラベル欄１６２０は、ラベル情報の内容を記憶している。矩形座標欄１６２５は、矩形座標を記憶している。Ｘ０欄１６２７は、Ｘ０座標を記憶している。Ｙ０欄１６２９は、Ｙ０座標を記憶している。Ｘ１欄１６３１は、Ｘ１座標を記憶している。Ｙ１欄１６３３は、Ｙ１座標を記憶している。クラス名欄１６３５は、クラス名を記憶している。価格情報欄１６４０は、ラベル情報の単価情報を記憶している。
なお、第３の処理例は、第１の処理例と第２の処理例を組み合わせたものである。具体的には、図４の例（第１の処理例）に示すステップＳ４１４ｃの後のステップＳ４１６ｃから、図１４の例（第２の処理例）に示すステップＳ１４０６ｃに進むようにすればよい。これによって、第１の処理例における弱点を補完することができるようになる。つまり、オファー方式である第１の処理例を主軸とした場合、発注者側が機械学習に十分な量の素材画像を用意しきれない場合がある。この解決策として、第１の処理例内（ステップＳ４１６ｃ）に、セルフ方式である第２の処理例のステップＳ１４０６ｃへの流れを作ることにより、不足している素材画像を一般ユーザーが補充できるようにしている。
図１７は、本実施の形態による処理例（ラベル情報処理モジュール１３５）を示すフローチャートである。特に、図４の例に示すステップＳ４２０ｂ、図１４の例に示すステップＳ１４１２ｂの処理例を示すものである。
ステップＳ１７０２では、一般ユーザーによって生成されたラベル情報をデータベース１３０から抽出する。
ステップＳ１７０４では、同じ素材画像で同じ題材について複数人の一般ユーザーによるラベル情報があるか否かを判断し、ある場合はステップＳ１７０６へ進み、それ以外の場合はステップＳ１７２０へ進む。つまり、重複しているラベル情報が存在しているか否かを判断している。
ステップＳ１７０２では、一般ユーザーによって生成されたラベル情報をデータベース１３０から抽出する。
ステップＳ１７０４では、同じ素材画像で同じ題材について複数人の一般ユーザーによるラベル情報があるか否かを判断し、ある場合はステップＳ１７０６へ進み、それ以外の場合はステップＳ１７２０へ進む。つまり、重複しているラベル情報が存在しているか否かを判断している。
ステップＳ１７０６では、その題材（クラス）と類似する題材（クラス）を抽出する。ここでの類似とは、意味として類似していることをいう。例えば、図１８に示すように、クラス間の木構造（オントロジー）を用いてもよい。図１８は、クラス間の関係を示すデータ構造例を示す説明図である。車種Ａ１８１０の上位にクーペ１８０４があり、クーペ１８０４の上位に自動車コード１８０２がある。車種Ｂ１８１２の上位にＳＵＶ１８０６があり、ＳＵＶ１８０６の上位に自動車コード１８０２がある。車種Ｃ１８１４の上位にセダン１８０８があり、セダン１８０８の上位に自動車コード１８０２がある。例えば、クーペ１８０４に類似するクラスとして、クーペ１８０４の直上にある自動車コード１８０２、クーペ１８０４の直下にある車種Ａ１８１０、クーペ１８０４の兄弟であるＳＵＶ１８０６、セダン１８０８が抽出される。なお、直上、直下だけでなく、上位概念、下位概念としてもよい。また、類似するクラスの抽出として、木構造を用いる手法に限定される必要はなく、その他の手法を用いてもよい。例えば、クラス名の意味空間を定義しておき、各クラス名のベクトル表現によって意味空間内での距離を算出して、類似を判断してもよい。
ステップＳ１７０８では、ステップＳ１７０６で抽出した題材で学習済のニューラルネットワークモデルを用いて、対象となっている素材画像に対してラベリング処理を行う。なお、ステップＳ１７０６で抽出した題材が複数あり、したがって、それに対応するニューラルネットワークモデルも複数ある場合がある。例えば、図１９に示すように、素材画像１９００に対して、自動車を認識するニューラルネットワークモデルを用いてラベリング結果（自動車）１９１０を抽出し、セダンを認識するニューラルネットワークモデルを用いてラベリング結果（セダン）１９２０を抽出することがある。なお、ステップＳ１７０６で、対象としている題材（車種Ｃ１８１４）と類似する題材として、自動車（自動車コード１８０２）、セダン（セダン１８０８）が抽出されたものとする。学習したことのない車種Ｃ１８１４の素材画像であっても、他の自動車画像で学習済みのニューラルネットワークモデルを用いれば、その画像の特徴から上位カテゴリの「セダン」であり「自動車」であることを自動的に判別し矩形を描画することが可能である。
ステップＳ１７１０では、複数のニューラルネットワークモデルによる処理結果があるか否かを判断し、ある場合はステップＳ１７１２へ進み、それ以外の場合はステップＳ１７１４へ進む。
ステップＳ１７１２では、ラベリング処理結果内の矩形領域の論理和（矩形領域Ａ）を算出する。
ステップＳ１７１４では、ラベリング処理結果内の矩形領域を矩形領域Ａとする。
ステップＳ１７１２では、ラベリング処理結果内の矩形領域の論理和（矩形領域Ａ）を算出する。
ステップＳ１７１４では、ラベリング処理結果内の矩形領域を矩形領域Ａとする。
ステップＳ１７１６では、それぞれの一般ユーザーによって生成されたラベル情報内の矩形領域と矩形領域Ａとの論理積を算出する。
ステップＳ１７１８では、論理積の結果である面積が最も大である一般ユーザーの矩形を機械学習の教師データとして採用する。
例えば、図２０は、素材画像１９００に対して、車種Ｃ１８１４のユーザーラベリング結果２０１０、ユーザーラベリング結果２０２０（重複しているラベル情報）がある場合を示している。図１９の例を用いて前述したように、複数のニューラルネットワークモデルによって、ラベリング結果（自動車）１９１０とラベリング結果（セダン）１９２０が抽出されている。ステップＳ１７１２で、ラベリング結果（自動車）１９１０とラベリング結果（セダン）１９２０の論理和（ＯＲ）処理を行う。具体的には、ラベリング結果（自動車）１９１０とラベリング結果（セダン）１９２０の両方を囲む矩形（矩形領域Ａ）が生成されることとなる。そして、ステップＳ１７１６で、ラベリング結果（自動車）１９１０と矩形領域Ａとの論理積（ＡＮＤ）を算出し、ラベリング結果（セダン）１９２０と矩形領域Ａとの論理積（ＡＮＤ）を算出する。具体的には、ラベリング結果（自動車）１９１０と矩形領域Ａとの重複領域、ラベリング結果（セダン）１９２０と矩形領域Ａとの重複領域を生成する。そして、ステップＳ１７１８で、両方の重複領域の面積を算出し、最も大きい面積を有しているラベル情報を選択する。図２０の例の場合は、ユーザーラベリング結果２０１０が、機械学習の教師データとして採用される。
なお、この処理は、それぞれが独立したニューラルネットワークモデルを一つの多段のニューラルネットワークモデルに再構成しているともいえる。ここでの「独立したニューラルネットワークモデル」とは、具体的に、自動車を認識するニューラルネットワークモデル、セダンを認識するニューラルネットワークモデルを指している。２つの認識結果の論理和は、多段のニューラルネットワークモデルと同等のものである。この「多段のニューラルネットワークモデル」とは、具体的に、２つのニューラルネットワークモデルを接続して、自動車又はセダンを認識するニューラルネットワークである。そして、多段のニューラルネットワークモデルの認識結果と近似するラベル情報を生成したユーザーを採用する。
ステップＳ１７１８では、論理積の結果である面積が最も大である一般ユーザーの矩形を機械学習の教師データとして採用する。
例えば、図２０は、素材画像１９００に対して、車種Ｃ１８１４のユーザーラベリング結果２０１０、ユーザーラベリング結果２０２０（重複しているラベル情報）がある場合を示している。図１９の例を用いて前述したように、複数のニューラルネットワークモデルによって、ラベリング結果（自動車）１９１０とラベリング結果（セダン）１９２０が抽出されている。ステップＳ１７１２で、ラベリング結果（自動車）１９１０とラベリング結果（セダン）１９２０の論理和（ＯＲ）処理を行う。具体的には、ラベリング結果（自動車）１９１０とラベリング結果（セダン）１９２０の両方を囲む矩形（矩形領域Ａ）が生成されることとなる。そして、ステップＳ１７１６で、ラベリング結果（自動車）１９１０と矩形領域Ａとの論理積（ＡＮＤ）を算出し、ラベリング結果（セダン）１９２０と矩形領域Ａとの論理積（ＡＮＤ）を算出する。具体的には、ラベリング結果（自動車）１９１０と矩形領域Ａとの重複領域、ラベリング結果（セダン）１９２０と矩形領域Ａとの重複領域を生成する。そして、ステップＳ１７１８で、両方の重複領域の面積を算出し、最も大きい面積を有しているラベル情報を選択する。図２０の例の場合は、ユーザーラベリング結果２０１０が、機械学習の教師データとして採用される。
なお、この処理は、それぞれが独立したニューラルネットワークモデルを一つの多段のニューラルネットワークモデルに再構成しているともいえる。ここでの「独立したニューラルネットワークモデル」とは、具体的に、自動車を認識するニューラルネットワークモデル、セダンを認識するニューラルネットワークモデルを指している。２つの認識結果の論理和は、多段のニューラルネットワークモデルと同等のものである。この「多段のニューラルネットワークモデル」とは、具体的に、２つのニューラルネットワークモデルを接続して、自動車又はセダンを認識するニューラルネットワークである。そして、多段のニューラルネットワークモデルの認識結果と近似するラベル情報を生成したユーザーを採用する。
ステップＳ１７２０では、そのラベル情報を採用する。重複しているラベル情報がないので、そのラベル情報を機械学習の教師データとして採用する。
なお、図１１の例に示したユーザー画面１１００内の対象画像１１０５に対して、ステップＳ１７０６、ステップＳ１７０８の処理を行い、その結果をユーザーに提示してもよい。つまり、素材画像に矩形を描画しておき、その矩形を修正することをユーザーに行わせるようにしてもよい。図１１の例では、描画矩形（他ユーザー）１１１５をサンプルとして表示していたが、それに代わって、ステップＳ１７０８の処理結果を表示し、その矩形を修正できるようにするものである。
なお、重複したラベル情報がある場合は、図１７の例に示した処理以外の方法でラベル情報を選択するようにしてもよい。例えば、以下の２つの方法がある。
（１）同一画像の、画像中の対象物（例えば、渋谷ハチ公）における、複数の矩形Ａｎ（ｎは矩形数）の積集合（Ａ１ ａｎｄ Ａ２ ａｎｄ Ａ３ ．．．．．．．．．）の重心座標を算出する。そして、その重心座標に最も近い重心を有している矩形のラベル情報を採用するようにしてもよい。
（２）人間（発注者）が一つ一つの画像と矩形を確認し、「これが一番よい矩形だ」と判断して、ラベル情報を採用するようにしてもよい。
なお、１つのラベル情報を採用するだけでなく、複数のラベル情報を採用してもよい。その場合は、買取額を異ならせるようにしてもよい。例えば、前述した選択方法によって選択されたラベル情報（機械学習に適したラベル情報）を一番高く買い取るようにしてもよい。
また、ラベル情報の価格付けは、図４の処理例では発注者側、図１４の処理例では一般ユーザー側が行っているが、図１４の処理例でも購入者側が行ってもよい。
（１）同一画像の、画像中の対象物（例えば、渋谷ハチ公）における、複数の矩形Ａｎ（ｎは矩形数）の積集合（Ａ１ ａｎｄ Ａ２ ａｎｄ Ａ３ ．．．．．．．．．）の重心座標を算出する。そして、その重心座標に最も近い重心を有している矩形のラベル情報を採用するようにしてもよい。
（２）人間（発注者）が一つ一つの画像と矩形を確認し、「これが一番よい矩形だ」と判断して、ラベル情報を採用するようにしてもよい。
なお、１つのラベル情報を採用するだけでなく、複数のラベル情報を採用してもよい。その場合は、買取額を異ならせるようにしてもよい。例えば、前述した選択方法によって選択されたラベル情報（機械学習に適したラベル情報）を一番高く買い取るようにしてもよい。
また、ラベル情報の価格付けは、図４の処理例では発注者側、図１４の処理例では一般ユーザー側が行っているが、図１４の処理例でも購入者側が行ってもよい。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図２１に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ２１０１を用い、記憶装置としてＲＡＭ２１０２、ＲＯＭ２１０３、ＨＤ２１０４を用いている。ＨＤ２１０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いてもよい。ユーザー管理処理モジュール１０５、発注者・購入者管理モジュール１１０、ユーザー管理モジュール１１５、発注者・購入者用ＵＩモジュール１２０、ユーザー用ＵＩモジュール１２５、ラベル情報処理モジュール１３５、学習処理モジュール１４０、決済処理モジュール１４５等のプログラムを実行するＣＰＵ２１０１と、そのプログラムやデータを記憶するＲＡＭ２１０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ２１０３と、データベース１３０としての機能を有する補助記憶装置（フラッシュ・メモリ等であってもよい）であるＨＤ２１０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作（動作、音声、視線等を含む）に基づいてデータを受け付ける受付装置２１０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置２１０５と、ネットワークインターフェースカード等の通信ネットワークと接続するための通信回線インターフェース２１０７、そして、それらをつないでデータのやりとりをするためのバス２１０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図２１に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２１に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図２１に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、パーソナルコンピュータ等の他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボットなどに組み込まれていてもよい。
なお、図２１に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２１に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図２１に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、パーソナルコンピュータ等の他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボットなどに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明としてとらえてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
１００…情報処理装置
１０５…ユーザー管理処理モジュール
１１０…発注者・購入者管理モジュール
１１５…ユーザー管理モジュール
１２０…発注者・購入者用ＵＩモジュール
１２５…ユーザー用ＵＩモジュール
１３０…データベース
１３５…ラベル情報処理モジュール
１４０…学習処理モジュール
１４５…決済処理モジュール
２００…発注者・購入者用端末
２５０…ユーザー端末
２９９…通信回線
１０５…ユーザー管理処理モジュール
１１０…発注者・購入者管理モジュール
１１５…ユーザー管理モジュール
１２０…発注者・購入者用ＵＩモジュール
１２５…ユーザー用ＵＩモジュール
１３０…データベース
１３５…ラベル情報処理モジュール
１４０…学習処理モジュール
１４５…決済処理モジュール
２００…発注者・購入者用端末
２５０…ユーザー端末
２９９…通信回線
Claims (7)
- 第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、
前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、
前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、
前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける第２の受付手段と、
前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する提供手段と、
前記画像と同じ画像であって前記クラス名と同じクラス名についてのラベル情報が複数ある場合は、既に機械学習されたモデルを用いて、いずれかのラベル情報を選択する選択手段
を有し、
前記提供手段は、前記選択手段によって選択されたラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する、
情報処理装置。 - 前記選択手段は、前記クラス名と類似するクラス名を持つラベル情報を用いて機械学習されたモデルを用いる、
請求項１に記載の情報処理装置。 - 第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、
前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける受付手段と、
前記ラベル情報を前記第１のユーザーに表示する表示手段と、
前記第１のユーザーによる購入操作にしたがって、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段
を有する情報処理装置。 - 第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されている情報処理装置であって、
前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、
前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、
前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含む第１のラベル情報を受け付ける第２の受付手段と、
前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第２のラベル情報を受け付ける第３の受付手段と、
前記第２のラベル情報を前記第１のユーザーに表示する表示手段と、
前記第１のユーザーによる前記第２のラベル情報の購入操作にしたがって、前記第１のラベル情報と前記第２のラベル情報、又は、該第１のラベル情報と該第２のラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段
を有する情報処理装置。 - 第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されているコンピュータを、
前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、
前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、
前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける第２の受付手段と、
前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する提供手段と、
前記画像と同じ画像であって前記クラス名と同じクラス名についてのラベル情報が複数ある場合は、既に機械学習されたモデルを用いて、いずれかのラベル情報を選択する選択手段
として機能させ、
前記提供手段は、前記選択手段によって選択されたラベル情報又は該ラベル情報を用いて機械学習を行った結果を前記第１のユーザーに提供する、
情報処理プログラム。 - 第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されているコンピュータを、
前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含むラベル情報を受け付ける受付手段と、
前記ラベル情報を前記第１のユーザーに表示する表示手段と、
前記第１のユーザーによる購入操作にしたがって、前記ラベル情報又は該ラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段
として機能させる情報処理プログラム。 - 第１のユーザーが用いる端末及び第２のユーザーが用いる端末と通信回線を介して接続されているコンピュータを、
前記第１のユーザーから、機械学習の対象が撮影されている画像と該対象のクラス名を受け付ける第１の受付手段と、
前記画像と前記クラス名を前記第２のユーザーに表示する表示手段と、
前記第２のユーザーから、前記画像内で前記クラス名の対象が撮影されている領域の情報を少なくとも含む第１のラベル情報を受け付ける第２の受付手段と、
前記第２のユーザーから、機械学習の対象となり得る画像と、該画像内でクラス名の対象が撮影されている領域の情報を少なくとも含む第２のラベル情報を受け付ける第３の受付手段と、
前記第２のラベル情報を前記第１のユーザーに表示する表示手段と、
前記第１のユーザーによる前記第２のラベル情報の購入操作にしたがって、前記第１のラベル情報と前記第２のラベル情報、又は、該第１のラベル情報と該第２のラベル情報を用いて機械学習を行った結果を該第１のユーザーに提供する提供手段
として機能させる情報処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018004598A JP6522173B1 (ja) | 2018-01-16 | 2018-01-16 | 情報処理装置及び情報処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018004598A JP6522173B1 (ja) | 2018-01-16 | 2018-01-16 | 情報処理装置及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6522173B1 true JP6522173B1 (ja) | 2019-05-29 |
| JP2019125119A JP2019125119A (ja) | 2019-07-25 |
Family
ID=66655702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018004598A Active JP6522173B1 (ja) | 2018-01-16 | 2018-01-16 | 情報処理装置及び情報処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6522173B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023286105A1 (ja) * | 2021-07-12 | 2023-01-19 | 株式会社ウフル | 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11789905B2 (en) | 2020-05-27 | 2023-10-17 | Roblox Corporation | Automated generation of game tags |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002077868A1 (en) * | 2001-03-27 | 2002-10-03 | Nikon Corporation | Method for mediating digital data |
| JPWO2017159614A1 (ja) * | 2016-03-14 | 2019-01-10 | オムロン株式会社 | 学習サービス提供装置 |
| EP3471049A4 (en) * | 2016-06-09 | 2019-06-19 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
-
2018
- 2018-01-16 JP JP2018004598A patent/JP6522173B1/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023286105A1 (ja) * | 2021-07-12 | 2023-01-19 | 株式会社ウフル | 情報処理装置、情報処理システム、情報処理プログラム、及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019125119A (ja) | 2019-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105631700B (zh) | 内容创建、部署合作以及标记 | |
| US20210049554A1 (en) | Method and system for creating step by step projects | |
| JP2018519613A (ja) | オンラインマーケットプレイスにおいてアイテムを提示し評価するためのシステム及び技術 | |
| JP2009181468A (ja) | 画像検索ログ収集システム、画像検索ログ収集方法、及びプログラム | |
| EP2884406A1 (en) | System and method for information analysis in network transaction | |
| US20160247196A1 (en) | Rendering user interfaces that dynamically present content-based information extracted from images | |
| US20170337601A1 (en) | Monetization of interactive network-based information objects | |
| US9336549B2 (en) | Systems and methods for performing in-store and online transactions | |
| US20230230152A1 (en) | Systems and methods for generating customized augmented reality video | |
| JP6522173B1 (ja) | 情報処理装置及び情報処理プログラム | |
| KR101764361B1 (ko) | 소셜 네트워크 서비스 기반 쇼핑몰 서비스 제공 방법 및 이를 위한 장치 | |
| AU2020260475A1 (en) | Automated generation of video-based electronic solicitations | |
| US20130211956A1 (en) | Mobile Application for Capturing Inspirations | |
| US20220245615A1 (en) | Mobile point-of-sale and social marketplace | |
| US20200349635A1 (en) | System and method for content creation tool for use with shoppable content data | |
| US10380669B2 (en) | Product browsing system and method | |
| US11430051B1 (en) | System and method for automatically reordering consumer products | |
| KR20120135179A (ko) | 쇼핑 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
| US11928725B2 (en) | Methods for searching and obtaining design items and meta data concerning the design items | |
| KR102605195B1 (ko) | 이커머스 기반의 정보 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| JP7239775B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| US20230351654A1 (en) | METHOD AND SYSTEM FOR GENERATING IMAGES USING GENERATIVE ADVERSARIAL NETWORKS (GANs) | |
| US20230316387A1 (en) | Systems and methods for providing product data on mobile user interfaces | |
| US20240020914A1 (en) | System and Method for Generating 2D Images of Viritual 3D Models According to Imaging Parameters Determining From 2D Images of Other Objects | |
| JP2021189518A (ja) | プログラム、電子商取引システム、電子商取引支援方法、及び電子商取引方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6522173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |