JP6116650B1 - 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム - Google Patents

Abstract

【課題】画像認識ソフトウェアにおける学習処理のユーザ負担を低減することができる学習支援システム等を提供する。【解決手段】本発明の一態様は、認識対象データに対して認識処理を行って認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、検索部により取得された第１の画像特定情報に基づいて第２の画像を表示する表示部と、表示部により表示された第２の画像のうち、設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、第３の画像を特定する第２の画像特定情報と、ラベル情報とを対応づけて、学習装置に送信する通信部と、を備える、学習支援システムである。【選択図】図１

Description

本発明は、学習支援システム、学習支援方法、学習支援装置、および学習支援プログラムに関する。

従来において、例えば畳み込みニューラルネットワーク（Convolutional Neural Network；CNN)技術を利用した画像認識ソフトウェアにより、画像の特徴量に基づいて画像を分類する技術がある。画像分類技術において、例えば、下記の特許文献１に記載されているように、所望のラベルが付加された画像を検索し、検索された画像から特徴を抽出して効率よく分類結果を得るものがある。ところで、画像分類技術において、画像認識ソフトウェアの認識精度を向上させるためには、学習対象の画像にラベルを付与し、ラベルを付与した多数の画像を用いて学習処理を行うことが重要である。

特開２０１１−１５０３８１号公報

しかしながら、画像認識ソフトウェアの認識精度をより向上させるためには学習処理において膨大な画像を処理する必要があり、ユーザの負担が大きくなる場合があった。

本発明は上記の点に鑑みてなされたものであり、画像認識ソフトウェアにおける学習処理のユーザ負担を低減することができる学習支援システム、学習支援方法、学習支援装置、および学習支援プログラムを提供することを目的とする。

（１）本発明の一態様は、認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、を備え、前記表示部は、前記認識処理ソフトウェアにより誤認識された第４の画像のラベル情報に基づいて、前記第４の画像を、前記第２の画像よりも優先して表示させる、学習支援システムである。
（２）本発明の一態様は、認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報であって、画像の評価値を表すスコア型のラベル情報を設定する設定部と、前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、を備える、学習支援システムである。
（３）本発明の一態様は、認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、を備え、前記設定部は、前記ラベル情報を設定するためにラベル名の入力欄を前記表示部に表示させ、前記ラベル情報の入力を受け付けるために前記ラベル名の入力欄が選択された場合に、既に設定されたラベル情報に対応付けられて前記学習装置に学習された画像の数を並べて表示させる、学習支援システムである。
（４）本発明の一態様は、認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、を備え、前記設定部により設定されたラベル情報を設定し、前記検索部により、前記ラベル情報が設定された状態で、前記第１の画像を検索するための検索キーを含む検索要求を外部装置（学習前処理装置１０）に送信し、前記検索キーに基づく第１の画像特定情報を取得する処理と、前記表示部により、前記検索キーに基づく前記第１の画像特定情報に基づいて第２の画像を表示する処理と、前記選択部により、前記第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する処理とを繰り返し、前記通信部が、異なる検索キーで検索した画像に同じラベル情報を対応付けられる画像として前記学習装置に送信する、学習支援システムである。

（５）本発明の一態様は、上述の学習支援システムであって、前記設定部は、前記認識処理ソフトウェアに対応した第１のラベルと、前記第１のラベルを細分化した第２のラベルとを前記ラベル情報として設定し、前記選択部は、前記設定部により設定された前記第２のラベルを選択し、前記第３の画像に前記第１のラベルおよび前記第２のラベルを付加する。

（６）本発明の一態様は、上述の学習支援システムであって、前記検索部は、検索された前記第１の画像のうち所定の画像サイズか否かを判定し、所定の画像サイズを有しない画像を前記第１の画像から除外する判定部を備える。

（７）本発明の一態様は、上述の学習支援システムであって、前記表示部は、前記所定の画像サイズに基づいて前記第２の画像を生成する。

（８）本発明の一態様は、上述の学習支援システムであって、前記選択部は、前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加しない画像を削除し、削除されていない第２の画像を前記第３の画像として選択する。

（９）本発明の一態様は、上述の学習支援システムであって、前記表示部は、前記画像認識ソフトウェアにより誤認識された第４の画像のラベル情報に基づいて、前記第４の画像を、前記第２の画像よりも優先して表示させる。

（１０）本発明の一態様は、クライアントコンピュータが、認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定し、支援サーバが、前記クライアントコンピュータにより設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得し、前記クライアントコンピュータが、前記第１のサーバにより取得された前記第１の画像特定情報に基づいて第２の画像を表示し、前記クライアントコンピュータが、表示された第２の画像のうち、設定されたラベル情報が付加する第３の画像を選択し、前記クライアントコンピュータまたは前記支援サーバが、前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する、学習支援方法であって、前記認識処理ソフトウェアにより誤認識された第４の画像のラベル情報に基づいて、前記第４の画像を、前記第２の画像よりも優先して表示させる、学習支援方法である。

（１１）本発明の一態様は、第１の画像を検索させる検索キーを受信し、前記検索キーに基づいて検索した第１の画像を特定する第１の画像特定情報を取得する検索部と、前記検索部により取得された前記第１の画像特定情報をクライアントコンピュータに送信し、認識処理ソフトウェアにより誤認識された画像のラベル情報に基づいて、当該誤認識された画像を、前記第１の画像特定情報に基づく画像よりも優先して前記クライアントコンピュータに表示させる、第１の通信部と、前記第１の通信部により送信された前記第１の画像特定情報のうち、前記クライアントコンピュータにより選択された第２の画像特定情報、および前記第２の画像特定情報に対応する第２の画像に付加される情報であって認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する前記認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を受信する受信部と、前記受信部により受信された前記第２の画像特定情報と前記ラベル情報とを前記学習装置に送信する第２の通信部と、を備える、学習支援装置である。

（１２）本発明の一態様は、コンピュータに、第１の画像を検索させる検索キーを受信し、前記検索キーに基づいて検索した第１の画像を特定する第１の画像特定情報を取得させ、取得された前記第１の画像特定情報をクライアントコンピュータに送信させ、認識処理ソフトウェアにより誤認識された画像のラベル情報に基づいて、当該誤認識された画像を、前記第１の画像特定情報に基づく画像よりも優先して前記クライアントコンピュータに表示させ、前記第１の画像特定情報のうち、前記クライアントコンピュータにより選択された第２の画像特定情報、および前記第２の画像特定情報に対応する第２の画像に付加される情報であって認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する前記認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を受信させ、受信された前記第２の画像特定情報と前記ラベル情報とを前記学習装置に送信させる、学習支援プログラムである。

本発明の一態様によれば、画像認識ソフトウェアにおける学習処理のユーザ負担を低減することができる。

本発明を適用した学習支援システム１の一例を示すブロック図である。 本発明を適用した学習支援システム１における学習前処理装置１０の一例を示すブロック図である。 本発明を適用した学習支援システム１における利用者端末２０の一例を示すブロック図である。 本発明を適用した学習支援システム１における学習装置４０の一例を示すブロック図である。 本発明を適用した学習支援システム１の学習処理を示す図である。 本発明を適用した学習支援システム１による登録処理の流れを示すフローチャートである。 本発明を適用した学習支援システム１における利用者端末２０に表示させる学習用画面１００の一例を示す図である。 本発明を適用した学習支援システム１における利用者端末２０に表示させる学習用画面１００の他の一例を示す図である。 本発明を適用した学習支援システム１における利用者端末２０に表示させる学習用画面１００の他の一例を示す図である。 本発明を適用した学習支援システム１において登録依頼を送信する場合の学習用画面１００の一例を示す図である。 本発明を適用した学習支援システム１において誤認識された画像を含む学習用画面１００の一例を示す図である。 本発明を適用した学習支援システム１において学習装置４０に登録された画像を確認するための確認用画面２００の一例を示す図である。 本発明を適用した学習支援システム１において学習依頼の前に認識エンジンを設定するための学習用画面１００の一例を示す図である。 本発明を適用した学習支援システム１による学習処理の流れを示すフローチャートである。

以下、本発明を適用した学習支援システム、学習支援方法、学習支援装置、および学習支援プログラムを、図面を参照して説明する。

図１は、本発明を適用した学習支援システム１の一例を示すブロック図である。学習支援システム１は、学習前処理装置１０と、利用者端末２０と、画像検索装置３０と、学習装置４０とを備える。学習支援システム１において、学習前処理装置１０と利用者端末２０とは、インターネット等の通信回線を介して接続され、互いに情報の授受が可能である。学習前処理装置１０と学習装置４０とは、インターネット等の通信回線を介して接続され、互いに情報の授受が可能である。学習前処理装置１０と画像検索装置３０とは、インターネット等の通信回線を介して接続され、互いに情報の授受が可能である。

学習前処理装置１０は、学習装置４０が学習を行うための前処理を行う学習支援装置として機能する。図２は、本発明を適用した学習支援システム１における学習前処理装置１０の一例を示すブロック図である。学習前処理装置１０は、制御部１１と、記憶部１２と、端末側通信部１３と、通信部１４とを備える。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。制御部１１は、学習支援プログラムを実行することで記憶部１２、端末側通信部１３、および通信部１４を統括的に制御する。制御部１１は、通信制御部１１ａと、検索部１１ｂとを備える。通信制御部１１ａおよび検索部１１ｂのうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよい。

通信制御部１１ａは、利用者端末２０、画像検索装置３０、および学習装置４０との間で情報を授受する際に、端末側通信部１３および通信部１４を制御する。具体的には、通信制御部１１ａは、利用者端末２０により送信された検索キーを端末側通信部１３により受信したことに応じて、受信した検索キーを通信部１４から画像検索装置３０に送信させる。また、通信制御部１１ａは、画像検索装置３０により送信された検索結果を受信したことに応じて、受信した検索結果を端末側通信部１３から利用者端末２０に送信させる。

通信制御部１１ａは、利用者端末２０により送信された登録依頼を受信する。通信制御部１１ａは、利用者端末２０により送信された登録依頼を受信したことに応じて、画像を登録するリクエストを通信部１４から学習装置４０に送信させる。通信制御部１１ａは、利用者端末２０により送信された学習依頼を受信する。通信制御部１１ａは、利用者端末２０により送信された学習依頼を受信したことに応じて、学習するリクエストを通信部１４から学習装置４０に送信させる。

検索部１１ｂは、利用者端末２０により送信された検索キーに基づいて、画像検索装置３０に画像を検索させる。また、検索部１１ｂは、検索された画像のうち所定の画像サイズか否かを判定し、所定の画像サイズを有しない画像を、検索された画像から除外する判定部１１ｃを備える。

記憶部１２は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部１２は、ファームウェアや学習支援プログラムなどのアプリケーションプログラム等の各種プログラム、制御部１１の処理結果などが記憶される。記憶部１２は、制御部１１の処理結果として、後述する学習画像のセットに含まれるＵＲＬのリストが記憶される。

端末側通信部１３は、利用者端末２０との間で通信を確立して、利用者端末２０との間で情報を授受する通信インターフェース回路である。通信部１４は、画像検索装置３０および学習装置４０との間で通信を確立して、画像検索装置３０および学習装置４０との間で情報を授受する通信インターフェース回路である。

図３は、本発明を適用した学習支援システム１における利用者端末２０の一例を示すブロック図である。利用者端末２０は、制御部２１と、通信部２２と、表示部２３と、選択部２４と、記憶部２５とを備える。

制御部２１は、例えばＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。制御部２１のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡ等のハードウェアにより実現されてもよい。制御部２１は、通信部２２、表示部２３、選択部２４、および記憶部２５を統括的に制御する。制御部２１は、各種の情報を表示部２３に表示させると共に、選択部２４により選択された結果に基づいて学習装置４０により学習させる画像を選択する。

制御部２１は、選択した画像にラベル情報を設定する設定部２１１を備える。画像に設定されるラベル情報は、画像の属性を表す情報である。ラベル情報は、例えば、画像の種類などの分類を表すラベル型の情報、または画像の評価値などの値を表すスコア型の情報に大別されるが、これに限定されない。評価値は、例えば、画像を見た人間の感性を表す値であるが、これに限定されない。人間の感性は、一例として、画像を見たときに直感的に判断される危険度などが挙げられる。

通信部２２は、学習前処理装置１０との間で通信を確立して、学習前処理装置１０との間で情報を授受する通信インターフェース回路である。

表示部２３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置、プラズマディスプレイなどの表示装置である。表示部２３は、表示処理部２１２の制御に従って、学習支援システム１の利用者に各種の情報を提示する。

選択部２４は、例えば、キーボード、マウス、タッチパネル等の操作デバイスにより実現される。選択部２４は、学習支援システム１の利用者の操作を受け付けて、表示部２３に表示された情報を選択することができる。

記憶部２５は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２５は、ファームウェアや、利用者に各種の情報を選択させるアプリケーションプログラム等の各種プログラム、制御部２１の処理結果などが記憶される。記憶部２５は、制御部２１の処理結果として、後述する学習画像を選択させるための表示用の画像が記憶される。

図４は、本発明を適用した学習支援システム１における学習装置４０の一例を示すブロック図である。学習装置４０は、通信部４１と、学習画像蓄積部４２と、学習処理部４３と、認識処理部４４とを備える。

通信部４１は、学習前処理装置１０との間で通信を確立して、学習前処理装置１０との間で情報を授受する通信インターフェース回路である。通信部４１は、学習前処理装置１０により送信されたリクエストに含まれるラベル情報、および画像を特定する情報を受信する。通信部４１は、画像を特定する情報に基づいて、学習用の画像データを取得して、学習画像蓄積部４２に供給する。通信部４１は、画像を特定する情報がＵＲＬである場合、ＵＲＬに格納された画像データをダウンロードし、ダウンロードされた画像データを学習画像蓄積部４２に供給する。

学習画像蓄積部４２は、画像変換部４２１と、学習画像データベース４２２とを有する。

画像変換部４２１は、通信部４１により取得された学習用の画像データの入力を受け付ける。画像変換部４２１は、学習用の画像データを、学習処理に適した形式に変換する前処理を行う。この前処理は、例えば学習画像の面積変更処理やアスペクト比の調整等である。画像変換部４２１は、前処理を施した画像を学習画像として学習画像データベース４２２に蓄積する。

学習画像データベース４２２には、画像変換部４２１により変換された画像が学習画像として複数蓄積される。学習画像データベース４２２には、認識処理ソフトウェアにより実現される認識エンジンごとに、複数の学習画像を区分して記憶してもよい。認識エンジンごとの複数の学習画像は、当該認識エンジンの処理パラメータを学習したひとまとまりの学習セットとして保存される。また、学習画像データベース４２２には、認識エンジンごとの複数の学習画像における各画像の画像を特定する情報をひとまとまりのリストとして保存してもよい。学習セット、または学習画像のリストは、例えば、学習装置４０により学習することで生成した認識エンジンを、他の学習装置により生成させるために利用可能である。

学習処理部４３には、学習画像蓄積部４２から出力された学習画像が供給される。学習処理部４３は、学習画像に付加されたラベル情報が認識結果となるように処理パラメータを学習し、学習結果を生成する。学習結果は、認識処理部４４における処理パラメータである。学習結果は、認識処理部４４における学習結果データ記憶部４４１に記憶される。学習処理部４３は、学習結果を得ることに応じて学習結果データ記憶部４４１における学習結果を更新する。これにより、学習処理部４３は、学習画像に付加されたラベル情報を認識結果として出力するように処理を行う。

認識処理部４４は、学習処理部４３により処理パラメータが更新された認識エンジンである。認識処理部４４は、学習結果データ記憶部４４１を有する。学習結果データ記憶部４４１における学習結果としての認識処理部４４の処理パラメータは、学習処理部４３によって更新される。なお、実施形態において、学習装置４０により生成される認識処理部４４を記載したが、学習装置４０は、認識処理部４４を備えていなくてもよい。

図５は、本発明を適用した学習支援システム１の学習処理を示す図である。学習処理部４３には、ラベル情報が付加された学習画像が複数供給される。学習処理部４３は、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network；CNN)により実現される認識エンジンの処理パラメータを更新する。畳み込みニューラルネットワークは、中間層としての複数の畳み込み層（フィルタ部）と、出力層とを有する。畳み込み層は、それぞれ、例えば、入力されたデータにフィルタリング（乗算処理）を行い、フィルタリング後の画像（特徴）にバイアス値を加算する。畳み込みニューラルネットワークは、画像データを入力し、中間層によりフィルタ係数に基づくフィルタ処理を行って、出力層により処理済のデータを出力する。フィルタ部は、学習処理部４３により生成された学習結果としてのフィルタ係数が設定される。畳み込みニューラルネットワークは、学習画像に付加されたスコア型の評価値（例えば危険度）、またはラベル型の認識結果を出力するようにフィルタ係数が設定される。なお、図５に示した学習処理における畳み込みニューラルネットワークは、畳み込みニューラルネットワークの最終層が一つのスコア型のものであるが、これに限定されない。畳み込みニューラルネットワークは、畳み込みニューラルネットワークの最終層が、ラベルの数だけ存在するラベル型のものであってもよい。

なお、学習処理部４３による学習手法は、畳み込みニューラルネットワークの処理パラメータの設定であってもよく、その他の機械学習手法でもよく、学習結果データ記憶部４４１には、学習手法に応じた学習結果が記憶される。認識処理部４４には、認識対象の入力画像が供給された場合に、認識結果を出力する。

以下、本発明を適用した学習支援システム１による登録処理の流れについて説明する。図６は、本発明を適用した学習支援システム１による登録処理の流れを示すフローチャートである。

まず、利用者端末２０は、ラベル情報を設定し、ラベル情報を設定した状態で検索キーを含む検索要求を学習前処理装置１０に送信する（ステップＳ１００、設定部）。このとき、利用者端末２０は、学習装置４０の学習を支援するための学習用画面を表示部２３に表示させる。図７は、本発明を適用した学習支援システム１における利用者端末２０に表示させる学習用画面１００の一例を示す図である。学習用画面１００には、学習セット名入力欄１１０、ラベル名入力欄１２０、検索キー（Ｋ）入力欄１３０、検索実行ボタン１３１、画像登録ボタン１３２、画像表示欄１４０、表示用画像１４１、ページ指定欄１４２、全選択実行ボタン１５０、選択解除実行ボタン１５１、選択反転実行ボタン１５２、および学習開始実行ボタン１６０が含まれる。なお、図７および以降の説明において、未だ利用者端末２０に表示されていない表示用画像１４１を点線で示す。

利用者端末２０は、利用者の操作に基づいて、学習セット名入力欄１１０に入力された情報に基づいて学習セット名（Ａセット）を設定し、ラベル名入力欄１２０に入力された情報に基づいてラベル（Ｂ１）を設定する。学習セット名入力欄１１０には、利用者の操作に基づいて、学習セット名が入力される。学習セット名は、学習セットを特定するための名称である。ラベル名入力欄１２０には、利用者の操作に基づいて、ラベル名が入力される。ラベル名は、ラベル情報を生成するための情報である。

図８は、本発明を適用した学習支援システム１における利用者端末２０に表示させる学習用画面１００の他の一例を示す図である。利用者端末２０は、学習セット名を入力するために学習セット名入力欄１１０を選択した場合に、図８に示すように、既に設定された学習セット名１１１を表示させてもよい。利用者端末２０は、学習セット名１１１に、既に設定された学習セット名のＩＤを並べて表示させてもよい。利用者端末２０は、学習セット名１１１が選択された場合、選択された学習セット名１１１が学習セット名入力欄１１０に入力されことを認識する。

同様に、利用者端末２０は、ラベル名を入力するためにラベル名入力欄１２０を選択した場合に、図８に示すように、既に設定されたラベル名１２１を表示させてもよい。利用者端末２０は、ラベル名１２１に、既に設定されたラベル名が付加されて登録された画像の枚数（ｘ１，ｘ２，ｘ３など）を並べて表示させてもよい。これにより、機械学習においてクラスごとに登録された画像枚数が極端に違うと認識精度が低下するので、どのような画像をさらに収集した方がよいのかを確認させることができる。利用者端末２０は、ラベル名１２１が選択された場合、選択されたラベル名１２１がラベル名入力欄１２０に入力されことを認識する。

利用者端末２０は、ラベル名入力欄１２０に入力されたラベル名Ｂ１に対して、当該ラベル名Ｂ１よりも下位のラベル名を設定してもよい。利用者端末２０は、ラベル名Ｂ１をラベル名入力欄１２０に入力した場合に、既に設定されたラベル名１２１として、ラベル名Ｂ１よりも下位のラベル名Ｂ２およびＢ３を表示させる。上位のラベル名Ｂ１および下位のラベル名Ｂ２、Ｂ３とは、観念的に階層が分けられるラベルである。具体的には、上位のラベル名Ｂ１は「犬」であり、下位のラベル名Ｂ２は「プードル」、下位のラベル名Ｂ３は「チワワ」である。利用者端末２０は、下位のラベル名Ｂ２またはＢ３が設定された状態で、表示用画像１４１が選択された場合、選択された表示用画像１４１（以下、選択画像１４１＃と記載する。）に対応する学習画像に上位のラベル名のみならず下位のラベル名を付加することができる。

さらに、利用者端末２０は、学習セット名１１１に加えて、図８に示すように、学習セット名を新規に作成する新規作成実行ボタン１１２を表示させてもよい。利用者端末２０は、新規作成実行ボタン１１２が選択された場合に、図９に示すように、新規ウィンドウ１１３を表示させる。新規ウィンドウ１１３には、新規セット名入力欄１１４、セット属性選択ボタン１１５、ＯＫボタン１１６、およびキャンセルボタン１１７が含まれる。セット属性選択ボタン１１５は、新規の学習セット名に対応するラベル名の属性がラベル型かスコア型かの何れかを選択するためのボタンであり、ラベル型とスコア型の何れか一方が選択される。

利用者端末２０は、新規セット名入力欄１１４に学習セット名が入力され、且つセット属性選択ボタン１１５のいずれかが選択された状態で、ＯＫボタン１１６が選択された場合に、新規の学習セット名を記憶部２５に記憶する。利用者端末２０は、新規セット名入力欄１１４に学習セット名が入力されていない、またはセット属性選択ボタン１１５の何れかが選択されていない状態で、ＯＫボタン１１６が選択された場合に、学習セット名および属性の入力を促すアラートを表示させてもよい。利用者端末２０は、新規ウィンドウ１１３が表示された状態で、キャンセルボタン１１７が選択された場合に、新規ウィンドウ１１３の表示を消滅させる。

同様に、利用者端末２０は、ラベル名１２１に加えて、図８に示すように、学習セット名を新規に作成する新規作成実行ボタン１２２を表示させてもよい。利用者端末２０は、新規作成実行ボタン１２２が選択された場合に、図９に示すように、新規ウィンドウ１２３を表示させる。新規ウィンドウ１２３には、新規ラベル名入力欄１２４、ＯＫボタン１２５、およびキャンセルボタン１２６が含まれる。

利用者端末２０は、新規ラベル名入力欄１２４にラベル名が入力された状態で、ＯＫボタン１２５が選択された場合に、新規のラベル名を記憶部２５に記憶する。このとき、記憶部２５は、既に学習セット名入力欄１１０において入力されている学習セット名に対応づけて新規のラベル名を記憶する。利用者端末２０は、新規ラベル名入力欄１２４にラベル名が入力されていない状態で、ＯＫボタン１２５が選択された場合に、ラベル名の入力を促すアラートを表示させてもよい。利用者端末２０は、新規ウィンドウ１２３が表示された状態で、キャンセルボタン１２６が選択された場合に、新規ウィンドウ１２３の表示を消滅させる。

さらに、利用者端末２０は、ラベル名入力欄１２０が選択された場合、図８の右図に示すように、ラベル名Ｂ１と同じ階層のラベル名Ｃ１およびＤ１の入力欄１２１ａおよび１２ｂと共に、ラベル名（Ｂ１）に対して下位層のラベル名入力欄１２１ｃ、１２１ｄおよび新規作成実行ボタン１２２を表示させてもよい。

さらに、利用者端末２０は、学習セット名およびラベル名が設定された状態で、利用者の操作に基づいて、検索キー入力欄１３０に検索キーが入力され、且つ検索実行ボタン１３１が選択された場合に、検索キー情報を通信部２２から学習前処理装置１０に送信させる。なお、学習セット名およびラベル名は、検索キー入力欄１３０に検索キーが入力される前に設定されていることを説明したが、これに限定されない。学習セット名およびラベル名は、画像登録ボタン１３２が選択される前に設定されていればよく、検索キーに基づいて取得された表示用画像１４１を表示させている状態で、学習セット名およびラベル名を設定してもよい。

具体的には、利用者端末２０は、上位のラベル名Ｂ１を「犬」に設定し、検索キーを「いぬ」や「dog」に設定した状態で、検索キー入力欄１３０が選択された場合に、検索キー情報としての「犬」を学習前処理装置１０に送信する。これにより、利用者端末２０は、後述するように、ラベル名「犬」のラベル情報を付加する候補画像として、検索キー「いぬ」や「dog」に基づいて検索された画像を画像検索装置３０に検索させることができる。さらに、利用者端末２０は、同じラベル名「犬」であっても、検索キーを変更する処理と、検索キーに基づいて表示用画像１４１を表示する操作と、表示用画像１４１を選択する操作と、画像登録ボタン１３２が選択されたことに応じて実行される画像登録を繰り返させることで、異なる検索キーで検索した表示用画像１４１を同じラベル名が付加される画像として登録することができる。

次に、学習前処理装置１０は、検索要求を画像検索装置３０に送信する（ステップＳ１０２、検索部）。このとき、学習前処理装置１０は、利用者端末２０により送信された検索キー情報を受信したことに応じて、予め設定された画像検索装置３０の宛先情報に基づいて、検索キー情報を画像検索装置３０に送信する。これにより、画像検索装置３０は、検索キー情報に基づいて検索キーに合致する程度を表すスコアが高い画像を優先して取得する。画像検索装置３０は、取得した画像のＵＲＬを利用者端末２０に送信する。

次に、学習前処理装置１０は、画像検索装置３０により送信された画像ＵＲＬリストを取得する（ステップＳ１０４）。このとき、学習前処理装置１０は、画像検索装置３０により送信された画像ＵＲＬと検索キー情報とを対応づけて記憶部１２に蓄積することで、画像ＵＲＬリストを取得する。

次に、学習前処理装置１０は、画像検索装置３０から受信した画像ＵＲＬリストを利用者端末２０に送信する（ステップＳ１０６）。

次に、利用者端末２０は、画像ＵＲＬリストに基づいて、画像を表示させる（ステップＳ１０８、表示部）。このとき、利用者端末２０は、通信部２２により、学習前処理装置１０により送信された画像ＵＲＬリストを記憶部２５に記憶させ、画像ＵＲＬリストからＵＲＬを抽出する。利用者端末２０は、抽出したＵＲＬにアクセスすることで、ＵＲＬに対応する画像をダウンロードする。利用者端末２０は、ダウンロードした画像を、画像表示欄１４０に表示させるようにサイズ等を変換して、表示部２３に供給する。このとき、利用者端末２０は、学習装置４０における学習処理に適したサイズ（所定の画像サイズ）や形状（例えば正方形）に基づいて、画像を変換することが望ましい。利用者端末２０は、画像ＵＲＬリストに含まれるＵＲＬごとに、アクセス、ダウンロード、および変換を繰り返す。これにより、利用者端末２０は、画像表示欄１４０内に、複数の表示用画像１４１を表示させる。

ステップＳ１０４〜１０８において、学習前処理装置１０および利用者端末２０は、ページネーション機能を実装してもよい。このために、学習前処理装置１０は、一度に利用者端末２０に送信する画像ＵＲＬリストに含まれるＵＲＬの数を制限することで、画像表示欄１４０に一度に表示される表示用画像１４１の数を制限させる。利用者端末２０は、一度に表示させる複数の表示用画像１４１を画像表示欄１４０に表示させ、表示できない表示用画像１４１の数に対応してページ数を計算して、計算したページ数分のページ指定欄１４２を表示させる。

次に、利用者端末２０は、利用者の操作に基づいて、画像を選択する（ステップＳ１１０、選択部）。このとき、利用者端末２０は、選択部２４の操作に基づいて、表示部２３に表示させた表示用画像１４１の位置を指定する情報の入力を受け付けた場合に、当該表示用画像１４１の位置に対応する画像を選択する。また、利用者端末２０は、全選択実行ボタン１５０の位置を指定する操作を受け付けた場合に、画像表示欄１４０内に表示された全ての表示用画像１４１を選択する。さらに、利用者端末２０は、選択解除実行ボタン１５１の位置を指定する操作を受け付けた場合に、画像の選択を解除する。さらに、利用者端末２０は、選択反転実行ボタン１５２の位置を指定する操作を受け付けた場合に、画像の選択と選択解除との間で反転させる。

次に、利用者端末２０は、登録依頼を受け付けたか否かを判定する（ステップＳ１１２）。このとき、利用者端末２０は、画像登録ボタン１３２の位置を選択する操作を受け付けた場合に、登録依頼を受け付けたと判定する。

利用者端末２０は、登録依頼を受け付けたと判定した場合、登録依頼を学習前処理装置１０に送信する（ステップＳ１１４、通信部）。このとき、利用者端末２０は、画像登録ボタン１３２が選択された場合に、学習セット名、ラベル名、選択した画像のＵＲＬを付加した登録依頼を生成して、通信部２２から学習装置４０に送信させる。登録依頼に含まれる学習セット名、ラベル名、選択した画像のＵＲＬは、利用者により画像登録ボタン１３２が選択された時点において学習セット名入力欄１１０に入力または選択された学習セット名、ラベル名入力欄１２０に入力されたラベル名、および選択された表示用画像１４１に対応する画像のＵＲＬである。

図１０は、本発明を適用した学習支援システム１において登録依頼を送信する場合の学習用画面１００の一例を示す図である。なお、図１０において、表示用画像１４１のうち、選択された画像（選択画像１４１＃）を二重線で示す。利用者端末２０は、学習セット名（Ａセット）、学習セット名に対応したラベル名（Ｂ１）、および検索キー（Ｋ）に基づいて検索された表示用画像１４１のうち、選択画像１４１＃を設定した状態で、画像登録ボタン１３２が選択されたことに応じて、登録依頼を学習前処理装置１０に送信する。

次に、学習前処理装置１０は、利用者端末２０により送信された登録依頼を受信したことに応じて、登録要求を学習装置４０に送信する（ステップＳ１１６）。このとき、学習前処理装置１０は、登録依頼に含まれた学習セット名、ラベル名、および選択した画像のＵＲＬを登録リクエストに付加して、学習装置４０に送信する。

次に、学習装置４０は、学習前処理装置１０により送信された登録リクエストを受信したことに応じて、画像の登録処理を実行する（ステップＳ１１８）。

学習装置４０は、登録リクエストを受信した場合、登録リクエストに含まれる画像のＵＲＬに基づいて画像をダウンロードして、学習画像蓄積部４２に出力する。これにより、学習装置４０は、ダウンロードした画像を画像変換部４２１により変換して、学習画像として学習画像データベース４２２に記憶させる。このとき、学習画像蓄積部４２は、登録リクエストに含まれた学習セット名およびラベル名に対応づけて学習画像を学習画像データベース４２２に登録する。学習装置４０は、登録リクエストが完了した場合、処理結果を学習前処理装置１０に送信する。これにより、学習前処理装置１０は、学習セットおよびラベル名にそれぞれ対応して登録された画像数を更新することができる。

なお、学習前処理装置１０は、画像の登録処理を完了した処理結果を受信した場合に、処理結果を利用者端末２０に送信してもよい。これにより、利用者端末２０は、学習装置４０に画像群が登録された学習セットを認識し、学習セットの一覧を表示することができる。この結果、利用者端末２０は、学習セットの一覧から学習処理に使用する学習セットを選択させた状態で、学習開始実行ボタン１６０を選択させることができる。

次に、利用者端末２０は、新たな検索キーが設定されたか否かを判定する（ステップＳ１２０）。このとき、利用者端末２０は、検索キー入力欄１３０に新たなテキストデータが入力され、且つ検索実行ボタン１３１の位置を選択する操作を受け付けた場合に、新たな検索キーが設定されたと判定する。利用者端末２０は、新たな検索キーが設定された場合、新たな検索キーを含む検索要求を学習前処理装置１０に送信して（ステップＳ１２２）、ステップＳ１０２以降の処理を繰り返す。これにより、利用者端末２０は、前回の検索キーに基づいて表示させている表示用画像１４１をクリアし、新たな検索キーに基づいて取得した表示用画像１４１を表示させる。なお、利用者端末２０は、新たな検索キーが入力されず、処理を終了する操作がされた場合に、当該フローチャートの処理を終了する。

なお、上述した実施形態におけるステップＳ１０８において、利用者端末２０が表示用画像１４１を表示する際に、認識エンジンにより誤認識された画像を優先して画像表示欄１４０に表示させてもよい。図１１は、本発明を適用した学習支援システム１において誤認識された画像を含む学習用画面１００の一例を示す図である。学習前処理装置１０は、例えば学習装置４０より認識エンジンにより誤認識された画像のＵＲＬを受信し、受信した画像のＵＲＬを利用者端末２０に送信する。このとき、学習前処理装置１０は、誤認識された画像に付加されたラベル情報も利用者端末２０に送信する。

利用者端末２０は、誤認識された画像のＵＲＬおよびラベル情報を受信した場合、図１１に示すように、学習用画面１００に誤認識画像表示欄１４０ａに、表示用画像１４１ａを表示させる。このとき、利用者端末２０は、誤認識された画像のＵＲＬに基づいて表示用画像１４１ａを表示させるための画像データを取得することで、表示用画像１４１ａを生成する。また、利用者端末２０は、表示用画像１４１よりも表示用画像１４１ａを優先して表示させる。優先して表示させるとは、利用者に表示用画像１４１よりも表示用画像１４１ａが目立つように表示位置、表示サイズ、表示色、表示枠、点滅などの表示態様を調整することを含む。

学習支援システム１によれば、図６に示したフローチャートを参照した動作を実施することで、学習セットの設定、ラベル名の設定、検索キーを指定した画像の収集、および画像の登録を繰り返して実施することができる。この結果、学習支援システム１によれば、学習処理に使用可能な学習セットを多数作成して、学習装置４０に登録させることができる。また、学習支援システム１によれば、多数作成した学習セットのうち何れかの学習セットを選択して学習装置４０に学習処理を実施させることができ、さらに、複数の学習セットを使用して繰り返して学習処理を学習装置４０に実施させることができる。

図１２は、本発明を適用した学習支援システム１において学習装置４０に登録された画像を確認するための確認用画面２００の一例を示す図である。確認用画面２００には、学習セット名入力欄２１０、ラベル名表示欄２２０Ａおよび２２０Ｂ（総称する場合には「ラベル名表示欄２２０」と記載する。）、登録画像表示欄２４０Ａおよび２４０Ｂ（総称する場合には「登録画像表示欄２４０」と記載する。）、登録画像２４１Ａおよび２４１Ｂ（総称する場合には「確認用画像２４１」と記載する。）が含まれる。確認用画面２００には、ラベル名ごとに、全選択実行ボタン２３１、選択解除実行ボタン２３２、選択反転実行ボタン２３３、ページ指定欄２５０、および画像削除実行ボタン２６０が含まれる。

利用者端末２０は、学習装置４０の学習画像データベース４２２に登録された画像を確認する場合、利用者の操作に応じて確認用画面２００を表示させる。このとき、利用者端末２０は、学習セット名入力欄２１０に学習セット名が入力された場合、学習セット名に対応して学習装置４０に登録された画像を表示させる要求（確認要求）を学習前処理装置１０に送信する。学習前処理装置１０は、学習セット名を含む確認要求を受信した場合、学習セット名を含む確認要求を学習装置４０に転送する。学習装置４０は、学習セット名を含む確認要求を受信した場合、学習セット名に対応づけて登録されている画像のＵＲＬのリストを学習前処理装置１０に送信する。画像のＵＲＬのリストには、画像のＵＲＬごとにラベル情報が付加される。学習前処理装置１０は、確認要求に対する画像のＵＲＬのリストを受信した場合、受信した画像のＵＲＬのリストを、確認要求を送信した利用者端末２０に送信する。

これにより、利用者端末２０は、画像のＵＲＬのリストに基づいて画像を取得し、ラベル名ごとに、登録画像表示欄２４０に確認用画像２４１を表示させる。また、利用者端末２０は、一度に表示させる複数の確認用画像２４１を登録画像表示欄２４０に表示させ、表示できない確認用画像２４１の数に対応してページ数を計算して、計算したページ数分のページ指定欄２５０を表示させる。

なお、確認用画面２００には、２つのラベル名に対応して学習装置４０に登録された画像を表す確認用画像が表示されているが、これに限定されない。確認用画面２００には、学習セット名に対応して登録されているラベル名が表示される。すなわち、確認用画面２００には、１つのラベル名に対応した確認用画像が含まれていてもよく、３以上のラベル名に対応した確認用画像が含まれていてもよい。

利用者端末２０は、選択部２４の操作に基づいて、確認用画像２４１の位置を指定する情報の入力を受け付けた場合に、当該確認用画像２４１の位置に対応する画像を選択する。利用者端末２０は、全選択実行ボタン２３１の位置を指定する操作を受け付けた場合に、登録画像表示欄２４０内に表示された全ての確認用画像２４１を選択する。さらに、利用者端末２０は、選択解除実行ボタン２３２の位置を指定する操作を受け付けた場合に、確認用画像２４１の選択を解除する。さらに、利用者端末２０は、選択反転実行ボタン２３３の位置を指定する操作を受け付けた場合に、確認用画像２４１の選択と選択解除との間で反転させる。

利用者端末２０は、複数の確認用画像２４１のうち、図１２のように確認用画像２４１＃が選択された状態で、画像削除実行ボタン２６０の位置を指定する操作を受け付けた場合に、確認用画像２４１に対応する画像を学習セットから削除する要求（削除要求）を生成して、学習前処理装置１０に送信する。利用者端末２０は、削除要求に、学習セット名、ラベル名、および画像のＵＲＬを含める。学習前処理装置１０は、削除要求を受信した場合、学習装置４０に削除要求を転送する。学習装置４０は、削除要求を受信した場合、学習画像データベース４２２から、学習セット名に対応づけて登録されている学習用の画像データを削除する。利用者端末２０は、複数の確認用画像２４１を選択することで、同時に複数の画像を学習セットから削除させる。

これにより、学習支援システム１によれば、学習セット名に登録されている画像を一覧で表示させることにより、利用者に学習した画像を確認させることができ、不要な画像、重複した画像がある場合や、認識エンジンの認識結果に不具合がある場合に、登録画像を削除させることができる。

以下、本発明を適用した学習支援システム１による学習処理の流れについて説明する。図１３は、本発明を適用した学習支援システム１において学習依頼の前に認識エンジンを設定する学習用画面１００の一例を示す図である。図１４は、本発明を適用した学習支援システム１による学習処理の流れを示すフローチャートである。

利用者端末２０は、学習開始実行ボタン１６０の位置を選択する操作を受け付けた場合に、学習依頼を受け付けたと判定し（図１４、ステップＳ２００）、図１３に示すように、新規エンジンの設定ウィンドウ１７０を表示させる。なお、利用者端末２０は、学習依頼を受け付けていない場合には以降の処理を実施しない。

新規エンジンの設定ウィンドウ１７０には、新規エンジン名入力欄１７１、学習セット選択ボタン１７２、ＯＫボタン１７３、およびキャンセルボタン１７４が含まれる。学習セット選択ボタン１７２には、各ボタンに対応して、選択対象の学習セット名（ＩＤ）と、学習セット名に対応して登録済みの学習画像の数が表示される。学習支援システム１は、学習画像の数を表示させることで、認識エンジンが学習した画像の枚数を利用者に確認させることができる。学習セット選択ボタン１７２は、認識エンジンの処理パラメータを更新させるために使用する学習セットを選択するためのボタンであり、何れか一つが選択される。

利用者端末２０は、図１３に示した新規エンジンの設定ウィンドウ１７０が表示されている状態で、新規エンジン名入力欄１７１に認識エンジン名が入力され、且つ学習セット選択ボタン１７２のいずれかが選択される（ステップＳ２０２）。利用者端末２０は、認識エンジン名が入力され、学習セット選択ボタン１７２のいずれかが選択された状態で、ＯＫボタン１７３が選択された場合に、認識エンジン名と学習セット名との組を記憶部２５に記憶する。利用者端末２０は、新規エンジン名入力欄１７１に認識エンジン名が入力されていない、または学習セット選択ボタン１７２の何れかが選択されていない状態で、ＯＫボタン１７３が選択された場合に、新規エンジン名入力欄１７１および学習セット名の入力を促すアラートを表示させてもよい。利用者端末２０は、新規エンジンの設定ウィンドウ１７０が表示された状態で、キャンセルボタン１７４が選択された場合に、設定ウィンドウ１７０の表示を消滅させる。

なお、利用者端末２０は、新規エンジン名入力欄１７１を表示させることで認識エンジン名を入力させたが、これに限定されない。利用者端末２０は、新規エンジン名入力欄１７１に代えて、学習装置４０において生成された既存の認識エンジンの認識エンジン名を一覧形式で表示させて、いずれかの認識エンジン名を選択させるようにしてもよい。このために、学習前処理装置１０は、学習装置４０により学習リクエストに対応した学習処理を受信した場合に、認識エンジン名を含む処理結果を利用者端末２０に送信する。これにより、利用者端末２０は、認識エンジン名を記憶部２５に記憶して、認識エンジン名の一覧を表示させることができる。

次に、利用者端末２０は、学習依頼を学習前処理装置１０に送信する（ステップＳ２０４、通信部）。このとき、利用者端末２０は、認識エンジン名および学習セット名を付加した学習依頼を生成して、通信部２２から学習装置４０に送信させる。学習依頼に含まれる認識エンジン名は、利用者によりＯＫボタン１７３が選択された時点において新規エンジン名入力欄１７１に入力された認識エンジン名である。学習依頼に含まれる学習セット名は、利用者によりＯＫボタン１７３が選択された時点において選択された学習セット名である。

次に、学習前処理装置１０は、利用者端末２０により送信された学習依頼を受信したことに応じて、学習要求を学習装置４０に送信する（ステップＳ２０６）。このとき、学習前処理装置１０は、学習依頼に含まれた認識エンジン名および学習セット名を学習リクエストに付加して、学習装置４０に送信する。

次に、学習装置４０は、学習前処理装置１０により送信された学習リクエストを受信したことに応じて、学習処理を実行する（ステップＳ２０８）。このとき、学習装置４０は、学習リクエストに含まれた認識エンジン名に対応した認識エンジンが既に存在するか否かを判定する。学習装置４０は、認識エンジン名が存在する場合、認識エンジン名に対応した認識エンジンが学習セット名により特定される学習セットに含まれる画像群に付されたラベル情報を認識するように、認識エンジンの処理パラメータを更新する。学習装置４０は、認識エンジン名が存在しない場合、学習セット名により特定される学習セットに含まれる画像群に付されたラベル情報を認識するように、認識エンジンの処理パラメータを生成することで、新たな認識エンジンを生成する。

学習装置４０は、学習後の認識エンジンの処理パラメータに、認識エンジン名を付加して学習結果データ記憶部４４１に記憶させる。学習装置４０は、学習リクエストに対応した学習処理が完了した場合、処理結果を学習前処理装置１０に送信する。

なお、学習装置４０は、学習処理を実施している場合に、学習処理の処理ステータスを学習前処理装置１０に送信してもよい。学習前処理装置１０は、学習処理の処理ステータス情報を利用者端末２０に送信する。利用者端末２０は、学習処理の処理ステータス情報を受信した場合、認識エンジン名に対応して学習処理の処理ステータスを表示させることで、利用者に提示することができる。この結果、学習支援システム１は、利用者に学習処理中、学習処理済みなどを認識させることができる。

以上説明したように、本発明を適用した学習支援システム１によれば、ラベル情報を設定した状態で、検索キーにより第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報（ＵＲＬ）を取得し、第１の画像特定情報に基づいて第２の画像（１４１）を表示する。そして、学習支援システム１は、第２の画像（表示用画像１４１）のうち、ラベル情報を付加する第３の画像（１４１＃）を選択することで、第３の画像（１４１＃）を特定する第２の画像特定情報（ＵＲＬ）と、ラベル情報とを対応づけて、学習装置（４０）に送信することができる。これにより、学習支援システム１によれば、学習画像を収集して、画像にラベル情報を付加する手間を簡単な操作で実行し、さらに、ラベル情報を付加された画像を学習装置４０に取得させることができる。この結果、学習支援システム１によれば、特別なコンピュータスキルを持ち合わせていない利用者であっても、認識エンジンの認識精度を高くする作業ための負担を軽減することができる。

また、学習支援システム１によれば、画像特定情報としてＵＲＬを使用することにより、学習前処理装置１０により画像を検索して収集するための処理負荷、および利用者端末２０により画像を選定させるための処理負荷の双方を抑制することができる。

さらに、学習支援システム１によれば、認識エンジンに対応した第１のラベル（Ｂ１）と、第１のラベルを細分化した第２のラベル（Ｂ２およびＢ３）とをラベル情報として設定し、第２のラベルを選択することで、選択画像１４１＃に、上位のラベル名および下位のラベル名を付加することができる。これにより、学習支援システム１によれば、ラベル情報を画像に付加する利用者の負担をさらに軽減することができる。

さらに、学習支援システム１によれば、画像検索装置３０により検索された第１の画像のうち所定の画像サイズか否かを判定し、所定の画像サイズを有しない画像を前記第１の画像から除外するので、学習画像に適さない画像を利用者端末２０に送信することを回避することができ、学習前処理装置１０および利用者端末２０の処理負担をさらに軽減することができる。

さらに、学習支援システム１によれば、所定の画像サイズに基づいて表示用画像１４１を生成するので、学習画像と同じ感覚で利用者に表示用画像１４１を選択させることができ、学習画像として適しているか否かを利用者が判断する手間を省くことができる。

さらに、学習支援システム１によれば、表示用画像１４１のうち、ラベル情報を付加しない表示用画像１４１を削除し、削除されていない学習用の画像として選択することで、さらに利用者の負担を軽減することができる。

さらに、学習支援システム１によれば、認識エンジンにより誤認識された画像のラベル情報に基づいて、表示用画像１４１ａを、表示用画像１４１よりも優先して表示させるので、学習装置４０に再学習させるための利用者の負担を軽減することができる。

なお、上述した学習支援システム１の学習前処理装置１０および利用者端末２０が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した学習支援システム１および学習前処理装置１０が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した学習前処理装置１０および利用者端末２０が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に学習前処理装置１０および利用者端末２０が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ 学習支援システム
１０ 学習前処理装置
１１ 制御部
１１ａ 通信制御部
１１ｂ 検索部
１１ｃ 判定部
１２ 記憶部
１３ 端末側通信部
１４ 通信部
２０ 利用者端末
２１ 制御部
２２ 通信部
２３ 表示部
２４ 選択部
２５ 記憶部
３０ 画像検索装置
４０ 学習装置
４１ 通信部
４２ 学習画像蓄積部
４３ 学習処理部
４４ 認識処理部
１００ 学習用画面
１１０ 学習セット名入力欄
１１５ セット属性選択ボタン
１２０ ラベル名入力欄
１３０ 検索キー入力欄
１３１ 検索実行ボタン
１３２ 画像登録ボタン
１４０ 画像表示欄
１４０ａ 誤認識画像表示欄
１４１ 表示用画像
１６０ 学習開始実行ボタン
２００ 確認用画面
４２１ 画像変換部
４２２ 学習画像データベース
４４１ 学習結果データ記憶部

Claims (12)

1. 認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、
   前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、
   前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、
   前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、
   前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、
   を備え、
   前記表示部は、前記認識処理ソフトウェアにより誤認識された第４の画像のラベル情報に基づいて、前記第４の画像を、前記第２の画像よりも優先して表示させる、
   学習支援システム。
2. 認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報であって、画像の評価値を表すスコア型のラベル情報を設定する設定部と、
   前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、
   前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、
   前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、
   前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、
   を備える、学習支援システム。
3. 認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、
   前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、
   前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、
   前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、
   前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、を備え、
   前記設定部は、前記ラベル情報を設定するためにラベル名の入力欄を前記表示部に表示させ、前記ラベル情報の入力を受け付けるために前記ラベル名の入力欄が選択された場合に、既に設定されたラベル情報に対応付けられて前記学習装置に学習された画像の数を並べて表示させる、
   学習支援システム。
4. 認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定する設定部と、
   前記設定部により設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得する検索部と、
   前記検索部により取得された前記第１の画像特定情報に基づいて第２の画像を表示する表示部と、
   前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する選択部と、
   前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する通信部と、を備え、
   前記設定部により設定されたラベル情報を設定し、
   前記検索部により、前記ラベル情報が設定された状態で、前記第１の画像を検索するための検索キーを含む検索要求を外部装置に送信し、前記検索キーに基づく第１の画像特定情報を取得する処理と、前記表示部により、前記検索キーに基づく前記第１の画像特定情報に基づいて第２の画像を表示する処理と、前記選択部により、前記第２の画像のうち、前記設定部により設定されたラベル情報を付加する第３の画像を選択する処理と、を繰り返し、
   前記通信部が、異なる検索キーで検索した画像に同じラベル情報を対応付けられる画像として前記学習装置に送信する、
   学習支援システム。
5. 前記設定部は、前記認識処理ソフトウェアに対応した第１のラベルと、前記第１のラベルを細分化した第２のラベルとを前記ラベル情報として設定し、
   前記選択部は、前記設定部により設定された前記第２のラベルを選択し、前記第３の画像に前記第１のラベルおよび前記第２のラベルを付加する、
   請求項１から４のうち何れか１項に記載の学習支援システム。
6. 前記検索部は、検索された前記第１の画像のうち所定の画像サイズか否かを判定し、所定の画像サイズを有しない画像を前記第１の画像から除外する判定部を備える、
   請求項１から５のうち何れか１項に記載の学習支援システム。
7. 前記表示部は、前記所定の画像サイズに基づいて前記第２の画像を生成する、
   請求項６に記載の学習支援システム。
8. 前記選択部は、前記表示部により表示された第２の画像のうち、前記設定部により設定されたラベル情報を付加しない画像を削除し、削除されていない第２の画像を前記第３の画像として選択する、
   請求項１から７のうち何れか１項に記載の学習支援システム。
9. 前記表示部は、前記認識処理ソフトウェアにより誤認識された第４の画像のラベル情報に基づいて、前記第４の画像を、前記第２の画像よりも優先して表示させる、
   請求項２から８のうち何れか１項に記載の学習支援システム。
10. クライアントコンピュータが、認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を設定し、
    支援サーバが、前記クライアントコンピュータにより設定されたラベル情報が付加される第１の画像を検索し、検索された第１の画像を特定する第１の画像特定情報を取得し、
    前記クライアントコンピュータが、第１のサーバにより取得された前記第１の画像特定情報に基づいて第２の画像を表示し、
    前記クライアントコンピュータが、表示された第２の画像のうち、設定されたラベル情報が付加する第３の画像を選択し、
    前記クライアントコンピュータまたは前記支援サーバが、前記第３の画像を特定する第２の画像特定情報と、前記ラベル情報とを対応づけて、前記学習装置に送信する、学習支援方法であって、
    前記認識処理ソフトウェアにより誤認識された第４の画像のラベル情報に基づいて、前記第４の画像を、前記第２の画像よりも優先して表示させる、
    学習支援方法。
11. 第１の画像を検索させる検索キーを受信し、前記検索キーに基づいて検索した第１の画像を特定する第１の画像特定情報を取得する検索部と、
    前記検索部により取得された前記第１の画像特定情報をクライアントコンピュータに送信し、認識処理ソフトウェアにより誤認識された画像のラベル情報に基づいて、当該誤認識された画像を、前記第１の画像特定情報に基づく画像よりも優先して前記クライアントコンピュータに表示させる、第１の通信部と、
    前記第１の通信部により送信された前記第１の画像特定情報のうち、前記クライアントコンピュータにより選択された第２の画像特定情報、および前記第２の画像特定情報に対応する第２の画像に付加される情報であって認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する前記認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を受信する受信部と、
    前記受信部により受信された前記第２の画像特定情報と前記ラベル情報とを前記学習装置に送信する第２の通信部と、
    を備える、学習支援装置。
12. コンピュータに、
    第１の画像を検索させる検索キーを受信し、前記検索キーに基づいて検索した第１の画像を特定する第１の画像特定情報を取得させ、
    取得された前記第１の画像特定情報をクライアントコンピュータに送信させ、認識処理ソフトウェアにより誤認識された画像のラベル情報に基づいて、当該誤認識された画像を、前記第１の画像特定情報に基づく画像よりも優先して前記クライアントコンピュータに表示させ、
    前記第１の画像特定情報のうち、前記クライアントコンピュータにより選択された第２の画像特定情報、および前記第２の画像特定情報に対応する第２の画像に付加される情報であって認識対象データに対して認識処理を行って前記認識対象データの認識結果を生成する前記認識処理ソフトウェアの処理パラメータを学習装置に学習させるためのラベル情報を受信させ、
    受信された前記第２の画像特定情報と前記ラベル情報とを前記学習装置に送信させる、
    学習支援プログラム。

Images