JP7298825B2 - 学習支援装置、学習装置、学習支援方法及び学習支援プログラム - Google Patents

Description

本開示は、学習支援装置、学習装置、学習支援方法及び学習支援プログラムに関する。

特許文献１は、ニューラルネットワークとフィルタ係数とを含むモデルを用いて画像を識別する装置を開示する。モデルは、サンプル画像をニューラルネットワークの入力層から入力し、中間層においてフィルタ係数に基づくフィルタ処理を行い、出力層において認識結果としてサンプル画像の分類を表す情報（クラスＩＤ）を出力する。モデルは、正解のクラスＩＤが付与された画像である教師画像を用いて予め学習される。具体的には、教師画像を入力したニューラルネットワークが正解のクラスＩＤを出力するように、フィルタ係数が設定される。さらに、この装置は、モデルによって識別されたクラスＩＤを画像とともにユーザに提示し、ユーザによりクラスＩＤが修正された場合には、クラスＩＤ修正後の画像をモデルに再学習させる。

特開２０１６－１４３３５４号公報

ところで、モデルが容易に識別することができない画像は、ニューラルネットワークのパラメータの決定への貢献度が高く、学習効果の高い教師データとなり得る。そのため、モデルが容易に識別することができない画像を用いてモデルを再学習することにより、高い学習効率を実現することができる。しかしながら、特許文献１に記載の装置は、ユーザによりクラスＩＤが修正された画像をモデルに再学習させているが、実際はモデルが正答している画像の中にも僅差でたまたま正解クラスに分類された画像が含まれている可能性がある。このような画像は、モデルが容易に識別することができない画像と言えるが、再学習する候補から外れてしまう。このため、特許文献１に記載の装置は、モデルを効率的に学習できていないおそれがある。

本開示は、モデルの学習を適切に支援することができる学習支援装置、学習装置、学習支援方法及び学習支援プログラムを提供することを目的とする。

本開示に係る学習支援装置は、第１ラベルが付与された第１データ及び第２ラベルが付与された第２データを有する教師データを取得する教師データ取得部と、第１ラベル及び第２ラベルの何れかがそれぞれに付与された少なくとも１つの教師候補データを取得する教師候補データ取得部と、対象データを第１ラベル及び第２ラベルの何れかに分類するように教師データを用いて学習されたモデルと、教師データとに基づいて、予め定められた次元の特徴空間で表現される教師データの特徴量を教師データごとに導出するとともに、モデルと少なくとも１つの教師候補データとに基づいて特徴空間で表現される教師候補データの特徴量を教師候補データごとに導出する導出部と、教師データの特徴量と少なくとも１つの教師候補データの特徴量とに基づいて、教師候補データと第１データとの特徴空間における距離である第１距離、及び、教師候補データと第２データとの特徴空間における距離である第２距離の少なくとも一方を教師候補データごとに算出する算出部と、算出部により算出された教師候補データごとの距離に基づいて、少なくとも１つの教師候補データの中から教師データとして追加するデータを選択する選択部と、を備える。

本開示の種々の側面及び実施形態によれば、モデルの学習を適切に支援することができる。

図１は、実施形態に係る学習装置及び学習支援装置の機能の一例を示すブロック図である。 図２は、図１に示す装置のハードウェア構成を示すブロック図である。 図３は、学習部において用いられるニューラルネットワークの模式図である。 図４は、ニューラルネットワークにより演算された特徴量の分布を示す図である。 図５は、良品距離及び不良品距離の要素を示す説明図である。 図６は、良品距離及び不良品距離の要素を示す説明図である。 図７は、良品距離及び不良品距離の要素を示す説明図である。 図８は、学習装置及び学習支援装置における学習支援方法のフローチャートである。 図９は、学習処理のフローチャートである。 図１０（Ａ）～図１０（Ｄ）は、表示部に表示される画面例を示す図である。

以下、図面を参照して、本開示の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。

［学習支援装置の機能構成］
図１は、実施形態に係る学習装置及び学習支援装置の機能の一例を示すブロック図である。図１に示される学習装置１０は、モデルＭ１を学習する装置である。モデルＭ１は、ニューラルネットワークとパラメータとを含む構造を有する。ニューラルネットワークは、複数のニューロンを結合させた構造を有する。一例として、ニューラルネットワークは、複数のニューロンがグループ化された層を連ねた階層型の多層ニューラルネットワークであってもよい。ニューラルネットワークは、ニューロンの個数及び結合関係で定義される。ニューロン間又は層間の結合強度は、パラメータ（重み係数など）を用いて定義される。ニューラルネットワークでは、データが入力され、複数のニューロンの演算結果及びパラメータに基づいて、データの特徴が解として出力される。学習装置１０は、目的とする能力を獲得できるようにモデルＭ１のパラメータを学習する学習部１１を有する。学習とは、パラメータを最適値に調整することである。ニューラルネットワークの詳細は後述する。

学習装置１０の学習結果は、処理装置１２において活用される。処理装置１２は、学習装置１０が学習対象とするモデルＭ１と同一のニューラルネットワーク及びパラメータを有するモデルＭ２を動作可能な実行環境を有する。モデルＭ２は、モデルＭ１と同一のモデルであり、モデルＭ１がマスター（オリジナル）となる。処理装置１２では、モデルＭ２に対象データＤ１が入力され、モデルＭ２から結果が出力される。対象データＤ１とは、処理装置１２の目的を達成するために処理されるデータであり、例えば、画像データ、音声データ、グラフデータなどである。対象データＤ１は後述するラベルを付与する前のデータである。処理装置１２の目的は、認識（分類）、判定などである。処理装置１２は、学習装置１０から物理的又は論理的に分離されていてもよいし、学習装置１０に統合され、学習装置１０と物理的又は論理的に一体化してもよい。

処理装置１２のモデルＭ２は、対象データＤ１の内容を認識し、認識結果Ｒ１としてラベルを出力する。ラベルとは、予め設定されたカテゴリを識別する情報であり、対象データＤ１を分類又は判別するために用いられる。対象データＤ１が画像データである場合、ラベルは、例えば被写体の種類（人物、乗り物、動物など）、被写体の品質（良品、不良品など）とすることができる。処理装置１２は、出力したラベルを対象データＤ１に付与してもよい。付与とは、関連付けることを意味し、例えば対象データＤ１とラベルとの関係性をテーブルなどに記録することであってもよいし、ラベルが含まれるように対象データＤ１の属性情報を変更することであってもよいし、対象データそのものにラベルを埋め込むことであってもよい。

以下では、処理装置１２のモデルＭ２が、電子部品を被写体とする対象データＤ１を入力し、電子部品の品質に関するラベルを出力する場合を一例として説明する。この場合、学習装置１０の学習部１１は、処理装置１２のモデルＭ２が対象データＤ１のラベルを正確に判別できるように、モデルＭ１のニューラルネットワークのパラメータを学習する。

学習部１１は、教師データＤ２に基づいてモデルＭ１を学習する。教師データＤ２とは、対象データＤ１と同一形式のデータ（ここでは画像データ）であり、正しいラベルが予め付与される。例えば、教師データＤ２には、被写体である電子部品が外観品質基準を満たすことを示す良品ラベル（第１ラベルの一例）、被写体である電子部品が外観品質基準を満たさないことを示す不良品ラベル（第２ラベルの一例）の何れかがアノテータ（作業者）などによって正しく付与される。このため、教師データＤ２は、良品ラベルが付与された良品データ（第１データの一例）、及び不良品ラベルが付与された不良品データ（第２データの一例）を有する。

学習部１１は、教師データＤ２である良品データ及び不良品データに基づいて、良品データの特徴及び不良品データの特徴をモデルＭ１のニューラルネットワークに学習させる。モデルＭ１は、入力した教師データＤ２に対して、良品に属する確からしさを示すスコア（以下「良品スコア」という）と、不良品に属する確からしさを示すスコア（以下「不良品スコア」という）とを出力する。本実施形態では、良品スコア及び不良品スコアは、それぞれ０．０～１．０の範囲の値となり、良品スコアと不良品スコアとの合計は１．０となるように設定される。学習部１１は、良品ラベルが付与された良品データについては、良品スコアが１．０に近づき、かつ、不良品スコアが０．０に近づくように、モデルＭ１のニューラルネットワークのパラメータを調整する。一方、学習部１１は、不良品ラベルが付与された不良品データについては、良品スコアが０．０に近づき、かつ、不良品スコアが１．０に近づくように、モデルＭ１のニューラルネットワークのパラメータを調整する。これにより、モデルＭ１は対象データＤ１を良品ラベル及び不良品ラベルの何れかに分類する能力を獲得する。学習部１１によって学習されたパラメータは、処理装置１２へと出力され、処理装置１２のモデルＭ２のパラメータが更新される。これにより、処理装置１２のモデルＭ２も、対象データＤ１を良品ラベル及び不良品ラベルの何れかに分類する能力を獲得する。

学習支援装置２０は、学習装置１０の学習を支援する。学習支援装置２０は、教師候補データＤ３の中からモデルＭ１の再学習のための追加教師データＤ４を選択する。教師候補データＤ３は、教師データＤ２と同一形式のデータ（ここでは画像データ）であり、アノテータ（作業者）などによってラベルが予め付与される。

学習支援装置２０は、教師データ取得部２１、教師候補データ取得部２２、導出部２３、算出部２４、及び選択部２５を備える。

教師データ取得部２１は、良品ラベルが付与された良品データ及び不良品ラベルが付与された不良品データを有する教師データＤ２を取得する。教師データＤ２は、学習部１１によって学習済みのデータである。教師候補データ取得部２２は、良品ラベル及び不良品ラベルの何れかがそれぞれに付与された少なくとも１つの教師候補データＤ３を取得する。教師候補データＤ３は、１又は複数のデータから構成される。教師候補データＤ３は、良品ラベルが付与されたデータのみで構成されてもよいし、不良品ラベルが付与されたデータのみで構成されてもよい。以下では、教師候補データＤ３は、良品ラベルが付与されたデータ及び不良品ラベルが付与されたデータの双方が含まれている複数のデータとする。

教師データ取得部２１及び教師候補データ取得部２２は、図示しないデータサーバなどから通信を介して教師データＤ２又は教師候補データＤ３を取得してもよいし、学習支援装置２０に接続可能な外部記憶媒体や学習支援装置２０が備える記憶媒体を参照して、教師データＤ２又は教師候補データＤ３を取得してもよい。教師データ取得部２１及び教師候補データ取得部２２は、カメラ等により得られたデータにユーザがラベルを付与したデータを取得してもよい。

導出部２３は、学習部１１において学習されたモデルＭ１と、教師データＤ２とに基づいて、予め定められた次元の特徴空間で表現される特徴量を教師データＤ２ごとに算出する。予め定められた次元の特徴空間は、膨大な次元の特徴量を演算容易とするために用いられる変換用の特徴空間である。このため、特徴空間の次元は、２次元でもよいし、３次元であってもよい。

特徴量は、画像の特徴を表現したベクトルであり、画像を入力したモデルＭ１のニューラルネットワークの計算過程から抽出される。導出部２３は、教師データＤ２ごとに特徴量を抽出するように学習装置１０を動作させ、学習装置１０から特徴量を取得してもよい。あるいは、導出部２３は、モデルＭ１と同一のモデルＭ３を用意し、学習支援装置２０において教師データＤ２ごとに特徴量を算出してもよい。モデルＭ３は、モデルＭ１をマスター（オリジナル）とするモデルである。

導出部２３は、学習部１１において学習されたモデルＭ１と、少なくとも１つの教師候補データＤ３とに基づいて、教師データＤ２の特徴量を落とし込んだ特徴空間と同一の次元の特徴空間で表現される特徴量を教師候補データＤ３ごとに算出する。教師候補データＤ３それぞれの特徴の抽出は、教師データＤ２と同様に、学習装置１０に実行させてもよいし、モデルＭ１と同一のモデルＭ３を用意し、学習支援装置２０において教師データＤ２ごとに特徴量を算出してもよい。

算出部２４は、特徴空間において教師データＤ２と教師候補データＤ３との距離を算出する。具体的には、算出部２４は、教師データＤ２の特徴量と教師候補データＤ３の特徴量とに基づいて、教師候補データＤ３と良品データとの特徴空間における距離である良品距離（第１距離の一例）を教師候補データＤ３ごとに算出する。算出部２４は、教師データＤ２の特徴量と教師候補データＤ３の特徴量とに基づいて、教師候補データＤ３と不良品データとの特徴空間における距離である不良品距離（第２距離の一例）を教師候補データＤ３ごとに算出する。算出部２４は、良品距離及び不良品距離の少なくとも一方を算出してもよい。つまり、算出部２４は、良品距離のみを算出してもよいし、不良品距離のみを算出してもよい。算出部２４は、教師候補データＤ３ごとに、良品距離及び不良品距離を用いて評価値を算出してもよい。良品距離、不良品距離及び評価値の詳細な説明及び算出方法については後述する。

選択部２５は、算出部２４において算出された教師候補データＤ３ごとの距離に基づいて、少なくとも１つの教師候補データＤ３の中から教師データＤ２として追加するデータ（追加教師データＤ４）を選択する。選択部２５は、教師候補データＤ３ごとの距離として、良品距離のみを用いてもよいし、不良品距離のみを用いてもよい。本実施形態では、選択部２５は、教師候補データＤ３ごとの良品距離及び不良品距離の双方に基づき、追加教師データＤ４を選択する。選択部２５は、距離（良品距離及び不良品距離の少なくとも一方）に基づいて、追加教師データＤ４が存在しないと判定した場合、後述の表示部２６に当該判定結果を表示させる。判定の基準については後述する。

選択部２５が追加教師データＤ４を選択する方法として、以下の３つの方法が例示される。第１の方法では、選択部２５は、不良品ラベルが付与された教師候補データの良品距離が短いほど当該教師候補データが少なくとも１つの教師候補データの中から選択される確率を上げるという方法である。第２の方法では、選択部２５は、良品ラベルが付与された教師候補データの不良品距離が短いほど当該教師候補データが少なくとも１つの教師候補データＤ３の中から選択される確率を上げる方法である。第３の方法では、選択部２５は、教師候補データＤ３ごとの評価値に基づいて、追加教師データＤ４を選択する方法である。選択部２５は、上述３つの方法のいずれか又はこれらの組み合わせを採用することができる。各方法の詳細については後述する。

学習支援装置２０は、表示部２６、入力部２７、及び、変更部２８を備えることができる。

表示部２６は、選択部２５で選択された追加教師データＤ４を表示する。表示部２６は、追加教師データＤ４の画像のみではなく、追加教師データＤ４に付与されているラベル、良品距離、不良品距離、評価値、教師候補データ数などを表示してもよい。表示部２６は、特徴量を所定の次元の空間にプロットしたグラフを表示してもよい。表示部２６は、教師データＤ２と追加教師データＤ４とを比較表示できるようにしてもよい。追加教師データＤ４が表示部２６により可視化されることによって、ユーザにとって、追加教師データＤ４の品質のばらつきの確認やラベル、良品距離、不良品距離、評価値又は教師候補データ数の確認が容易となる。

表示部２６は、選択部２５が距離に基づいて追加教師データＤ４が存在しないと判定した場合、選択部２５の制御により、追加教師データＤ４が存在しない旨を示す判定結果を表示する。選択部２５は、表示部２６に判定結果を画面表示させることで、追加教師データが存在しないことをユーザに報知することができる。ユーザは、モデルＭ１に対して学習させる追加教師データＤ４がないことを認識することができ、重み係数などのパラメータの学習を終了させるか否かを容易に判定することができる。表示部２６は、図示しないスピーカーによるアラーム音の出力などと組み合わせてユーザに判定結果を報知してもよい。

入力部２７は、ユーザ操作の入力を受け付ける。ユーザ操作とは、入力部２７を作動させるユーザによる動作であり、一例として、選択操作又は入力操作である。

変更部２８は、表示部２６に表示されている追加教師データＤ４に付与されているラベルを変更するためのユーザ操作が入力部２７を介して入力された場合、追加教師データＤ４に付与されているラベルを変更する。変更部２８は、追加教師データＤ４に予め付与されたラベルに誤りがないかをユーザに確認させる画面を表示部２６に表示させる。ユーザが追加教師データＤ４のラベルに誤りがあると判断した場合、ユーザは、入力部２７を介して変更部２８により追加教師データＤ４のラベルを良品ラベルから不良品ラベルへ、又は不良品ラベルから良品ラベルへと変更させることができる。

［学習支援装置のハードウェア構成］
図２は、図１に示す装置のハードウェア構成を示すブロック図である。図２に示されるように、学習支援装置２０は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ３０３（Read Only Memory）と、グラフィックコントローラ３０４と、補助記憶装置３０５と、外部接続インタフェース３０６（以下インタフェースは「Ｉ／Ｆ」と記す）と、ネットワークＩ／Ｆ３０７と、バス３０８と、を含む、通常のコンピュータシステムとして構成される。

ＣＰＵ３０１は、演算回路からなり、学習支援装置２０を統括制御する。ＣＰＵ３０１は、ＲＯＭ３０３又は補助記憶装置３０５に記憶されたプログラムをＲＡＭ３０２に読み出す。ＣＰＵ３０１は、ＲＡＭ３０２に読み出したプログラムにおける種々の処理を実行する。ＲＯＭ３０３は、学習支援装置２０の制御に用いられるシステムプログラムなどを記憶する。グラフィックコントローラ３０４は、表示部２６に表示させるための画面を生成する。補助記憶装置３０５は記憶装置としての機能を有する。補助記憶装置３０５は、種々の処理を実行するアプリケーションプログラムなどを記憶する。補助記憶装置３０５は、一例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などにより構成される。外部接続Ｉ／Ｆ３０６は、学習支援装置２０に種々の機器を接続するためのインタフェースである。外部接続Ｉ／Ｆ３０６は、一例として、学習支援装置２０、ディスプレイ、キーボード、マウスなどを接続させる。ネットワークＩ／Ｆ３０７は、ＣＰＵ３０１の制御に基づき、学習支援装置２０などとネットワークを介して通信を行う。上述の各構成部は、バス３０８を介して、通信可能に接続される。

学習支援装置２０は、上述以外のハードウェアを有し得る。学習支援装置２０は、一例として、ＧＰＵ(Graphics Processing Unit)、ＦＰＧＡ(Field-Programmable Gate Array)、ＤＳＰ(Digital Signal Processor)などを備えてもよい。学習支援装置２０は、ハードウェアとして１つの筐体に収まっている必要はなく、いくつかの装置に分離していてもよい。

図１に示される学習支援装置２０の機能は、図２に示されるハードウェアによって実現する。教師データ取得部２１、教師候補データ取得部２２、導出部２３、算出部２４、選択部２５及び変更部２８は、ＣＰＵ３０１がＲＡＭ３０２、ＲＯＭ３０３又は補助記憶装置３０５に格納されたプログラムを実行し、ＲＡＭ３０２、ＲＯＭ３０３もしくは補助記憶装置３０５に記憶されたデータ、又は、外部接続Ｉ／Ｆ３０６もしくはネットワークＩ／Ｆを介して取得されたデータを処理することで実現する。表示部２６は、ディスプレイ装置である。入力部２７は、マウス、キーボード、タッチパネルなどである。変更部２８の機能は、グラフィックコントローラ３０４をさらに用いて実現され得る。図１に示される処理装置１２及び学習装置１０も、図２に示されるハードウェアの一部又は全部によって構成される。

［ニューラルネットワークの詳細］
モデルＭ１～Ｍ３のニューラルネットワークを概説する。図３は、ニューラルネットワークの模式図である。図３に示されるように、ニューラルネットワーク４００は、いわゆる階層型ニューラルネットワークであり、円で示す多数の人工ニューロン（ノード）が階層を形成しつつ連結されている。階層型ニューラルネットワークは、入力用の人工ニューロン、処理用の人工ニューロン及び出力用の人工ニューロンを備える。

データ４０１は、ニューラルネットワークの処理対象である。データ４０１は、入力層４０２における入力用の人工ニューロンで取得される。入力用の人工ニューロンは、並列配置されることで入力層４０２を形成する。データ４０１は、処理用の人工ニューロンへ分配される。ニューラルネットワークでやり取りされる信号そのものをスコアという。スコアは数値である。

処理用の人工ニューロンは、入力用の人工ニューロンに接続される。処理用の人工ニューロンは、並列配置されることで中間層４０３を形成する。中間層４０３は、複数の層であってもよい。なお、中間層４０３を備えた３階層以上のニューラルネットワークをディープニューラルネットワークという。

ニューラルネットワークは、いわゆる畳み込みニューラルネットワークであってもよい。畳み込みニューラルネットワークは、畳み込み層とプーリング層とが交互に連結されて構成されるディープニューラルネットワークである。畳み込み層とプーリング層とで順次処理が行われることにより、データ４０１の画像はエッジなどの特徴を保持しつつ縮小される。畳み込みニューラルネットワークを画像解析に応用した場合、この抽出された特徴に基づいて画像の分類を高精度に行うことができる。

出力用の人工ニューロンは、外部へスコアを出力する。図３の例では、良品スコアと不良品スコアとが出力用の人工ニューロンから出力される。つまり、出力層４０４には、良品スコアを出力するための人工ニューロンと、不良品スコアを出力するための人工ニューロンと、の２つの人工ニューロンが用意されている。出力層４０４は、出力４０５として、外部へ良品スコア及び不良品スコアを出力する。本実施形態では、良品スコアと不良品スコアとは、それぞれ０．０～１．０の範囲の値となり、良品スコアと不良品スコアとの合計は１．０となるように設定されている。後述の学習処理（Ｓ５１０）において、良品ラベルが付与された教師データである良品データについては、良品スコアが１．０、不良品スコアが０．０に近づくように、ニューラルネットワーク４００の学習が行われる。一方、不良品ラベルが付与された教師データである不良品データについては、良品スコアが０．０に、不良品スコアが１．０に近づくように、ニューラルネットワーク４００の学習が行われる。

［導出部による特徴量の導出］
導出部２３は、一例として、上述した学習済みのニューラルネットワーク４００を含むモデルＭ３を用いて、教師データＤ２ごとに予め定められた次元の特徴空間で表現される特徴量を導出する。導出部２３は、教師候補データ取得部２２により取得された教師データＤ２をデータ４０１としてニューラルネットワーク４００の入力層４０２に入力する。中間層４０３内の処理用の人工ニューロンは、学習された重み係数を用いて入力を処理し、出力を他のニューロンへ伝搬する。導出部２３は、複数の中間層４０３から選択された１層の演算結果を特徴量として取得する。一例として、導出部２３は、複数の中間層４０３のうち出力層４０４へスコアを伝搬する層（出力層４０４の一段前の層）の演算結果を特徴空間に投射し、特徴量とする。このように、導出部２３は、学習済みのモデルＭ３と教師データＤ２とを用いて特徴量を導出する。

また、導出部２３は、上述した学習済みのニューラルネットワーク４００を含むモデルＭ３を用いて、教師候補データＤ３ごとに予め定められた次元の特徴空間で表現される特徴量を導出する。導出部２３は、教師候補データ取得部２２により取得された教師候補データＤ３をデータ４０１としてニューラルネットワーク４００の入力層４０２に入力する。中間層４０３内の処理用の人工ニューロンは、学習された重み係数を用いて入力を処理し、出力を他のニューロンへ伝搬する。導出部２３は、複数の中間層４０３から選択された１層の演算結果を特徴量として取得する。一例として、導出部２３は、複数の中間層４０３のうち出力層４０４へスコアを伝搬する層（出力層４０４の一段前の層）の演算結果を特徴空間に投射し、特徴量とする。このように、導出部２３は、学習済みのモデルＭ３と教師候補データＤ３とを用いて特徴量を導出する。

導出部２３は、特徴量を抽出するように学習装置１０を動作させ、学習装置１０から特徴量を取得してもよい。この場合、学習装置１０は、モデルＭ１を用いて上述した手法と同一の手法で特徴量を算出する。

図４は、ニューラルネットワークにより演算された特徴量の分布を示す図である。図４に示されるグラフは、２次元空間に投射された教師データＤ２の特徴量及び教師候補データＤ３の特徴量を示し、横軸が第一主成分、縦軸が第二主成分である。図４に示されるように、良品ラベルが付与された教師データＤ２である良品データの特徴量７０１と不良品ラベルが付与された教師データＤ２である不良品データの特徴量７０２とは、それぞれ点群を形成し、点群の間に境界面が存在する。図４に示されるグラフには、導出部２３により抽出された良品ラベルが付与された教師候補データＤ３の特徴量７０３及び不良品ラベルが付与された教師候補データＤ３の特徴量７０４も含む。教師候補データＤ３は、境界面に関係なくプロットされている。

［算出部による良品距離及び不良品距離の算出］
算出部２４は、教師候補データＤ３ごとに、対応する特徴量に基づいて、教師候補データＤ３と良品データとの特徴空間における距離である良品距離を算出する。良品距離及び不良品距離の表現に用いられる「距離」には、一例として、特徴空間に投射されたデータ間のユークリッド距離を用いることができる。特徴空間における距離を算出することができれば、ユークリッド距離には限定されず、マハラノビス距離等も用いることができる。教師データＤ２のうちの１つのデータである教師データｋと教師候補データＤ３のうちの１つのデータである教師候補データｓとの距離は、例えば以下の式１で算出される。

ここで、ｑ_{（ｋ，ｉ）}は教師データｋの特徴空間のある次元ｉにおける座標であり、ｐ_{（ｓ，ｉ）}は教師候補データｓの特徴空間のある次元ｉにおける座標である。ｄ_{（ｋ，ｓ）}は教師データｋと教師候補データｓとの距離であり、ｑ_ｋのベクトルは、教師データｋの特徴空間の座標データの集合であり、ｐ_ｋのベクトルは、教師候補データｓの特徴空間の座標データの集合である。なお、ｋは教師データのデータ数（ｍ＋ｎ：ｍ及びｎは整数）以下の整数であり、ｉは予め定められた次元の数（ｊ）以下（ｊは整数）の整数であり、ｓは教師候補データのデータ数（ｔ）以下（ｔは整数）の整数である。

教師候補データｓと良品データＯＫのうちの１つのデータである良品データＯＫｇまでの距離をｄ_{（ＯＫｇ，ｓ）}とすると、ｄ_{（ＯＫｇ，ｓ）}は式１を用いて以下の式２のように表される。なお、ＯＫｇのうち、ＯＫは良品を示す符号であり、ｇは、良品データＯＫのデータ数（ｍ）以下の整数である。

ｑ_{（ＯＫｇ，ｉ）}は教師データＤ２のうちの良品データＯＫｇの特徴空間のある次元ｉにおける座標であり、ｑ_ＯＫｇのベクトルは、良品データＯＫｇの特徴空間の座標データの集合である。

教師候補データｓと各良品データＯＫとの距離の集合をｄ_{（ＯＫ，ｓ）}のベクトルとすると、ｄ_{（ＯＫ，ｓ）}のベクトルは式２を用いて以下の式３のように表される。

教師候補データｓにおける良品距離Ｅ_{（ＯＫ，ｓ）}は、例えば、ｄ_{（ＯＫ，ｓ）}のベクトルの要素の中で最小値である。すなわち、良品距離Ｅ_{（ＯＫ，ｓ）}は、教師候補データｓと各良品データＯＫとの距離の集合であるｄ_{（ＯＫ，ｓ）}のベクトルの要素のうち、最小値である。良品距離Ｅ_{（ＯＫ，ｓ）}は、式３を用いて以下の式４のように表される。このとき、良品距離Ｅ_{（ＯＫ，ｓ）}が小さいほど、特徴空間内において、教師候補データｓが良品データＯＫのうちいずれかの近くに位置することを示す。

教師候補データｓにおける良品距離Ｅ_{（ＯＫ，ｓ）}は、例えば、ｄ_{（ＯＫ，ｓ）}のベクトルの要素の中で小さい方からａ個の要素を抽出し、ａ個の要素の平均値としてもよい。ａは、自然数であり、例えば３である。この場合の良品距離Ｅ_{（ＯＫ，ｓ）}は、式３を用いて以下の式５のように表される。このとき、良品距離Ｅ_{（ＯＫ，ｓ）}が小さいほど、特徴空間内において、教師候補データｓが複数（ａ個）の良品データＯＫの近くに位置することを示し、教師候補データｓが良品データＯＫの集団（良品クラスタ）に近いことを示す。

また、算出部２４は、教師候補データＤ３ごとに、対応する特徴量に基づいて、教師候補データＤ３と不良品データとの特徴空間における距離である不良品距離を算出する。教師候補データｓと不良品データＮＧのうちの不良品データＮＧｈまでの距離をｄ_{（ＮＧｈ，ｓ）}とすると、ｄ_{（ＮＧｈ，ｓ）}は式１を用いて以下の式６のように表される。なお、ＮＧｈのうち、ＮＧは不良品を示す符号であり、ｈは、不良品データＮＧのデータ数（ｎ）以下の整数である。

なお、ｑ_{（ＮＧｈ，ｉ）}は教師データのうち、不良品データＮＧｈの特徴空間のある次元ｉにおける座標であり、ｑ_ＮＧｈのベクトルは、不良品データＮＧｈの特徴空間の座標データの集合である。図５は、良品距離及び不良品距離の要素を示す説明図である。図５に示されるように、教師データＤ２及び教師候補データｓに対してｄ_{（ＯＫｋ，ｓ）}及びｄ_{（ＮＧｋ，ｓ）}が算出される。

教師候補データｓと各不良品データＮＧとの距離の集合をｄ_{（ＮＧ，ｓ）}のベクトルとすると、ｄ_{（ＮＧ，ｓ）}のベクトルは式６を用いて以下の式７のように表される。図６は、良品距離及び不良品距離の要素を示す説明図である。図６には、ある教師候補データｓ＋１に対するｄ_{（ＯＫ，ｓ＋１）}のベクトル及びｄ_{（ＮＧ，ｓ＋１）}のベクトルが示されている。

教師候補データｓにおける不良品距離Ｅ_{（ＮＧ，ｓ）}は、例えば、ｄ_{（ＮＧ，ｓ）}のベクトルの要素の中で最小値である。すなわち、不良品距離Ｅ_{（ＮＧ，ｓ）}は、教師候補データｓと各不良品データＮＧとの距離のうち、最小値である。不良品距離Ｅ_{（ＮＧ，ｓ）}は、式７を用いて以下の式８のように表される。このとき、不良品距離Ｅ_{（ＮＧ，ｓ）}が小さいほど、特徴空間内において、教師候補データｓが不良品データＮＧのうちいずれかの近くに位置することを示す。図７は、良品距離及び不良品距離を示す説明図である。図７には、教師候補データｓ＋１における良品データＯＫからの距離の最小値及び不良品データＮＧからの距離の最小値が、それぞれ良品距離Ｅ_{（ＯＫ，ｓ＋１）}及び不良品距離Ｅ_{（ＮＧ，ｓ＋１）}であることが示されている。

教師候補データｓにおける不良品距離Ｅ_{（ＮＧ，ｓ）}は、例えば、ｄ_{（ＮＧ，ｓ）}のベクトルの要素の中で小さい方からａ個の要素を抽出し、ａ個の要素の平均値としてもよい。この場合の不良品距離Ｅ_{（ＮＧ，ｓ）}は、式７を用いて以下の式９のように表される。このとき、不良品距離Ｅ_{（ＮＧ，ｓ）}が小さいほど、特徴空間内において、教師候補データｓが複数（ａ個）の不良品データＮＧの近くに位置することを示し、教師候補データｓが不良品データＮＧの集団（不良品クラスタ）に近いことを示す。

また、算出部２４は、算出された良品距離Ｅ_{（ＯＫ，ｓ）}及び不良品距離Ｅ_{（ＮＧ，ｓ）}を用いて教師候補データｓにおける評価値Ｅ_ｓを算出する。評価値Ｅ_ｓは、例えば、良品距離Ｅ_{（ＯＫ，ｓ）}を不良品距離Ｅ_{（ＮＧ，ｓ）}で除した値であり、以下の式１０のように表される。

例えば、評価値Ｅ_ｓが１より小さいほど、不良品距離Ｅ_{（ＮＧ，ｓ）}より良品距離Ｅ_{（ＯＫ，ｓ）}の方が小さく、教師候補データｓが不良品クラスタより良品クラスタに近いデータであることが示される。したがって、当該教師候補データｓが不良品ラベルを有するデータである場合、評価値Ｅ_ｓが小さいほど、当該教師候補データｓは、現段階の教師データＤ２の学習結果ではモデルＭ１，Ｍ２，Ｍ３において良品ラベル又は不良品ラベルへ分類することが難しいデータであり、モデルＭ１，Ｍ２，Ｍ３にとって学習効果の高いデータであることを示す。

一方で、例えば、評価値Ｅ_ｓが１より大きいほど、良品距離Ｅ_{（ＯＫ，ｓ）}より不良品距離Ｅ_{（ＮＧ，ｓ）}の方が小さく、教師候補データｓが良品クラスタより不良品クラスタに近いデータであることが示される。したがって、当該教師候補データｓが良品ラベルを有するデータである場合、評価値Ｅ_ｓが大きいほど、当該教師候補データｓは、現段階の教師データＤ２の学習結果ではモデルＭ１，Ｍ２，Ｍ３において良品ラベル又は不良品ラベルへ分類することが難しいデータであり、モデルＭ１，Ｍ２，Ｍ３にとって学習効果の高いデータであることを示す。

なお、評価値は、不良品距離Ｅ_{（ＮＧ，ｓ）}を良品距離Ｅ_{（ＯＫ，ｓ）}で除した値でもよい。この場合、上記の判定は逆になる。すなわち、評価値Ｅ_ｓが１より大きいほど、不良品距離Ｅ_{（ＮＧ，ｓ）}より良品距離Ｅ_{（ＯＫ，ｓ）}の方が小さく、教師候補データｓが不良品クラスタより良品クラスタに近いデータであることが示される。さらに、評価値Ｅ_ｓが１より小さいほど、良品距離Ｅ_{（ＯＫ，ｓ）}より不良品距離Ｅ_{（ＮＧ，ｓ）}の方が小さく、教師候補データｓが良品クラスタより不良品クラスタに近いデータであることが示される。また、評価値は、上記のように除して得られた値に対して所定の演算処理を施した値としてもよい。

［選択部による教師候補データの選択方法］
選択部２５は、算出部２４において算出された良品距離Ｅ_{（ＯＫ，ｓ）}、不良品距離Ｅ_{（ＮＧ，ｓ）}及び評価値Ｅ_ｓの少なくとも１つに基づいて、教師候補データＤ３の中から追加教師データＤ４を選択する。ここで、ニューラルネットワーク４００における重み係数の学習として、ニューラルネットワーク４００が容易に識別することができない教師候補データｓは学習効果が高く、学習に要する時間を短縮させることができる。このため、選択部２５は、学習効果の高低に基づいて教師候補データＤ３の中から教師データＤ２として追加するデータ（追加教師データＤ４）を選択することが求められている。

最初に、選択部２５において、不良品ラベルが付与された教師候補データそれぞれの良品距離Ｅ_{（ＯＫ，ｓ）}が短いほど当該教師候補データが少なくとも１つの教師候補データＤ３の中から選択される確率を上げる方法を説明する。ここで、選択部２５は、良品距離Ｅ_{（ＯＫ，ｓ）}が所定の閾値よりも小さい場合に、良品距離Ｅ_{（ＯＫ，ｓ）}が短い不良品ラベルが付与された教師候補データほど教師候補データＤ３の中から選択される確率を上げる。例えば、選択部２５は、良品距離Ｅ_{（ＯＫ，ｓ）}が所定の閾値よりも小さく、且つ、不良品ラベルを有する教師候補データを、予め定められた追加教師データＤ４の上限数まで良品距離Ｅ_{（ＯＫ，ｓ）}が近い順に選択する。図５には、導出部２３により抽出された不良品ラベルが付与された教師候補データの特徴量７０５が２次元空間に射影されている。良品ラベルを有する良品データＯＫ（良品クラスタ）に近く、不良品ラベルを有する教師候補データは、教師データＤ２を適用して処理を行った段階のニューラルネットワーク４００が容易に識別することができないことを示している。このように、選択部２５が上述のように追加教師データＤ４を選択することで、ニューラルネットワーク４００にとって学習効果の高い追加教師データＤ４を選択することができる。なお、選択部２５は、教師候補データＤ３のすべてが所定の閾値以上の良品距離Ｅ_{（ＯＫ，ｓ）}を有するデータのみである場合、追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させる。選択部２５は、所定の閾値未満の良品距離Ｅ_{（ＯＫ，ｓ）}を有する教師候補データＤ３のデータ数がある閾値以下となった場合に追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させてもよい。

また、選択部２５において、良品ラベルが付与された教師候補データそれぞれの不良品距離Ｅ_{（ＮＧ，ｓ）}が短いほど当該教師候補データが少なくとも１つの教師候補データＤ３の中から選択される確率を上げる方法を説明する。ここで、選択部２５は、不良品距離Ｅ_{（ＮＧ，ｓ）}が所定の閾値よりも小さい場合に、不良品距離Ｅ_{（ＮＧ，ｓ）}が短い良品ラベルが付与された教師候補データほど教師候補データＤ３の中から選択される確率を上げる。例えば、選択部２５は、不良品距離Ｅ_{（ＮＧ，ｓ）}が所定の閾値よりも小さく、且つ、良品ラベルを有する教師候補データを、予め定められた追加教師データＤ４の上限数まで不良品距離Ｅ_{（ＮＧ，ｓ）}が近い順に選択する。図６には、導出部２３により抽出された良品ラベルが付与された教師候補データの特徴量７０６が２次元空間に射影されている。不良品ラベルを有する不良品データＮＧ（不良品クラスタ）に近く、良品ラベルを有する教師候補データは、教師データＤ２を適用して処理を行った段階のニューラルネットワーク４００が容易に識別することができないことを示している。このように、選択部２５が上述のように追加教師データＤ４を選択することで、ニューラルネットワーク４００にとって学習効果の高い追加教師データＤ４を選択することができる。なお、選択部２５は、教師候補データＤ３のすべてが所定の閾値以上の不良品距離Ｅ_{（ＮＧ，ｓ）}を有するデータのみである場合、追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させる。選択部２５は、所定の閾値未満の不良品距離Ｅ_{（ＮＧ，ｓ）}を有する教師候補データＤ３のデータ数がある閾値以下となった場合に追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させてもよい。

また、選択部２５において、教師候補データごとの評価値Ｅ_Ｓに基づいて、追加教師データＤ４を選択する方法を説明する。選択部２５は、例えば、良品ラベルを有する各教師候補データｓの評価値Ｅ_ｓが大きいほど当該教師候補データが少なくとも１つの教師候補データＤ３の中から選択される確率を上げる。例えば、選択部２５は、良品ラベルを有する教師候補データを、予め定められた追加教師データＤ４の上限数まで評価値Ｅ_ｓが大きい順に選択する。評価値Ｅ_ｓが大きい教師候補データｓは、評価値Ｅ_ｓが小さい教師候補データｓと比べて、図７に示すように、良品ラベルを有する良品データＯＫまでの距離が長い場合、及び不良品ラベルを有する不良品データＮＧまでの距離が短い場合の少なくともいずれかに該当する。このため、良品ラベルを有する教師候補データは、教師データＤ２を適用して処理を行った段階のニューラルネットワーク４００が容易に識別することができないことを示している。また、評価値Ｅ_ｓが１より大きいことは、教師候補データｓが良品クラスタより不良品クラスタに近いデータであることが示される。このように、選択部２５は、例えば、評価値Ｅ_ｓが大きい順に、評価値Ｅ_ｓが１より大きく、且つ、良品ラベルを有する教師候補データを追加教師データＤ４として選択することで、ニューラルネットワーク４００にとって学習効果の高い追加教師データＤ４を選択することができる。なお、選択部２５は、教師候補データＤ３のすべてが所定の閾値未満の評価値Ｅ_ｓを有するデータのみである場合、追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させる。選択部２５は、所定の閾値以上の評価値Ｅ_ｓを有する教師候補データＤ３のデータ数がある閾値以下となった場合に追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させてもよい。

なお、選択部２５は、例えば、不良品ラベルを有する各教師候補データｓの評価値Ｅ_ｓが小さいほど当該教師候補データが少なくとも１つの教師候補データＤ３の中から選択される確率を上げてもよい。例えば、選択部２５は、不良品ラベルを有する教師候補データを、予め定められた追加教師データＤ４の上限数まで評価値Ｅ_ｓが小さい順に選択する。評価値Ｅ_ｓが小さい教師候補データｓは、評価値Ｅ_ｓが大きい教師候補データｓと比べて、不良品ラベルを有する不良品データＮＧまでの距離が長い場合、及び良品ラベルを有する良品データＯＫまでの距離が短い場合の少なくともいずれかに該当する。このため、不良品ラベルを有する教師候補データは、教師データＤ２を適用して処理を行った段階のニューラルネットワーク４００が容易に識別することができないことを示している。また、評価値Ｅ_ｓが１より小さいことは、教師候補データｓが不良品クラスタより良品クラスタに近いデータであることが示される。このように、選択部２５は、例えば、評価値Ｅ_ｓが小さい順に、不良品ラベルを有する教師候補データを追加教師データＤ４として選択することで、ニューラルネットワーク４００にとって学習効果の高い追加教師データＤ４を選択することができる。なお、選択部２５は、教師候補データＤ３のすべてが所定の閾値以上の評価値Ｅ_ｓを有するデータのみである場合、追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させる。選択部２５は、所定の閾値未満の評価値Ｅ_ｓを有する教師候補データＤ３のデータ数がある閾値以下となった場合に追加教師データＤ４が存在しないと判定し、表示部２６に当該判定結果を表示させてもよい。また、選択部２５は、評価値Ｅ_ｓの算出方法に合わせて、適宜大小関係を入れ替えて追加教師データＤ４を選択する。

［学習装置及び学習視線装置の動作］
図８は、学習方法及び学習支援方法のフローチャートである。学習支援装置２０による学習支援方法は、取得処理（Ｓ５００、第１工程の一例）と、導出処理（Ｓ５２０、第２工程の一例）と、算出処理（Ｓ５３０、第３工程の一例）と、選択処理（Ｓ５４０、第４工程の一例）とを有する。学習支援方法は、表示処理（Ｓ５６０）と、入力判定処理（Ｓ５７０）と、変更処理（Ｓ５８０）と、報知処理（Ｓ５９０）とを有してもよい。学習装置１０による学習方法は、学習処理（Ｓ５１０）を有する（図９参照）。

最初に、学習支援装置２０の教師データ取得部２１は、取得処理（Ｓ５００）として、例えばデータサーバから良品ラベルが付与された良品データＯＫ、及び不良品ラベルが付与された不良品データＮＧを有する教師データＤ２を取得する。学習支援装置２０の教師候補データ取得部２２は、取得処理（Ｓ５００）として、例えばデータサーバから良品ラベル及び不良品ラベルの何れかがそれぞれに付与された少なくとも１つの教師候補データＤ３を取得する。

学習装置１０の学習部１１は、学習処理（Ｓ５１０）として、教師データＤ２を学習して、モデルＭ１のニューラルネットワーク４００における重み係数を調整する。図９は、学習処理のフローチャートである。学習部１１は、演算処理（Ｓ５１２）として、教師データＤ２をモデルＭ１のニューラルネットワーク４００に学習させる。この演算処理（Ｓ５１２）では、教師データＤ２について、良品スコアと不良品スコアとがニューラルネットワーク４００から出力される。学習部１１は、誤差演算処理（Ｓ５１３）として、教師データＤ２に付与されていたラベルと、当該教師データＤ２について出力されたスコアとの誤差を算出する。学習部１１は、逆伝播処理（Ｓ９０４）として、誤差演算処理（Ｓ５１３）で算出された誤差を用いて、ニューラルネットワーク４００の中間層４０３の重み係数を調整する。学習部１１は、閾値判定処理（Ｓ５１５）として、誤差演算処理（Ｓ５１３）で算出された誤差は所定の閾値を下回るか否かを判定する。誤差が所定の閾値を下回らないと判定された場合（Ｓ５１５：ＮＯ）、再びＳ５１２～Ｓ５１５の処理が繰り返される。誤差が所定の閾値を下回ると判定された場合（Ｓ５１５：ＹＥＳ）、完了判定処理（Ｓ９０６）に移行する。

演算処理（Ｓ５１２）～閾値判定処理（Ｓ５１５）の具体例として、良品ラベル「１」が付与されている良品データＯＫが入力されたユースケースについて説明する。この教師データＤ２に対して演算処理（Ｓ５１２）が初めて施された場合、良品スコアと不良品スコアとして、例えばそれぞれ「０．９」と「０．１」との値がモデルＭ１のニューラルネットワーク４００から出力される。次いで、誤差演算処理（Ｓ５１３）では、良品ラベル「１」と、良品スコア「０．９」との差「０．１」が算出される。なお、不良品ラベルが付与されている不良品データＮＧの場合、不良品スコアとの差が算出される。次いで、誤差伝播処理（Ｓ５１４）では、誤差演算処理（Ｓ５１３）で算出される誤差がより小さくなるように、モデルＭ１のニューラルネットワーク４００の中間層４０３の重み係数が調整される。閾値判定処理（Ｓ５１５）において、誤差演算処理（Ｓ５１３）で算出される誤差が所定の閾値を下回ると判定されるまで重み係数の調整が繰り返されることにより、モデルＭ１のニューラルネットワーク４００の機械学習が行われ、モデルＭ１は、対象データを良品ラベル及び不良品ラベルの何れかに分類する能力を獲得する。

次いで、完了判定処理（Ｓ５１６）において、全ての教師データＤ２について処理が完了したか否かを判定する。全ての教師データＤ２について処理が完了していないと判定された場合（Ｓ５１６：ＮＯ）、再びＳ５１１～Ｓ５１６の処理が繰り返される。全ての教師データＤ２について処理が完了したと判定された場合（Ｓ５１６：ＹＥＳ）、図９のフローチャートが終了し、図８のフローチャートに戻る。

学習支援装置２０の導出部２３は、導出処理（Ｓ５２０）として、教師データＤ２及び教師候補データＤ３それぞれの特徴量を導出する。導出部２３は、学習装置１０によって学習されたモデルＭ１を学習支援装置２０のモデルＭ３にコピーし、モデルＭ３を用いて教師データＤ２及び教師候補データＤ３それぞれの特徴量を導出する。なお、導出部２３は、教師候補データＤ３を学習装置１０に出力し、学習装置１０に教師データＤ２及び教師候補データＤ３それぞれの特徴量を導出させてもよい。導出部２３は、学習されたニューラルネットワーク４００と教師データＤ２に基づいて、予め定められた次元の特徴空間で表現される特徴量を教師データＤ２ごとに導出する。導出部２３は、学習されたニューラルネットワーク４００と教師候補データＤ３に基づいて、予め定められた次元の特徴空間で表現される特徴量を教師候補データＤ３ごとに導出する。

算出部２４は、算出処理（Ｓ５３０）として、教師データＤ２の特徴量と少なくとも１つの教師候補データＤ３の特徴量とに基づいて、教師候補データＤ３ごとに、良品距離Ｅ_{（ＯＫ，ｓ）}、及び、不良品距離Ｅ_{（ＮＧ，ｓ）}の少なくとも一方を算出する。算出部２４は、全ての教師候補データＤ３に対する良品距離Ｅ_{（ＯＫ，ｓ）}、及び、不良品距離Ｅ_{（ＮＧ，ｓ）}の少なくとも一方を算出する（ｓは１からｔまでの整数）。また、算出部２４は、算出処理（Ｓ５３０）として、良品距離Ｅ_{（ＯＫ，ｓ）}、及び、不良品距離Ｅ_{（ＮＧ，ｓ）}に基づいて、評価値Ｅ_ｓを算出する。算出部２４は、全ての教師候補データＤ３に対する評価値Ｅ_ｓを算出する。

選択部２５は、選択処理（Ｓ５４０）として、算出処理（Ｓ５３０）で算出された良品距離Ｅ_{（ＯＫ，ｓ）}、不良品距離Ｅ_{（ＮＧ，ｓ）}、及び評価値Ｅ_ｓの少なくとも１つに基づいて、教師候補データＤ３の中から追加教師データＤ４を選択する。選択部２５は、良品距離Ｅ_{（ＯＫ，ｓ）}、不良品距離Ｅ_{（ＮＧ，ｓ）}、及び評価値Ｅ_ｓのうち、予め定められた指標を用いて、教師候補データＤ３の中から追加教師データＤ４を選択する。選択部２５は、良品距離Ｅ_{（ＯＫ，ｓ）}、不良品距離Ｅ_{（ＮＧ，ｓ）}、及び評価値Ｅ_ｓのそれぞれの値に対し、例えば重み付けを行い、組み合わせて使用してもよい。

選択部２５は、終了判定処理（Ｓ５５０）として、残りの教師候補データＤ３の中から教師データＤ２として追加する追加教師データＤ４が存在するか否かを判定する。追加教師データＤ４が存在しない場合とは、残りの教師候補データＤ３が存在しない場合、又は選択部２５によって用いられる良品距離Ｅ_{（ＯＫ，ｓ）}、不良品距離Ｅ_{（ＮＧ，ｓ）}、及び評価値Ｅ_ｓが予め定められた各閾値以上若しくは各閾値未満の場合などである。追加教師データＤ４が存在しないと判定された場合（Ｓ５５０：追加教師データが不存在）、報知処理（Ｓ５９０）に移行する。追加教師データＤ４が存在すると判定された場合（Ｓ５５０：追加教師データが存在）、表示処理（Ｓ５６０）に移行する。

選択部２５によって追加教師データＤ４が存在すると判定された場合（Ｓ５５０：追加教師データが存在）、表示部２６は、表示処理（Ｓ５６０）として、選択部２５で選択された追加教師データＤ４を表示する。ユーザは、表示部２６に表示された追加教師データＤ４を確認することができる。

図１０（Ａ）～図１０（Ｄ）は、表示処理（Ｓ５６０）において、表示部２６に表示される画面６１０，６２０，６３０，６４０の一例を示す図である。図１０（Ａ）～図１０（Ｄ）では、追加教師データＤ４の被写体が電子部品である例が示されており、追加教師データＤ４_１及びＤ４_２は良品ラベルが付与されたデータを画像化したものであり、追加教師データＤ４_３及びＤ４_４は不良品ラベルが付与されたデータを画像化したものである。

変更部２８は、入力判定処理（Ｓ５７０）として、表示部２６で表示されている追加教師データＤ４に付与されているラベルを変更するためのユーザ操作が入力部２７を介して入力されたか否かを判定する。表示部２６で表示されている追加教師データＤ４に付与されているラベルを変更するためのユーザ操作が入力部２７を介して入力されたと判定された場合（Ｓ５７０：ＹＥＳ）、変更処理（Ｓ５８０）へ移行する。表示部２６で表示されている追加教師データＤ４に付与されているラベルを変更するためのユーザ操作が入力部２７を介して入力されていないと判定された場合（Ｓ５７０：ＮＯ）、選択部２５は追加教師データＤ４を教師データＤ２に追加し、再びＳ５００～Ｓ５７０の処理が繰り返される。

図１０（Ａ）及び図１０（Ｂ）の追加教師データＤ４_１及びＤ４_２は、被写体の外延形状は良品データの特徴と一致していたものの、被写体全体の色味が不良品データの特徴に近かったため、それぞれ不良品距離が短く算出されたデータの一例である。一例として、ユーザが、被写体の色味を許容できると判断した場合、ユーザは、入力部２７を介して入力領域６１１を押下することにより、追加教師データＤ４_１に付与された良品ラベルが維持される。一方、一例として、ユーザが、被写体の色味を許容できないと判断した場合、ユーザは、入力部２７を介して入力領域６１２を押下することにより、変更部２８によって、追加教師データＤ４_２に付与された良品ラベルが不良品ラベルに変更される。

図１０（Ｃ）及び図１０（Ｄ）の追加教師データＤ４_３及びＤ４_４は、被写体主要部の色味が不良品データの特徴と一致していたものの、被写体の外延形状が良品データの特徴に近かったため、それぞれ良品距離が短く算出されたデータの一例である。一例として、ユーザが、被写体主要部に不具合箇所６１４が含まれていると判断した場合、ユーザは、入力部２７を介して入力領域６１１を押下することにより、追加教師データＤ４_３に付与された不良品ラベルが維持される。一方、一例として、ユーザが、被写体主要部に不具合箇所が含まれていないと判断した場合、ユーザは、入力部２７を介して入力領域６１２を押下することにより、変更部２８によって、追加教師データＤ４_４に付与された不良品ラベルが良品ラベルに変更される。また、ユーザが、追加教師データＤ４に良品ラベルを付与すべきか、不良品ラベルを付与するべきか判断に迷った場合、ユーザは、入力領域６１３を押下することもできる。この場合、変更部２８は、この追加教師データＤ４が、教師データＤ２に追加されることを解除してもよい。

変更部２８は、変更処理（Ｓ５８０）として、追加教師データＤ４に付与されているラベルを変更する。変更部２８は、ユーザ操作に基づき、追加教師データＤ４に付与されているラベルを変更する。変更後、選択部２５は選択された追加教師データＤ４を教師データＤ２に追加する。そして、再びＳ５００～Ｓ５７０の処理が繰り返される。

選択部２５によって教師データＤ２として選択可能な教師候補データＤ３が存在しないと判定された場合（Ｓ５５０：追加教師データが不存在）、選択部２５は、報知処理（Ｓ５９０）として、追加教師データＤ４が存在しない旨を、表示部２６を介してユーザに報知する。選択部２５は、所定の時間、表示部２６の画面表示を制御して追加教師データＤ４が存在しない旨をユーザに報知し、所定の時間経過後、図８のフローチャートを終了する。

［プログラム］
学習支援装置２０として機能させるための学習支援プログラムを説明する。学習支援プログラムは、メインモジュール、取得モジュール、導出モジュール、算出モジュール及び選択モジュールを備えている。メインモジュールは、装置を統括的に制御する部分である。取得モジュール、導出モジュール、算出モジュール及び選択モジュールを実行させることにより実現される機能は、上述した学習支援装置２０の教師データ取得部２１、教師候補データ取得部２２、導出部２３、算出部２４及び選択部２５の機能とそれぞれ同様である。

［実施形態のまとめ］
本実施形態の学習支援装置２０によれば、教師データ取得部２１及び教師候補データ取得部２２は、教師データＤ２及び教師候補データＤ３を取得する。導出部２３は、教師データＤ２を用いて学習されたモデルＭ３に基づいて、特徴量を教師データＤ２ごとに、及び、教師候補データＤ３ごとに導出する。算出部２４は、教師候補データＤ３ごとに、良品距離Ｅ_{（ＯＫ，ｓ）}及び不良品距離Ｅ_{（ＮＧ，ｓ）}の少なくとも一方を算出する。選択部２５は、算出部２４により算出された距離（良品距離Ｅ_{（ＯＫ，ｓ）}及び不良品距離Ｅ_{（ＮＧ，ｓ）}の少なくとも一方）に基づき、教師候補データＤ３の中から追加教師データＤ４を選択する。モデルＭ１，Ｍ２，Ｍ３の一例であるニューラルネットワーク４００における重み係数の学習として、ニューラルネットワーク４００が容易に識別することができない教師候補データＤ３は学習効果が高く、学習に要する時間を短縮させることができる。このため、選択部２５は、学習効果の高低に基づいて教師候補データＤ３の中から教師データＤ２として追加するデータを選択することが求められる。学習効果の高い教師候補データＤ３とは、特徴空間において良品データＯＫに近接する、不良品ラベルが付与された教師候補データ、又は、特徴空間において不良品データＮＧに近接する、良品ラベルが付与された教師候補データである。選択部２５が、算出部２４により算出された良品距離Ｅ_{（ＯＫ，ｓ）}及び不良品距離Ｅ_{（ＮＧ，ｓ）}の少なくとも一方を指標とすることにより、学習効果の高低に基づいて教師候補データＤ３の中から教師データＤ２として追加するデータを選択する処理の効率性を向上させることができる。よって、この学習支援装置２０は、モデルＭ１の学習を適切に支援することができる。なお、学習支援方法及び学習支援プログラムも上記と同様の効果が得られる。

学習装置１０は、選択部２５により選択された学習効果の高い教師データＤ２を用いて、モデルＭ１（ニューラルネットワーク４００における重み係数）の効率的な学習を行うことができる。

選択部２５は、不良品ラベルが付与された教師候補データの良品距離Ｅ_{（ＯＫ，ｓ）}が短いほど当該教師候補データが少なくとも１つの教師候補データＤ３の中から選択される確率を上げる。この場合、選択部２５は、特徴空間において良品データＯＫに近接する、不良品ラベルが付与された学習効果の高い教師候補データを教師データＤ２として取得することができる。

選択部２５は、良品ラベルが付与された教師候補データＤ３の不良品距離Ｅ_{（ＮＧ，ｓ）}が短いほど当該教師候補データが少なくとも１つの教師候補データの中から選択される確率を上げる。この場合、選択部２５は、特徴空間において不良品データＮＧに近接する、良品ラベルが付与された学習効果の高い教師候補データＤ３を教師データＤ２として取得することができる。

選択部２５は、教師候補データＤ３ごとに、良品距離Ｅ_{（ＯＫ，ｓ）}及び不良品距離Ｅ_{（ＮＧ，ｓ）}を用いて算出された評価値Ｅ_ｓに基づいて少なくとも１つの教師候補データＤ３の中から追加教師データＤ４を選択する。選択部２５は、良品距離Ｅ_{（ＯＫ，ｓ）}及び不良品距離Ｅ_{（ＮＧ，ｓ）}の双方を用いることで、ニューラルネットワーク４００に対して学習効果の高い教師候補データＤ３を教師データＤ２として選択する処理の効率性を向上させることができる。

学習装置１０及び学習支援装置２０は、選択部２５で選択された教師候補データＤ３を表示する表示部２６をさらに備えることにより、ユーザは学習効果の高い教師候補データＤ３を認識することができる。

また、学習支援装置２０は、ユーザ操作の入力を受け付ける入力部２７と、入力部２７に、表示部２６で表示されている教師候補データＤ３に付与されているラベルを変更するためのユーザ操作が入力された場合、教師候補データＤ３に付与されているラベルを変更する変更部２８と、をさらに備える。これにより、ユーザは、表示部２６を確認しながら教師候補データＤ３に予め付与された良品ラベル又は不良品ラベルの修正を行うことができる。

また、選択部２５は、距離に基づいて、少なくとも１つの教師候補データＤ３の中から教師データＤ２として追加するデータ（追加教師データＤ４）が存在しないと判定した場合、表示部２６に当該判定結果を表示させる。この場合、ニューラルネットワーク４００に対して学習させる追加教師データＤ４がないことをユーザは認識することができ、重み係数の学習を終了させるか否かを容易に判定することができる。

以上、本開示の実施形態について説明したが、本開示は、上述実施形態に限定されるものではない。上述の実施形態では、学習装置１０と学習支援装置２０とが物理的又は論理的に分離した構成について説明したが、学習装置１０と学習支援装置２０は統合され、物理的又は論理的に一体化してもよい。つまり、学習装置１０は、学習支援装置２０を含む構成であってもよい。

学習支援装置２０の各構成要素は、構成要素それぞれの機能に対応する装置が通信ネットワークを介して接続された集合体として構成されてもよい。

学習支援装置２０が表示部２６を備えていない場合、学習支援方法は表示処理（Ｓ５６０）を実施しなくてもよい。学習支援装置２０が入力部２７及び変更部２８を備えていない場合、学習支援方法は、入力判定処理（Ｓ５７０）を実施しなくてもよい。

１０…学習装置、１１…学習部、２０…学習支援装置、２１…教師データ取得部、２２…教師候補データ取得部、２３…導出部、２４…算出部、２５…選択部、２６…表示部、２７…入力部、２８…変更部、４００…ニューラルネットワーク。

Claims (10)

1. 第１ラベルが付与された第１データ及び第２ラベルが付与された第２データを有する教師データを取得する教師データ取得部と、
   前記第１ラベル及び前記第２ラベルの何れかがそれぞれに付与された少なくとも１つの教師候補データを取得する教師候補データ取得部と、
   対象データを前記第１ラベル及び前記第２ラベルの何れかに分類するように前記教師データを用いて学習されたモデルと、前記教師データとに基づいて、予め定められた次元の特徴空間で表現される前記教師データの特徴量を前記教師データごとに導出するとともに、前記モデルと前記少なくとも１つの教師候補データとに基づいて前記特徴空間で表現される前記教師候補データの特徴量を前記教師候補データごとに導出する導出部と、
   前記教師データの前記特徴量と前記少なくとも１つの教師候補データの特徴量とに基づいて、前記教師候補データと前記第１データとの前記特徴空間における距離である第１距離、及び、前記教師候補データと前記第２データとの前記特徴空間における前記距離である第２距離の少なくとも一方を前記教師候補データごとに算出する算出部と、
   前記算出部により算出された前記教師候補データごとの前記距離に基づいて、前記少なくとも１つの教師候補データの中から前記教師データとして追加するデータを選択する選択部と、
   を備える、学習支援装置。
2. 前記選択部は、前記第２ラベルが付与された前記教師候補データの前記第１距離が短いほど当該教師候補データが前記少なくとも１つの教師候補データの中から選択される確率を上げる、請求項１に記載の学習支援装置。
3. 前記選択部は、前記第１ラベルが付与された前記教師候補データの前記第２距離が短いほど当該教師候補データが前記少なくとも１つの教師候補データの中から選択される確率を上げる、請求項１に記載の学習支援装置。
4. 前記算出部は、前記教師候補データごとに、前記第１距離及び前記第２距離を用いて評価値を算出し、
   前記選択部は、前記教師候補データごとの前記評価値に基づいて、前記少なくとも１つの教師候補データの中から前記教師データとして追加するデータを選択する、請求項１～３の何れか一項に記載の学習支援装置。
5. 前記選択部で選択された前記データを表示する表示部をさらに備える、請求項１～４の何れか一項に記載の学習支援装置。
6. ユーザ操作の入力を受け付ける入力部と、
   前記入力部に、前記表示部で表示されている前記データに付与されているラベルを変更するためのユーザ操作が入力された場合、前記データに付与されているラベルを変更する変更部と、
   をさらに備える、請求項５に記載の学習支援装置。
7. 前記選択部は、前記第１距離及び前記第２距離に基づいて、前記少なくとも１つの教師候補データの中から前記教師データとして追加するデータが存在しないと判定した場合、前記表示部に当該判定結果を表示させる、請求項５に記載の学習支援装置。
8. 第１ラベルが付与された第１データ及び第２ラベルが付与された第２データを有する教師データを取得する教師データ取得部と、
   前記第１ラベル及び前記第２ラベルの何れかがそれぞれに付与された少なくとも１つの教師候補データを取得する教師候補データ取得部と、
   対象データを前記第１ラベル及び前記第２ラベルの何れかに分類するように前記教師データを用いて学習されたモデルと、前記教師データとに基づいて、予め定められた次元の特徴空間で表現される前記教師データの特徴量を前記教師データごとに導出するとともに、前記モデルと前記少なくとも１つの教師候補データとに基づいて前記特徴空間で表現される特徴量を前記教師候補データごとに導出する導出部と、
   前記教師データの前記特徴量と前記少なくとも１つの教師候補データの特徴量とに基づいて、前記教師候補データと前記第１データとの前記特徴空間における距離である第１距離、及び、前記教師候補データと前記第２データとの前記特徴空間における前記距離である第２距離の少なくとも一方を前記教師候補データごとに算出する算出部と、
   前記算出部により算出された前記教師候補データごとの前記距離に基づいて、前記少なくとも１つの教師候補データの中から前記教師データとして追加するデータを選択する選択部と、
   前記選択部により選択された前記データを用いて前記モデルを学習する学習部と、
   を備える、学習装置。
9. 第１ラベルが付与された第１データ、及び第２ラベルが付与された第２データを有する教師データ、並びに、前記第１ラベル及び前記第２ラベルの何れかがそれぞれに付与された少なくとも１つの教師候補データを取得する第１工程と、
   対象データを前記第１ラベル及び前記第２ラベルの何れかに分類するように前記教師データを用いて学習されたモデルと、前記教師データとに基づいて、予め定められた次元の特徴空間で表現される前記教師データの特徴量を前記教師データごとに導出するとともに、前記モデルと前記少なくとも１つの教師候補データとに基づいて前記特徴空間で表現される前記教師候補データの特徴量を前記教師候補データごとに導出する第２工程と、
   前記教師データの前記特徴量と前記少なくとも１つの教師候補データの特徴量とに基づいて、前記教師候補データと前記第１データとの前記特徴空間における距離である第１距離、及び、前記教師候補データと前記第２データとの前記特徴空間における前記距離である第２距離の少なくとも一方を前記教師候補データごとに算出する第３工程と、
   前記第３工程において算出された前記教師候補データごとの前記距離に基づいて、前記少なくとも１つの教師候補データの中から前記教師データとして追加するデータを選択する第４工程と、
   を備える、学習支援方法。
10. コンピュータを、請求項１～７の何れか１項に記載の学習支援装置として機能させるための学習支援プログラム。

Images