JP7287490B2 - 学習装置、学習方法、及び、プログラム - Google Patents

Description

本発明は、画像に基づいて物体を識別する技術に関する。

近年、深層学習を用いたニューラルネットワークによる物体識別手法が提案されている。物体識別器は、物体識別モデルを用いて画像から対象物を検出し、その対象物が複数のクラスのいずれに該当するかを示す確率をクラス毎に出力する。通常、学習時には、物体識別器が予測した複数のクラスと、予め用意された、正解を示す複数のクラスとを用いて、クラス毎に差を表す指標を算出し、それらの総和に基づいて物体識別モデルのパラメータが更新される。

一方、物体識別モデルが出力した予測確率が上位である複数のクラスに着目して処理を行う手法が提案されている。例えば、特許文献１は、判定モデルによる予測スコアが上位の所定数に属するデータから正解率を算出し、その正解率に基づいて判定モデルの更新が必要であるか否かを決定する学習方法を記載している。

国際公開ＷＯ２０１４／１５５６９０号公報

通常の物体識別器は、入力画像から１つのクラスを高い精度で予測するように学習されるが、入力画像の撮影環境などによっては、予測結果を１つのクラスに絞ると精度が低下してしまう場合がある。このような場合、精度が低下してしまうよりは、複数のクラスの中に高い確率で正解が含まれるという予測結果が得られる方がよいことがある。

本発明の１つの目的は、対象物が複数のクラスの中に高い確率で含まれることを示す予測結果を出力するモデルを生成することにある。

本発明の一つの観点では、学習装置は、
予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力する予測手段と、
前記クラス毎の予測確率に基づいて、前記予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出するグループ化手段と、
前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出する損失算出手段と、
算出された損失に基づいて、前記予測モデルを更新するモデル更新手段と、
を備える。

本発明の他の観点では、学習方法は、
予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力し、
前記クラス毎の予測確率に基づいて、前記予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出し、
前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出し、
算出された損失に基づいて、前記予測モデルを更新する。

本発明の他の観点では、プログラムは、
予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力し、
前記クラス毎の予測確率に基づいて、前記予測確率が上位ｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出し、
前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出し、
算出された損失に基づいて、前記予測モデルを更新する処理をコンピュータに実行させる。

本発明によれば、対象物が複数のクラスの中に高い確率で含まれることを示す予測結果を出力するモデルを生成することができる。

第１実施形態に係る学習装置のハードウェア構成を示す。 第１実施例に係る学習装置の機能構成を示すブロック図である。 第１実施例による学習処理のフローチャートである。 複数のクラスをグループ化する方法の例を示す。 第２実施例に係る学習装置の機能構成を示すブロック図である。 第２実施例による学習処理のフローチャートである。 第３実施例に係る学習装置の機能構成を示すブロック図である。 第３実施例による学習処理のフローチャートである。 情報統合システムの構成を示すブロック図である。 第２実施形態に係る学習装置の機能構成を示すブロック図である。

以下、図面を参照して、本発明の好適な実施形態について説明する。

［第１実施形態］
（ハードウェア構成）
図１は、第１実施形態に係る学習装置のハードウェア構成を示すブロック図である。図示のように、学習装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１２と、プロセッサ１３と、メモリ１４と、記録媒体１５と、データベース（ＤＢ）１６と、を備える。

入力ＩＦ１２は、学習装置１００の学習に用いられるデータを入力する。具体的には、後述する訓練用入力データ及び訓練用目標データが入力ＩＦ１２を通じて入力される。プロセッサ１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習装置１００の全体を制御する。具体的に、プロセッサ１３は、後述する学習処理を実行する。

メモリ１４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１４は、プロセッサ１３により実行される各種のプログラムを記憶する。また、メモリ１４は、プロセッサ１３による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１５は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習装置１００に対して着脱可能に構成される。記録媒体１５は、プロセッサ１３が実行する各種のプログラムを記録している。学習装置１００が各種の処理を実行する際には、記録媒体１５に記録されているプログラムがメモリ１４にロードされ、プロセッサ１３により実行される。

データベース１６は、入力ＩＦ１２を含む外部装置から入力されるデータを記憶する。具体的には、データベース１６には、学習装置１００の学習に使用されるデータが記憶される。なお、上記に加えて、学習装置１００は、ユーザが指示や入力を行うためのキーボード、マウスなどの入力機器や、表示部を備えていても良い。

（第１実施例）
次に、第１実施形態の第１実施例について説明する。
（１）機能構成
図２は、第１実施例に係る学習装置１００の機能構成を示すブロック図である。図示のように、学習装置１００は、予測部２０と、グループ化部３０と、損失算出部４０と、モデル更新部５０とを備える。学習時には、訓練用入力データ（以下、単に「入力データ」と呼ぶ。）ｘ_{ｔｒａｉｎ}と、訓練用目標データ（以下、単に「目標データ」と呼ぶ。）ｔ_{ｔｒａｉｎ}が用意される。入力データｘ_{ｔｒａｉｎ}は予測部２０に入力され、目標データｔ_{ｔｒａｉｎ}はグループ化部３０に入力される。また、学習の対象となる初期モデルｆ（ｗ_ｉｎｉｔ）はモデル更新部５０に入力される。なお、学習の開始時には、初期モデルｆ（ｗ_ｉｎｉｔ）が予測部２０に設定されている。

予測部２０は、内部に設定されている初期モデルｆ（ｗ_ｉｎｉｔ）を用いて、入力データｘ_{ｔｒａｉｎ}の予測を行う。入力データｘ_{ｔｒａｉｎ}は画像データであり、予測部２０はその画像データから特徴抽出を行い、抽出された特徴量に基づいて画像データに含まれる対象物を予測し、クラス分類を行う。予測部２０は、予測結果として予測分類情報ｙ_ｂを出力する。予測分類情報ｙ_ｂは、入力データｘ_{ｔｒａｉｎ}が各クラスである予測確率を出力する。具体的に、予測分類情報ｙ_ｂは、以下の式で与えられる。

ここで、「Ｎ」はクラス数である。なお、添え字「ｂ」は、学習の回数を示す。よって、初期モデルｆ（ｗ_ｉｎｉｔ）に基づいて最初に得られる予測結果は、予測分類情報ｙ_１となる。

グループ化部３０は、並び替え部３１と、変形部３２とを備える。並び替え部３１には、目標データｔ_{ｔｒａｉｎ}が入力される。目標データｔ_{ｔｒａｉｎ}は、以下の式で与えられる。

並び替え部３１は、予測分類情報ｙ_ｂを大きさ順に、即ち予測確率の大きい順に並び替え、以下の予測分類情報ｙ’_ｂを求める。

また、並び替え部３１は、予測分類情報ｙ_ｂと同じ順序、即ち、予測分類情報ｙ_ｂの大きさ順に目標データｔ_{ｔｒａｉｎ}を並び替え、以下の目標データｔ’を生成する。

次に、変形部３２は、予測確率の上位ｋ個のクラスを１つのクラスにまとめる。具体的に、変形部３２は、予測確率が上位のｋ個のクラスにより１つのクラス（以下、「ｔｏｐｋクラス」と呼ぶ。）を作る。そして、変形部３２は、以下の式により、予測分類情報ｙ’_ｂの上位ｋ個のクラスの予測確率の和をｔｏｐｋクラスの予測確率ｙ’_ｔｏｐｋとして算出する。

そして、変形部３２は、式（３）に示す予測分類情報ｙ’_ｂの上位ｋ個のクラスの予測確率を、以下のようにｔｏｐｋクラスの予測確率ｙ’_{ｂ，ｔｏｐｋ}に置換する。

同様に、変形部３２は、以下の式により、予測分類情報ｙ’_ｂの上位ｋ個のクラスについて、目標データｔ’の値の和をｔｏｐｋクラスの目標データの値ｔ’_ｔｏｐｋとして算出する。

そして、変形部３２は、式（４）に示す目標データｔ’の上位ｋ個のクラスの値を、ｔｏｐｋクラスの目標データの値ｔ’_ｔｏｐｋに置換する。

こうして、変形部３２は、ｔｏｐｋクラスに対応する予測確率を置換した予測分類情報（以下、「グループ化予測分類情報」と呼ぶ。）ｙ’_ｂと、ｔｏｐｋクラスに対応する値を置換した目標データ（以下、「グループ化目標データ」と呼ぶ。）ｔ’を、グループ化分類情報（ｙ’_ｂ，ｔ’）として損失算出部４０に出力する。

損失算出部４０は、グループ化分類情報（ｙ’_ｂ，ｔ’）を用いて、以下の式により損失Ｌ_ｔｏｐｋを算出する。

もしくは、損失算出部４０は、グループ化分類情報（ｙ’_ｂ，ｔ’）を用いて、以下の式により損失Ｌ_ｔｏｐｋを算出してもよい。

モデル更新部５０は、損失Ｌ_ｔｏｐｋに基づいて、モデル更新部５０内に設定されているモデルのパラメータを更新して更新済みモデルｆ（ｗ_ｂ）を生成し、これをモデル更新部５０及び予測部２０に設定する。例えば、最初の更新では、モデル更新部５０及び予測部２０に設定されている初期モデルｆ（ｗ_ｉｎｉｔ）が、更新済みモデルｆ（ｗ_１）に更新される。

モデル更新部５０は、所定の終了条件が具備されるまで上記の処理を繰り返し、終了条件が具備されると学習を終了する。終了条件は、例えば、モデルのパラメータが所定回数更新されたこと、用意された所定量の目標データを使用したこと、モデルのパラメータが所定値に収束したことなどとすることができる。そして、学習を終了した時点の更新済みモデルｆ（ｗ_ｂ）が、訓練済みモデルｆ（ｗ_{ｔｒａｉｎｅｄ}）として出力される。

（２）学習処理
図３は、第１実施例による学習処理のフローチャートである。この処理は、図１に示すプロセッサ１３が予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。なお、学習処理の開始時には、予測部２０及びモデル更新部５０には、初期モデルｆ（ｗ_ｉｎｉｔ）が設定されている。

まず、予測部２０は、入力データｘ_{ｔｒａｉｎ}の予測を行い、予測結果として式（１）に示す予測分類情報ｙ_ｂを出力する（ステップＳ１１）。次に、グループ化部３０の並び替え部３１は、式（３）及び式（４）に示すように、予測分類情報ｙ_ｂと、訓練用目標データｔ_{ｔｒａｉｎ}を並び替える（ステップＳ１２）。

次に、グループ化部３０の変形部３２は、並び替え後の予測分類情報ｙ’_ｂの予測確率の上位ｋ個から、式（５）に示すｔｏｐｋクラスの予測確率ｙ’_ｔｏｐｋを算出し、式（６）に示すようにｔｏｐｋクラスを構成するｋ個のクラスの予測確率をｔｏｐｋクラスの予測確率ｙ’_{ｂ，ｔｏｐｋ}に置き換えてグループ化予測分類情報ｙ’_ｂを生成する（ステップＳ１３）。また、変形部３２は、式（７）に示すｔｏｐｋクラスの目標データの値ｔ’_ｔｏｐｋを算出し、式（８）に示すように目標データｔ’におけるｔｏｐｋクラスを構成するｋ個のクラスの目標データの値をｔｏｐｋクラスの目標データの値ｔ’_ｔｏｐｋに置き換えて、グループ化目標データｔ’を生成する（ステップＳ１４）。

次に、損失算出部４０は、グループ化予測分類情報ｙ’_ｂと、グループ化目標データｔ’とを用いて、式（９）又は式（９’）により損失Ｌ_ｔｏｐｋを算出する（ステップＳ１５）。次に、モデル更新部５０は、損失Ｌ_ｔｏｐｋが小さくなるように、モデルのパラメータを更新し、更新済みモデルｆ（ｗ_ｂ）を予測部２０及びモデル更新部５０に設定する（ステップＳ１６）。

次に、モデル更新部５０は、所定の終了条件が具備されたか否かを判定する（ステップＳ１７）。終了条件が具備されていない場合（ステップＳ１７：Ｎｏ）、次の入力データｘ_{ｔｒａｉｎ}及び目標データｔ_{ｔｒａｉｎ}を用いて、ステップＳ１１～Ｓ１６の処理が行われる。一方、終了条件が具備された場合（ステップＳ１７：Ｙｅｓ）、処理は終了する。

以上のように、第１実施例では、予測分類情報ｙ_ｂが示す予測確率が上位のｋ個のクラスをｔｏｐｋクラスという１つのクラスとみなして損失を算出し、モデルのパラメータを更新する。よって、学習により得られるモデルは、予測確率の上位ｋ個に正解があることを高精度で検出することが可能となる。

（３）グループ化方法
本実施例では、複数のクラスをグループ化する方法としては以下のものが考えられる。以下、グループ化により作成されたクラスを「グループ化クラス」と呼ぶ。

（Ａ）上位ｋ個をグループ化
図４（Ａ）は、予測確率の上位ｋ個をグループ化する方法を示す。この方法で得られたグループ化クラスが上記のｔｏｐｋクラスである。前述のように、グループ化部３０は、予測分類情報ｙ_ｂが示す各クラスの予測確率を大きさ順に並び替え、上位ｋ個のクラスをグループ化して１つのグループ化クラスとする。例えば、ｋ＝３とすると、予測確率が上位の３クラスによりグループ化クラスが構成される。

（Ｂ）（ｋ＋１）位以下をグループ化
図４（Ｂ）は、予測確率の（ｋ＋１）位以下をグループ化する方法を示す。この方法は、予測分類情報ｙ_ｂが示す各クラスの予測確率を大きさ順に並び替え、上位ｋ個以外のクラス、即ち、予測確率が上位ｋ＋１以下であるクラスをグループ化して１つのグループ化クラスとする。例えば、ｋ＝３とすると、予測確率が上位である３クラス以外のクラスによりグループ化クラスが構成される。この場合、グループ化クラスの予測確率は、予測確率の上位ｋ個に正解が含まれない確率を示すものとなる。

（Ｃ）上位ｋ個と（ｋ＋１）以下の両方をグループ化
上記の上位ｋ個をグループ化する方法と、（ｋ＋１）位以下をグループ化する方法を併用してもよい。

（Ｄ）１位と上位ｋ個の両方をグループ化
図４（Ｃ）は、予測確率の１位と上位ｋ個の両方をグループ化する方法を示す。この方法では、予測分類情報ｙ_ｂが示す各クラスの予測確率のうち、１位のクラスと、前述のｔｏｐｋクラスの両方を使用する。ｋ＝３の例では、予測確率が上位３位までのクラスをまとめてｔｏｐ３クラスを作成し、さらに予測確率が１位のクラス（「ｔｏｐ１クラス」と呼ぶ。）をｔｏｐ３クラスとは別に１つのクラスとして取り扱う。この場合、ｔｏｐｋクラスに正解がある確率が高くなると同時に、ｔｏｐ１クラスが正解となる確率が高くなるようにモデルの学習が行われる。

上記のグループ化方法では、グループ化するクラス数「ｋ」が予め決まっているものとしているが、その代わりに、グループ化部３０がｋの値を自動推定するようにしてもよい。この場合の第１の方法では、グループ化部３０は、上位ｋ個のクラスの予測確率がいずれも既定値以上になるようにｋの値を決める。この方法では、既定値以上の予測確率を有する複数のクラスによりグループ化クラスが構成される。即ち、「ｋ」の値は、規定値以上の予測確率を有するクラス数となる。第２の方法では、グループ化部３０は、上位ｋ個のクラスの累積予測確率が既定値以上になるようにｋの値を決める。この方法では、例えば、予測確率が１位～４位までのクラスの累積予測確率が既定値以上となる場合、上位４クラスによりグループ化クラスを構成する。

（４）グループ化クラスの予測確率
上記の実施形態では、式（５）に示すように、グループ化クラスに属する複数のクラスの予測確率の和をそのグループ化クラスの予測確率としている。この方法は、１つの入力データがいずれか１つのクラスを持つ場合に使用される。これに対し、１つの入力データが複数の分類結果を同時に持ちうる問題（いわゆるマルチクラス問題）の場合には、グループ化クラスの予測確率は、「ｋ個のどのクラスでもない事象」の背反事象の確率となり、以下の式で与えられる。

（第２実施例）
次に、本発明の第２実施例について説明する。第１実施例では、ｔｏｐｋクラスについて、予測分類情報ｙ’_ｂと目標データｔ’を変形し、損失を求めている。その代わりに、第２実施例では、ｔｏｐｋクラスについて目標データｔ’のみを変形し、損失を求める。

（１）機能構成
図５は、第２実施例に係る学習装置１００ｘの機能構成を示すブロック図である。図示のように、学習装置１００ｘは、第１実施形態に係る学習装置１００におけるグループ化部３０の代わりにグループ化部６０を備える。グループ化部６０は、並び替え部６１と、目標変形部６２を備える。予測部２０から出力される予測分類情報ｙ_ｂは、グループ化部６０と損失算出部４０に入力される。この点以外は、学習装置１００ｘの構成は第１実施形態の学習装置１００と同様であるので、共通する部分の説明は行わない。

予測部２０は、入力データｘ_{ｔｒａｉｎ}の予測を行い、予測分類情報ｙ_ｂをグループ化部６０及び損失算出部４０に出力する。グループ化部６０の並び替え部６１は、予測分類情報ｙ_ｂが示す予測確率の大きさ順にクラスを並べ替え、上記の式（３）及び（４）により並び替え後の予測分類情報ｙ’_ｂと目標データｔ’を算出し、上位のｋ個のクラスをｔｏｐｋクラスとして選出する。

目標変形部６２は、予測分類情報ｙ’_ｂを用いて以下の式により目標データｔ’を変形し、変形後の目標データ（以下、「変形目標データ」と呼ぶ。）ｔ’’を算出する。

ここで、式（１１）はｔｏｐｋクラスに対する変形目標データｔ’’_ｊを示し、式（１２）はｔｏｐｋクラス以外のクラスに対する変形目標データｔ’’_ｊを示す。例えば、目標データｔ’における正解クラス（値が「１」であるクラス）がｔｏｐｋクラスに含まれる場合、ｔｏｐｋクラスに属する各クラスの値ｔ’’_ｊは、値「１」を各クラスの予測確率で各クラスに配分した値となる。この場合、ｔｏｐｋクラス以外のクラスの変形目標データｔ’’_ｊの値は全て「０」となる。一方、目標データｔ’における正解のクラスがｔｏｐｋクラス以外のクラスに含まれる場合、ｔｏｐｋクラスに属する各クラスの値ｔ’’_ｊは全て「０」となり、ｔｏｐｋクラス以外のクラスの変形目標データｔ’’_ｊの値は変形前の目標データｔ’_ｊと同一となる。即ち、変形前の目標データｔ’_ｊと同じクラスが正解クラス（値が「１」）となる。目標変形部６２は、こうして算出した変形目標データｔ’’_ｊを損失算出部４０に出力する。

損失算出部４０は、変形目標データｔ’’_ｊと、予測分類情報ｙ’_ｂとを用いて、以下の式により損失Ｌ_ｔｏｐｋを算出する。

もしくは、損失算出部４０は、変形目標データｔ’’_ｊと、予測分類情報ｙ’_ｂとを用いて、以下の式により損失Ｌ_ｔｏｐｋを算出してもよい。

モデル更新部５０は、第１実施例と同様に、損失Ｌ_ｔｏｐｋに基づいて、モデル更新部５０内に設定されているモデルのパラメータを更新して更新済みモデルｆ（ｗ_ｂ）を生成し、これをモデル更新部５０及び予測部２０に設定する。

（２）学習処理
図６は、第２実施例による学習処理のフローチャートである。この処理は、図１に示すプロセッサ１３が予め用意されたプログラムを実行し、図５に示す各要素として動作することにより実現される。なお、学習処理の開始時には、予測部２０及びモデル更新部５０には、初期モデルｆ（ｗ_ｉｎｉｔ）が設定されている。

まず、予測部２０は、入力データｘ_{ｔｒａｉｎ}に基づいて予測を行い、予測結果として式（１）に示す予測分類情報ｙ_ｂを出力する（ステップＳ２１）。次に、グループ化部６０の並び替え部６１は、式（３）及び式（４）に示すように、予測分類情報ｙ_ｂと、目標データｔ_{ｔｒａｉｎ}を並び替える（ステップＳ２２）。

次に、グループ化部６０の目標変形部６２は、予測分類情報ｙ’_ｂを用いて式（１１）及び（１２）により目標データｔ’を変形し、変形目標データｔ’’_ｊを算出する（ステップＳ２３）。

次に、損失算出部４０は、変形目標データｔ’’_ｊと、予測分類情報ｙ’_ｂとを用いて、式（１３）又は式（１３’）により損失Ｌ_ｔｏｐｋを算出する（ステップＳ２４）。次に、モデル更新部５０は、損失Ｌ_ｔｏｐｋが小さくなるように、モデルのパラメータを更新し、更新済みモデルｆ（ｗ_ｂ）を予測部２０及びモデル更新部５０に設定する（ステップＳ２５）。

次に、モデル更新部５０は、所定の終了条件が具備されたか否かを判定する（ステップＳ２６）。終了条件が具備されていない場合（ステップＳ２６：Ｎｏ）、次の入力データｘ_{ｔｒａｉｎ}及び目標データｔ_{ｔｒａｉｎ}を用いて、ステップＳ２１～Ｓ２５の処理が行われる。一方、終了条件が具備された場合（ステップＳ２６：Ｙｅｓ）、処理は終了する。

以上のように、第２実施例では、目標データのみを変形することにより、予測確率の上位ｋ個に正解があることを高精度で検出するモデルを生成することができる。

（３）グループ化方法
第２実施例においても、第１実施形態と同様に、（Ａ）～（Ｄ）の方法で複数のクラスをグループ化することができる。

（４）グループ化クラスの目標データ
（Ａ）上位ｋ個をグループ化
この場合の変形目標データｔ’’_ｊは、前述の式（１１）及び（１２）で与えられる。

（Ｂ）（ｋ＋１）位以下をグループ化
この場合の変形目標データｔ’’_ｊは以下の式で与えられる。

ここで、式（１４）は上位ｋ個のクラスに対する変形目標データｔ’’_ｊを示し、式（１５）は上位ｋ個のクラス以外に対する変形目標データｔ’’_ｊを示す。式（１５）は上位ｋ個のクラスに正解が含まれない場合に「０」以外の値をとるため、関数ｇ（ｊ）の符号をマイナス（－）とし、上位ｋ個のクラスに正解が含まれない場合に損失の値が大きくなるようにしている。

（Ｃ）上位ｋ個と（ｋ＋１）以下の両方をグループ化
この場合の変形目標データｔ’’_ｊは以下の式で与えられる。

ここで、式（１６）は上位ｋ個のクラスに対する変形目標データｔ’’_ｊを示し、式（１７）は上位ｋ個以外のクラスに対する変形目標データｔ’’_ｊを示す。式（１６）では、目標データｔ’における正解クラスが上位ｋ個のクラスに含まれる場合、上位ｋ個のクラスの値ｔ’’_ｊは、正解クラスを示す値「１」を各クラスの予測確率で各クラスに配分した値を２倍したものとなる。式（１７）は前述の式（１５）と同様である。

（Ｄ）１位と上位ｋ個の両方をグループ化
この場合の変形目標データｔ’’_ｊは以下の式で与えられる。

ここで、式（１８）は１位のクラスに対する変形目標データｔ’’_ｊを示し、式（１９）は、上位２位～ｋ位のクラスに対する変形目標データｔ’’_ｊを示す。「ｗ_１」は、１位と上位ｋ個のうち１位を重視する割合を示す重みであり、「０」～「１」の値に設定される。

なお、上記の各式において、関数ｇ（ｊ）は以下のいずれかを用いることができる。

（第３実施例）
次に、本発明の第３実施例について説明する。第１実施例では、ｔｏｐｋクラスについて、予測分類情報ｙ’ｂと目標データｔ’を変形し、損失を求めている。第３実施例では、代わりに、ｔｏｐｋクラスについて、グループ化するクラスの数であるｋを変えて、予測分類情報ｙ_ｂ’_ｋと目標データｔ’_ｋとを複数組生成し、生成された複数組のグループ化分類情報（ｙ_ｂ’，ｔ’）を用いて単一の損失を混合損失として求める。

（１）機能構成
図７は、第３実施例に係る学習装置１００ｙの機能構成を示すブロック図である。図示のように、この学習装置１００ｙは、第１実施例に係る学習装置１００におけるグループ化部３０の代わりに複数グループ化部３０ｙを備え、損失算出部４０の代わりに混合損失算出部４０ｙを備える。予測部２０、モデル更新部５０は、第１実施例と同じである。

複数グループ化部３０ｙ部は、第１実施例のグループ化部３０と同じ動作を、グループ化するクラスの数であるｋをｋ_１，ｋ_２，…，ｋ_Ｎｋと変えて複数回行い、それぞれのｋに対して、グループ化予測分類情報ｙ_ｂ’_ｋと、グループ化目標データｔ’_ｋとを生成する。結果として、複数グループ化部３０ｙは、Ｎ_ｋ組のグループ化分類情報（ｙ_ｂ’，ｔ’）を生成する。

混合損失算出部４０ｙは、複数グループ化部３０ｙが生成した複数組の、グループ化予測分類情報ｙ_ｂ’_ｋと、グループ化目標データｔ’_ｋとを用いて混合損失Ｌ_ｍｉｘを算出する。混合損失算出部４０ｙは、例えば、ｋがある値ｋ_ｉのときの、グループ化目標データｔ’_ｋとグループ化予測分類情報ｙ_ｂ’_ｋの差異の程度を示す損失関数Ｌ（ｔ_ｋｉ’，ｙ_ｂ’_ｋｉ）と、予測結果ｙ_ｂや目標データｔ、学習回数ｂ等に依存する既定の関数α_ｋｉ（ｙ_ｂ，ｔ，ｂ）を用いた以下の式により算出する。

この式（２０）は、グループ化予測分類情報ｙ_ｂ’_ｋと、グループ化目標データｔ’_ｋとを用いて算出した各ｋについての損失を合成して混合損失を算出している。

なお、損失関数Ｌ（ｔ_ｋｉ’，ｙ_ｂ’_ｋｉ）は、例えば、第１実施例の損失算出部４０で算出する損失と同様に、式（９）もしくは式（１０）によって算出してもよい。また、既定の関数α_ｋは既定の値であってもよい。

また、混合損失算出部４０ｙは、上記の損失関数と既定の関数とを用いた、以下の式により混合損失Ｌ_ｍｉｘを算出してもよい。

この式（２１）は、グループ化予測分類情報ｙｂ’ｋと、グループ化目標データｔ’ｋとを用いて算出した各ｋについての損失を比較し、最大の値を混合損失としている。なお、既定の関数α_ｋは既定の値であってもよい。

また、混合損失算出部４０ｙは、上記の損失関数と既定値ａ_ｋ，ｂ_ｋ，ｃ_ｋ，ｄ_ｋとを用いて、以下の式により混合損失Ｌ_ｍｉｘを算出してもよい。

この式（２２）は、グループ化目標データｔ’_ｋを既定値ａ_ｋ，ｂ_ｋを用いて変形した値と、グループ化予測分類情報ｙ_ｂ’_ｋを既定値ｃ_ｋ，ｄ_ｋを用いて変形した値とを用いて混合損失を算出している。

また、上記の式（２２）を用いて例えば、ｋ＝｛１，ｍ｝のとき、

として、混合損失Ｌｍｉｘを算出してもよい。
（２）学習処理
図８は、第３実施例による学習処理のフローチャートである。この処理は、図１に示すプロセッサ１３が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。なお、学習処理の開始時には、予測部２０及びモデル更新部５０には、初期モデルｆ（ｗ_ｉｎｉｔ）が設定されている。

まず、予測部２０は、入力データｘ_{ｔｒａｉｎ}の予測を行い、予測結果として式（１）に示す予測分類情報ｙ_ｂを出力する（ステップＳ３１）。次に、複数グループ化部３０ｙの並び替え部３１は、式（３）及び式（４）に示すように、予測分類情報ｙ_ｂと、訓練用目標データｔ_{ｔｒａｉｎ}を並び替える（ステップＳ３２）。

次に、複数グループ化部３０ｙの変形部３２は、あるクラス数ｋについて、並び替え後の予測分類情報ｙ’_ｂの予測確率の上位ｋ個から、式（５）に示すｔｏｐｋクラスの予測確率ｙ’_ｔｏｐｋを算出し、式（６）に示すようにｔｏｐｋクラスを構成するｋ個のクラスの予測確率をｔｏｐｋクラスの予測確率ｙ’_{ｂ，ｔｏｐｋ}に置き換えてグループ化予測分類情報ｙ’_ｂを生成する（ステップＳ３３）。また、変形部３２は、式（７）に示すｔｏｐｋクラスの目標データの値ｔ’_ｔｏｐｋを算出し、式（８）に示すように目標データｔ’におけるｔｏｐｋクラスを構成するｋ個のクラスの目標データの値をｔｏｐｋクラスの目標データの値ｔ’_ｔｏｐｋに置き換えて、グループ化目標データｔ’を生成する（ステップＳ３４）。

次に、複数グループ化部３０ｙは、グループ化分類情報（ｙ’_ｂ，ｔ’）をＮ_ｋ組生成したか否かを判定する（ステップＳ３５）。複数グループ化部３０ｙがグループ化分類情報（ｙ’ｂ，ｔ’）をＮ_ｋ組生成していない場合（ステップＳ３５：Ｎｏ）、処理はステップＳ３２へ戻り、複数グループ化部３０ｙは次のクラス数ｋに対してグループ化分類情報（ｙ’_ｂ，ｔ’）を生成する。

一方、複数グループ化部３０ｙがグループ化分類情報（ｙ’_ｂ，ｔ’）をＮ_ｋ組生成した場合（ステップＳ３５：Ｙｅｓ）、混合損失算出部４０ｙは、前述の式２０～２２のいずれかを用いて、損失Ｌ_ｍｉｘを算出する（ステップＳ３６）。次に、モデル更新部５０は、損失Ｌ_ｍｉｘが小さくなるように、モデルのパラメータを更新し、更新済みモデルｆ（ｗ_ｂ）を予測部２０及びモデル更新部５０に設定する（ステップＳ３７）。

次に、モデル更新部５０は、所定の終了条件が具備されたか否かを判定する（ステップＳ３８）。終了条件が具備されていない場合（ステップＳ３８：Ｎｏ）、次の入力データｘ_{ｔｒａｉｎ}及び目標データｔ_{ｔｒａｉｎ}を用いて、ステップＳ３１～Ｓ３７の処理が行われる。一方、終了条件が具備された場合（ステップＳ３８：Ｙｅｓ）、処理は終了する。

以上のように、第３実施例では、複数組のグループ化分類情報を用いて混合損失を求め、モデルの学習を行うので、複数組のｔｏｐｋクラスの精度を両立するようにモデルを学習することが可能となる。例えば、ｋ＝１、３の２組のグループ化分類情報を用いて混合損失を求めて学習を行なえば、ｔｏｐ１クラスの精度とｔｏｐ３クラスの精度を両立させることが可能なモデルを生成することができる。

（情報統合システム）
次に、第１実施形態に係る情報統合システムについて説明する。図９は、情報統合システム２００の構成を示すブロック図である。情報統合システム２００は、図示のように、第１実施例に係る学習装置１００又は第２実施例に係る学習装置１００ｘと、分類装置２１０と、関連情報ＤＢ２２０と、情報統合部２３０とを備える。

学習装置１００又は１００ｘは、上述のように、入力データｘ_{ｔｒａｉｎ}及び目標データｔ_{ｔｒａｉｎ}を用いて初期モデルｆ（ｗ_ｉｎｉｔ）を学習し、訓練済みモデルｆ（ｗ_{ｔｒａｉｎｅｄ}）を生成する。分類装置２１０は、訓練済みモデルｆ（ｗ_{ｔｒａｉｎｅｄ}）を用いてクラス分類を行う装置であり、実用入力データｘが入力される。実用入力データｘは、実際の分類対象となる画像データである。分類装置２１０は、訓練済みモデルｆ（ｗ_{ｔｒａｉｎｅｄ}）を用いて実用入力データｘの分類を行い、１次分類結果Ｒ１を生成して情報統合部２３０へ出力する。１次分類結果Ｒ１は、第１実施例に係る学習装置１００又は第２実施例に係る学習装置１００ｘにより生成され、上述のｔｏｐｋクラスの予測確率、つまり対象物がｔｏｐｋクラスを構成するいずれかのクラスである確率を含む。言い換えると、分類装置２１０は、多数の対象物をｋ個に絞った１次分類結果Ｒ１を出力する。

関連情報ＤＢは、関連情報Ｉを記憶している。関連情報Ｉは、実用入力データｘの分類を行う際に使用される追加情報であり、実用入力データｘとは別のルートや手法などにより得た情報である。例えば、実用入力データがカメラによる撮影画像である場合に、レーダやセンサを用いて得たセンサ画像を関連情報Ｉとして使用することができる。

情報統合部２３０は、分類装置２１０から１次分類結果Ｒ１を取得すると、その実用入力データｘに対応する関連情報Ｉを関連情報ＤＢ２２０から取得する。そして、情報統合部２３０は、取得した関連情報Ｉを用いて、１次分類結果Ｒ１が示すｋ個のクラスから、最終的に１つのクラスを決定して最終分類結果Ｒｆとして出力する。即ち、情報統合部２３０は、分類装置２１０が絞り込んだｋ個のクラスを、さらに１つのクラスに絞り込む処理を行う。なお、情報統合部２３０は、実用入力データｘに関する複数の関連情報Ｉを用いて最終分類結果Ｒｆを生成してもよい。上記の構成において、分類装置２１０は本発明の１次分類装置の一例であり、情報統合部２３０は本発明の２次分類装置の一例である。

上記の情報統合システムにおいては、実用入力データｘに対応する関連情報Ｉが用意されているので、分類装置２１０は実用入力データｘの分類結果を１つのクラスまで絞り込む必要はない。即ち、分類装置２１０は、実用入力データｘが高い確率でｔｏｐｋクラスに含まれることを検出できればよい。このように、第１実施形態に係る学習装置１００及び１００ｘは、上記の情報統合システムのような付加情報を使用できるシステムに好適に適用することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。図１０は、第２実施形態に係る学習装置の機能構成を示すブロック図である。なお、学習装置８０のハードウェア構成は、図１と同様である。図示のように、学習装置８０は、予測部８１と、グループ化部８２と、損失算出部８３と、モデル更新部８４とを備える。

予測部８１は、予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力する。グループ化部８２は、クラス毎の予測確率に基づいて、予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出する。損失算出部８３は、グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出する。モデル更新部８４は、算出された損失に基づいて、予測モデルを更新する。これにより、学習装置８０は、予測確率が上位ｋ個のクラスについての予測確率を高精度で出力するモデルを生成することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力する予測部と、
前記クラス毎の予測確率に基づいて、前記予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出するグループ化部と、
前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出する損失算出部と、
算出された損失に基づいて、前記予測モデルを更新するモデル更新部と、
を備える学習装置。

（付記２）
前記グループ化クラスの予測確率は、当該グループ化クラスを構成するｋ個のクラスのいずれかに正解が含まれる確率である付記１に記載の学習装置。

（付記３）
前記グループ化部は、前記予測部が出力したクラス毎の予測確率を大きさ順に並び替え、前記ｋ個のクラスを決定する付記１又は２に記載の学習装置。

（付記４）
前記グループ化部は、前記グループ化クラスを構成するｋ個のクラスの予測確率を当該グループ化クラスの予測確率に置き換えた変形予測結果と、前記グループ化クラスを構成するｋ個のクラスの目標データの値を当該グループ化クラスの目標データの値に置き換えた変形目標データと、を生成する変形部を備え、
前記損失算出部は、前記変形予測結果と、前記変形目標データとに基づいて前記損失を計算する付記１乃至３のいずれか一項に記載の学習装置。

（付記５）
前記変形部は、前記グループ化クラスを構成するｋ個のクラスの予測確率の和を当該グループ化クラスの予測確率とし、前記グループ化クラスを構成するｋ個のクラスに含まれる目標データの値の和を当該グループ化クラスの目標データの値とする付記４に記載の学習装置。

（付記６）
前記グループ化部は、前記グループ化クラスを構成するｋ個のクラスの予測確率を用いて目標データを変形して変形目標データを生成する変形部を備え、
前記損失算出部は、前記予測部から出力された予測結果と、前記変形目標データとに基づいて前記損失を計算する付記１乃至３のいずれか一項に記載の学習装置。

（付記７）
前記変形部は、前記グループ化クラスを構成するｋ個のクラスの目標データの値の和を、当該ｋ個のクラスの予測確率に応じて配分した値を、前記ｋ個のクラス各々の目標データの値とする付記６に記載の学習装置。

（付記８）
前記グループ化部は、前記予測部が出力したクラス毎の予測確率と、既定値とに基づいて前記ｋの値を決定する付記１乃至７のいずれか一項に記載の学習装置。

（付記９）
前記変形部は、前記ｋの値を複数用いて、複数組の変形予測結果と変形目標データとを生成し、
前記損失算出部は、前記複数組の変形予測結果と変形目標データとに基づいて、単一の前記損失を算出する付記４又は５に記載の学習装置。

（付記１０）
前記損失算出部は、グループ化するクラスの数毎に、前記変形予測結果と、前記変形目標データを用いて算出した損失を合成したものを前記損失とする付記９に記載の学習装置。

（付記１１）
前記損失算出部は、グループ化するクラスの数毎に、前記変形予測結果と、前記変形目標データを用いて算出した損失を比較し、最大の値を前記損失とする付記９に記載の学習装置。
（付記１２）
前記損失算出部は、グループ化するクラスの数毎に損失を算出する際に、前記変形予測結果の代わりに前記変形予測結果を変形した値を用い、前記変形目標データの代わりに前記変形目標データを変形した値を用いる付記１０又は１１に記載の学習装置。

（付記１３）
付記１乃至１２のいずれか一項に記載の学習装置と、
前記学習装置により学習済みの予測モデルを用いて、実用入力データを、前記グループ化クラスを含む複数のクラスに分類する１次分類装置と、
追加情報を用いて、前記実用入力データを、前記グループ化クラスを構成するｋ個のクラスのいずれかにさらに分類する２次分類装置と、
を備える情報統合システム。

（付記１４）
予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力し、
前記クラス毎の予測確率に基づいて、前記予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出し、
前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出し、
算出された損失に基づいて、前記予測モデルを更新する学習方法。

（付記１５）
予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力し、
前記クラス毎の予測確率に基づいて、前記予測確率が上位ｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出し、
前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出し、
算出された損失に基づいて、前記予測モデルを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。

この出願は、２０１９年１１月８日に出願された国際出願ＰＣＴ／ＪＰ２０１９／０４３９０９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０、１００、１００ｘ 学習装置
２０ 予測部
３０、６０ グループ化部
３１、６１ 並び替え部
３２ 変形部
４０ 損失算出部
５０ モデル更新部
６２ 目標変形部
２００ 情報統合システム
２１０ 分類装置
２２０ 関連情報ＤＢ
２３０ 情報統合部

Claims (10)

1. 予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力する予測手段と、
   前記クラス毎の予測確率に基づいて、前記予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出するグループ化手段と、
   前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出する損失算出手段と、
   算出された損失に基づいて、前記予測モデルを更新するモデル更新手段と、
   を備える学習装置。
2. 前記グループ化クラスの予測確率は、当該グループ化クラスを構成するｋ個のクラスのいずれかに正解が含まれる確率である請求項１に記載の学習装置。
3. 前記グループ化手段は、前記予測手段が出力したクラス毎の予測確率を大きさ順に並び替え、前記ｋ個のクラスを決定する請求項１又は２に記載の学習装置。
4. 前記グループ化手段は、前記グループ化クラスを構成するｋ個のクラスの予測確率を当該グループ化クラスの予測確率に置き換えた変形予測結果と、前記グループ化クラスを構成するｋ個のクラスの目標データの値を当該グループ化クラスの目標データの値に置き換えた変形目標データと、を生成する変形手段を備え、
   前記損失算出手段は、前記変形予測結果と、前記変形目標データとに基づいて前記損失を計算する請求項１乃至３のいずれか一項に記載の学習装置。
5. 前記変形手段は、前記グループ化クラスを構成するｋ個のクラスの予測確率の和を当該グループ化クラスの予測確率とし、前記グループ化クラスを構成するｋ個のクラスに含まれる目標データの値の和を当該グループ化クラスの目標データの値とする請求項４に記載の学習装置。
6. 前記グループ化手段は、前記グループ化クラスを構成するｋ個のクラスの予測確率を用いて目標データを変形して変形目標データを生成する変形手段を備え、
   前記損失算出手段は、前記予測手段から出力された予測結果と、前記変形目標データとに基づいて前記損失を計算する請求項１乃至３のいずれか一項に記載の学習装置。
7. 前記変形手段は、前記グループ化クラスを構成するｋ個のクラスの目標データの値の和を、当該ｋ個のクラスの予測確率に応じて配分した値を、前記ｋ個のクラス各々の目標データの値とする請求項６に記載の学習装置。
8. 前記グループ化手段は、前記予測手段が出力したクラス毎の予測確率と、既定値とに基づいて前記ｋの値を決定する請求項１乃至７のいずれか一項に記載の学習装置。
9. 予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力し、
   前記クラス毎の予測確率に基づいて、前記予測確率が上位のｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出し、
   前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出し、
   算出された損失に基づいて、前記予測モデルを更新する学習方法。
10. 予測モデルを用いて入力データを複数のクラスに分類し、クラス毎の予測確率を予測結果として出力し、
    前記クラス毎の予測確率に基づいて、前記予測確率が上位ｋ個に含まれるｋ個のクラスにより構成されるグループ化クラスを生成し、当該グループ化クラスの予測確率を算出し、
    前記グループ化クラスを含む複数のクラスの予測確率に基づいて損失を算出し、
    算出された損失に基づいて、前記予測モデルを更新する処理をコンピュータに実行させるプログラム。

Images