JP6567488B2 - 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム - Google Patents
学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム Download PDFInfo
- Publication number
- JP6567488B2 JP6567488B2 JP2016248859A JP2016248859A JP6567488B2 JP 6567488 B2 JP6567488 B2 JP 6567488B2 JP 2016248859 A JP2016248859 A JP 2016248859A JP 2016248859 A JP2016248859 A JP 2016248859A JP 6567488 B2 JP6567488 B2 JP 6567488B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- attribute
- development
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Machine Translation (AREA)
- Image Analysis (AREA)
Description
図1は第一実施形態に係るモデル学習装置100の機能ブロック図を、図2はその処理フローを示す。
学習データ記憶部111には、モデルλの学習前に予めK個の学習データが記憶されているものとする。なお、学習データは、学習データの識別子kと、学習データkの属性を示すラベルlL(k)と、学習データkの特徴量cL(k)とを含む(図3参照)。ただし、学習データk∈{1,2,…,K}であり、lL(k)∈{1,2,…,M}であり、cL(k)=(cL(k,1),cL(k,2),…,cL(k,x),…,cL(k,Ck))である。Mはラベルが示す属性の総数(種類数)であり、Ckは学習データkに含まれるフレームの総数であり、cL(k,x)(x=1,2,…,Ck)はx番目のフレームの特徴量である。
データ個数計数部112は、K個の学習データ{k,lL(k),cL(k)}を学習データ記憶部111から取り出し、これらのデータに基づき、各属性m∈{1,2,…,M}に属する学習データの個数を数え(S112)、各属性mに属する学習データの個数n(m)を出力する。例えば、以下のアルゴリズムにより、各属性mに属する学習データの個数n(m)を求める。
1. n(m)←0とする。ただし、m=,1,・・・,Mである。この処理により、カウンタの初期化する。
2. 全てのk(k=1,2,…,K)について、n(lL(k))←n(lL(k))+1とする。この処理により、学習データkの属する属性を示すラベルlL(k)の個数n(lL(k))をインクリメントし、K個の学習データkに対して同様の処理を行い、各属性mに属する学習データの個数n(m)を数える。
データ調整部113は、K個の学習データ{k,lL(k),cL(k)}を学習データ記憶部111から取り出し、各属性mに属する学習データの個数n(m)を受け取る。データ調整部113は、M個の個数n(m)の中で最も大きい個数Nを検出する。そして、最大の個数Nの学習データが属する属性を示すラベルlL,max以外のラベルlL,m'を含む学習データを複製し、1つ以上の複製した学習データをK個の学習データに追加し、K'個の学習データを生成する(S113)。ただし、K'>Kとし、maxは1,2,…,Mの何れかであって最大の個数Nの学習データが属する属性を示すラベル番号の何れかであり、m'はmax以外のラベル番号1,2,…,Mである。また、学習データを複製する際には、ラベルlL(k)と特徴量cL(k)のみを複製し、識別子は、既存の学習データと重複しないように新たに付与する。追加後の学習データの識別子をk'とし、k'=1,2,…,K'とする。なお、属性の偏りを抑圧するため、最大の個数Nの学習データが属する属性を示すラベルlL,max以外のラベルlL,m'に属する学習データを複製し、追加する。また、ラベルlL,m'を含む学習データの個数がNを超えると、新たな偏りの原因となるため、データ調整部113は、K'個の学習データにおいてラベルlL,m'を含む学習データの個数が追加後においてN以下となるようにする。最大の個数Nの学習データが属する属性が二つ以上存在する場合には、それ以外の属性に属する学習データを複製し、追加すればよい。
1. k∈{1,2,…,K}について、k'←k、lL(k')←lL(k)、cL(k')←cL(k)とし、調整後学習データ記憶部114に格納する。この処理により、学習データ{k,lL(k),cL(k)}(k∈{1,2,…,K})をk'=1,2,…,Kにおける学習データ{k',lL(k'),cL(k')}としてそのまま調整後学習データ記憶部114に格納する。
2. N←maxmn(m)とする。ただし、maxm n(m)は、n(1),n(2),…,n(M)の中で最大値を返す関数である。この処理により、M個の個数n(m)の中で最も大きい個数Nを検出する。
3.i←K+1とする。この処理により、複製先の学習データの番号(識別子)を示す変数iを初期化する。
4.全てのm=1,2,…,Mについて、以下操作を行い、k'=K+1,K+2,…,K'における学習データ{k',lL(k'),cL(k')}を複製する。なお、図4のループ端子の上端内の変数、数値は、(変数=初期値,終値,増分値)を示す。
(ア)j←N-n(m)とする。この処理により、属性mに属する学習データの個数と最大の個数Nとの差分を求める。
(イ)h←1とする。この処理により、複製元の学習データを示す変数hを初期化する。
(ウ)j=0の場合、終了する。
(エ)h>Kの場合、h←1とする。この処理により、複製元の学習データを全て複製した場合、複製元の学習データを示す変数hを初期化する。
(オ)lL(h)=mの場合、lL(i)←lL(h)、cL(i)←cL(h)、j←j-1、i←i+1とする。上述の(ウ)の処理と合わせて、属性mに属する学習データの個数と最大の個数Nとの差分に相当する個数の複製を生成する。
(カ)h←h+1として、(ウ)に戻る。
5. 最終的な学習データの個数をK'←iとする。
調整後学習データ記憶部114には、K'個の学習データ{k',lL(k'),cL(k')}が格納される。
学習部120は、K'個の学習データ{k',lL(k'),cL(k')}を調整後学習データ記憶部114から取り出し、K'個の学習データ{k',lL(k'),cL(k')}を用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルλを学習し(S120)、本装置の出力値として出力する。例えば、lL(k)=arg m max p(m|λ,cL(k))となる、モデルλを学習する。p(m|λ,cL(k))は特徴量cL(k)が属性m(m=1,2,….M)に属する事後確率であり、arg m max p(m|λ,cL(k))は事後確率p(m|λ,cL(k)が最も大きいときのmを返す関数である。このようにして、複製した学習データも含めて、全学習データk'=1,2,…,K'の全特徴量cL(k')及びラベルlL(k')を利用して学習する。なお、モデルλの学習方法は既存のいかなる学習方法を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。
以上の構成により、学習データの属性の偏りを抑圧することができ、学習データを利用して学習されたモデルλの識別精度を向上させることができる。
本実施形態では、すべての属性でデータの個数が揃うように(N個となるように)学習データを複製し、追加しているが、必ずしもデータの個数をN個に揃える必要はない。最大の個数Nの学習データが属する属性を示すラベルlL,max以外のラベルlL,m'に属する学習データを複製し、追加することで、属性の偏りを抑圧することができる。ただし、すべての属性でデータの個数を揃えることで偏りが最小となり、モデルλの識別精度が最も良くなる可能性がある。
第一実施形態と異なる部分を中心に説明する。本実施形態では学習データを調整するのではなく、開発データを調整する。なお、開発データは、学習モデルの過学習を防ぐためのデータであり、図3と同様に学習データと同じ構造を持つ。学習モデルのパラメータを更新後に、開発データに対して識別を行い、開発データの識別率が飽和(収束)している場合に、学習を終了する。開発データにおいて、属性に偏りがあると、開発データが多い属性に依存して、学習が終了してしまうため、第二実施形態では、開発データの個数を調整している。
図5は第二実施形態に係るモデル学習装置200の機能ブロック図を、図6はその処理フローを示す。
開発データ生成部230は、開発データ記憶部211と、データ個数計数部212と、データ調整部213と、調整後開発データ記憶部214とを含む。なお、開発データ記憶部211、データ個数計数部212、データ調整部213及び調整後開発データ記憶部214は、それぞれ学習データ記憶部111、データ個数計数部112、データ調整部113及び調整後学習データ記憶部114と同様の構成であり、同様の処理(S212,S213)を行う。K個の学習データ{k,lL(k),cL(k)}及びK'個の調整後学習データ{k',lL(k'),cL(k')}に代えて、J個の開発データ{j,lS(j),cS(j)}及びJ'個の調整後学習データ{j',lS(j'),cS(j')}を用いる点が異なる。また、J'>Jとする。その他、データの個数等は、学習データと開発データとで異なるが、処理内容は同様である。
学習部220は、K個の学習データ{k,lL(k),cL(k)}を学習データ記憶部111から取り出し、K個の学習データ{k,lL(k),cL(k)}を用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第三学習モデルλ'3を学習する(S220)。この学習方法は学習部120と同様である。
このような構成とすることで、開発データの属性の偏りを抑圧することができ、開発データを利用して学習されたモデルλの識別精度を向上させることができる。なお、本実施形態と第一実施形態の変形例を組合せてもよい。
開発データ生成部230をモデル学習装置200とは、別装置とし、開発データ生成装置として構成してもよい。その場合、開発データ生成装置はJ'個の開発データ{j',lS(j'),cS(j')}を出力し、学習部220を備えるモデル学習装置200は、J'個の開発データ{j',lS(j'),cS(j')}を用いてモデルλを学習する。
第二実施形態と異なる部分を中心に説明する。
第一実施形態と異なる部分を中心に説明する。
学習部415は、学習データ記憶部111からK個の学習データ{k,lL(k),cL(k)}を取り出し、これらの値を用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第一学習モデルλ'1を学習し(S415)、事後確率算出部416に出力する。なお、第一学習モデルλ'1の学習方法は既存のいかなる学習方法を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。
事後確率算出部416は、第一学習モデルλ'1を受け取り、第一学習モデルλ'1を用いて、学習データの特徴量cL(k)が各属性mに属する事後確率である第一事後確率q(k, m)(=p(m|λ'1,cL(k)))を算出し(S416)、データ調整部413に出力する。
データ調整部413は、K個の学習データ{k,lL(k),cL(k)}を学習データ記憶部111から取り出し、各属性mに属する学習データの個数n(m)及びK個の第一事後確率q(k, m)を受け取る。データ調整部413は、M個の個数n(m)の中で最も大きい個数Nを検出する。そして、最大の個数Nの学習データが属するラベルlL,max以外のラベルlL,m'が示す属性に属する学習データを複製し、1つ以上の複製した学習データをK個の学習データに追加し、K'個の学習データを生成する(S413)。データ調整部413は、K'個の学習データにおいてラベルlL,m'が示す属性に属する学習データの個数が追加後においてN以下となるようにする。なお、本実施形態では、
(i)識別誤りを起こしている学習データ(最も高い事後確率の属性と学習データのラベルが示す属性とが一致しない学習データ)
(ii)正解データ(最も高い事後確率の属性と学習データのラベルが示す属性とが一致する学習データ)であって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データ
(iii)各属性の特徴量の重心に近い学習データ
の何れかを優先して複製する。さらに、(i)〜(iii)を組合せてもよく、例えば、まず、識別誤りを起こしている学習データを複製し、次に、正解データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データを優先して複製してもよい。(i),(ii)の場合、識別誤りを起こしている学習データや識別誤りを起こし易い学習データ(属性の境界線近傍の学習データ)を複製することで、同様の識別誤りが生じる可能性を下げる。しかしながら、上述の(i)や(ii)の学習データを複製しすぎると、属性の特徴量の重心がずれ、新たな識別誤りの原因となり得る。そこで、(iii)では、属性の重心近傍の学習データを複製することで、このような過適合生じる可能性を下げる。学習データの構成や識別モデルの識別精度に応じて適宜(i)〜(iii)を組合せればよい。以下、4つの処理例を示す。
1. k∈{1,2,…,K}について、k'←k、lL(k')←lL(k)、cL(k')←cL(k)とし、調整後学習データ記憶部114に格納する。この処理により、k'=1,2,…,Kにおける学習データ{k',lL(k'),cL(k')}をそのまま調整後学習データ記憶部114に格納する。
2. N←maxmn(m)とする。ただし、maxm n(m)は、n(1),n(2),…,n(M)の中で最大値を返す関数である。この処理により、M個の個数n(m)の中で最も大きい個数Nを検出する。
3.i←K+1とする。この処理により、複製先の学習データを示す変数iを初期化する。
(i)識別誤りを起こしている学習データの処理例を優先して複製する場合の処理例
4.全てのm=1,…,Mについて、下記操作を行い、k'=K+1,K+2,…,K'における学習データ{k',lL(k'),cL(k')}を複製する。
(ア)j←N-n(m)とする。
(イ)h←1とする。
(ウ)j=0の場合、終了する。
(エ)h>Kの場合、h←1とする。
(オ)lL(h)=mかつlL(h)≠argmmax q(h,m)の場合、lL(i)←lL(h)、cL(i)←cL(h)、j←j-1、i←i+1とする。
(カ)h←h+1として、(ウ)に戻る。
5.最終的なデータの個数をK’←iとする。
(ii)正解データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データを優先して複製する場合の処理例
4.k'=1,…,Kについて、下記操作を行う
(ア)正解の事後確率が全ての属性m(m=1,…,M)の中で最も高い場合(最も高い事後確率の属性と学習データのラベルが示す属性とが一致する、つまり、lL(k')=argmmax q(k',m)の場合)、二番目に高い属性をm’として、rL(k')←q(k',lL(k'))-q(k',m')とする。ただし、argmmax q(k',m)は、q(k',m)が最も高いときのmを返す関数である。
(イ)正解の事後確率が全ての属性m(m=1,…,M)の中で最も高くない場合(最も高い事後確率の属性と学習データのラベルが示す属性とが一致しない、つまりlL(k')≠argmmax q(k',m)の場合)、rL(k')←∞とする。
5.rL(k')をk'=1,…,Kにおいて昇順で並び替え、そのs番目に小さいrLをr(f(s))とする。ただし、f(s)は、rL(k')を昇順で並び替えたときにs番目のrL(k')に対応する学習データの番号k'を返す関数である。
6.全てのm=1,…,Mについて、下記操作を行い、k'=K+1,K+2,…,K'における学習データ{k',lL(k'),cL(k')}を複製する。
(ア)j←N-n(m)とする。
(イ)h←1とする。
(ウ)j=0の場合、終了する。
(エ)h>Kの場合、h←1とする。
(オ)lL(f(h))=mの場合、lL(i)←lL(f(h))、cL(i)←cL(f(h))、j←j-1、i←i+1とする。
(カ)h←h+1とする。
(キ)r(f(h))=∞の場合、h←1とする。
(ク)(ウ)に戻る。
7.最終的なデータの個数をK’←iとする。
(iii)各属性の特徴量の重心に近い学習データを優先して複製する場合の処理例
4.K個の学習データ{k',lL(k'),cL(k')}(k'=1,…,K)を用いて、各属性mの特徴量の重心を求める。学習データ{k',lL(k'),cL(k')}毎に、その学習データが属する属性mの特徴量の重心との距離dL(k')を計算する。例えば、ユークリッド距離等を用いることができ、cL(k')=(cL(k',1),cL(k',2),…,cL(k',x),…,cL(k',Ck))の各cL(k',x)と特徴量の重心とのユークリッド距離を求め、Ck個のユークリッド距離の平均を、特徴量cL(k')と重心との距離dL(k')として用いる。
5.dL(k')をk'=1,…,Kにおいて昇順で並び替え、そのs番目に小さいdLをd(f(s))とする。ただし、f(s)は、dL(k')を昇順で並び替えたときにs番目のdL(k')に対応する学習データの番号k'を返す関数である。
6.全てのm=1,…,Mについて、下記操作を行い、k'=K+1,K+2,…,K'における学習データ{k',lL(k'),cL(k')}を複製する。
(ア)j←N-n(m)とする。
(イ)h←1とする。
(ウ)j=0の場合、終了する。
(エ)h>Kの場合、h←1とする。
(オ)lL(f(h))=mの場合、lL(i)←lL(f(h))、cL(i)←cL(f(h))、j←j-1、i←i+1とする。
(カ)h←h+1とし、(ウ)に戻る。
7.最終的なデータの個数をK’←iとする。
(iv)まず、識別誤りを起こしている学習データを複製し、次に、正解データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データを優先して複製する場合の処理例
4.k'=1,…,Kについて、下記操作を行う
(ア)正解の事後確率が全ての属性m(m=1,…,M)の中で最も高い場合(最も高い事後確率の属性と学習データのラベルが示す属性とが一致する、つまり、lL(k')=argmmax q(k',m)の場合)、二番目に高い属性をm’として、rL(k')←q(k',lL(k'))-q(k',m')とする。ただし、argmmax q(k',m)は、q(k',m)が最も高いときのmを返す関数である。
(イ)正解の事後確率が全ての属性m(m=1,…,M)の中で最も高くない場合(最も高い事後確率の属性と学習データのラベルが示す属性とが一致しない、つまりlL(k')≠argmmax q(k',m)の場合)、rL(k')← - ∞とする。
5.rL(k')をk'=1,…,Kにおいて昇順で並び替え、そのs番目に小さいrLをr(f(s))とする。
6.全てのm=1,…,Mについて、下記操作を行い、k'=K+1,K+2,…,K'における学習データ{k',lL(k'),cL(k')}を複製する。
(ア)j←N-n(m)とする。
(イ)h←1とする。
(ウ)j=0の場合、終了する。
(エ)h>Kの場合、h←1とする。
(オ)lL(f(h))=mの場合、lL(i)←lL(f(h))、cL(i)←cL(f(h))、j←j-1、i←i+1とする。
(カ)h←h+1とし、(ウ)に戻る。
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、上述の(i),(ii),(iv)の複製方法の場合には、識別誤りが高い学習データを複製することで、識別率向上を図ることができる。また、上述の(iii)の場合には、過適合生じる可能性を下げ、結果として識別率向上を図ることができる。
第四実施形態と異なる部分を中心に説明する。本実施形態では学習データを調整するのではなく、開発データを調整する。
図10は第五実施形態に係るモデル学習装置500の機能ブロック図を、図11はその処理フローを示す。
開発データ生成部230は、開発データ記憶部211と、データ個数計数部212と、データ調整部513と、調整後開発データ記憶部214と、学習部515と、事後確率算出部516とを含む。なお、データ調整部513、学習部515及び事後確率算出部516は、それぞれデータ調整部413、学習部415及び事後確率算出部416と同様の構成であり、同様の処理(S513,S515,S516)を行う。K個の学習データ{k,lS(k),cS(k)}及びK'個の調整後学習データ{k',lS(k'),cS(k')}に代えて、J個の開発データ{j,lS(j),cS(j)}及びJ'個の調整後学習データ{j',lS(j'),cS(j')}を用いる点が異なる。データの個数等は、学習データと開発データとで異なるが、処理内容は同様である。
このような構成とすることで、第二実施形態と同様の効果を得ることができる。第四実施形態の(i),(ii),(iv)の複製方法の場合には、識別誤りが高い開発データを複製することで、識別率向上を図ることができる。また、上述の(iii)の場合には、過適合生じる可能性を下げ、結果として識別率向上を図ることができる。なお、本実施形態と他の実施形態及びその変形例を組合せてもよい。
第五実施形態と異なる部分を中心に説明する。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
Claims (7)
- 学習データは当該学習データの属性を示すラベルと当該学習データの特徴量とを含むものとし、K個の学習データに基づき、各属性に属する学習データの個数を数える第一データ個数計数部と、
K'>Kとし、最大の個数Nの学習データが属する属性を示すラベルlL,max以外のラベルlL,m'を含む学習データを複製し、1つ以上の複製した学習データを前記K個の学習データに追加し、K'個の学習データを生成する第一データ調整部と、
前記K個の学習データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第一学習モデルλ' 1 を学習する第一学習部と、
前記第一学習モデルλ' 1 を用いて、学習データが各属性に属する事後確率である第一事後確率を算出する第一事後確率算出部とを含み、
前記第一データ調整部は、K'個の学習データにおいて前記ラベルlL,m'を含む学習データの個数が追加後においてN以下となるようにし、
(ii)最も高い事後確率の属性と学習データのラベルが示す属性とが一致する学習データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データ
(iii)各属性の特徴量の重心に近い学習データ
の少なくとも何れかを優先して複製する、
学習データ生成装置。 - 開発データは当該開発データの属性を示すラベルと当該開発データの特徴量とを含むものとし、J個の開発データに基づき、各属性に属する開発データの個数を数える第二データ個数計数部と、
J'>Jとし、最大の個数Qの開発データが属する属性を示すラベルlS,max以外のラベルlS,p'を含む開発データを複製し、1つ以上の複製した開発データを前記J個の開発データに追加し、J'個の開発データを生成する第二データ調整部と、
前記J個の開発データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第二学習モデルλ' 2 を学習する第二学習部と、
前記第二学習モデルλ' 2 を用いて、開発データが各属性に属する事後確率である第二事後確率を算出する第二事後確率算出部と含み、
前記第二データ調整部はJ'個の開発データにおいてラベルlS,p'を含む開発データの個数が追加後においてQ以下となるようにし、
(ii)最も高い事後確率の属性と開発データのラベルが示す属性とが一致する開発データであって、最も高い事後確率と二番目に高い事後確率との差が小さい開発データ
(iii)各属性の特徴量の重心に近い開発データ
の少なくとも何れかを優先して複製する、
開発データ生成装置。 - 学習データは当該学習データの属性を示すラベルと当該学習データの特徴量とを含むものとし、K個の学習データに基づき、各属性に属する学習データの個数を数える第一データ個数計数部と、
K'>Kとし、最大の個数Nの学習データが属する属性を示すラベルlL,max以外のラベルlL,m'を含む学習データを複製し、1つ以上の複製した学習データを前記K個の学習データに追加し、K'個の学習データを生成する第一データ調整部と、
前記K個の学習データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第一学習モデルλ' 1 を学習する第一学習部と、
前記第一学習モデルλ' 1 を用いて、学習データが各属性に属する事後確率である第一事後確率を算出する第一事後確率算出部とを含み、
前記第一データ調整部は、K'個の学習データにおいて前記ラベルlL,m'を含む学習データの個数が追加後においてN以下となるようにし、
(ii)最も高い事後確率の属性と学習データのラベルが示す属性とが一致する学習データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データ
(iii)各属性の特徴量の重心に近い学習データ
の少なくとも何れかを優先して複製し、
開発データは当該開発データの属性を示すラベルと当該開発データの特徴量とを含むものとし、J個の開発データに基づき、各属性に属する開発データの個数を数える第二データ個数計数部と、
J'>Jとし、最大の個数Qの開発データが属する属性を示すラベルlS,max以外のラベルlS,p'を含む開発データを複製し、1つ以上の複製した開発データを前記J個の開発データに追加し、J'個の開発データを生成する第二データ調整部と、
前記J個の開発データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第二学習モデルλ' 2 を学習する第二学習部と、
前記第二学習モデルλ' 2 を用いて、開発データが各属性に属する事後確率である第二事後確率を算出する第二事後確率算出部と含み、
前記第二データ調整部はJ'個の開発データにおいてラベルlS,p'を含む開発データの個数が追加後においてQ以下となるようにし、
(ii)最も高い事後確率の属性と開発データのラベルが示す属性とが一致する開発データであって、最も高い事後確率と二番目に高い事後確率との差が小さい開発データ
(iii)各属性の特徴量の重心に近い開発データ
の少なくとも何れかを優先して複製し、
前記K'個の学習データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第三学習モデルλ'3を学習する第三学習部を含み、前記第三学習部は、前記J'個の開発データに含まれる特徴量を前記第三学習モデルλ'3の入力とし、前記J'個の開発データの属性を示すラベルをそれぞれ推定し、J'個の推定結果と前記J'個の開発データに含まれるJ'個のラベルとに基づき、前記第三学習モデルλ'3の正解率を求め、前記正解率が飽和するまで、前記第三学習モデルλ'3の学習を繰り返す、
モデル学習装置。 - 学習データは当該学習データの属性を示すラベルと当該学習データの特徴量とを含むものとし、第一データ個数計数部が、K個の学習データに基づき、各属性に属する学習データの個数を数える第一データ個数計数ステップと、
K'>Kとし、第一データ調整部が、最大の個数Nの学習データが属する属性を示すラベルlL,max以外のラベルlL,m'を含む学習データを複製し、1つ以上の複製した学習データを前記K個の学習データに追加し、K'個の学習データを生成する第一データ調整ステップと、
第一学習部が、前記K個の学習データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第一学習モデルλ' 1 を学習する第一学習ステップと、
第一事後確率算出部が、前記第一学習モデルλ' 1 を用いて、学習データが各属性に属する事後確率である第一事後確率を算出する第一事後確率算出ステップとを含み、
前記第一データ調整ステップにおいてK'個の学習データにおいて前記ラベルlL,m'を含む学習データの個数が追加後においてN以下となるようにし、
(ii)最も高い事後確率の属性と学習データのラベルが示す属性とが一致する学習データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データ
(iii)各属性の特徴量の重心に近い学習データ
の少なくとも何れかを優先して複製する、
学習データ生成方法。 - 開発データは当該開発データの属性を示すラベルと当該開発データの特徴量とを含むものとし、第二データ個数計数部が、J個の開発データに基づき、各属性に属する開発データの個数を数える第二データ個数計数ステップと、
J'>Jとし、第二データ調整部が、最大の個数Qの開発データが属する属性を示すラベルlS,max以外のラベルlS,p'を含む開発データを複製し、1つ以上の複製した開発データを前記J個の開発データに追加し、J'個の開発データを生成する第二データ調整ステップと、
第二学習部が、前記J個の開発データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第二学習モデルλ' 2 を学習する第二学習ステップと、
第二事後確率算出部が、前記第二学習モデルλ' 2 を用いて、開発データが各属性に属する事後確率である第二事後確率を算出する第二事後確率算出ステップと含み、
前記第二データ調整ステップにおいてJ'個の開発データにおいてラベルlS,p'を含む開発データの個数が追加後においてQ以下となるようにし、
(ii)最も高い事後確率の属性と開発データのラベルが示す属性とが一致する開発データであって、最も高い事後確率と二番目に高い事後確率との差が小さい開発データ
(iii)各属性の特徴量の重心に近い開発データ
の少なくとも何れかを優先して複製する、
開発データ生成方法。 - 学習データは当該学習データの属性を示すラベルと当該学習データの特徴量とを含むものとし、第一データ個数計数部が、K個の学習データに基づき、各属性に属する学習データの個数を数える第一データ個数計数ステップと、
K'>Kとし、第一データ調整部が、最大の個数Nの学習データが属する属性を示すラベルl L,max 以外のラベルl L,m' を含む学習データを複製し、1つ以上の複製した学習データを前記K個の学習データに追加し、K'個の学習データを生成する第一データ調整ステップと、
第一学習部が、前記K個の学習データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第一学習モデルλ' 1 を学習する第一学習ステップと、
第一事後確率算出部が、前記第一学習モデルλ' 1 を用いて、学習データが各属性に属する事後確率である第一事後確率を算出する第一事後確率算出ステップとを含み、
前記第一データ調整ステップにおいて、K'個の学習データにおいて前記ラベルl L,m' を含む学習データの個数が追加後においてN以下となるようにし、
(ii)最も高い事後確率の属性と学習データのラベルが示す属性とが一致する学習データであって、最も高い事後確率と二番目に高い事後確率との差が小さい学習データ
(iii)各属性の特徴量の重心に近い学習データ
の少なくとも何れかを優先して複製し、
開発データは当該開発データの属性を示すラベルと当該開発データの特徴量とを含むものとし、第二データ個数計数部が、J個の開発データに基づき、各属性に属する開発データの個数を数える第二データ個数計数ステップと、
J'>Jとし、第二データ調整部が、最大の個数Qの開発データが属する属性を示すラベルl S,max 以外のラベルl S,p' を含む開発データを複製し、1つ以上の複製した開発データを前記J個の開発データに追加し、J'個の開発データを生成する第二データ調整ステップと、
第二学習部が、前記J個の開発データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第二学習モデルλ' 2 を学習する第二学習ステップと、
第二事後確率算出部が、前記第二学習モデルλ' 2 を用いて、開発データが各属性に属する事後確率である第二事後確率を算出する第二事後確率算出ステップと含み、
前記第二データ調整ステップにおいて、J'個の開発データにおいてラベルl S,p' を含む開発データの個数が追加後においてQ以下となるようにし、
(ii)最も高い事後確率の属性と開発データのラベルが示す属性とが一致する開発データであって、最も高い事後確率と二番目に高い事後確率との差が小さい開発データ
(iii)各属性の特徴量の重心に近い開発データ
の少なくとも何れかを優先して複製し、
第三学習部が、前記K'個の学習データを用いて、対象データの特徴量から対象データの属性を示すラベルを推定するモデルである第三学習モデルλ' 3 を学習する第三学習ステップを含み、前記第三学習ステップにおいて、前記J'個の開発データに含まれる特徴量を前記第三学習モデルλ' 3 の入力とし、前記J'個の開発データの属性を示すラベルをそれぞれ推定し、J'個の推定結果と前記J'個の開発データに含まれるJ'個のラベルとに基づき、前記第三学習モデルλ' 3 の正解率を求め、前記正解率が飽和するまで、前記第三学習モデルλ' 3 の学習を繰り返す、
モデル学習方法。 - 請求項1の学習データ生成装置、または、請求項2の開発データ生成装置、または、請求項3のモデル学習装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016248859A JP6567488B2 (ja) | 2016-12-22 | 2016-12-22 | 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016248859A JP6567488B2 (ja) | 2016-12-22 | 2016-12-22 | 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106216A JP2018106216A (ja) | 2018-07-05 |
JP6567488B2 true JP6567488B2 (ja) | 2019-08-28 |
Family
ID=62787138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016248859A Active JP6567488B2 (ja) | 2016-12-22 | 2016-12-22 | 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6567488B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102035796B1 (ko) * | 2018-07-26 | 2019-10-24 | 주식회사 딥핑소스 | 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
KR102107021B1 (ko) | 2018-08-10 | 2020-05-07 | 주식회사 딥핑소스 | 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
CN109325118B (zh) * | 2018-09-03 | 2023-06-27 | 平安科技(深圳)有限公司 | 不平衡样本数据预处理方法、装置和计算机设备 |
US10504027B1 (en) * | 2018-10-26 | 2019-12-10 | StradVision, Inc. | CNN-based learning method, learning device for selecting useful training data and test method, test device using the same |
KR102147097B1 (ko) * | 2018-10-31 | 2020-08-24 | 주식회사 메디치소프트 | 머신러닝을 위한 학습데이터 세트의 구성 방법 및 장치 |
KR102177940B1 (ko) * | 2018-11-28 | 2020-11-12 | 서울대학교산학협력단 | 다중 간선 라벨 그래프의 정점들 간 관련도를 측정하는 방법 및 장치 |
US10621379B1 (en) * | 2019-10-24 | 2020-04-14 | Deeping Source Inc. | Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same |
US10621378B1 (en) * | 2019-10-24 | 2020-04-14 | Deeping Source Inc. | Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same |
CN110992940B (zh) | 2019-11-25 | 2021-06-15 | 百度在线网络技术(北京)有限公司 | 语音交互的方法、装置、设备和计算机可读存储介质 |
JP6876310B1 (ja) * | 2020-03-18 | 2021-05-26 | マルハニチロ株式会社 | 計数システム |
WO2023188790A1 (ja) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法、コンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2964900B2 (ja) * | 1995-02-10 | 1999-10-18 | フジテック株式会社 | 呼び割り当て用ニューラルネットの学習方法 |
JP2010204966A (ja) * | 2009-03-03 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | サンプリング装置、サンプリング方法、サンプリングプログラム、クラス判別装置およびクラス判別システム。 |
JP5333080B2 (ja) * | 2009-09-07 | 2013-11-06 | 株式会社日本自動車部品総合研究所 | 画像認識システム |
JP2012208710A (ja) * | 2011-03-29 | 2012-10-25 | Panasonic Corp | 属性推定装置 |
JP5733229B2 (ja) * | 2012-02-06 | 2015-06-10 | 新日鐵住金株式会社 | 分類器作成装置、分類器作成方法、及びコンピュータプログラム |
JP6226701B2 (ja) * | 2013-11-05 | 2017-11-08 | キヤノン株式会社 | データ処理方法及び装置、データ識別方法及び装置、プログラム |
-
2016
- 2016-12-22 JP JP2016248859A patent/JP6567488B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018106216A (ja) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6567488B2 (ja) | 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム | |
US11620529B2 (en) | Method of continual-learning of data sets and apparatus thereof | |
US11081105B2 (en) | Model learning device, method and recording medium for learning neural network model | |
CN111063410B (zh) | 一种医学影像文本报告的生成方法及装置 | |
US11416523B2 (en) | Record matching model using deep learning for improved scalability and adaptability | |
JP7266674B2 (ja) | 画像分類モデルの訓練方法、画像処理方法及び装置 | |
TW201626293A (zh) | 由知識圖譜偏置的資料分類 | |
WO2021174723A1 (zh) | 训练样本扩充方法、装置、电子设备及存储介质 | |
US11380301B2 (en) | Learning apparatus, speech recognition rank estimating apparatus, methods thereof, and program | |
JP6195542B2 (ja) | 学習装置、学習方法及び学習プログラム | |
US20210365803A1 (en) | Machine-learning system and method for identifying same person in genealogical databases | |
JP6712644B2 (ja) | 音響モデル学習装置、その方法、及びプログラム | |
JP2017058877A (ja) | 学習装置、音声検出装置、学習方法およびプログラム | |
WO2016167779A1 (en) | Speech recognition device and rescoring device | |
JP7047498B2 (ja) | 学習プログラム、学習方法および学習装置 | |
CN109818971B (zh) | 一种基于高阶关联挖掘的网络数据异常检测方法与系统 | |
US11657222B1 (en) | Confidence calibration using pseudo-accuracy | |
JP2019204214A (ja) | 学習装置、学習方法、プログラム及び推定装置 | |
WO2021147405A1 (zh) | 客服语句质检方法及相关设备 | |
JP6127778B2 (ja) | モデル学習方法、モデル学習プログラム及びモデル学習装置 | |
CN114707655B (zh) | 一种量子线路转换方法、系统、存储介质和电子设备 | |
US20190354852A1 (en) | Stress indicators associated with instances of input data for training neural networks | |
CN113435927B (zh) | 用户意愿预测方法、装置、设备和存储介质 | |
CN114970732A (zh) | 分类模型的后验校准方法、装置、计算机设备及介质 | |
JP2019185207A (ja) | モデル学習装置、モデル学習方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6567488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |