JP7315091B2 - モデル学習装置、その方法、およびプログラム - Google Patents

Description

本発明は、印象ラベルなどのラベルの推定技術に関する。

電話音声の好感度（非特許文献１）や、外国語の発音の良さおよび流暢さ（非特許文献２）等を技能テストの１項目として会話の技能を図るテストでは、音声に対して定量的な印象値が付与されている。印象の評価には、例えば、印象が「良い」～「悪い」の５段階評価、好感度が「高い」～「低い」の５段階評価、自然さが「高い」～「低い」の５段階評価等がある。

現在は、各技能の専門家がこの音声の印象を評価し、合格・不合格の判定を行っているが、自動的に評価ができるようになると、試験の足切り等への活用や、評価に不慣れな専門家（例えば評価者になりたての人物）への参考値として用いることができる。そのため、音声の印象を自動推定する技術が必要とされている。

機械学習を用いたデータの印象の自動推定を実現するためには、印象値データとそのデータの特徴量とから機械学習モデルを学習すればよい。しかし、印象は人によって感じる基準が異なったり、印象を付与することに慣れていなかったりするために、同じデータであっても印象値が人によって異なることがある。平均的な印象を推定できるようにするためには、１つのデータに対して多人数で印象値を付与し、印象値の平均値を用いる必要がある。平均的な印象値を安定して推定できるようになるには、できるだけ多人数で印象値を付与するとよい。例えば、非特許文献３で作成された印象データは、１音声データに対し１０名で印象値を付与している。

F. Burkhardt, B. Schuller, B. Weiss and F. Weninger, "Would You Buy a Car From Me?" On the Likability of Telephone Voices", In Proc. INTERSPEECH, pp.1557-1560, 2011. Kei Ohta and Seiichi Nakagawa, "A statistical method of evaluating pronunciation proficiency for Japanese words", INTERSPEECH2005, pp.2233-2236. 籠宮隆之ら、「印象評定データの概要」, ［online］, ［令和2年3月5日検索］, インターネット<URL: http://pj.ninjal.ac.jp/corpus_center/csj/manu-f/impression.pdf>

実運用上では、人数制約により１データに対して大量の印象値を付与するのは困難である。そこで、多人数でいくつかのデータを分散して印象値を付与する（以下、印象値を付与する人を「評価者」ともいう）。そのため、１つのデータに対して印象値を付与する人数は高々１・２名程度となる。この状況において、音声の印象推定を品質よく実現するためには、印象を正しく判断できる専門家ができるだけ多くのデータに対して印象ラベルを付与する必要がある。しかし、専門家のラベル付与はコストが高いため、全てのデータに対して印象ラベルを付与することは困難である。

本発明は、全てのデータに対して専門家がラベルを付与するのではなく、一部のデータに対してのみ専門家がラベルを付与し、残りのデータに対して非専門家がラベルを付与し、専門家と非専門家とのラベル付与の精度の差を考慮して、モデルを学習するモデル学習装置、その方法、およびプログラムを提供することを目的とする。ここでは、非専門家は、専門家よりもラベル付与の精度が低い評価者とする。以下では、非専門家が付与したラベルを非専門家ラベルともいい、専門家が付与したラベルを専門家ラベルともいう。

上記の課題を解決するために、本発明の一態様によれば、モデル学習装置は、学習ラベルデータには、データ番号i(i=1,…,L)に対して、学習特徴量データのデータ番号y(i,0)を示すデータ番号j∈{1,…,J}と、学習特徴量データに対応するデータにラベルを付与した評価者の番号y(i,1)を示す評価者番号k∈{1,…,K}と、学習特徴量データに対応するデータに対して付与されたラベルy(i,2)を示すラベルc∈{1,…,C}と、評価者が学習特徴量データに対応するデータにラベルを付与する専門家か否かを示すフラグy(i,3)である専門フラグfとが存在し、専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cを求める専門家確率ラベル取得部と、専門家または非専門家の評価者がラベルを付与したデータの集合と専門家確率ラベル取得部で求めた確率h_j,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cを求める確率ラベル取得部と、確率ラベル取得部で求めた確率h_j,cと、確率ラベル取得部で求めた確率h_j,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習部とを含む。

本発明によれば、専門家と非専門家とのラベル付与の精度の差を考慮することで、より推定精度の高いモデルを学習することができるという効果を奏する。

第一実施形態に係るモデル学習装置の機能ブロック図。 第一実施形態に係るモデル学習装置の処理フローの例を示す図。 学習ラベルデータの例を示す図。 学習特徴量データの例を示す図。 第一実施形態に係るラベル推定装置の機能ブロック図。 第一実施形態に係るラベル推定装置の処理フローの例を示す図。 本手法を適用するコンピュータの構成例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
本実施形態では、まず、専門家ラベルのみを利用してモデルを学習し、学習したモデルと専門家ラベルと非専門家ラベルとを利用してさらにモデルを学習する。

＜第一実施形態に係るラベル推定システム＞
本実施形態のラベル推定システムはモデル学習装置１００とラベル推定装置２００とを含む。

モデル学習装置およびラベル推定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。モデル学習装置およびラベル推定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。モデル学習装置およびラベル推定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。モデル学習装置およびラベル推定装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。モデル学習装置およびラベル推定装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしもモデル学習装置およびラベル推定装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、モデル学習装置およびラベル推定装置の外部に備える構成としてもよい。

＜第一実施形態に係るモデル学習装置１００＞
図１は第一実施形態に係るモデル学習装置１００の機能ブロック図を、図２はその処理フローを示す。

モデル学習装置１００は、ラベル推定部１１０と、学習部１２０とを含む。ラベル推定部１１０は、初期値設定部１１１と、専門家確率ラベル取得部１１２と、確率ラベル取得部１１３とを含む。専門家確率ラベル取得部１１２は、専門家スキル推定部１１２Ａと専門家確率ラベル推定部１１２Ｂとを含む。確率ラベル取得部１１３は、スキル推定部１１３Ａと確率ラベル推定部１１３Ｂとを含む。

モデル学習装置１００は、学習ラベルデータの集合Aと、学習ラベルデータの集合Aに対応する学習特徴量データとを入力とし、ラベル推定モデルを学習し、学習済みのラベル推定モデルを出力する。本実施形態では、学習済みのラベル推定モデルのパラメタλを出力する。

（学習ラベルデータおよび学習特徴量データ）
図３は学習ラベルデータの例を、図４は学習特徴量データの例を示す。学習ラベルデータには、学習ラベルデータのデータ番号i（i=1,…,L）に対して、学習特徴量データのデータ番号y(i,0)、評価者番号y(i,1)、印象ラベルy(i,2)、専門フラグy(i,3)が存在する。学習特徴量データのデータ番号y(i,0)はj∈{1,…,J}である。また、評価者番号y(i,1)はその学習特徴量データに対応するデータを評価した評価者の番号k∈{1,…,K}である。印象値ラベルy(i,2)は、その学習特徴量データに対応するデータに対する印象の値c∈{1,…,C}である。別の言い方をすると、印象値ラベルy(i,2)は、データに対して評価者が付与した印象の値である。専門フラグy(i,3)は、当該評価者(評価者番号y(i,1)に対応する評価者)が専門家か否かを示すフラグf∈{0,1}である。本実施形態では、y(i,3)=1の場合当該評価者y(i,1)は専門家、y(i,3）=0の場合当該評価者y(i,1)は非専門家とする。学習ラベルデータは、図３のように１つの学習特徴量データに対応するデータに対して一人以上の評価者により、１つ以上の印象ラベルが付与されているものとする。i番目の学習ラベルデータA(i)=A(j,k,c,f)から、ある学習特徴量データx(j)に対応するデータに対して、フラグfにより示される専門家または非専門家である評価者kが印象ラベルcを付与したことが分かる。

学習特徴量データは、データ番号j(j=1,…,J)に対応するデータx(j)となる。例えば、「学習特徴量データ」は音声信号から特徴を抽出したベクトル(音響特徴ベクトル)等の値であり（図４参照）、「学習特徴量データに対応するデータ」は学習特徴量データの抽出元である音声信号である。なお、学習特徴量データを音声信号自体とし、「学習特徴量データ」=「学習特徴量データに対応するデータ」としてもよい。以下では、「学習特徴量データx(j)に対応するデータ」を単に「学習特徴量データj」ともいう。

以下、各部について説明する。

＜ラベル推定部１１０＞
ラベル推定部１１０は、学習ラベルデータの集合Aを入力とし、評価者が正しく評価できる能力、およびそれに基づく真のラベルの確率h_j,cを求め（Ｓ１１０）、出力する。なお、確率h_j,cは、学習特徴量データj(j=1,…,J)の真のラベルがラベルc(c=1,…,C)である確率を表す。

ここでは、学習ラベルデータで付与されている印象ラベルには、学習特徴量データjに対する真のラベルc_jがあると仮定する。また、評価者ごとにラベルを付与する能力が異なり、評価者kが真のラベルがcであったときに、正しくc'と答える確率a_k,c,c'を導入する。

EMアルゴリズムで真のラベルと評価者の能力を推定し、最適なラベルの確率h_j,cを学習部１２０に出力する。ここでは、データ番号j、評価者番号k、印象ラベルc、専門フラグfの学習ラベルデータを検索する集合A、およびそのデータの数を示すNを次のように定義する。

なお、*は、任意を示すシンボルとしている。

本実施形態では、予め専門家の学習ラベルデータの集合(専門家の評価者がラベルを付与したデータの集合)A(*,*,*,1)で確率h_j,cを求めておくことで、非専門家のスキルに対応する確率a_k,c,c’が専門家の学習ラベルデータの集合A(*,*,*,1)に基づいて評価されるため、全ての学習ラベルデータの集合(専門家または非専門家の評価者がラベルを付与したデータの集合)A(*,*,*,*)の確率h_j,cを専門家の基準に基づいて求めることができる。

なお、ラベル推定部１１０は、所定の条件を満たした場合に、モデル学習を終了する。例えば、更新前後の確率h_j,cの差分が、予め設定した閾値δを全ての特徴量データj、印象ラベルcで下回った場合に、終了とする。
＜初期値設定部１１１＞
初期値設定部１１１は、専門家f=1の評価者kがラベルを付与したデータの集合（専門家の学習ラベルデータの集合A(*,*,*,1)）を入力とし、これを用いて、学習特徴量データjに対する真のラベルがラベルcである確率h_j,cの初期値を設定し（Ｓ１１１）、出力する。

例えば、専門家f=1の評価者kが付与しているデータj（j=1,…,J）の全てのラベルc（c=1,…,C）について、次のように真のラベルがラベルcである確率h_j,cのEMアルゴリズムの初期値を設定する。

確率h_j,cは、学習特徴量データjがラベルcである確率値となる。

＜専門家確率ラベル取得部１１２＞
専門家確率ラベル取得部１１２は、専門家の学習ラベルデータの集合A(*,*,*,1)と、確率h_j,cの初期値を入力とし、これらの値を用いて、EMアルゴリズムにより、学習特徴量データjに対する真のラベルがラベルcである確率h_j,cを求め（Ｓ１１２）、出力する。

以下、専門家確率ラベル取得部１１２に含まれる専門家スキル推定部１１２Ａにおける処理（EMアルゴリズムのMステップに対応する処理）および専門家確率ラベル推定部１１２Ｂにおける処理（EMアルゴリズムのEステップに対応する処理）について説明する。

＜専門家スキル推定部１１２Ａ＞
専門家スキル推定部１１２Ａは、専門家の学習ラベルデータの集合A(*,*,*,1)と、確率h_j,cの初期値またはEMアルゴリズムの一つ前の繰り返し処理で求めた確率h_j,cとを入力とし、これらの値を用いて、専門家f=1の評価者kが学習特徴量データに対する真のラベルがcであるときにラベルc'と回答する確率a_k,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布q_cとを求め（Ｓ１１２Ａ）、出力する。例えば、確率a_k,c,c'、分布q_cを以下の式により求める。

＜専門家確率ラベル推定部１１２Ｂ＞
専門家確率ラベル推定部１１２Ｂは、専門家の学習ラベルデータの集合A(*,*,*,1)と専門家スキル推定部１１２Ａで求めた確率a_k,c,c'と分布q_cとを入力とし、これらの値を用いて、学習特徴量データjおよびラベルc毎の値Q_j,cを求め、値Q_j,cを用いて確率h_j,cを更新し（Ｓ１１２Ｂ－１）、出力する。例えば、値Q_j,c、確率h_j,cを以下の式により求める。

専門家確率ラベル推定部１１２Ｂは、確率h_j,cの値が収束したか否かを判定し（Ｓ１１２Ｂ－２）、収束した場合には（Ｓ１１２Ｂ－２のyes）、更新処理を終了し、終了時点の確率h_j,cを出力する。収束していない場合には（Ｓ１１２Ｂ－２のno）、専門家スキル推定部１１２Ａに更新後の確率h_j,cと処理を繰り返すことを示す制御信号を出力する。例えば、全ての学習特徴量データjおよびラベルcにおいて、更新前後の確率h_j,cの差分が、所定の閾値δよりも小さい場合、または、所定の閾値δ以下の場合、収束したと判定し、それ以外の場合、収束していないと判定する。また、例えば、繰り返し処理の回数が所定の回数よりも大きくなった場合、収束したと判定し、それ以外の場合、収束していないと判定する。

＜確率ラベル取得部１１３＞
確率ラベル取得部１１３は、専門家または非専門家の評価者がラベルを付与したデータの集合A(*,*,*,*)と専門家確率ラベル取得部１１２で求めた確率h_j,cとを入力とし、これらの値を用いて、EMアルゴリズムにより、学習特徴量データjに対する真のラベルがラベルcである確率h_j,cを求め（Ｓ１１３）、出力する。

以下、確率ラベル取得部１１３に含まれるスキル推定部１１３Ａにおける処理（EMアルゴリズムのMステップに対応する処理）および確率ラベル推定部１１３Ｂにおける処理（EMアルゴリズムのEステップに対応する処理）について説明する。

＜スキル推定部１１３Ａ＞
スキル推定部１１３Ａは、専門家または非専門家の評価者がラベルを付与したデータの集合A(*,*,*,*)と、専門家確率ラベル取得部１１２またはEMアルゴリズムの一つ前の繰り返し処理で求めた確率h_j,cとを入力とし、これらの値を用いて、専門家または非専門家の評価者kが学習特徴量データに対する真のラベルがcであるときにラベルc'と回答する確率a_k,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布q_cとを求め（Ｓ１１３Ａ）、出力する。例えば、確率a_k,c,c'、分布q_cを以下の式により求める。

＜確率ラベル推定部１１３Ｂ＞
確率ラベル推定部１１３Ｂは、専門家または非専門家の評価者がラベルを付与したデータの集合A(*,*,*,*)と、スキル推定部１１３Ａで求めた確率a_k,c,c'と分布q_cとを入力とし、これらの値を用いて、学習特徴量データjおよびラベルc毎の値Q_j,cを求め、値Q_j,cを用いて確率h_j,cを更新し（Ｓ１１３Ｂ－１）、出力する。例えば、値Q_j,c、確率h_j,cを以下の式により求める。

確率ラベル推定部１１３Ｂは、確率h_j,cの値が収束したか否かを判定し（Ｓ１１３Ｂ－２）、収束した場合には（Ｓ１１３Ｂ－２のyes）、更新処理を終了し、終了時点の確率h_j,cを出力する。収束していない場合には（Ｓ１１３Ｂ－２のno）、スキル推定部１１３Ａに更新後の確率h_j,cと処理を繰り返すことを示す制御信号を出力する。判定方法は、例えば、専門家確率ラベル推定部１１２Ｂで説明した方法と同様とする。

＜学習部１２０＞
学習部１２０は、確率ラベル取得部１１３で求めた確率h_j,cと、確率ラベル取得部１１３で求めた確率h_j,cに対応する学習特徴量データx(j)とを入力とし、これらの値を用いて、特徴量データを入力とし、ラベルを出力するモデルを学習し（Ｓ１２０）、学習済みのラベル推定モデルを出力する。

本実施形態では、確率ラベル取得部１１３で求めた確率h_j,cをターゲットとして、ラベル推定モデルを学習する。

例えば、モデルがニューラルネットワークの場合は、交差エントロピー誤差を最小化するように学習する際は、次のように誤差を与えればよい。

ただし、y^(j)はニューラルネットワークモデルの推定値y^(j)=f(x(j))であり、誤差関数Eを最小化するようにモデルfのパラメタλを更新していく。

また、SVMで学習する場合は、例えば同じデータx(j)に対してラベルcの数だけ学習データを増やしそれぞれサンプル重みh_j,cを重みづけして学習をすればよい。

例えば、学習部１２０は、学習済みのラベル推定モデルfのパラメタλを出力する。

次に、ラベル推定装置２００について説明する。

＜第一実施形態に係るラベル推定装置２００＞
図５は第一実施形態に係るラベル推定装置２００の機能ブロック図を、図６はその処理フローを示す。

ラベル推定装置２００は、推定部２２０を含む。

ラベル推定装置２００の推定部２２０は、ラベル推定処理に先立ち、学習済みのラベル推定モデルfのパラメタλを受け取っておく。

ラベル推定装置２００の推定部２２０は、ラベル付与対象特徴量データx(p)を入力とし、学習済みのパラメタλおよびラベル推定モデルfを用いて、ラベル付与対象データに対するラベルを推定し（Ｓ２２０）、推定結果label(p)を出力する。なお、ラベル付与対象データは、ラベル付与対象特徴量データの抽出元となるデータである。

＜効果＞
本実施形態のモデル学習装置では、専門家と非専門家とのラベル付与の精度の差を考慮することで、より推定精度の高いモデルを学習することができる。そのモデルを用いることで、本実施形態のラベル推定装置は、精度よくラベルを推定することができる。

＜変形例＞
本実施形態では、学習特徴量データおよびラベル付与対象特徴量データを入力としているが、これらの特徴量の抽出元となるデータを入力としてもよい。その場合、データから特徴量を抽出する機能を有する特徴量抽出部を設ければよい。

本実施形態では、印象ラベルの例を示したが、ラベルを付与する評価者を専門家、非専門家に分けることができれば、他のラベルに適用することができる。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述の各種の処理は、図７に示すコンピュータの記憶部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

1. 学習ラベルデータには、データ番号i(i=1,…,L)に対して、学習特徴量データのデータ番号y(i,0)を示すデータ番号j∈{1,…,J}と、学習特徴量データに対応するデータにラベルを付与した評価者の番号y(i,1)を示す評価者番号k∈{1,…,K}と、学習特徴量データに対応するデータに対して付与されたラベルy(i,2)を示すラベルc∈{1,…,C}と、評価者が学習特徴量データに対応するデータにラベルを付与する専門家か否かを示すフラグy(i,3)である専門フラグfとが存在し、
   専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cを求める専門家確率ラベル取得部と、
   専門家または非専門家の評価者がラベルを付与したデータの集合と前記専門家確率ラベル取得部で求めた前記確率h_j,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cを求める確率ラベル取得部と、
   前記確率ラベル取得部で求めた前記確率h_j,cと、前記確率ラベル取得部で求めた前記確率h_j,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習部とを含む、
   モデル学習装置。
2. 請求項１のモデル学習装置であって、
   前記専門家確率ラベル取得部は、
   専門家の評価者kが学習特徴量データに対応するデータに対する真のラベルがcであるときにラベルc'と回答する確率a_k,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布q_cとを求める専門家スキル推定部と、
   前記専門家スキル推定部で求めた前記確率a_k,c,c'と前記分布q_cとを用いて、学習特徴量データjおよびラベルc毎の値Q_j,cを求め、前記値Q_j,cを用いて前記確率h_j,cを更新する専門家確率ラベル推定部とを含み、
   前記確率ラベル取得部は、
   専門家または非専門家の評価者kが学習特徴量データに対応するデータに対する真のラベルがcであるときにラベルc'と回答する確率a_k,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布q_cとを求めるスキル推定部と、
   前記スキル推定部で求めた前記確率a_k,c,c'と前記分布q_cとを用いて、学習特徴量データjおよびラベルc毎の値Q_j,cを求め、前記値Q_j,cを用いて前記確率h_j,cを更新する確率ラベル推定部とを含む、
   モデル学習装置。
3. 請求項１または請求項２のモデル学習装置であって、
   専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cの初期値を設定する初期値設定部を含む、
   モデル学習装置。
4. モデル学習装置を用いたモデル学習方法であって、
   学習ラベルデータには、データ番号i(i=1,…,L)に対して、学習特徴量データのデータ番号y(i,0)を示すデータ番号j∈{1,…,J}と、学習特徴量データに対応するデータにラベルを付与した評価者の番号y(i,1)を示す評価者番号k∈{1,…,K}と、学習特徴量データに対応するデータに対して付与されたラベルy(i,2)を示すラベルc∈{1,…,C}と、評価者が学習特徴量データに対応するデータにラベルを付与する専門家か否かを示すフラグy(i,3)である専門フラグfとが存在し、
   専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cを求める専門家確率ラベル取得ステップと、
   専門家または非専門家の評価者がラベルを付与したデータの集合と前記専門家確率ラベル取得ステップで求めた前記確率h_j,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率h_j,cを求める確率ラベル取得ステップと、
   前記確率ラベル取得ステップで求めた前記確率h_j,cと、前記確率ラベル取得ステップで求めた前記確率h_j,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習ステップとを含む、
   モデル学習方法。
5. 請求項１から請求項３の何れかのモデル学習装置としてコンピュータを機能させるためのプログラム。

Images