JP7103235B2 - パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム - Google Patents

パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム Download PDF

Info

Publication number
JP7103235B2
JP7103235B2 JP2018568547A JP2018568547A JP7103235B2 JP 7103235 B2 JP7103235 B2 JP 7103235B2 JP 2018568547 A JP2018568547 A JP 2018568547A JP 2018568547 A JP2018568547 A JP 2018568547A JP 7103235 B2 JP7103235 B2 JP 7103235B2
Authority
JP
Japan
Prior art keywords
degree
class
data
calculated
dispersion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018568547A
Other languages
English (en)
Other versions
JPWO2018151124A1 (ja
Inventor
孝文 越仲
隆之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018151124A1 publication Critical patent/JPWO2018151124A1/ja
Application granted granted Critical
Publication of JP7103235B2 publication Critical patent/JP7103235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データを分類する基であるデータを提供するパラメタ算出装置等に関する。
非特許文献１には、パターン学習装置の一例が記載されている。該パターン学習装置は、話者の違いに基づき音声を分類する話者認識にて用いられる分類モデルを提供する。図１０を参照しながら、該パターン学習装置が有する構成について説明する。図１０は、非特許文献１に記載されているようなパターン学習装置が有する構成を示すブロック図である。
学習装置６００は、学習部６０１と、クラスタリング部６０２と、第１目的関数計算部６０３と、パラメタ記憶部６０４と、音声データ記憶部６０５とを有する。
音声データ記憶部６０５には、音声データが格納されている。音声データは、たとえば、オーディオに関する複数のセグメントを含む集合である。
以降の説明において、音声データ記憶部６０５に格納されている音声データは、話者を識別する情報を表すクラスラベルが付与されていないとする。また、説明の便宜上、各セグメントは、１人の話者から発せられた音声のみを含むとする。たとえば、１つのセグメントが、２人以上の話者の音声を含んでいる場合には、話者セグメンテーション部（不図示）を用いて、当該セグメントを、１人の話者のみが含まれているセグメントに分割することによって、１人の話者から発せられた音声のみを含むセグメントを作成することができる。１人の話者から発せられた音声のみを含むセグメントを作成する処理については多くの方法が知られているので、ここでは、該処理に関する詳細な説明を省略する。
第１目的関数計算部６０３は、第１目的関数が表す処理に従い値を算出する。該第１目的関数が表す処理に従い算出された値は、クラスタリング部６０２における処理にて用いられる。
クラスタリング部６０２は、音声データ記憶部６０５に格納されている音声データを、第１目的関数が最大（または、最小）となるように分類し、該分類に応じたクラスラベル（以降、単に、「ラベル」とも表す）を音声データに対して付与する。
学習部６０１は、クラスタリング部６０２によって付与されたクラスラベルと、学習データとを処理対象として確率的線形判別分析（ＰＬＤＡ）を実行することにより、ＰＬＤＡに関する分類モデル（以降、「ＰＬＤＡモデル」と表す）に含まれているパラメタ（以降、「ＰＬＤＡパラメタ」と表す）を推定する。ＰＬＤＡは、Ｐｒｏｂａｂｉｌｉｓｔｉｃ＿Ｌｉｎｅａｒ＿Ｄｉｓｃｒｉｍｉｎａｎｔ＿Ａｎａｌｙｓｉｓの略称を表す。ＰＬＤＡモデルは、たとえば、音声データに関する話者を識別する場合に用いられるモデルである。
図１１を参照しながら、学習部６０１が有する構成について詳細に説明する。図１１は、学習部６０１が有する構成を示すブロック図である。
学習部６０１は、パラメタ初期化部６１１と、クラスベクトル推定部６１２と、パラメタ算出部６１３と、第２目的関数計算部６１４とを有する。
第２目的関数計算部６１４は、上述した第１目的関数とは異なる第２目的関数が表す処理に従い値を算出する処理を実行する。該第２目的関数が表す処理に従い算出された値は、パラメタ算出部６１３における処理にて用いられる。パラメタ初期化部６１１は、ＰＬＤＡパラメタを初期化する。クラスベクトル推定部６１２は、クラスラベルと、音声データとに基づき、該音声データの特徴を表す話者クラスベクトルを推定する。パラメタ算出部６１３は、第２目的関数計算部６１４が算出する値が最大（または、最小）である場合におけるＰＬＤＡパラメタを算出する。
次に、学習装置６００における処理について説明する。
クラスタリング部６０２は、第１目的関数計算部６０３によって算出された第１目的関数の値が最大（または、最小）となるように、音声データ記憶部６０５に格納されているセグメントを、所定の類似度に基づきクラスタリングすることによって、該セグメントが分類されたクラスタを作成する。該第１目的関数は、たとえば、上述したセグメント間の類似度に基づき定義される。類似度は、たとえば、ユークリッド距離、コサイン類似度等の類似の程度を表す指標である。クラスタリング部６０２は、第１目的関数に関する処理として、たとえば、クラスタに含まれているセグメント間の類似度を最大にする処理、異なるクラスタ間の類似度を最小にする処理、または、クラスラベルに関する情報利得（ｉｎｆｏｒｍａｔｉｏｎ＿ｇａｉｎ）を、情報理論に基づき導出された処理に従い最大にする。クラスタリング部６０２における処理に関しては、話者クラスタリングに適用可能な、種々の目的関数とその最適化アルゴリズムが知られているので、ここでは、詳細な説明を省略する。
学習部６０１は、クラスタリング部６０２が出力した分類結果（すなわち、オーディオセグメントごとに付与されたクラスラベル）を入力し、さらに、音声データ記憶部６０５に格納されている音声データを読み取る。学習部６０１は、読み取った音声データと、該音声データに関するクラスラベルとに基づき、最尤基準に従い教師付き学習処理を実行することによってＰＬＤＡパラメタを推定し、推定したＰＬＤＡパラメタを出力する。
また、特許文献１乃至特許文献３には、上述したようなモデルに関連した技術が開示されている。
特許文献１には、電子文書を複数のクラスに分類する文書分類装置が開示されている。該文書分類装置は、クラスを表すラベルが付与された電子文書に基づき、該ラベルが付与されていない電子文書に関する該ラベルを推定する。
特許文献２には、話者を判別する装置に対して、該装置が話者を推定する基である判別関数を出力する学習装置が開示されている。該判別関数は、所定のカーネル関数の線形和によって与えられている。該学習装置は、話者が与えられている学習データに基づき、該判別関数を構成している係数を算出する。
特許文献３には、画像データに関する特徴を表す特徴量を算出する特徴量算出装置が開示されている。該特徴量算出装置は、画像データを認識する認識装置に、算出した特徴量を出力する。
特開２０１５－１７６５１１号公報 特開２０１２－１１８６６８号公報 特開２０１０－２７１７８７号公報
Ｓｕｂｈａｄｅｅｐ Ｄｅｙ， Ｓｒｉｋａｎｔｈ Ｍａｄｉｋｅｒｉ， ａｎｄ Ｐｅｔｒ Ｍｏｔｌｉｃｅｋ， 「Ｉｎｆｏｒｍａｔｉｏｎ ｔｈｅｏｒｅｔｉｃ ｃｌｕｓｔｅｒｉｎｇ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｄｏｍａｉｎ－ａｄａｐｔａｔｉｏｎ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４１ｓｔ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ＿２０１６）， Ｍａｒｃｈ ２０１６．
しかし、非特許文献１等に記載されているような学習装置は、最尤という観点において、最適なＰＬＤＡパラメタを算出することができない。この理由は、該学習装置においては、ＰＬＤＡパラメタを推定する場合の基準（たとえば、第２目的関数に関する基準）とは異なる基準（たとえば、第１目的関数に関する基準）に従い、未知のデータ（パターン）に関するクラスラベルが決定されるからである。この理由を具体的に説明する。
クラスタリング部６０２は、クラスタ内のオーディオセグメント間の類似度（最小化）や情報利得を最大化することを表す第１目的関数に従いクラスラベルを決定する。これに対し、パラメタ算出部６１３は、ＰＬＤＡモデルに関する尤度等の第２目的関数に基づき、ＰＬＤＡパラメタを算出する。したがって、第１目的関数と、第２目的関数とは異なっている。当該学習装置が複数の目的関数に従い処理を実行するので、当該学習装置によって算出されるＰＬＤＡパラメタは、学習データに対する最尤の観点から好適であるとは限らず、さらに、認識精度の観点からも好適であるとは限らない。
同様に、特許文献１乃至特許文献３に開示されたいずれの装置を用いたとしても、最尤の観点、または、認識精度の観点から、好適なパラメタが算出されるとは限らない。
そこで、本発明の目的の１つは、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出するパラメタ算出装置等を提供することである。
本発明の１つの態様として、パラメタ算出装置は、
データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成手段と、
前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定手段と、
前記推定手段が算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出手段と
を備える。
また、本発明の他の態様として、パラメタ算出方法は、
情報処理装置によって、データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成し、前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定し、算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する。
また、本発明の他の態様として、パラメタ算出プログラムは、
データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成機能と、
前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定機能と、
前記推定機能によって算出された程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出機能と
をコンピュータに実現させる。
さらに、同目的は、係るプログラムを記録するコンピュータが読み取り可能な記録媒体によっても実現される。
本発明に係るパラメタ算出装置等によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。
本発明の第１の実施形態に係るパラメタ算出装置が有する構成を示すブロック図である。 第１の実施形態に係る教師なし学習部が有する構成を示すブロック図である。 第１の実施形態に係るパラメタ算出装置における処理の流れを示すフローチャートである。 本発明の第２の実施形態に係るパラメタ算出装置が有する構成を示すブロック図である。 第２の実施形態に係る準教師付き学習部が有する構成を示すブロック図である。 第２の実施形態に係るパラメタ算出装置における処理の流れを示すフローチャートである。 本発明の第３の実施形態に係るパラメタ算出装置が有する構成を示すブロック図である。 第３の実施形態に係るパラメタ算出装置における処理の流れを示すフローチャートである。 本発明の各実施形態に係るパラメタ算出装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。 パターン学習装置が有する構成を示すブロック図である。 学習部が有する構成を示すブロック図である。
まず、本願発明の理解を容易にするため、本願発明にて用いられている技術について詳細に説明する。
また、以降の説明においては、説明の便宜上、確率、尤度、分散等の数学的な用語を用いて説明するが、数学的に定義される指標とは異なる指標であってもよい。たとえば、確率は、事象が生じる生じやすさの程度を表す指標であってもよい。尤度は、たとえば、２つの事象の関連性（または、類似性、適合性等）を表す指標であってもよい。分散は、あるデータが散らばっている程度（散らばり度）を表す指標であってもよい。すなわち、本発明に係るパラメタ算出装置は、数学的な用語（たとえば、確率、尤度、分散）を用いて説明する処理に限定されない。
以降の説明においては、音声データ等のデータは、複数のクラスに分類されるとする。また、１つのクラスに属しているデータを「パターン」と表すこともある。たとえば、話者認識処理において、データは、たとえば、音声データを構成しているオーディオセグメントである。話者認識処理において、クラスは、たとえば、話者を表すクラスである。
クラスｈ（ｈは、自然数）に属しているパターン（学習データ）を、ある一定の次元数を有する実ベクトルであるｘｉを用いて表す場合に、該学習データを式１のように表すことができる。
Figure 0007103235000001
ただし、μは、ある複数の数値を含む実ベクトルであり、たとえば、ｘｉの平均値を表す。ｙｈは、所定の分布（たとえば、後述する式２に示された多次元正規分布）に従う確率変数であり、クラスｈに固有な潜在変数である。Ｖは、異なるクラス間の分散を表すパラメタを表す。εは、クラス内の分散を表す確率変数を表し、たとえば、式３（後述）に示された多次元正規分布に従うパラメタを表す。
Figure 0007103235000002
ただし、Ｉは、単位行列（ｉｄｅｎｔｉｔｙ＿ｍａｔｒｉｘ）を表す。Ｎ（０，Ｉ）は、平均が０であり、かつ、分散が１である要素を複数含む多次元の正規分布を表す。
Figure 0007103235000003
ただし、Ｃは、ｘｉにおける各要素を用いて定義される共分散行列（ｃｏｖａｒｉａｎｃｅ＿ｍａｔｒｉｘ）を表す。Ｎ（０，Ｃ）は、平均が０であり、かつ、分散がＣである要素を複数含む多次元の正規分布を表す。
式１乃至式３より、学習データｘｉは、平均がμであり、分散が（Ｃ＋ＶＴＶ）である正規分布に従う。この分散のうち、Ｃは、１つのクラスベクトルに関するノイズを表しているので、クラス内における分散として考えることができる。また、Ｖは、異なるベクトルに関して定義されているので、ＶＴＶは、クラス間における分散として考えることができる。
式１乃至式３に基づきクラスを推定する基であるモデル（ＰＬＤＡモデル）は、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：ＬＤＡ）における確率モデルであると考えることができる。この場合に、ＰＬＤＡパラメタは、式４に示すような、パラメタθを用いて規定される。
Figure 0007103235000004
パラメタθ（式４）は、たとえば、最尤基準（ｍａｘｉｍｕｍ＿ｌｉｋｅｌｉｈｏｏｄ＿ｃｒｉｔｅｒｉａ）に基づく教師付き学習（ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）に従った処理を実行することによって決定される。該処理においては、学習データ（すなわち、学習セットＸ＝（ｘ１，ｘ２，・・・，ｘｎ））、及び、各学習データに関連付けされたクラスラベル（すなわち、Ｚ＝（ｚ１，ｚ２，・・・，ｚｎ））に基づき、パラメタθ（式４）が決定される。
パラメタθ（式４）のうち、μは、学習セットＸに含まれている学習データｘｉの平均として算出される。また、学習セットＸがセンタリングされている場合（すなわち、学習セットＸに含まれている学習データｘｉの平均が０になるように移動されている場合）に、μは、０であってもよい。
パラメタθ（式４）の値を決定することによって、決定されたパラメタθを含むＰＬＤＡモデルに従い、各学習データに関するクラスを決定する認識処理が可能である。たとえば、学習データｘｉと、学習データｘｊとの間の類似度Ｓは、式５に示されているような処理に従い、２つの仮説Ｈ０、及び、仮説Ｈ１に関する対数尤度比として算出される。
Figure 0007103235000005
ただし、仮説Ｈ０は、学習データｘｉと、学習データｘｊとが異なるクラスに属している（すなわち、異なるクラスベクトルを用いて表される）という仮説を表す。仮説Ｈ１は、学習データｘｉと、学習データｘｊとが同じクラスに属している（すなわち、同じクラスベクトルを用いて表される）という仮説を表す。「ｌｏｇ」は、たとえば、ネイピア数を底とする対数関数を表す。「ｐ」は、確率を表す。「ｐ（Ａ｜Ｂ）」は、事象Ｂが生じる場合に事象Ａが生じる条件付き確率を表す。類似度Ｓが大きな値であるほど、仮説Ｈ１が成立している可能性は高い。すなわち、この場合に、学習データｘｉと、学習データｘｊとが同じクラスに属している可能性は高い。類似度Ｓが小さな値であるほど、仮説Ｈ０が成立している可能性は高い。すなわち、この場合に、学習データｘｉと、学習データｘｊとが異なるクラスに属している可能性が高い。
次に、式１乃至式５を参照しながら説明したような処理に従い、パラメタ（式４）を算出する学習処理について説明する。
該学習処理においては、まず、パラメタ（式４）が初期化される。次に、初期化された（または、初期化後に更新された）パラメタ（式４）に基づき、学習データ（ｘ１，ｘ２，・・・，ｘｎ）に対する話者クラスベクトル（ｙ１，ｙ２，・・・，ｙＫ）の事後分布が推定される。ここで、Ｋは、話者クラスベクトルの個数を表す。次に、該話者クラスベクトルに基づき、目的関数（たとえば、パラメタ（式６）を含むＰＬＤＡモデルに学習データが適合している程度を表す尤度）が最大である場合（または、目的関数が増大する場合）におけるパラメタ（式６）が算出される。
潜在変数を伴う最尤推定に関するアルゴリズムとして広く知られる期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎ：ＥＭ）法に基づき、パラメタ（式６）の値が収束しない間、上述した処理が繰り返し実行される。
目的関数は、必ずしも、尤度である必要はなく、該尤度の下限を表す補助関数であってもよい。補助関数を用いることにより、尤度が単調に増加することが確実な更新処理手順が得られるので、効率的な学習が可能である。
次に、本発明を実施する実施形態について図面を参照しながら詳細に説明する。
＜第１の実施形態＞
図１を参照しながら、本発明の第１の実施形態に係るパラメタ算出装置が有する構成について詳細に説明する。図１は、本発明の第１の実施形態に係るパラメタ算出装置１０１が有する構成を示すブロック図である。
第１の実施形態に係るパラメタ算出装置１０１は、教師なし学習部１０２と、学習データ記憶部１０３と、パラメタ記憶部１０４とを有する。
学習データ記憶部１０３には、図１０を参照しながら説明したような音声データ等の学習データが格納されている。パラメタ記憶部１０４には、音声データに関するモデルに含まれているパラメタ（後述する式６）の値が格納される。教師なし学習部１０２は、学習データ記憶部１０３に格納されている学習データに対して、式９乃至式１１（後述）を参照しながら後述するような処理に従い、モデルに含まれているパラメタ（式６、たとえば、ＰＬＤＡパラメタ）を算出する。
図２を参照しながら、第１の実施形態に係る教師なし学習部１０２が有する構成について詳細に説明する。図２は、第１の実施形態に係る教師なし学習部１０２が有する構成を示すブロック図である。
教師なし学習部１０２は、初期化部１１１と、クラスベクトル作成部１１２と、クラス推定部１１３と、パラメタ算出部１１４と、目的関数計算部１１５と、制御部１１６とを有する。
初期化部１１１は、教師なし学習部１０２が学習データを入力した場合に、パラメタ記憶部１０４に格納されているパラメタ（後述する式６）の値を初期化する。
目的関数計算部１１５は、所定の目的関数（たとえば、学習データが、式１に示されているような関係性に適合している程度を表す尤度）に示された処理に従い、該所定の目的関数の値を算出する。
パラメタ算出部１１４は、目的関数計算部１１５が該所定の目的関数に関して算出する値が増大する場合（または、該値が最大である場合）におけるパラメタ（後述する式６）を、式９乃至式１１を参照しながら後述するような処理に従い算出する。
クラス推定部１１３は、パラメタ算出部１１４が算出したパラメタ（式６）を含むモデルに基づき、式８を参照しながら後述するような処理に従い、学習データ記憶部１０３に格納されている各学習データに関するクラスラベルを推定する。
クラスベクトル作成部１１２は、ステップＳ１０３に示された処理（図３を参照しながら後述する）に従い、各クラスに関するクラスベクトルを算出する。クラスベクトルは、たとえば、式１に示されたｙｈであり、クラスごとに定義されている潜在変数（ｌａｔｅｎｔ＿ｖａｒｉａｂｌｅ）である。
パラメタ算出部１１４、クラス推定部１１３、及び、クラスベクトル作成部１１２等における処理（すなわち、図３におけるステップＳ１０３乃至ステップＳ１０６）は、たとえば、所定の目的関数の値が所定の値以下である場合に、交互に、かつ、繰り返し実行される。このような反復処理の結果、所定の目的関数が所定の値よりも大きい場合におけるパラメタ（式６）が算出される。
次に、図３を参照しながら、本発明の第１の実施形態に係るパラメタ算出装置１０１における処理について詳細に説明する。図３は、第１の実施形態に係るパラメタ算出装置１０１における処理の流れを示すフローチャートである。
パラメタ算出装置１０１は、学習データ記憶部１０３に格納されている学習データを含む学習セットＸ（＝（ｘ１，ｘ２，・・・，ｘｎ））を読み取る（ステップＳ１０１）。次に、初期化部１１１は、パラメタ記憶部１０４に格納されているパラメタ（式６）を初期化する（ステップＳ１０２）。
Figure 0007103235000006
ただし、Πは、各クラスに関する事前確率（π１，π２，・・・，πＫ）を表し、「π１＋π２＋・・・＋πＫ＝１」である。また、Ｋは、クラスの個数を表す。
初期化部１１１が初期化する処理は、たとえば、ある定数や、確率を表す値を設定する処理、総和が１であるような複数の値をそれぞれのパラメタに設定する処理、単位行列等を設定する処理、学習セットに関する平均、及び、分散を設定する処理であってもよい。または、初期化する処理は、主成分分析（ｐｒｉｎｃｉｐａｌ＿ｃｏｍｐｏｎｅｎｔ＿ａｎａｌｙｓｉｓ）等の統計的な分析手順に従い算出される値を設定する処理等であってもよい。すなわち、初期化する処理は、上述した例に限定されない。
説明の便宜上、学習セットＸは、センタリングされているとする。すなわち、式６において、学習セットＸに含まれている各データの平均であるμは、０であるとする。学習セットＸがセンタリングされていない場合には、図３に示された処理において、各データの平均値を算出すればよい。
クラスベクトル作成部１１２は、初期化部１１１が読み取った学習セットに基づき、クラスベクトルＹ（＝（ｙ１，ｙ２，・・・，ｙＫ））を算出する（ステップＳ１０３）。ｙｉ（ただし、１≦ｉ≦Ｋ）は、クラスｉに関する値を表す。式２に示されているように、クラスベクトルが標準正規分布Ｎ（０，Ｉ）に従っている場合に、クラスベクトル作成部１１２は、たとえば、ボックスミュラー（Ｂｏｘ－Ｍｕｌｌｅｒ’ｓ＿ｍｅｔｈｏｄ）法等の乱数に基づく処理に従い複数の値を算出し、算出した該複数の値を含むクラスベクトルＹを作成する。
クラスベクトル作成部１１２は、複数のクラスベクトルを作成してもよい。たとえば、クラスベクトル作成部１１２は、ｍ（ただし、ｍ≧２）個のクラスベクトル（すなわち、Ｙ（１），Ｙ（２），・・・，Ｙ（ｍ））を作成する。パラメタ算出装置１０１において、複数のクラスベクトルに関する処理を実行することによって、パラメタ（式６）に関して算出した値に関する計算論的な信頼性が増大する。また、クラスベクトル作成部１１２が乱数に基づきクラスベクトルを作成する理由の１つは、教師付き学習（ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）とは異なり、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）においては解析解を得るのが困難だからである。
クラス推定部１１３は、学習セットＸに含まれている各学習データｘｉ（１≦ｉ≦ｎ）が、Ｋ個のクラスベクトルのうち、いずれのクラスに属しているのかを推定する（ステップＳ１０４）。ステップＳ１０４に関する処理を具体的に説明する。クラス推定部１１３は、式７に示されたパラメタを入力するとする。
Figure 0007103235000007
ただし、Ｖｔｅｍｐは、異なるクラス間の分散を表すパラメタを表す。Ｃｔｅｍｐは、クラス内における分散を表すパラメタに関する値を表す。Πｔｅｍｐは、上述したようなクラスに関する事前確率に関する値を表す。また、学習セットに関しては、上述したようなセンタリング処理が適用されているので、μに関する記載は、式７において省略されている。
クラス推定部１１３は、入力したパラメタ（式７）に関して、式８に示す処理に従い、ｍ個のクラスベクトルＹ（ｊ）（１≦ｊ≦ｍ）に関して、それぞれ、学習データｘｉがクラスｋ（１≦ｋ≦Ｋ）に属している確率を算出する。
Figure 0007103235000008
ただし、Ｙ（ｊ）＝（ｙ（ｊ） １，ｙ（ｊ） ２，・・・，ｙ（ｊ） Ｋ）。「Ｚｉｋ＝１」は、学習データｘｉがクラスｋ（１≦ｋ≦Ｋ）に属していることを表す。また、「ｅｘｐ」は、ネイピア数を底（ｂａｓｅ）とする指数関数を表す。また、Ｃｔｅｍｐ －１は、Ｃｔｅｍｐの逆行列を算出する処理を表す。ある文字の右上に付された文字「Ｔ」は、行と列とを転置する処理を表す。
ステップＳ１０４に示された処理の後に、パラメタ算出部１１４は、クラスベクトル作成部１１２が作成したクラスベクトルＹ、及び、クラス推定部１１３が推定した確率（式８）を入力し、式９乃至式１１に示された処理に従い、パラメタ（式６）を求める（ステップＳ１０５）。
Figure 0007103235000009

Figure 0007103235000010

Figure 0007103235000011
ただし、「Σ」は、総和を算出する処理を表す。
尚、式９は、該音声データの特徴を表すクラス間の分散を表すパラメタを算出する処理を表す。式１０は、クラス内の分散を算出する処理を表す。式１１は、各クラスの事前分布を算出する処理を表す。
式９乃至式１１に示された処理は、期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎ：ＥＭ）法に基づき得られた処理であり、得られているパラメタを前提として、目的関数（たとえば、尤度の下限として定義される補助関数）を最大化できることが保証されている。すなわち、パラメタ算出部１１４は、式９乃至式１１に示された処理を実行することによって、所定の目的関数の値が増大する場合（または、該所定の目的関数の値が最大である場合）におけるパラメタ（式６）を算出する。
制御部１１６は、所定の収束判定条件を満たしているか否かを判定する（ステップＳ１０６）。所定の収束判定条件は、所定の目的関数の値の増加が所定の閾値よりも小さい、式９乃至式１１に従い算出されたパラメタの変化量の合計が所定の閾値よりも小さい、式１２（後述）に示された処理に従い算出されたクラス（すなわち、学習データｘｉが属しているクラス）が変化しない等の条件である。
所定の収束判定条件を満たしていない場合に（ステップＳ１０６にてＮＯ）、制御部１１６は、クラスベクトル作成部１１２、クラス推定部１１３、及び、パラメタ算出部１１４がそれぞれ算出した値に基づき、ステップＳ１０３乃至ステップＳ１０６に示された処理を実行するよう制御する。パラメタ算出部１１４は、たとえば、式１２に示されているような処理に従い、学習データｘｉが属しているクラスを算出してもよい。
Figure 0007103235000012
ただし、「ｍａｘＫ」は、以降に示される演算結果の値が最大である場合におけるクラスｋを算出する処理を表す。
所定の収束判定条件を満たしている場合に（ステップＳ１０６にてＹＥＳ）、教師なし学習部１０２は、所定の収束判定条件を満たしているパラメタ（式６）を、パラメタ記憶部１０４に格納する（ステップＳ１０７）。
上述した処理において、学習セットＸに関するクラス数Ｋは、与えられていると仮定した。しかし、クラス数Ｋは、所定の処理に従い算出されてもよい。この場合に、パラメタ算出装置１０１は、所定の処理に従いクラス数Ｋを算出する個数算出部（不図示）を有する。該所定の処理は、たとえば、クラス数Ｋの所定の値を設定する処理であってもよい。所定の値と、真のクラス数とが異なる場合であっても、式１乃至式１２を参照しながら説明したような、パラメタ（式６）の値は、所定の値と真のクラス数とが異なることによる大きな影響は受けない。
また、該所定の処理は、学習セットＸに基づき、クラス数を推定する処理であってもよい。たとえば、個数算出部（不図示）は、所定の目的関数（ＰＬＤＡモデルに学習データが適合している程度（たとえば、尤度））の値と、ＰＬＤＡモデルに関する複雑さ（すなわち、クラス数）とに基づき、クラス数を算出する。クラス数を算出する処理は、たとえば、赤池情報量規準（Ａｋａｉｋｅ’ｓ＿Ｉｎｆｏｒｍａｔｉｏｎ＿Ｃｒｉｔｅｒｉｏｎ）、または、最小記述長（ｍｉｎｉｍｕｍ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｌｅｎｇｔｈ：ＭＤＬ）に基づき、未知のデータに関するクラスを正確に予測するのに適したクラス数を算出する処理であってもよい。
所定の目的関数は、尤度、または、その下限よりも小さな値を算出する補助関数に限定されない。たとえば、該尤度が最大である場合におけるパラメタ（式６）を求める処理は、該パラメタ（式６）に関する事前確率が与えられた場合に定義される事後確率が最大である場合におけるパラメタ（式６）を求める処理、または、学習データに対するベイズ的な周辺確率が最大である場合におけるパラメタ（式６）を求める処理であってもよい。すなわち、パラメタ（式６）を求める処理は、上述した例に限定されない。
次に、本発明の第１の実施形態に係るパラメタ算出装置１０１に関する効果について説明する。
第１の実施形態に係るパラメタ算出装置１０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。この理由は、パラメタ算出装置１０１が１つの目的関数に従い処理されている場合に、該目的関数に従い算出される学習モデルが、ラベルを高精度に推定する基として適切であるからである。言い換えると、第１の実施形態に係るパラメタ算出装置１０１によれば、１つの目的関数（尤度等）の観点にて最適なパラメタ（式６）を得ることができる。この理由は、学習データにクラスラベルが割り当てられていない場合であっても、クラスベクトル作成部１１２、クラス推定部１１３、及び、パラメタ算出部１１４が、交互に処理しながら、目的関数計算部１１５が計算する目的関数の値が増大する場合（または、最大である場合）におけるパラメタ（式６）を求めるからである。
＜第２の実施形態＞
次に、上述した第１の実施形態を基本とする本発明の第２の実施形態について説明する。
以降の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第１の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明を省略する。
図４を参照しながら、本発明の第２の実施形態に係るパラメタ算出装置２０１が有する構成について詳細に説明する。図４は、本発明の第２の実施形態に係るパラメタ算出装置２０１が有する構成を示すブロック図である。
パラメタ算出装置２０１は、準教師付き学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）部２０２と、第１学習データ記憶部２０３と、第２学習データ記憶部２０４と、パラメタ記憶部１０４と、クラスラベル記憶部２０５とを有する。
第１学習データ記憶部２０３には、第１学習データが格納されている。第１学習データは、たとえば、図１を参照しながら説明したような学習データと同様なデータである。したがって、第１学習データ記憶部２０３は、図１における学習データ記憶部１０３を用いて実現することができる。
第２学習データ記憶部２０４には、第２学習データが格納されている。第２学習データは、たとえば、図１を参照しながら説明したような学習データと同様なデータである。したがって、第２学習データ記憶部２０４は、図１における学習データ記憶部１０３を用いて実現することができる。
クラスラベル記憶部２０５には、各第２学習データに関するクラスラベル（以降、単に「ラベル」とも表す）が格納されている。すなわち、クラスラベル記憶部２０５には、該第２学習データに関連付けされたクラスラベルが格納されている。該クラスラベルは、第２学習データが属しているクラスを表す情報である。
したがって、第１学習データは、ラベル付けされていないデータ（すなわち、「ラベルなしデータ」）である。第２学習データは、ラベル付けされているデータ（すなわち、「ラベル付きデータ」）である。
準教師付き学習部２０２は、図６を参照しながら後述するような処理に従い、ラベル付きデータと、ラベルなしデータとに基づき、モデルに含まれているパラメタ（式６）を推定する。
図５を参照しながら、第２の実施形態に係る準教師付き学習部２０２が有する構成について詳細に説明する。図５は、第２の実施形態に係る準教師付き学習部２０２が有する構成を示すブロック図である。
準教師付き学習部２０２は、初期化部１１１と、クラスベクトル作成部１１２と、クラス推定部２１３と、パラメタ算出部１１４と、目的関数計算部１１５と、制御部１１６とを有する。
準教師付き学習部２０２は、クラス推定部２１３以外の各構成要素に関しては、第１の実施形態に係る教師なし学習部１０２が有している構成と同様な構成を有している。準教師付き学習部２０２と、準教師付き学習部２０２とを比較すると、たとえば、教師なし学習部１０２がラベルなしデータを入力するのに対して、準教師付き学習部２０２が、ラベルなしデータと、ラベル付きデータとを入力する点が異なっている。
クラス推定部２１３は、ラベルなしデータ（すなわち、第１学習データ）のみに関して、式８を参照しながら上述したような処理に従い、学習データｉがクラスｋに属している確率を算出する。その後、クラス推定部２１３は、ラベル付きデータ（すなわち、第２学習データと、該第２学習データに関するラベル）に関して、該第２学習データに関連付けされているラベルが表すクラスに関する確率を「１」に設定し、該クラスと異なるクラスに関する確率を「０」に設定する。
クラス推定部２１３は、第２学習データに関連付けされているラベルが表すクラスに関する確率を第１値に設定し、該クラスと異なるクラスに関する確率を第２値に設定してもよい。この場合に、第１値は、第２値よりも大きな値であり、かつ、第１値と、第２値との和が１であればよい。第１値、及び、第２値は、所定の値である必要はなく、乱数（または、擬似乱数）であってもよい。クラス推定部２１３が設定する確率は、上述した例に限定されない。第１値、及び、第２値のうち、少なくともいずれかを乱数に従い算出することによって、過学習問題を低減することができるので、パラメタ算出装置２０１は、データを、より正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。
パラメタ算出部１１４は、クラス推定部２１３が算出した確率に対して、式９乃至式１１に示された処理と同様な処理を実行することによって、パラメタ（式６）を算出する。すなわち、パラメタ算出部１１４は、ラベル付きデータと、ラベルなしデータとに関して算出された確率に基づき、式９乃至式１１に示された処理と同様な処理を実行することによって、パラメタ（式６）を算出する。
次に、図６を参照しながら、本発明の第２の実施形態に係るパラメタ算出装置２０１における処理について詳細に説明する。図６は、第２の実施形態に係るパラメタ算出装置２０１における処理の流れを示すフローチャートである。
準教師付き学習部２０２は、ラベルなしデータと、ラベル付きデータとを含む学習セットを読み取る（ステップＳ１０１）。すなわち、準教師付き学習部２０２は、第１学習データ記憶部２０３からラベルなしデータ（すなわち、第１学習データ）を読み取り、第２学習データ記憶部２０４、及び、クラスラベル記憶部２０５から、ラベル付きデータ（すなわち、第２学習データ、及び、第２学習データに関連付けされたラベル）を読み取る。
初期化部１１１は、パラメタ（式６）を初期化する（ステップＳ１０２）。パラメタ（式６）を初期化する処理は、第１の実施形態にて上述した処理と同様な処理であってもよいし、異なる処理であってもよい。初期化部１１１は、たとえば、ラベル付きデータに対して、最尤基準に基づく教師付き学習を適用することによって、各パラメタ（式６）の値を算出し、算出した値をパラメタ（式６）の初期値として設定してもよい。
クラスベクトル作成部１１２は、図３を参照しながら上述した処理と同様な処理を実行することによって、クラスベクトルを作成する（ステップＳ１０３）。
クラス推定部２１３は、ラベルなしデータと、ラベル付きデータとに関して、それぞれ、クラスを推定する（ステップＳ２０４）。ステップＳ２０４における処理を具体的に説明すると、クラス推定部２１３は、第１学習データ（すなわち、ラベルなしデータ）について、式８を参照しながら説明したような処理に従い、第１学習データｘｉがクラスｋに属している確率を算出する。次に、クラス推定部２１３は、ラベル付きデータ（すなわち、第２学習データと、該第２学習データに関連付けされたクラスラベル）に関して、第２学習データｘｉが、該クラスラベルが表すクラスに属している確率を１に設定する。クラス推定部２１３は、ラベル付きデータに関して、第２学習データｘｉが、該クラスラベルが表すクラスと異なるクラスに属している確率を０に設定する。
パラメタ算出部１１４は、クラスベクトル作成部１１２が作成したクラスベクトルＹ、及び、クラス推定部２１３が推定した確率（式８）を入力し、式９乃至式１１に示された処理に従いパラメタ（式６）を算出する。パラメタ算出部１１４は、式９乃至式１１に示された処理を実行することによって、所定の目的関数が増大する（または、最大である）場合におけるパラメタ（式６）の値を算出する。ただし、この処理において、式９乃至式１１に示されたｉは、ラベル付きデータ、及び、ラベルなしデータを指し示す添え字である。
以降、ステップＳ１０６、及び、ステップＳ１０７に示された処理が実行される。
次に、本発明の第２の実施形態に係るパラメタ算出装置２０１に関する効果について説明する。
第２の実施形態に係るパラメタ算出装置２０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。この理由は、第１の実施形態にて説明した理由と同様な理由である。
第２の実施形態に係るパラメタ算出装置２０１によれば、ラベルを、より一層、正確に推定する基となるモデルを作成することができる。この理由は、ラベルなしデータと、ラベル付きデータとに基づき、パラメタ（式６）を算出するからである。この理由を、より具体的に説明する。
クラス推定部２１３は、第１学習データ（すなわち、ラベルなしデータ）があるクラスに属している確率を算出し、さらに、ラベル付きデータに関しては、該ラベルに従いあるクラスに属している確率を、図６を参照しながら上述したような処理に従い設定する。したがって、パラメタ算出装置２０１がラベルなしデータと、ラベル付きデータとに基づき、パラメタ（式６）を算出するので、ラベル付きデータの割合は、第１の実施形態に比べ増える。この結果、パラメタ算出装置２０１によれば、ラベルを、より一層、正確に推定する基となるパラメタ（式６）を算出することができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
図７を参照しながら、本発明の第３の実施形態に係るパラメタ算出装置３０１が有する構成について詳細に説明する。図７は、本発明の第３の実施形態に係るパラメタ算出装置３０１が有する構成を示すブロック図である。
第３の実施形態に係るパラメタ算出装置３０１は、作成部３０２と、推定部３０３と、算出部３０４とを有する。
次に、図８を参照しながら、本発明の第３の実施形態に係るパラメタ算出装置３０１における処理について詳細に説明する。図８は、第３の実施形態に係るパラメタ算出装置３０１における処理の流れを示すフローチャートである。
作成部３０２は、たとえば、式１に例示されているような関係性を表す関係性情報に含まれているパラメタの値を入力する。該関係性情報は、話者が発した音声データ（たとえば、式１におけるｘｉ）と、所定の分布（たとえば、式２に例示された正規分布）に従った値（たとえば、式２におけるｙｈ）と、異なるクラス間の分散（たとえば、式１におけるＶ）と、クラス内の分散（たとえば、式１におけるε）との関係性を表す情報である。作成部３０２は、該関係性に関するパラメタの値として、該異なるクラス間の分散と、該クラス内の分散とを入力する。
作成部３０２は、該所定の分布に従った値を算出する（ステップＳ３０１）。作成部３０２は、たとえば、上述したようなボックスミュラー法に従い、所定の分布に関する分散を有する値を算出する。作成部３０２は、たとえば、該クラスの個数分の値を算出する。
推定部３０３は、該値と、音声データとに対して、ステップＳ１０４（図３）、または、ステップＳ２０４（図６）に示されている処理と同様な処理を実行することによって、該音声データが１つのクラスに分類される程度（たとえば、確率）を算出する（ステップＳ３０２）。式１に示された関係性情報においては、１つのクラスを、たとえば、クラス間の分散の係数（すなわち、ｙｉ）が相互に類似している程度に基づき定義することができる。
次に、算出部３０４は、推定部３０３が算出した程度を入力し、入力した該程度を用いて式９乃至式１１を参照しながら説明した処理を実行することによって、パラメタ（たとえば、クラス間の分散と、クラス内の分散）を算出する（ステップＳ３０３）。したがって、算出部３０４は、音声データが関係性情報に適合している程度が増大する（または、最大である）場合における、パラメタ（式６）を算出する。
パラメタ算出装置３０１は、たとえば、所定の回数分、図３に示された繰り返し処理（ステップＳ１０３乃至ステップＳ１０６）、または、図６に示された繰り返し処理（ステップＳ１０３、ステップＳ２０４、ステップＳ１０５、及び、ステップＳ１０６）を実行してもよい。または、パラメタ算出装置３０１は、たとえば、式１２を参照しながら上述した処理と同様な処理を実行することによって、上述したような繰り返し処理を実行するか否かを判定してもよい。パラメタ算出装置３０１における処理は、上述した例に限定されない。
したがって、作成部３０２は、上述したようなクラスベクトル作成部１１２（図２、または、図５）が有する機能と同様な機能を用いて実現することができる。推定部３０３は、第１の実施形態に係るクラス推定部１１３、または、第２の実施形態に係るクラス推定部２１３が有する機能と同様な機能を用いて実現することができる。算出部３０４は、上述したようなパラメタ算出部１１４、目的関数計算部１１５、及び、制御部１１６（いずれも、図２または図５）が有する機能と同様な機能を用いて実現することができる。すなわち、パラメタ算出装置３０１は、第１の実施形態に係るパラメタ算出装置１０１（図１）、または、第２の実施形態に係るパラメタ算出装置２０１（図４）が有する機能と同様な機能を用いて実現することができる。
次に、本発明の第３の実施形態に係るパラメタ算出装置３０１に関する効果について説明する。
第３の実施形態に係るパラメタ算出装置３０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。この理由は、パラメタ算出装置３０１が１つの目的関数に基づき、モデルを構成しているパラメタ（式６）を算出するからである。言い換えると、異なる２つの目的関数に基づきパラメタを算出するよりも、１つの目的関数に従いパラメタを算出する方が、正確なモデルを作成できることが多いので、パラメタ算出装置３０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。
尚、上述した実施形態においては、音声データを例としてパラメタ算出装置における処理を説明したが、音声データは、顔画像等の画像データ、または、音声信号等の音声データとは異なるデータであってもよい。
たとえば、顔画像を認識する顔認識装置の場合に、学習セットＸは、各顔画像から抽出した特徴点の座標データであり、クラスラベルＺは、該顔画像と紐付けられる人物識別子（ＩＤ）である。顔認識装置は、これらのデータに基づき、ＰＬＤＡモデルを作成する。
たとえば、話者認識装置の場合に、学習セットＸは、音声信号から抽出された音響特徴量等の統計量データ（話者認識で広く用いられるＧＭＭスーパーベクトルやｉ－ｖｅｃｔｏｒなど）であり、クラスラベルＺは、音声を発声した話者のＩＤである。話者認識装置は、これらのデータに基づき、ＰＬＤＡモデルを作成する。ＧＭＭは、Ｇａｕｓｓｉａｎ＿ｍｉｘｔｕｒｅ＿ｍｏｄｅｌの略称を表す。
すなわち、パラメタ算出装置は、上述した例に限定されない。
（ハードウェア構成例）
上述した本発明の各実施形態に係るパラメタ算出装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係るパラメタ算出装置は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、係るパラメタ算出装置は、専用の装置として実現されてもよい。
図９は、本発明の各実施形態に係るパラメタ算出装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。計算処理装置２０は、中央処理演算装置（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ、以降「ＣＰＵ」と表す）２１、メモリ２２、ディスク２３、不揮発性記録媒体２４、及び、通信インターフェース（以降、「通信ＩＦ」と表す）２７を有する。計算処理装置２０は、入力装置２５、出力装置２６に接続可能であってもよい。計算処理装置２０は、通信ＩＦ２７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
不揮発性記録媒体２４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ）、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ＿Ｖｅｒｓａｔｉｌｅ＿Ｄｉｓｃ）である。また、不揮発性記録媒体２４は、ユニバーサルシリアルバスメモリ（ＵＳＢメモリ）、ソリッドステートドライブ（Ｓｏｌｉｄ＿Ｓｔａｔｅ＿Ｄｒｉｖｅ）等であってもよい。不揮発性記録媒体２４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記録媒体２４は、上述した媒体に限定されない。また、不揮発性記録媒体２４の代わりに、通信ＩＦ２７、及び、通信ネットワークを介して係るプログラムを持ち運びしてもよい。
すなわち、ＣＰＵ２１は、ディスク２３に格納されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際にメモリ２２にコピーし、演算処理を実行する。ＣＰＵ２１は、プログラム実行に必要なデータをメモリ２２から読み取る。表示が必要な場合に、ＣＰＵ２１は、出力装置２６に出力結果を表示する。外部からプログラムを入力する場合に、ＣＰＵ２１は、入力装置２５からプログラムを読み取る。ＣＰＵ２１は、上述した図１、図２、図４、図５、または、図７に示す各部が表す機能（処理）に対応するところのメモリ２２にあるパラメタ算出プログラム（図３、図６、または、図８）を解釈し実行する。ＣＰＵ２１は、上述した本発明の各実施形態において説明した処理を順次実行する。
すなわち、このような場合に、本発明の各実施形態は、係るパラメタ算出プログラムによっても成し得ると捉えることができる。さらに、係るパラメタ算出プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明の各実施形態は成し得ると捉えることができる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、２０１７年２月１７日に出願された日本出願特願２０１７－０２７５８４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０１ パラメタ算出装置
１０２ 教師なし学習部
１０３ 学習データ記憶部
１０４ パラメタ記憶部
１１１ 初期化部
１１２ クラスベクトル作成部
１１３ クラス推定部
１１４ パラメタ算出部
１１５ 目的関数計算部
１１６ 制御部
２０１ パラメタ算出装置
２０２ 準教師付き学習部
２０３ 第１学習データ記憶部
２０４ 第２学習データ記憶部
２０５ クラスラベル記憶部
２１３ クラス推定部
３０１ パラメタ算出装置
３０２ 作成部
３０３ 推定部
３０４ 算出部
２０ 計算処理装置
２１ ＣＰＵ
２２ メモリ
２３ ディスク
２４ 不揮発性記録媒体
２５ 入力装置
２６ 出力装置
２７ 通信ＩＦ
６００ 学習装置
６０１ 学習部
６０２ クラスタリング部
６０３ 第１目的関数計算部
６０４ パラメタ記憶部
６０５ 音声データ記憶部
６１１ パラメタ初期化部
６１２ クラスベクトル推定部
６１３ パラメタ算出部
６１４ 第２目的関数計算部

Claims (8)

  1. データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成手段と、
    前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定手段と、
    前記推定手段が算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出手段と、
    前記適合している程度が、所定の値より大きいか否かを判定する制御手段と
    を備え、
    前記適合している程度が前記所定の値よりも小さい場合に、前記作成手段は、複数の前記クラスベクトルを作成し、前記推定手段は、前記作成手段が作成した前記複数の前記クラスベクトルに関して前記分類のされやすさの程度を算出し、前記算出手段は、前記推定手段が前記複数のクラスベクトルに関して算出した前記程度に基づき、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出し、前記制御手段は、前記適合している程度を、前記推定手段が前記複数のクラスベクトルに関して算出した前記分類のされやすさの程度を合計することによって算出する
    パラメタ算出装置。
  2. 前記推定手段は、前記クラス間の散らばり度、及び、前記クラス内の散らばり度を用いて表されるモデルに対して、前記データが適合している程度を表す事後確率が最大であることを表す目的関数に基づき、前記分類のされやすさの程度を推定する
    請求項１に記載のパラメタ算出装置。
  3. 前記作成手段は、前記所定の分布に従った値を、乱数または擬似乱数を用いて算出する
    請求項１または請求項２に記載のパラメタ算出装置。
  4. 前記分類のされやすさの程度は、確率であり、
    前記推定手段は、前記データに関するクラスラベルに基づき、該データを該クラスラベルに分類する確率を１、該データを他のクラスラベルに分類する確率を０として算出する
    請求項１乃至請求項３のいずれかに記載のパラメタ算出装置。
  5. 前記分類のされやすさの程度は、確率であり、
    前記推定手段は、前記データに関するクラスラベルに基づき、該データを該クラスラベルに分類する確率を第１値、該データを他のクラスラベルに分類する確率を、前記第１値よりも小さな値である第２値として算出する
    請求項１乃至請求項３のいずれかに記載のパラメタ算出装置。
  6. 前記推定手段は、前記第１値、及び、前記第２値を、乱数または擬似乱数に従い算出する
    請求項５に記載のパラメタ算出装置。
  7. 情報処理装置が、データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成し、前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定し、算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出し、前記適合している程度が、所定の値より大きいか否かを判定し、
    前記適合している程度が前記所定の値よりも小さい場合に、複数の前記クラスベクトルを作成し、作成した前記複数の前記クラスベクトルに関して前記分類のされやすさの程度を算出し、前記複数のクラスベクトルに関して算出した前記程度に基づき、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出し、前記適合している程度を、前記複数のクラスベクトルに関して算出した前記分類のされやすさの程度を合計することによって算出するパラメタ算出方法。
  8. データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成機能と、
    前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定機能と、
    前記推定機能によって算出された程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出機能と、
    前記適合している程度が、所定の値より大きいか否かを判定する制御機能と
    をコンピュータに実現させ、
    前記適合している程度が前記所定の値よりも小さい場合に、前記作成機能は、複数の前記クラスベクトルを作成し、前記推定機能は、前記作成機能が作成した前記複数の前記クラスベクトルに関して前記分類のされやすさの程度を算出し、前記算出機能は、前記推定機能が前記複数のクラスベクトルに関して算出した前記程度に基づき、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出し、前記制御機能は、前記適合している程度を、前記推定機能が前記複数のクラスベクトルに関して算出した前記分類のされやすさの程度を合計することによって算出するパラメタ算出プログラム。
JP2018568547A 2017-02-17 2018-02-14 パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム Active JP7103235B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017027584 2017-02-17
JP2017027584 2017-02-17
PCT/JP2018/004994 WO2018151124A1 (ja) 2017-02-17 2018-02-14 パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018151124A1 JPWO2018151124A1 (ja) 2019-12-19
JP7103235B2 true JP7103235B2 (ja) 2022-07-20

Family

ID=63170259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018568547A Active JP7103235B2 (ja) 2017-02-17 2018-02-14 パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム

Country Status (3)

Country Link
US (1) US20200019875A1 (ja)
JP (1) JP7103235B2 (ja)
WO (1) WO2018151124A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087012A (ja) * 2017-11-07 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
CN115273170A (zh) * 2022-06-14 2022-11-01 青岛云天励飞科技有限公司 图像聚类方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060178887A1 (en) 2002-03-28 2006-08-10 Qinetiq Limited System for estimating parameters of a gaussian mixture model
JP2014078100A (ja) 2012-10-10 2014-05-01 Nippon Telegr & Teleph Corp <Ntt> 配信装置及びコンピュータプログラム
US20160027452A1 (en) 2014-07-28 2016-01-28 Sone Computer Entertainment Inc. Emotional speech processing
US20160042739A1 (en) 2014-08-07 2016-02-11 Nuance Communications, Inc. Fast speaker recognition scoring using i-vector posteriors and probabilistic linear discriminant analysis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182161A (ja) * 2012-03-02 2013-09-12 Yamaha Corp 音響処理装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060178887A1 (en) 2002-03-28 2006-08-10 Qinetiq Limited System for estimating parameters of a gaussian mixture model
JP2014078100A (ja) 2012-10-10 2014-05-01 Nippon Telegr & Teleph Corp <Ntt> 配信装置及びコンピュータプログラム
US20160027452A1 (en) 2014-07-28 2016-01-28 Sone Computer Entertainment Inc. Emotional speech processing
US20160042739A1 (en) 2014-08-07 2016-02-11 Nuance Communications, Inc. Fast speaker recognition scoring using i-vector posteriors and probabilistic linear discriminant analysis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAK, Man-Wai et al，Mixture of PLDA for Noise Robust I-Vector Speaker Verification，IEEE/ACM Transactions on Audio Speech and Language Processing (TASLP)，Volume 24, Issue 1，米国，ACM，2016年01月，pp.130-142，<DOI: 10.1109/TASLP.2015.2499038>
VILLALBA, Jesus，Unsupervised Adaptation of SPLDA，arXiv preprint arXiv:1511.07421 [online]，米国，Cornell University，2015年11月20日，インターネット：<URL: https://arxiv.org/abs/1511.07421>

Also Published As

Publication number Publication date
JPWO2018151124A1 (ja) 2019-12-19
US20200019875A1 (en) 2020-01-16
WO2018151124A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
EP3806089A1 (en) Mixed speech recognition method and apparatus, and computer readable storage medium
JP7414901B2 (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
WO2019102884A1 (ja) ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体
US9031897B2 (en) Techniques for evaluation, building and/or retraining of a classification model
CN109360572B (zh) 通话分离方法、装置、计算机设备及存储介质
EP1465154B1 (en) Method of speech recognition using variational inference with switching state space models
US10210424B2 (en) Method and system for preprocessing images
WO2021008037A1 (zh) 基于A-BiLSTM神经网络的文本分类方法、存储介质及计算机设备
JP5704692B2 (ja) パターン分類装置の学習装置及びそのためのコンピュータプログラム
JP7103235B2 (ja) パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム
WO2019163736A1 (ja) マスク推定装置、モデル学習装置、音源分離装置、マスク推定方法、モデル学習方法、音源分離方法及びプログラム
KR20190136578A (ko) 음성 인식 방법 및 장치
Fischer Training restricted boltzmann machines
JP4928193B2 (ja) 顔画像認識装置及び顔画像認識プログラム
CN111401440B (zh) 目标分类识别方法、装置、计算机设备及存储介质
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
JP7173379B2 (ja) 話者認識システムおよびその使用方法
Blöbaum et al. Estimation of interventional effects of features on prediction
CN106297807B (zh) 训练声纹识别系统的方法和装置
JP2007249394A (ja) 顔画像認識装置及び顔画像認識プログラム
Lim et al. More powerful selective kernel tests for feature selection
WO2020173270A1 (zh) 用于分析数据的方法、设备和计算机存储介质
CN110796172A (zh) 金融数据的样本标签确定方法、装置及电子设备
EP1837807A1 (en) Pattern recognition method
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190723

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210115

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151