JP5643430B2 - 主観的な階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置、方法、およびプログラム - Google Patents

Description

本発明は、階層クラスタリング技術に関し、より詳細には、物理的な特徴量の組み合わせとして表現されるコンテンツを、主観的類似度を反映するように階層クラスタリングすることを可能とする特徴量ごとの重みを求める情報処理装置、方法、およびプログラムに関する。

音声、画像、文章、ホームページなどのマルチメディア・コンテンツを、該コンテンツに対して人間が感じる感性的内容の主観的類似度を反映できるようにクラスタリングしたいという要望がある。ここで、感性的内容とは、人が明確に表出する、怒り、喜びといった感情だけでなく、人は感じることができるが言葉では必ずしも分類できないような、微妙な心的態度も含むものをも意味する。感性的内容が主観的に類似していると判断するか、または異なっていると判断するかは、受け手の人間がどれほどの繊細さで感じ分けるかに依存する。従って上記要望を満たすためには、クラスタ数を先に決めない階層クラスタリングを利用することが望ましい。また、一般にマルチメディア・コンテンツは物理的特徴量の組み合わせで表現されるが、全ての物理的特徴量が等しい重要性をもつ訳ではない。そのため、主観的類似度をクラスタリング結果に反映させるように各物理的特徴量の重みを学習する必要がある。

ユーザの主観的類似性度を反映させるクラスタリングの従来技術として、非特許文献１が存在する。非特許文献１が開示する制約付きクラスタリングでは、必ず同一クラスタに入るべきペア（ＭＬ：ｍｕｓｔ−ｌｉｎｋ）と、必ず別クラスタに入るべきペア（ＣＬ：ｃａｎｎｏｔ−ｌｉｎｋ）とが教師データとして用いられる。そして図１（ａ）に示すように、学習時には、教師データ（ＭＬ/ＣＬペア）１００が教師ありクラスタリング部１１０へ入力され、教師ありクラスタリングのアルゴリズムがＭＬ/ＣＬペアの制約を満たすように調整される。運用時には、テストデータ１０５が教師ありクラスタリング部１１０へ入力され、調整後のアルゴリズムを用いてクラスタリング結果１１５が取得される。

また、ユーザの主観的類似性度を反映させる他のクラスタリングの従来技術として、非特許文献２が存在する。非特許文献２が開示する半教師ありクラスタリングでは、教師データの各組（Ｘ、Ａ、Ｂ）についてＸがＡとＢのいずれにより近いかがユーザにより指示される（以下、このような教師データをＸＡＢ形式データという）。そして、図１（ｂ）に示すように、学習時には、ユーザの指示を含む教師データ（ＸＡＢ形式データ）１２０が教師あり重み学習部１２５へ入力され、教師データ１２０が示す関係が満たされるように各物理的特徴量の重み１３０が決定される。運用時には、テストデータ１３５が教師なしクラスタリング部１４０へ入力され、各物理的特徴量の重み１３０を用いて教師なしクラスタリングが行われ、クラスタリング結果１４５が取得される。

以下、本発明の先行技術調査において見つかったその他の従来技術を説明する。

特許文献１は、類似していると人間が感じる文書を高精度で同一クラスタに集約することができ、利用者の意図を反映したクラスタリング結果を得ることを課題とし、利用者が指定した複数のクラスタ内の文書に共通して出現する共通単語を取得し、共通単語のうち、利用者が指定しなかったクラスタでの出現頻度に比べて、該利用者が指定したクラスタ内での出現頻度が相対的に高い共通単語を選択し、該共通単語をキーワードとして、キーワード記憶手段に記録し、同一もしくは他の文書集合に対してクラスタリングを実施する際に、キーワード記憶手段に記録されているキーワードの影響力を強調してクラスタリングを行うクラスタリング手法を開示する。

特許文献２は、画像情報から特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量の組み合わせになる特徴を計算する特徴計算手段と、前記特徴計算手段で計算された特徴量と前記特徴量抽出手段で抽出された特徴量とにより判別器の学習を行う学習手段と、前記学習手段で学習した判別器へ教師データを適用して判別結果と外部から与えられる理想的な判別結果とを照合する照合手段と、前記照合手段における照合結果に基づき、前記特徴計算手段における特徴量の組み合わせ方法を変更する最適化手段とを有している、学習データに基づいて学習した判別器によって画像情報を判別する画像処理装置を開示する。

特許文献３は、予め用意された識別空間を参照して、サンプルパターンを最短距離法によってパターン識別する手段と、前記パターン識別により得られる識別距離数列に基づいて識別確信度を求める手段と、前記識別確信度に基づいて、前記参照した識別空間が前記サンプルパターンの識別に関して良い識別空間であるか否かを判断する手段と、を有することを特徴とするパターン識別装置を開示する。また、特許文献３は、前記サンプルパターンのとり得るカテゴリに関して識別空間を用意する手段と、既に用意された識別空間を参照して既知のサンプルパターンをパターン識別したことにより得られた識別確信度に基づいて前記判断手段が下した判断結果を受けて、この判断結果が良くない識別空間である旨を示す場合に、前記作成手段を制御して、前記予め用意された識別空間とは異なる特徴量を用いた新たな識別空間を、前記既知のサンプルパターンのカテゴリに関して用意させる制御手段と、前記予め用意された識別空間と前記新たに用意された識別空間とを階層状に関係づけて蓄積する手段とを更に開示する。

特許文献４は、文書データをクラスタリング対象に応じたクラスタ数に分類できる文書クラスタリングシステムを提供することを課題とし、特徴ベクトル作成手段103が作成した各文書の特徴ベクトルの組を特異値分解し、特異値分解の結果106から文書間の類似度を計算するための文書類似ベクトル108を作成し、クラスタ作成手段110によって、対象文書に対して文書類似ベクトルを用いて、文書とクラスタ重心との距離を算出し、さらに同一の対象文書に対して一回目の分類に利用した文書類似ベクトルの次元数を増加させて二回目の分類を行い、双方の結果を比較し変化の少ないクラスタを安定クラスタとし、データ選択手段109によって、安定クラスタの文書を対象から除いてクラスタ作成手段の次の分類の対象文書を選定し、この試行を繰り返す、文書クラスタリングシステムを開示する。

非特許文献３は、従来の制約に基づいた手法（ｃｏｎｓｔｒａｉｎｔ−ｂａｓｅｄ ｍｅｔｈｏｄ）と、距離に基づいた手法（ｄｉｓｔａｎｃｅ−ｆｕｎｃｔｉｏｎ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ）とを統合した半教師ありクラスタリングの手法を開示する。

特開２００７−３３４３８８号公報 特開２００６−１２７４４６号公報 特開平７−１２１７０９号公報 特開２００２−１８３１７１号公報

Eric P. Xing, Andrew Y. Nq,Michael I. Jordan, Stuart Russell, "Distance metriclearning, with application to clustering with side information", In Advances inNeural Information Processing Systems 15, Vol. 15(2002), pp. 505-512. Matthew Schultz, Torsten Joachims,"Learning a distance metric from relative comparisons", In Advances in NeuralInformation Processing Systems 16, MIT Press, Cambridge, MA, (2004) Mikhail Bilenko, Sugato Basu, Raymond J.Mooney, "Integrating Constraints and Metric Learning in Semi-SupervisedClustering", Proceedings of th 21st International Conference onMachine Learning,Banff, Canada, July, pp. 81-88

上述したように、非特許文献１が開示する制約付きクラスタリングでは、ＭＬ形式とＣＬ形式の２種類の制約データを教師データとして用意する必要がある。ところが、あるデータ・ペアを同じクラスタに分類するべきか否かは、分類するクラスタ数に依存する。例えば、４クラスタに分類する場合はＭＬ形式とすべきデータ・ペアであっても、より詳細に８クラスタに分類する場合はＣＬ形式とするのが適当であるかもしれない。従って、分類するクラスタ数を先に決定しなければＭＬ／ＣＬ形式の教師データを作成することはできず、クラスタ数を先に決めない階層クラスタリングに非特許文献１の技術を適用することはできない。

一方、非特許文献２が開示する半教師ありクラスタリングでは、ＸがＡとＢのいずれにより近いかを示す教師データを用意すればよいので、分類するクラスタ数が先に決まらなくても教師データを作成できる。しかしながら、非特許文献２が開示する教師データでは、その約１／３がクラスタリング結果を評価するのに無効になるという問題がある。例えば、Ｘ、Ａ、Ｂの３つのコンテンツを階層クラスタリングした結果、図３（ａ）に示すようにＸと結合されるよりも先にＡとＢとが結合されたとする。すると、クラスタリング結果からはＸがＡとＢのいずれにより近いかを判断することができないため、教師データを用いてクラスタリング結果を評価することができない。教師データの数を増やして特徴量の重みを学習したとしても、無効データを増やした方がスコアは高くなることから、無効データを増やす方向に重みの学習が行われてしまう。結局、学習アルゴリズムの設計を工夫しなければならず、複雑な処理が要求される。

特許文献１の技術では、クラスタリングを複数回行う際に、ユーザにより前回のクラスタリング結果で良かった部分、悪かった部分についてフィードバックが与えられる。しかしながら、このフィードバックはＭＬ形式とＣＬ形式の２種類の教師データであるといえるため、非特許文献１について説明したのと同様の理由により、クラスタ数を先に決めない階層クラスタリングに特許文献１の技術を適用することはできない。

特許文献２では、クラスタリング手法としてｋ―ｍｅａｎｓ法やｋ―ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ法が挙げられている。即ち、特許文献２の技術は非階層クラスタリング手法に適用されるものであり、クラスタ数を先に決めない階層クラスタリングに特許文献２の技術を適用することはできない。

特許文献３の技術では、パターン認識をしてうまく認識できなかったカテゴリについて繰り返しパターン認識処理を続けることにより結果として階層構造が得られている。しかしながら、かかる階層構造はデータ間の類似度を表すものではない。また、特許文献３において開示されるクラスタリングは、先にクラスタ数を決めて行うクラスタリングである。以上より特許文献３の技術を利用しても、マルチメディア・コンテンツを、該コンテンツに対して人間が感じる感性的内容の主観的類似度を反映できるようにクラスタリングしたいとう要望を達成することはできない。

特許文献４の技術は、２種類の特徴量ベクトルを利用してそれぞれクラスタリングを行い、類似した結果となったクラスタを安定したクラスタとして採用するため、学習データを必要としない。従って、特許文献４の技術では、人間が感じる感性的内容の主観的類似度を反映するクラスタリングを行えるように、特徴量の重みを学習することができない。

非特許文献３の技術では、学習データとしてＭＬ形式とＣＬ形式の２種類の制約データと、ＸＡＢ形式の相対的類似度データが教師データとして用いられる。そのため、非特許文献３の技術には、非特許文献１の技術に関して説明した問題と、非特許文献２の技術に関して説明した問題の両方の問題が含まれる。

本発明は、上記従来技術における問題点に鑑みてなされたものであり、本発明は、物理的な特徴量の組み合わせとして表現されるコンテンツに対して主観的類似度を反映する階層クラスタリングを行うことができるように、各物理的特徴量の重みを学習し、またクラスタ数に応じた特徴量の重みを採用可能とし、ひいてはコンテンツを人間が感じる感性的内容の主観的類似度を反映できるように階層クラスタリングすることを実現することができる情報処理装置、方法、およびプログラムを提供することを目的とする。

本発明は、上記従来技術の課題を解決するために、以下の特徴を有する物理的な特徴量の組み合わせとして表現されるコンテンツの主観的階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置を提供する。本発明の情報処理装置は、３つずつ組にした複数のコンテンツ（以下、３つ組コンテンツという）を、該３つ組コンテンツの間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報とともに学習データとして複数取得する。情報処理装置は、学習データの各コンテンツの特徴量ベクトルと特徴量ごとの重みを用いて階層クラスタリングを実行し、学習データの階層構造を求める。情報処理装置は、求めた階層構造において３つ組コンテンツの間で最初に同一のクラスタであるとして結合されたペアと、上記３つ組みコンテンツに対応するラベル情報が示すペアとが一致する度合いが増すように、特徴量ごとの重みを更新する。

好ましくは、情報処理装置は、階層クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツの数の３つ組コンテンツの総数に対する割合であるエラー率を算出する。
情報処理装置は、更新された特徴量ごとの重みを用いて学習データに対し階層クラスタリングを繰り返し行い、エラー率が所定の値に収束することに応答して更新された特徴量ごとの重みを出力する。

より好ましくは、情報処理装置は、階層クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツのそれぞれについて、不一致の原因と推測される特徴量を決定し、不一致の原因と決定した特徴量の重みを不一致の原因と決定しなかった特徴量の重みより小さくすることにより、特徴量ごとの重みを更新する。ここで、情報処理装置は、一致しない３つ組みコンテンツに対応するラベル情報が示すペアの特徴量の値の差が、該一致しない３つ組みコンテンツ他のペアの対応する特徴量の値の差と比較して大きい場合に、その特徴量を不一致の原因と推測してよい。

また好ましくは、情報処理装置は、３つ組コンテンツの各組みに重みを付す。情報処理装置は、各特徴量に対し、該特徴量のみを用いて重み付き３つ組コンテンツに対して階層クラスタリングを行い、また、特徴量ごとの階層クラスタリングのエラー率を、各３つ組コンテンツの重みを考慮して求める。情報処理装置は、最小のエラー率を有する特徴量の重みを最小のエラー率を用いて更新すると共に、各３つ組コンテンツの重みを更新した特徴量の重みを用いて更新する。情報処理装置は、階層クラスタリングの結果が改善しなくなるか、又は特徴量の総数回だけ更新処理を行ったことに応答して更新した特徴量ごとの重みを出力する。より好ましくは、情報処理装置は、階層クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツの重みが、階層クラスタリングの結果とラベル情報とが一致する３つ組コンテンツの重みよりも大きくなるように、各３つ組コンテンツの重みを更新した特徴量の重みを用いて更新する。

また好ましくは、情報処理装置は、３つ組コンテンツの各組みに重みを付す。情報処理装置は、各特徴量に対し、該特徴量のみを用いて重み付き３つ組コンテンツに対し階層クラスタリングを行い、また、特徴量ごとの階層クラスタリングのエラー率を、各３つ組コンテンツの重みを考慮して求める。情報処理装置は、最小のエラー率を有する特徴量の仮の重みを最小のエラー率を用いて求めると共に、３つ組コンテンツごとの重みのそれぞれを、仮の重みを用いて更新する。情報処理装置は上記一連の処理を、階層クラスタリングの結果が改善しなくなるか、又は特徴量の総数よりも多い回数だけ更新処理を実行したことに応答して、特徴量ごとに該特徴量に対し求めた仮の重みの総和を該特徴量の重みとして出力する。より好ましくは、情報処理装置は、階層クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツの重みが、階層クラスタリングの結果とラベル情報とが一致する３つ組コンテンツの重みよりも大きくなるように、各３つ組コンテンツの重みを上記仮の重みを用いて更新する。

また好ましくは、情報処理装置は、特徴量ごとの重みを切り替える１以上のレベルlと、各レベルlでの上限クラスタ数Ｎ_lとを更に取得する。情報処理装置は、重みを切り替えようとするレベルlより１つ下のレベルl-1について求められた特徴量ごとの重みを用いて、上限クラスタ数がＮ_l-1になるまでボトムアップ方式で階層クラスタリングを行う。情報処理装置は、Ｎ_l-1クラスタを新たな学習データとして上述した重みを求めるための一連の処理を行い、求まった特徴量ごとの重みを、レベルlに対する特徴量ごとの重みとして出力する。

また好ましくは、情報処理装置は、テストデータおよび表示するべき階層の指示を取得し、テストデータの取得に応答して、学習した特徴量ごとの重みを用いてテストデータに対し階層クラスタリングを実行する。情報処理装置は、階層クラスタリングの結果得られた階層構造から、指示された階層のクラスタ数に分類されたテストデータを取り出して、これを表示部に表示する。

以上、主観的階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置として本発明を説明した。しかし本発明は、そのような情報処理装置によって実施される主観的階層クラスタリングにおける特徴量ごとの重みを求める方法、及びそのような情報処理装置によってインストールされて実行される主観的階層クラスタリングにおける特徴量ごとの重みを求めるプログラムとして把握することもできる。

本発明によれば、３つ組コンテンツの間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報を用いて階層クラスタリングの結果である階層構造が評価され、評価結果に基づいて特徴量ごとの重みが更新されるので、主観的類似度をクラスタリング結果に反映させるように各物理的特徴量の重みを効率的にかつ精度よく学習することができる。また、学習した特徴量ごとの重みを用いることで、人間が感じる感性的内容の主観的類似度を反映できるようにクラスタリングすることが可能となる。更には、クラスタ数に応じて特徴量の重みを変更することが可能となり、分類を大まかに行うときと細かく行うときでは注目する特徴量が異なるという人間の分類における特徴を模擬できる。

図１（ａ）は、従来技術である制約付きクラスタリングの概略を説明する図である。図１（ｂ）は従来技術である距離に基づいた半教師ありクラスタリングの概略を説明する図である。 本発明の実施形態による重み学習装置２００の機能ブロック図である。 図３（ａ）は、従来技術である距離に基づいた半教師ありクラスタリングの結果を例示する図である。図３（ｂ）は、本発明の実施形態によるクラスタリングの結果を例示する図である。 本発明の実施形態による学習時の重み算出処理の全体の流れを示すフローチャートである。 本発明の実施形態によるクラスタリング結果の評価処理の流れを示すフローチャートある。 本発明の実施形態による運用時のクラスタリングの処理の全体の流れを示すフローチャートである。 本発明の第１の実施形態による学習時の重み算出処理の流れを示すフローチャートである。 本発明の第２の実施形態による学習時の重み算出処理の流れを示すフローチャートである。 本発明の第３の実施形態による学習時の重み算出処理の流れを示すフローチャートである。 本発明の実施形態における、レベルの番号付けと、各レベルにおけるクラスタ数の上限とを説明する図である。 本発明の実施形態によるレベルごとに特徴量の重みを変更する処理の流れを示すフローチャートである。 本発明の実施形態によるクラスタリング結果の表示方法を例示する図である。 複数の実験例の結果および従来法の比較例の結果を示すエラー率表である。 本願発明の実施形態による学習装置２００を実現するのに好適な情報処理装置のハードウェア構成の一例を示す。

以下、本願発明を実施するための形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、実施の形態の説明の全体を通じて同じ要素には同じ番号を付している。

１．新形式の教師データ
本発明の実施形態によるクラスタリングの対象となるマルチメディア・コンテンツの表現方法について説明する。音声、画像、文章、ホームページなどのマルチメディア・コンテンツは一般に物理的特徴量の組み合わせ、即ち、複数の特徴量X_i,kを並べたベクトルである特徴量ベクトルV_iとして表現される。ここで、iはコンテンツのインデックスを示し、kはベクトルの次元を示す。また、次元数をDとすると、V_i =[X_i,1, X_i,2, X_i,3,..., X_i,D]^Tである。なお、Tは転置行列であることを示す。例えば音声の場合、基本周波数[Hz]や、継続時間長[msec]などを特徴量X_i,kとして利用できる。但し、特徴量X_i,kの分散は次元kごと異なることから、特徴量X_i,kは、次式（１）に示すように平均と分散がそれぞれ０となるように正規化するのが望ましい。

しかし、あるコンテンツを表現するのに全ての特徴量が等しい重要性をもつ訳ではない。即ち、コンテンツに対して人間が感じる感性的内容が主観的に類似しているか否かを判断する際における主観的類似度に対する特徴量X_i,kの貢献度は、特徴量X_i,kごと異なる。そのため主観的類似度を反映できるようにコンテンツをクラスタリングするには、正規化した特徴量X_i,kをそのまま用いるのではなく、次式（２）に示すように、貢献度を示す重み係数w_kを乗じて用いるのが好ましい。そこで、本発明では、主観的類似度に対する貢献度を示すように各特徴量X_i,kの重みw_kを学習する。

しかしながら上述したように、従来技術が開示する学習のための教師データの形式は、本発明の目的に合致しない。主観的類似度の表現には、クラスタ数を決めない階層クラスタリングが適している。しかし、ＭＬ形式とＣＬ形式の２種類の制約データを教師データとして用意するためには、分類するクラスタ数を先に決定しなければならない。一方、ＸＡＢ形式データを教師データとして使用する場合は、クラスタ数を先に決める必要はない。しかしＸＡＢ形式データから得られる情報は、例えばコンテンツＸはコンテンツＡにより類似しているとすると、Sim(X,A)＞Sim(X,B)という情報のみである（Sim(m,n)はコンテンツmとコンテンツnの類似度を返す関数とする）。そのため図３（ａ）に示すようにクラスタリングの結果得られた階層構造において、コンテンツＸ、Ａ、Ｂ間で最初にコンテンツＡとコンテンツＢが結合されると、ＸＡＢ形式データを用いて上記階層構造を評価することはできない。結局ＸＡＢ形式の教師データはその１／３がクラスタリング結果の評価に無効となる。

そこで本発明では、主観的類似度をクラスタリング結果に反映させるように各特徴量の重みを学習することを可能とする、教師データの新たな形式を導入した。そのような特徴量の重み学習のための新たな形式とは、３つ組コンテンツのコンテンツ間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報付きの３つ組コンテンツデータである。この新たな形式の教師データは、クラスタ数を先に決めることなく作成可能である。また、ラベル情報付きの３つ組コンテンツデータから得られる情報は、例えばコンテンツＡとコンテンツＢが最も類似しているとすると、Sim(A,B)＞Sim(B,C)かつ Sim(A,B)＞Sim(C,A)という情報である。従って、図３（ｂ）に示すようにクラスタリングの結果得られた階層構造において、コンテンツＡ、Ｂ、Ｃ間で最初にコンテンツＡとコンテンツＢが結合されたとしても、ラベル情報付きの３つ組コンテンツデータを用いて上記階層構造を評価できる。より具体的には、クラスタリング結果の階層構造において、コンテンツＡ、Ｂ、Ｃ間で最初に結合されたペアを算出し、これが、ラベル情報が示すペアと一致すれば正答、一致しなければ誤答として評価できる。なお、３つ組コンテンツから最も類似度が高いペアを選択する作業は、３つ組コンテンツから最もかけ離れた１つのコンテンツを選択する作業と等価であり、作業の負担はＸＡＢ形式の教師データとほぼ同じといえる。

２．発明全体の概要
図２を参照して、上記ラベル情報付きの３つ組コンテンツデータを用いた本発明の実施形態による重み学習法を説明する。図２は、本発明の実施形態による重み学習装置２００の機能ブロック図である。重み学習装置２００は、取得部２０５と、ラベル情報格納部２１０と、階層クラスタリング部２１５と、評価部２２０と、重み更新部２２５と、重みデータ格納部２３０とを備える。

取得部２０５は、学習時には、３つ組コンテンツを、該３つ組コンテンツの間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報とともに学習データとして複数取得する。学習に必要な３つ組コンテンツの数や組み合わせに条件はなく、３つ組コンテンツの選択はランダムでよい。但し、一般的な教師データと同様に、学習データの数は多いほど望ましい。また、学習データとするコンテンツは、運用時のテストデータであるコンテンツの性質に近いものであることが要求される。一方運用時には、取得部２０５は、テストデータであるコンテンツを取得する。取得部２０５はまた、クラスタリング結果として表示するべき階層の指示をユーザから取得してもよい。なお、上記取得はユーザから入力装置を介して直接取得してもよく、或いは、事前に記憶装置に用意されている場合には該記憶装置から読み出して取得してもよい。もちろん、ネットワークを介して他のコンピュータから取得してもよい。

ラベル情報格納部２１０は、取得部２０５が取得した３つ組コンテンツごとのラベル情報を、いずれの３つ組コンテンツに対応するラベル情報であるかが分かるような形式で格納する。ラベル情報格納部２１０に格納されるラベル情報は、後述する評価部２２０による評価に利用される。

階層クラスタリング部２１５は、学習時には、学習データの各コンテンツの特徴量ベクトルと特徴量ごとの重みを用いて階層クラスタリングを実行し、学習データの階層構造を求める。階層クラスタリングは、クラスタをボトムアップ的に逐次結合する凝集型クラスタリングであっても、クラスタをトップダウン的に逐次分割する分割型クラスタリングであってもよい。本実施例では、凝集型クラスタリングを採用する。凝集型クラスタリングの手順は以下の通りである。

１．各コンテンツを１要素からなるクラスタとする。
２．全てのクラスタ対について距離を計算する。
３．距離が最小のクラスタ対を結合する。
４．クラスタ数が２以上であれば２．へ戻る。一方、クラス多数が１であればクラスタ生成のプロセスを求めるべき階層構造として出力する。
なお、クラスタ対の距離の求め方の違いにより、最短距離法、最長距離法、群平均法、ウォード法の４つの手法がある。後述する実験ではウォード法を利用していることからウォード法における距離の計算方法を以下に説明する。

ウォード法における距離は次式（３）により定義される。

ウォード法における距離ESS(Error of Sum of Squares)は、クラスタリングの悪さを定義するものであり、上式のように、クラスタC_jに含まれる全てのコンテンツに対して、クラスタC_jの中心μ_j,kからの二乗誤差の重み付き和として表される。ウォード法では、このクラスタリングの悪さを示すESSが最小になるようなクラスタの結合が選択されマージされる。ウォード法の更なる詳細は、例えば、Joe H Ward, ”Hierarchical grouping to optimize anobjective function”, Journal of the American Statistical Association, vol. 58.no.301, pp.236-244, March 1963を参照されたい。

なお、特徴量ごとの重みは、後述する重み更新部２２５により更新され、階層クラスタリング部２１５は、更新された特徴量ごとの重みを用いて学習データに対し階層クラスタリングを繰り返し行う。階層クラスタリングの結果である階層構造は、後述する評価部２２０と重み更新部２２５へ渡される。

階層クラスタリング部２１５は、運用時には、取得部２０５によるテストデータの取得に応答して、特徴量ごと重み更新部２２５が最後に更新した重みを用いてテストデータに対し階層クラスタリングを実行する。採用する階層クラスタリングの方法は、学習時の方法と同じである。階層クラスタリング部２１５は、階層クラスタリングの結果を重み学習装置２００の図示しない記憶部に格納してよい。その後階層クラスタリングの結果は、重み学習装置２００の図示しない表示部によって表示される。取得部２０５により表示するべき階層の指示が取得される場合には、指示された階層のクラスタ数に分類されたテストデータが記憶部に記憶された階層構造に基づき求められ、表示部に表示される。

評価部２２０は、階層クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツの数の３つ組コンテンツの総数に対する割合であるエラー率を算出する。階層クラスタリングの結果とラベル情報の比較は、次のように行う。まずクラスタリング結果の階層構造において、３つ組コンテンツ間で最初に結合されたペアを算出する。例えば、３つ組コンテンツが（Ａ、Ｂ、Ｃ）であり、取得された階層構造が図３（ｂ）に示すものであるとすると、評価部２２０が求めるペアは（Ａ、Ｂ）である。続いて、上記３つ組コンテンツに対応するラベル情報をラベル情報格納部２１０から読み出す。読み出したラベル情報が示すペアと算出したペアが一致する場合は正答カウンタC_sを１増分する。ラベル情報が示すペアと算出したペアが一致しない場合は誤答カウンタC_fを１増分する。全ての３つ組コンテンツについて比較処理が終わったら、次式（４）よりエラー率εを求める。

なお、評価部２２０によるクラスタリング結果の評価は、階層クラスタリング部２１５による階層クラスタリングごと行われる。

重み更新部２２５は、クラスタリング結果である階層構造において３つ組コンテンツ間で最初に同一のクラスタであるとして結合されたペアと、対応するラベル情報が示すペアとが一致する度合いが増すように、特徴量ごとの重みを更新する。更新の具体的方法は図７から図９を参照して後述する。上述したように、階層クラスタリング部２１５は、重み更新部２２５によって更新された特徴量ごとの重みを用いて学習データに対し階層クラスタリングを繰り返し行う。重み更新部２２５もまた、階層クラスタリング部２１５による階層クラスタリングの結果である階層構造に基づいて、繰り返し全てのまたは一部の特徴量の重みを更新する。そして、重み更新部２２５は、階層クラスタリングの結果が改善されなくなったこと、例えば、評価部２２０により算出されたエラー率εが所定の値に収束することに応答して、特徴量ごと最後に更新した重みを出力する。

重みデータ格納部２３０は特徴量ごとの重みを格納する。重みデータ格納部２３０に格納される特徴量ごとの重みは、その学習中重み更新部２２５により更新される。 そして、重みデータ格納部２３０において特徴量ごと最後に更新された重みが、確定した特徴量の重みとして運用時に階層クラスタリング部２１５から読み出される。

次に図４〜図６を参照しながら、本発明の実施形態による特徴量ごとの重み学習方法の処理の流れを説明する。図４は、本発明の実施形態による特徴量ごとの重み学習処理の全体の流れを示すフローチャートである。図５は、本発明の実施形態によるクラスタリング結果の評価処理の流れを示すフローチャートある。図６は、本発明の実施形態による運用時のクラスタリングの処理の全体の流れを示すフローチャートである。

図４に示す学習処理はステップ４００から開始し、取得部２０５は、３つ組コンテンツを、該３つ組コンテンツの間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報とともに学習データとして複数取得する。続いて、ループ１として、ステップ４０２からステップ４０８までの一連の処理が繰り返される。なお、イタレーション番号ｔは１から始まるものとする。階層クラスタリング部２１５は、現在の特徴量ごとの重みを用いて学習データに対し階層クラスタリングを行う（ステップ４０２）。続いて評価部２２０は、クラスタリングの結果である階層構造を、３つ組コンテンツのラベル情報を用いて評価し、エラー率εを求める（ステップ４０４）。評価処理の詳細は図５を参照して後述する。

続いて、重み更新部２２５は、ラベル情報を参照し、クラスタリングの結果である階層構造において３つ組コンテンツの間で最初に同一のクラスタであるとして結合されたペアと、対応するラベル情報が示すペアとが一致する度合いが増すように、特徴量ごとの重みを更新する（ステップ４０６）。そして重み更新部２２５は、評価部２２０により求められたエラー率εを前のイタレーションｔにおいて求められたエラー率εと比較することにより、クラスタリング結果が改善しているか、即ち、収束しているか否かを判定する（ステップ４０８）。

クラスタリング結果が収束していないと判定された場合（ステップ４０８：ＮＯ）、かつ、イタレーション番号ｔがＴ未満である場合、処理はステップ４０２に戻り、ループ１の特徴量ごとの重みの学習が続けられる。ここでＴは、イタレーション数の最大値であり、通常は特徴量の総数でよい。但し、詳しくは後述するが、同じ特徴量が２度選択されることを考慮して、特徴量の総数の２倍等、特徴量の総数以上の値としてもよい。一方、クラスタリング結果が収束したと判定された場合（ステップ４０８：ＹＥＳ）、またはイタレーション番号ｔがＴである場合、ループ１を抜け、処理はステップ４１０へ進む。そして重み更新部２２５は、特徴量ごと最後に求めた重みを学習済みの特徴量の重みとして出力する。そして処理は終了する。なお、特徴量ごとの重みの出力先は、重みデータ格納部２３０であってよい。

図５に示す評価処理はステップ５００から開始し、評価部２２０は、クラスタリング結果である階層構造を階層クラスタリング部２１５から取得する。続いて評価部２２０は、ループ１として、全ての学習データについて、ステップ５０２からステップ５０６／５０８までの一連の処理を繰り返す。評価部２２０は、評価対象の学習データである３つ組コンテンツの中で、取得した階層構造において最も類似すると判断されるペアを求める（ステップ５０２）。

続いて評価部２２０は、ステップ５０２において求めたペアが、ラベル情報格納部２１０に格納される対応するラベル情報が示すペアと一致するか否かを判定する（ステップ５０４）。一致する場合（ステップ５０４：ＹＥＳ）、評価部は正答であるとして正答カウンタC_sを１増分する（ステップ５０６）。一方、一致しない場合（ステップ５０４：ＮＯ）、評価部は誤答であるとして誤答カウンタC_fを１増分する（ステップ５０８）。なお、いずれのカウンタも、評価処理開始時に０で初期化されているものとする。

ループ１の繰り返しを終了すると、続いて評価部２２０は、上述した式（４）を用いてエラー率εを算出し、出力する（ステップ５１０、５１２）。そして処理は終了する。

図６に示す運用時のクラスタリング処理はステップ６００から開始し、取得部２０５は、運用時のテストデータを取得する。続いて階層クラスタリング部２１５は、重みデータ格納部２３０から学習済みの特徴量ごとの重みを取得する（ステップ６０２）。続いて、階層クラスタリング部２１５は、読み出した特徴量ごとの重みを用いてテストデータに対し学習時と同じ階層クラスタリングを行う（ステップ６０４）。最後に階層クラスタリング部２１５は、クラスタリングの結果である階層構造を出力する。そして処理は終了する。なお、階層構造の出力先は、図２に図示しない重み学習装置２００のプリンタやディスプレイ等の出力装置でよく、あるいは記憶部であってもよい。

階層クラスタリング部２１５、評価部２２０、および重み更新部２２５による一連の処理は、図４に矩形４２０で示すようにフィードバックループとなっており、本発明においては、階層構造全体の良し悪しを評価基準として特徴量ごとの重みが学習される。なお、ラベル情報とクラスタリング結果の階層構造とが一致する度合いを増すような特徴量ごとの重みの更新方法については、複数の実装方法が考えられる。これら複数の実装方法をそれぞれ第１実施形態、第２実施形態、および第３実施形態として以下説明する。なお全ての実施形態において、３つ組コンテンツの総組数はNとする。また特徴量の総数（次元数）をFとしそのインデックスの集合S_Fを次式（５）より定義する。

なお、インデックスｆの特徴量を、以下では便宜的に特徴量fと記載する。

３．学習方法
３−１．第１実施形態
第１実施形態による特徴量ごとの重みの更新では、ラベル情報とクラスタリング結果の階層構造との不一致の原因となった特徴量を決定し、該決定に基づき特徴量の重みを更新する。具体的な手順は以下の通りである。なお、以下に示す２．〜６．の各処理はクラスタリング結果が改善しなくなるまで繰り返される。また、各繰り返しの回をラウンドｔとする。
１．全ての特徴量の重みw_fを1/ Fで初期化する。
２．現在のラウンドｔでの特徴量の重みw_fを用いて３つ組コンテンツの学習データに対し階層クラスタリングを実行する。ここで階層クラスタリングは、数式（３）を用いたウォード法であってよい。
３．各３つ組コンテンツについて、クラスタリング結果を評価する。具体的には、各３つ組コンテンツについて、クラスタリングの結果とラベル情報とが一致したか否かを判定し、上述した数式（４）を用いてエラー率εを算出する。
４．３．の評価においてクラスタリングの結果とラベル情報とが一致しないと判定された３つ組コンテンツ（以下、便宜的に不一致３つ組コンテンツという）のそれぞれについて、不一致の原因と推測される特徴量を決定する。一例として、不一致の原因と推測される特徴量は、不一致３つ組みコンテンツの対応するラベル情報が示すペアの特徴量の値の差が、同じ不一致３つ組みコンテンツの他のペアの対応する特徴量の値の差に比較して大きい特徴量である。なお、不一致の原因と推測される特徴量は複数あり得る。
５．不一致の原因として決定した特徴量の重みが残りの他の特徴量の重みより小さくなるように特徴量ごとの重みを更新する。一例として、不一致の原因として決定した特徴量の重みのみを定数倍小さくしてもよい。逆に、不一致の原因として決定しなかった特徴量の重みのみを定数倍大きくしてもよい。あるいは、不一致の原因として決定した特徴量の重みを減らし、他の特徴量の重みは増やすように更新してもよい。
６．全特徴量の重みの和が１になるように正規化する。
なお、１．と４．〜６．の各処理は重み更新部２２５により、２．の処理は階層クラスタリング部２１５により、３．の処理は評価部２２０により、それぞれ実行される。

次に図７を参照して、第１実施形態による学習時の重み算出処理の流れを説明する。図７に示す重み算出処理はステップ７００から開始し、取得部２０５は３つ組コンテンツの学習データを取得する。続いて重み更新部２２５は、全ての特徴量の重みw_fを1/Fに初期化する（ステップ７０２）。続いて、ループ１として、ステップ７０４からステップ７１６までの一連の処理が繰り返される。なお、イタレーション番号tは１から始まるとする。階層クラスタリング部２１５は、現在の特徴量ごとの重みw_fを用いて、学習データに対し階層クラスタリングを行う（ステップ７０４）。

続いて、ループ２として、全ての学習データに対し、ステップ７０６からステップ７１２までの一連の処理が繰り返される。評価部２２０は、クラスタリング結果を評価する（ステップ７０６）。評価処理の詳細は、図５を参照して既に説明していることからここでは省略する。続いて、ループ３として、全ての特徴量fに対し、ステップ７０８からステップ７１２までの一連の処理が繰り返される。重み更新部２２５は、評価の結果、不一致３つ組コンテンツとされた各３つ組コンテンツについて、不一致の原因と推測される特徴量を決定し、現在の特徴量fがその不一致の原因と推測される誤った特徴量であるか否かを判定する（ステップ７０８）。現在の特徴量fが誤った特徴量でない場合（ステップ７０８：ＮＯ）、重み更新部２２５は、特徴量fの重みw_fを増やす（ステップ７１０）。一方、現在の特徴量fが誤った特徴量である場合（ステップ７０８：ＹＥＳ）、重み更新部２２５は、特徴量fの重みw_fを減らす（ステップ７１２）。

続いて、ループ３およびループ２の繰り返しが終了すると、処理はステップ７１４へ進み、重み更新部２２５は、特徴量ごとの重みw_fを正規化する。続いて、重み更新部２２５は、クラスタリング結果が収束したか否かを判定する。上述したようにかかる判定は、評価部２２０により算出されたエラー率εが所定の値に収束すること確認することにより行ってよい。クラスタリング結果が収束していない場合（ステップ７１４：ＮＯ）、かつイタレーション番号ｔがＴ未満の場合、処理はステップ７０４へ戻り、ループ１の一連の処理が繰り返される。ここでＴは、イタレーション数の最大値であり、一例として、特徴量の総数Ｆでよい。一方、クラスタリング結果が収束した場合（ステップ７１４：ＹＥＳ）、またはイタレーション番号ｔがＴである場合、ループ１を抜けて、処理はステップ７１８へ進み、重み更新部２２５は、特徴量ごとの重みw_fを出力する。そして処理は終了する。

３−２．第２実施形態
第２実施形態による特徴量ごとの重みの更新では、３つ組コンテンツの各組みに重みを付し、該重みを、弱識別器としての特徴量に関してＡｄａＢｏｏｓｔのデータ重み計算式を利用して更新する。具体的な手順は以下の通りである。なお、以下に示す２．〜５．の一連の処理は、特徴量の数Fだけ繰り返される。また、各繰り返しの回をラウンドtとする。
１．３つ組コンテンツの各組みの重みD_iを1/Nに初期化する。ここでD_iはi番目の３つ組コンテンツの重みを示す。
２．各特徴量fに対し、該特徴量fのみを用いて重み付き３つ組コンテンツに対し階層クラスタリングを実行する。ここで、階層クラスタリングは、数式（３）を用いたウォード法でよい。但し、特徴量fの重みw_fのみが値１をとり、他の重みの値は全て０となる。またi番目の３つ組コンテンツの各コンテンツの特徴量の値にはその重みD_iを乗じる。
３．各３つ組コンテンツとその重みとを用いて、特徴量fごとのクラスタリング結果を評価する。具体的には、次式（６）により定義されるように各３つ組コンテンツの重みD_iを考慮して、特徴量fごとの重み付きエラー率ε_fを算出する。

なお、i番目の３つ組コンテンツが正答であるとは、特徴量fのみを用いて行ったクラスタリングの結果である階層構造において、i番目の３つ組コンテンツ間で最初に結合されたペアと、i番目の３つ組コンテンツのラベル情報が示すペアとが一致することをいう。逆に、i番目の３つ組コンテンツが誤答であるとは、i番目の３つ組コンテンツ間で最初に結合されたペアと、i番目の３つ組コンテンツのラベル情報が示すペアとが一致しないことをいう。
４．３．の評価において、重み付きエラー率ε_fが最も低かった特徴量fを、このラウンドtでの弱識別器f_tとして採用する。そして、特徴量f_tについてその重みw_ftを次式（７）に示すように最小の重み付きエラー率ε_ftを用いて算出する。

５．各３つ組コンテンツの重みD_iを、そのクラスタリング結果の正誤に基づいてＡｄａＢｏｏｓｔのデータ重み計算式によって更新する。具体的には次式（８）及び（９）に示すように、クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツの重みが、クラスタリングの結果とラベル情報とが一致する３つ組コンテンツの重みよりも大きくなるように、各３つ組コンテンツの重みD_iを弱識別器f_tとして決定された特徴量f_tの重みw_ftを用いて更新する。

なお、１．と４．と５．の各処理は重み更新部２２５により、２．の処理は階層クラスタリング部２１５により、３．の処理は評価部２２０により、それぞれ実行される。また、ＡｄａＢｏｏｓｔのアルゴリズムの詳細については、例えば、Yoav Freund, Robert E. Schapire, ”Adecision-theoretic generalization of on-line learning and an application toboosting,”, Journal of the Computer and System Sciences, pp.119-139, 1997.を参照されたい。

次に図８を参照して、第２実施形態による学習時の重み算出処理の流れを説明する。図８に示す重み算出処理はステップ８００から開始し、取得部２０５は３つ組コンテンツの学習データを取得する。続いて重み更新部２２５は、全ての３つ組コンテンツの重みD_iを1/Nに初期化する（ステップ８０２）。続いて、ループ１として、ステップ８０４からステップ８１４までの一連の処理が特徴量の数Fだけ繰り返される。なお、ループ１のイタレーション番号tは１から始まるとする。また、ループ１内において、ループ２として、ステップ８０４およびステップ８０６の処理が特徴量の数Fだけ繰り返される。なお、現在の特徴量のインデックスfは１から開始するものとする。

階層クラスタリング部２１５は、現在の特徴量fのみを用いて、重み付き学習データに対し階層クラスタリングを行う（ステップ８０４）。続いて、評価部２２０は、ステップ８０４のクラスタリング結果を評価し、特徴量fについての重み付きエラー率ε_fを上式（６）により算出する（ステップ８０６）。

ループ２の繰り返しが終了すると処理はステップ８０８へ進み、重み更新部２２５は、重み付きエラー率ε_fが最小の特徴量fを、現在のラウンドtの弱識別器f_tとして決定する。続いて重み更新部２２５は、ステップ８０８において弱識別器として決定された特徴量f_tの重みw_ftを、上式（７）より求める（ステップ８１０）。続いて、重み更新部２２５は、各３つ組コンテンツの重みD_iを上式（８）および（９）より更新する（ステップ８１２）。続いて重み更新部２２５は、クラスタリング結果が収束したか否かを、ステップ８０８で求めた最小の重み付きエラー率ε_fが所定の値に収束するか否かを判定することにより判定する（ステップ８１４）。より具体的には、最小の重み付きエラー率ε_fが所定の値に収まらなくなった場合に、クラスタリング結果が収束したと判定する。これは後に弱識別器f_tとして選択される特徴量fほど精度は悪くなっていくと考えられるため、所定の値に収まらなくなった時点でループ１を抜けるためである。これに代えて、それまでのイタレーション（１、…、ｔ）で得られたすべての特徴量f_tとそれらの重みw_ftを用いて階層クラスタリングを行い、その階層クラスタリングの精度を評価し、この精度が改善しなくなったことに応答してループ１を抜けるようにしてもよい。該判定方法は、実際に出力しようとする特徴量の重みの組み合わせを収束判定に使用するので好ましい。

クラスタリング結果が収束しない場合（ステップ８１４：ＮＯ）、またはループ１が特徴量の数Fだけ繰り返されていない場合、処理はステップ８０４へ戻り、ループ１の重みの学習処理が継続される。一方、クラスタリング結果が収束した場合（ステップ８１４：ＹＥＳ）、またはループ１が特徴量の数Fだけ繰り返された場合、ループ１を抜け、処理はステップ８１６へ進み、重み更新部２２５は、各ラウンドｔにおいてステップ８１０で求めた特徴量f_tの重みw_ftを学習済みの特徴量ごとの重みw_fとして出力する。そして処理は終了する。

３−３．第３実施形態
第３実施形態による特徴量ごとの重みの更新は、第２実施形態による特徴量ごとの重みの更新を改善したものである。第２実施形態による特徴量ごとの重みの更新では、特徴量の数Fだけ繰り返される学習の各ラウンドtにおいて算出されるのは、弱識別器として決定された特徴量f_tの重みw_ftのみである。しかしながら、ラウンドtごと毎回異なる特徴量fが弱識別器として決定されるとは限らない。即ち、同じ特徴量fが複数回弱識別器として決定される場合もあり、その場合は、前のラウンドtで算出された値は上書きされその情報は失われてしまう。そこで、第３実施形態では、繰り返しの回数を特徴量の数Fに制限せず、また、最終的に求める特徴量ごとの重みを、各ラウンドtで算出された特徴量の重みの総和とした。具体的な手順は以下の通りである。なお、以下に示す２．〜５．の一連の処理はクラスタリング結果が改善しなくなるまで繰り返される。また、各繰り返しの回をラウンドtとする。
１．３つ組コンテンツの各組みの重みD_iを1/Nに初期化する。ここでD_iはi番目の３つ組コンテンツの重みを示す。
２．各特徴量fに対し、該特徴量fのみを用いて重み付き３つ組コンテンツに対し階層クラスタリングを実行する。ここで、階層クラスタリングは、数式（３）を用いたウォード法で利用してよい。但し、特徴量fの重みw_fのみが値１をとり、他の重みの値は全て０となる。またi番目の３つ組コンテンツの各コンテンツの特徴量の値にはその３つ組の重みD_iを乗じる。
３．各３つ組コンテンツとその重みとを用いて、特徴量fごとのクラスタリング結果を評価する。具体的には、上式（６）により定義されるように各３つ組コンテンツの重みD_iを考慮して、特徴量fごとの重み付きエラー率ε_fを算出する。なお、i番目の３つ組コンテンツが正答であるとは、特徴量fのみを用いて行ったクラスタリングの結果である階層構造において、i番目の３つ組コンテンツ間で最初に結合されたペアと、i番目の３つ組コンテンツのラベル情報が示すペアとが一致することをいう。逆に、i番目の３つ組コンテンツが誤答であるとは、i番目の３つ組コンテンツ間で最初に結合されたペアと、i番目の３つ組コンテンツのラベル情報が示すペアとが一致しないことをいう。
４．３．の評価において、重み付きエラー率ε_fが最も低かった特徴量fを、このラウンドtでの弱識別器f_tとして採用する。そして、特徴量f_tについてその仮の重みα_tを次式（１０）に示すように最小の重み付きエラー率ε_ftを用いて算出する。

５．各３つ組コンテンツの重みD_iを、そのクラスタリング結果の正誤に基づいてＡｄａＢｏｏｓｔのデータ重み計算式によって更新する。具体的には次式（１１）及び（１２）に示すように、クラスタリングの結果とラベル情報とが一致しない３つ組コンテンツの重みが、クラスタリングの結果とラベル情報とが一致する３つ組コンテンツの重みよりも大きくなるように、各３つ組コンテンツの重みD_iを弱識別器f_tとして決定された特徴量f_tの仮の重みα_tを用いて更新する。

６．クラスタリング結果が改善しなくなり２．〜５．の一連の処理が終了すると、各特徴量fの重みw_fを次式（１３）により確定する。

なお、１．と４．と５．と６．の各処理は重み更新部２２５により、２．の処理は階層クラスタリング部２１５により、３．の処理は評価部２２０により、それぞれ実行される。

次に図９を参照して、第３実施形態による学習時の重み算出処理の流れを説明する。なお、図９において四角９２０および四角９３０で囲んだ部分が、第２実施形態による学習と異なる部分である。図９に示す重み算出処理はステップ９００から開始し、取得部２０５は３つ組コンテンツの学習データを取得する。続いて重み更新部２２５は、全ての３つ組コンテンツの重みD_iを1/Nに初期化する（ステップ９０２）。続いて、ループ１として、ステップ９０４からステップ９１４までの一連の処理が繰り返される。なお、ループ１のイタレーション番号tは１から始まるとする。また、ループ１内において、ループ２として、ステップ９０４およびステップ９０６の処理が特徴量の数Fだけ繰り返される。なお、現在の特徴量のインデックスfは１から開始するものとする。

階層クラスタリング部２１５は、現在の特徴量fを用いて、重み付き学習データに対し階層クラスタリングを行う（ステップ９０４）。続いて、評価部２２０は、ステップ９０４のクラスタリング結果を評価し、特徴量fについての重み付きエラー率ε_fを上式（６）により算出する（ステップ９０６）。

ループ２の繰り返しが終了すると処理はステップ９０８へ進み、重み更新部２２５は、重み付きエラー率ε_fが最小の特徴量fを、現在のラウンドtの弱識別器f_tとして決定する。続いて重み更新部２２５は、ステップ９０８において弱識別器として決定された特徴量f_tの仮の重みα_tを、上式（１０）より求める（ステップ９１０）。続いて、重み更新部２２５は、各３つ組コンテンツの重みD_iを仮の重みα_tを用いて上式（１１）および（１２）より更新する（ステップ９１２）。続いて重み更新部２２５は、クラスタリング結果が収束したか否かを、ステップ９０８で求めた最小の重み付きエラー率ε_fが所定の値に収束するか否かを判定することにより判定する（ステップ９１４）。より具体的には、最小の重み付きエラー率ε_fが所定の値に収まらなくなった場合に、クラスタリング結果が収束したと判定する。これは、第２実施形態に関して上述したように、後に弱識別器f_tとして選択される特徴量fほど精度は悪くなっていくと考えられるため、所定の値に収まらなくなった時点でループ１を抜けるためである。これに代えて、それまでのイタレーション（１、…、ｔ）で得られたすべての特徴量f_tの各々ついて、該特徴量の仮の重みα_tの総和を特徴量f_tの重みとして用いて階層クラスタリングを行い、その階層クラスタリングの精度を評価し、この精度が改善しなくなったことに応答してループ１を抜けるようにしてもよい。該判定方法は、実際に出力しようとする特徴量の重みの組み合わせを収束判定に使用するので好ましい。

クラスタリング結果が収束しない場合（ステップ９１４：ＮＯ）、またはイタレーション番号がＴ未満である場合、処理はステップ９０４へ戻り、ループ１の重みの学習処理が繰り返される。ここでＴは、イタレーション数の最大値であり、特徴量の総数Ｆの２倍の２Ｆ等、特徴量の総数Ｆよりも大きい値をとる。一方、クラスタリング結果が収束した場合（ステップ９１４：ＹＥＳ）、またはイタレーション番号がＴの場合、ループ１を抜け、処理はステップ９１６へ進み、重み更新部２２５は、各特徴量fの重みw_tを上式（１３）により確定し、出力する。そして処理は終了する。

４．クラスタ数に応じた特徴量の重み算出
次に、クラスタ数に応じて特徴量の重みを変更する処理について説明する。クラスタ数が多い階層と、クラスタが少ない階層では、人間が注目する特徴量は異なっている。即ち、人は大雑把な分類を行う場合（クラスタ数が少ない階層に相当）、少数の特徴量にのみ注目して分類を行う。例えば基本周波数の高低のみで声の明るさを判断し分類する場合などがそれである。一方、人は細かく分類を行う場合（クラスタ数が多い階層に相当）、様々な特徴量により総合的に判断して分類を行う。例えば基本周波数と、パワーと、継続時間長の全てに微妙に表現されている話者の自信によって分類する場合がそれである。

上記類似度の性質を反映させるべく、本発明では、抽象度のレベルに応じた特徴量の重みを算出する。先に使用する記号について説明する。全レベル数をN_L、またl番目のレベル上端でのクラスタ数をN_lとする。但しN₀=N（Nは全学習データであり、３つ組でなく個別のサンプル数を示す）、N_l<N_l-1である。レベルｌは下端でのクラスタ数がN_l-1、上端でのクラスタ数がN_lの範囲として定義される。図１０に、３レベルに分けた階層構造における上記記号の具体例を示す。以下、具体的な手順を説明する。
１．N₀個の学習データと、レベルごとの上端でのクラスタ数N_l（1≦l≦N_L)を取得する。レベルに対応するイタレーション番号ｌは１からはじまり、３．の処理後に１増やす。
２．N_l-1クラスタを学習データとして、上述した第１実施形態〜第３実施形態のいずれかの方法で特徴量ごとの重みを学習する。この重みが階層ｌ（クラスタ数N_l-1からN_lまで）に対する特徴量の重みとなる。
３．直前に求めた特徴量ごとの重みを用いて、クラスタ数がN_lになるまでボトムアップ方式で２．で使用したのと同じ階層クラスタリングを行う。
４．重みを切り替えるレベルN_lの数だけ、２．〜３．を繰り返す。
なお、１．の処理は取得部２０５により、２．の処理の一部は重み更新部２２５により、２．の処理の一部と３．の処理は階層クラスタリング部２１５により、２．の処理の一部は評価部２２０により、それぞれ実行される。

次に図１１を参照して、階層ごとに特徴量の重みを変更する処理の流れを説明する。図１１に示す重み算出処理はステップ１１００から開始し、取得部２０５はN₀個のコンテンツの学習データと、レベルごとの上端でのクラスタ数N_l（1≦l≦N_L)とを取得する。なお、N_Lは全レベル数を示す。

続いてループ１として、ステップ１１０２からステップ１１０８の一連の処理が繰り返される。なお、ループ１のイタレーション番号lは１から始まるとする。重み更新部２２５、階層クラスタリング部２１５、および評価部２２０は、N_l-1クラスタを学習データとして（ステップ１１０２）、上述した第１実施形態〜第３実施形態のいずれかの方法で特徴量ごとの重みを学習し（ステップ１１０４）、求めた特徴量ごとの重みw_l,fを、レベルlに対する特徴量ごとの重みとする（ステップ１１０６）。

続いて、階層クラスタリング部２１５は、直前に求めた特徴量ごとの重みw_l,fを用いて、クラスタ数がN_lになるまでボトムアップ方式でステップ１１０４で使用したのと同じ階層クラスタリングを行う（ステップ１１０８）。イタレーション番号l＝N_Lについて上記一連の処理が終わると、ループ１を抜け、処理は終了する。

５．応用例
本発明の学習方法により学習した特徴量ごとの重みを用いることで、人間が感じる感性的内容の主観的類似度を反映できるようにクラスタリングすることが可能となる。このようなクラスタリングは、一例として、コールセンター・モニタリングにおいてその効果を発揮する。この場合、エージェント（オペレーター）やコーラー（顧客）の感情の変化の検出することが可能となる。その他、本発明は、詐欺などの犯罪の検出や精神医療分野などへの応用も考えられるが、これらに限定されないことは言うまでもない。

図１２は、電話音声のクラスタリング結果の本発明の実施形態による表示方法を例示する。図１２に示すクラスタリング結果１２１０は、電話音声（１本の長いＷＡＶファイル）１２００を息継ぎや無音位置で文や句の複数のセグメント１２０５に分割し、該複数のセグメント１２０５をテストデータとして本発明の学習方法により学習された特徴量ごとの重みを用いて階層クラスタリングした結果得られたものである。

クラスタリング結果１２１０はそのままその階層構造をディスプレイやプリンタ等の出力装置に出力してよい。更にユーザから表示するべき階層の指示を取得し、指示された階層のクラスタ数に分類されたテストデータを表示してもよい。例えば、階層構造１２１０においてユーザによりクラスタ数が２の階層が指示された場合、クラスタリング結果１２１５を表示する。同様に、ユーザによりクラスタ数が４の階層が指示された場合は、クラスタリング結果１２２０を、クラスタ数が１１の階層が指示された場合は、クラスタリング結果１２２５を表示する。複数の階層が選択された場合、それぞれに対応する分類結果を比較可能なように同時に表示してもよい。

図１２に示すクラスタリング結果１２１５、１２１０、１２２５において、同じ模様のセグメントは、類似した感情で発声されている。また、模様が変わる境界を感情が変化する時間的位置として着目すれば、感情変化のトリガーを探すことも可能となる。上記表示方法を採用することにより、ユーザは、インタラクティブに感情分析の粒度を変えながら、話者の感情の遷移を観察することができる。

６．実験結果
図１３を参照して本発明の実験結果を説明する。なお、実験の条件は次の通りである。１．テストデータ
- 女性１話者による「そうですね」の発声、３４サンプル
- (評価者３名) × (ABC形式２５０組) = ７５０組
２．教師データ
- 同一話者による「そうですね」の発声、テストデータとは別の３３サンプル
- （評価者３名） × (ABC形式１００組) = ３００組
３．特徴量
- １６次元
「そう」「です」「ね」に分け、それぞれの区間で継続時間長を算出
「そう」「ね」の平均基本周波数、パワー、HNR（ Harmonics-to-Noise Ratio）、およびそれらのデルタの平均を利用。「です」は基本周波数が不安定なため不使用。
４．比較手法
Ａ．教師なし、かつ、特徴量ごとの重みなしの階層クラスタリング
Ｂ．PCA(PrincipalComponent Analysis)を利用した階層クラスタリング
教師データを使用しない
教師データでPCAにより射影行列を作成してテストデータを射影
Ｃ．Forward selection method
教師データを使用
０次の特徴量ベクトルからスタートして、クラスタリング結果を改善する特徴量のみを、精度が向上しなくなるまで順次追加
Ｄ．本発明の第３の実施形態
教師データを使用

上記手法のうち、ＣとＤの手法はいずれも、階層クラスタリングの結果である階層構造の評価に基づいて求められた特徴量ごとの重みを用いて階層クラスタリングを行っており、どちらも本発明による階層クラスタリングに該当する。また、ＣとＤの手法の手法については、全てのクラスタ数に対して共通の特徴量ごとの重みを利用する方法と、クラスタ数に応じて特徴量の重みを変更する方法の２通りの実験を行った。なお、特徴量ごとの重みの切り替えは試行錯誤によって決定され、手法Ｃではクラスタ数が５の階層で１回であり、手法Ｄではクラスタ数が７と３の階層で２回である。

図１３の表に示す数値は、エラー率（％）であり値の小さい方が成績がよいことを示す。手法ＣのForward selection methodは、従来技術のPCAを利用した階層クラスタリングよりエラー率が高いが、特徴量ごとの重みを切り替えることによって、９％のエラー率削減を達成している。また、Ｄの第３の実施形態による手法では、従来技術のPCAを利用した階層クラスタリングより９．６％のエラー率削減を達成し、特徴量ごとの重みを切り替えることにより１５．２％という更に高いエラー率削減を達成している。

以上の実験結果から、特徴量ごとの重みを階層のクラスタ数に応じて切り替えることによって、高いエラー率削減が期待できることが分かった。また、第３の実施形態による手法ではそのような切り替えを行わなくても十分に高いエラー率削減を達成できることがわかった。なお、階層のクラスタ数に応じた特徴量ごとの重みの切り替えは、階層クラスタリングの結果である階層構造の評価に基づいて特徴量ごとの重みを更新する構成の採用により達成されるものであり、更に、階層クラスタリングの結果である階層構造の評価は、３つ組コンテンツの間で最も類似度が高いペアを指示する形式の教師データによって実現されるものであることに留意されたい。

図１４は、本発明の実施形態による学習装置２００としてのコンピュータ５０のハードウェア構成の一例を示した図である。コンピュータ５０は、バス２に接続されたメインＣＰＵ（中央処理装置）１とメインメモリ４を含んでいる。ハードディスク装置１３、３０、及びＣＤ−ＲＯＭ装置２６、２９、フレキシブル・ディスク装置２０、ＭＯ装置２８、ＤＶＤ装置３１のようなリムーバブル・ストレージ（記録メディアを交換可能な外部記憶システム）がフレキシブル・ディスクコントローラ１９、ＩＤＥコントローラ２５、ＳＣＳＩコントローラ２７などを経由してバス２へ接続されている。

フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような記憶メディアが、リムーバブル・ストレージに挿入される。これらの記憶メディアやハードディスク装置１３、３０、ＲＯＭ１４には、オペレーティング・システムと協働してＣＰＵ１に命令を与え、本発明を実施するためのコンピュータ・プログラムのコードを記録することができる。即ち、上記説明した数々の記憶装置には、コンピュータ５０にインストールされ、コンピュータ５０を本発明の本発明の実施形態による学習装置２００として機能させる特徴量ごとの重みを求めるためのプログラムや、ラベル情報、特徴量ごとの重みといったデータを記録することができる。

上記特徴量ごとの重みを求めるためのプログラムは、取得モジュールと、階層クラスタリングモジュールと、評価モジュールと、重み更新モジュールとを含む。これらモジュールは、ＣＰＵ１に働きかけて、コンピュータ５０を、取得部２０５と、階層クラスタリング部２１５と、評価部２２０と、重み更新部２２５としてそれぞれ機能させる。コンピュータ・プログラムは圧縮し、また複数に分割して複数の媒体に記録することもできる。

コンピュータ５０は、キーボード／マウス・コントローラ５を経由して、キーボード６やマウス７のような入力デバイスからの入力を受ける。コンピュータ５０は、オーディオコントローラ２１を経由して、マイク２４からの入力を受け、またスピーカー２３から音声を出力する。コンピュータ５０は、視覚データをユーザに提示するための表示装置１１に、グラフィックスコントローラ１０を経由して接続される。コンピュータ５０は、ネットワーク・アダプタ１８（イーサネット（登録商標）・カードやトークンリング・カード）等を介してネットワークに接続し、他のコンピュータ等と通信を行うことが可能である。

以上の説明により、コンピュータ５０は、通常のパーソナルコンピュータ、ワークステーション、メインフレームなどの情報処理装置、又は、これらの組み合わせによって実現されることが容易に理解されるであろう。なお、上記説明した構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。

以上、実施形態を用いて本発明の説明をしたが、本発明の技術範囲は上記実施形態に記載の範囲には限定されない。上記の実施形態に、種々の変更又は改良を加えることが可能であることが当業者に明らかである。従って、そのような変更又は改良を加えた形態も当然に本発明の技術的範囲に含まれる。

なお、特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り任意の順序で実現しうることに留意すべきである。また、前の処理の出力を後の処理で用いる場合でも、前の処理と後の処理の間に他の処理が入ることは可能である場合があること、又は間に他の処理が入るように記載されていても前の処理を後の処理の直前に行うよう変更することも可能である場合があることも留意されたい。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」、「続いて、」等を用いて説明したとしても、この順で実施することが必須であることを必ずしも意味するとは限らない。

Claims (17)

1. 特徴量の組み合わせとして表現されるコンテンツの主観的な階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置であって、
   ３つずつ組にした複数のコンテンツ（以下、３つ組コンテンツという）を、該３つ組コンテンツの間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報とともに学習データとして複数取得する取得部と、
   前記学習データの各コンテンツの特徴量ベクトルと前記特徴量ごとの重みを用いて階層クラスタリングを実行し、前記学習データの階層構造を求める階層クラスタリング部と、 前記階層構造において前記３つ組コンテンツの間で最初に同一のクラスタであるとして結合されたペアと、対応する前記ラベル情報が示すペアとが一致する度合いが増すように、前記特徴量ごとの重みを更新する重み更新部と
   を含む、情報処理装置。
2. 前記階層クラスタリングの結果と前記ラベル情報とが一致しない前記３つ組コンテンツの数の３つ組コンテンツの総数に対する割合であるエラー率を算出する評価部を更に含み、
   前記階層クラスタリング部は、更新された特徴量ごとの重みを用いて前記学習データに対し階層クラスタリングを繰り返し行い、
   前記重み更新部は、前記エラー率が所定の値に収束することに応答して更新された前記特徴量ごとの重みを出力する、請求項１に記載の情報処理装置。
3. 前記階層クラスタリング部は、前記各コンテンツの特徴量ベクトルの各要素に該要素に対応する前記特徴量の重みを乗じたものを用いて前記階層クラスタリングを実行し、
   前記重み更新部は、前記階層クラスタリングの結果と前記ラベル情報とが一致しない３つ組コンテンツのそれぞれについて不一致の原因と推測される特徴量を決定し、不一致の原因と決定した特徴量の重みを不一致の原因と決定しなかった特徴量の重みより小さくすることにより、前記特徴量ごとの重みを更新する、請求項２に記載の情報処理装置。
4. 前記不一致の原因と推測される特徴量は、前記一致しない３つ組みコンテンツの対応する前記ラベル情報が示すペアの特徴量の値の差が、前記一致しない３つ組コンテンツの他のペアの対応する特徴量の値の差に比較して大きい特徴量である、請求項３に記載の情報処理装置。
5. 前記３つ組コンテンツの各組みには重みを付しており、
   前記階層クラスタリング部は、各特徴量に対し、該特徴量のみを用いて重み付き３つ組コンテンツに対して階層クラスタリングを行い、
   前記評価部は、特徴量ごとの前記階層クラスタリングのエラー率を、各３つ組コンテンツの重みを考慮して求め、
   前記重み更新部は、最小のエラー率を有する特徴量の重みを前記最小のエラー率を用いて更新すると共に、前記各３つ組コンテンツの重みを更新した前記特徴量の重みを用いて更新し、前記階層クラスタリングの結果が改善されなくなるか、又は特徴量の総数だけ更新処理を行ったことに応答して更新した特徴量ごとの重みを出力する、請求項２に記載の情報処理装置。
6. 前記重み更新部は、前記階層クラスタリングの結果と前記ラベル情報とが一致しない３つ組コンテンツの重みが、前記階層クラスタリングの結果と前記ラベル情報とが一致する３つ組コンテンツの重みよりも大きくなるように、前記各３つ組コンテンツの重みを前記更新した前記特徴量の重みを用いて更新する、請求項５に記載の情報処理装置。
7. 前記３つ組コンテンツの各組みには重みを付しており、
   前記階層クラスタリング部は、各特徴量に対し、該特徴量のみを用いて重み付き３つ組コンテンツに対し階層クラスタリングを行い、
   前記情報処理装置は、特徴量ごとの前記階層クラスタリングのエラー率を、各３つ組コンテンツの重みを考慮して求める評価部を更に含み、
   前記重み更新部は、最小のエラー率を有する特徴量の仮の重みを前記最小のエラー率を用いて求めると共に、前記３つ組コンテンツごとの重みのそれぞれを、前記仮の重みを用いて更新し、
   前記階層クラスタリング部と前記重み更新部は、前記階層クラスタリングの結果が改善されなくなるまでその処理を繰り返し、前記重み更新部は、前記階層クラスタリングの結果が改善されなくなるか、又は特徴量の総数より多い数だけ更新処理を行ったことに応答して、特徴量ごとに該特徴量に対し求めた仮の重みの総和を前記特徴量の重みとして出力する、請求項１に記載の情報処理装置。
8. 前記重み更新部は、前記階層クラスタリングの結果と前記ラベル情報とが一致しない３つ組コンテンツの重みが、前記階層クラスタリングの結果と前記ラベル情報とが一致する３つ組コンテンツの重みよりも大きくなるように、前記各３つ組コンテンツの重みを前記仮の重みを用いて更新する、請求項７に記載の情報処理装置。
9. 前記取得部は、前記特徴量ごとの重みを切り替える１以上のレベルｌと、各レベルlでの上限クラスタ数Ｎ_lとを更に取得し、
   前記階層クラスタリング部は、重みを切り替えるレベルｌより１つ下のレベルｌ-１について求められた特徴量ごとの重みを用いて、クラスタ数がＮ_l-１になるまでボトムアップ方式で階層クラスタリングを行い、
   前記階層クラスタリング及び前記重み更新部は、Ｎ_l-１クラスタを新たな学習データとしてそれぞれの処理を行い、求まった特徴量ごとの重みを、前記レベルｌに対する特徴量ごとの重みとして出力する、請求項１に記載の情報処理装置。
10. 前記階層クラスタリング部は、ウォード法に従う階層クラスタリングを行う、請求項１に記載の情報処理装置。
11. 前記取得部は、テストデータおよび表示するべき階層の指示を取得し、
    前記階層クラスタリング部は、前記テストデータの取得に応答して、前記重み更新部により求められた特徴量ごとの重みを用いて前記テストデータに対し階層クラスタリングを実行し、
    指示された階層のクラスタ数に分類された前記テストデータを表示する表示部を更に有する、請求項１に記載の情報処理装置。
12. 物理的な特徴量の組み合わせとして表現されるコンテンツの主観的な階層クラスタリングにおいける特徴量ごとの重みを求めるために、プロセッサと記憶部を有するコンピュータにおいて実行される方法であって、
    前記プロセッサが、３つずつ組にした複数のコンテンツ（以下、３つ組コンテンツという）を、該３つ組コンテンツの間で最も類似度が高いとユーザにより指示されたペアを示すラベル情報とともに学習データとして複数取得し、前記ラベル情報を前記記憶部へ格納するステップと、
    前記プロセッサが、前記学習データの各コンテンツの特徴量ベクトルと前記特徴量ごとの重みを用いて階層クラスタリングを実行し、前記学習データの階層構造を求めるステップと、
    前記プロセッサが前記記憶部に格納された前記ラベル情報を参照し、前記階層構造において前記３つ組コンテンツの間で最初に同一のクラスタであるとして結合されたペアと、対応する前記ラベル情報が示すペアとが一致する度合いが増すように、前記特徴量ごとの重みを更新するステップと
    を含む、方法。
13. 前記プロセッサが、前記階層クラスタリングの結果と前記ラベル情報とが一致しない前記３つ組コンテンツの数の３つ組コンテンツの総数に対する割合であるエラー率を算出するステップを更に含み、
    前記階層クラスタリングは、更新された特徴量ごとの重みを用いて前記学習データに対して繰り返し行われ、
    前記プロセッサは、前記エラー率が所定の値に収束することに応答して更新された前記特徴量ごとの重みを出力する、請求項１２に記載の方法。
14. 前記３つ組コンテンツの各組みには重みを付しており、
    前記階層構造を求めるステップは、各特徴量に対し、該特徴量のみを用いて重み付き３つ組コンテンツに対して階層クラスタリングを実行するステップを含み、
    前記エラー率を算出するステップは、各３つ組コンテンツの重みを考慮して、特徴量ごとの前記階層クラスタリングのエラー率を算出するステップを含み、
    前記特徴量ごとの重みを更新するステップは、最小のエラー率を有する特徴量の重みを前記最小のエラー率を用いて更新すると共に、前記各３つ組コンテンツの重みを更新した前記特徴量の重みを用いて更新し、前記階層クラスタリングの結果が改善されなくなるか、又は特徴量の総数だけ更新処理を行ったことに応答して更新した特徴量ごとの重みを出力するステップを含む、請求項１３に記載の方法。
15. 前記３つ組コンテンツの各組みには重みを付しており、
    前記階層構造を求めるステップは、各特徴量に対し、該特徴量のみを用いて重み付き３つ組コンテンツに対し階層クラスタリングを行うステップを含み、
    前記プロセッサが、特徴量ごとの前記階層クラスタリングのエラー率を、各３つ組コンテンツの重みを考慮して求めるステップを更に含み、
    前記特徴量ごとの重みを更新するステップは、最小のエラー率を有する特徴量の仮の重みを前記最小のエラー率を用いて求めると共に、前記３つ組コンテンツごとの重みのそれぞれを、前記仮の重みを用いて更新するステップを含み、
    前記プロセッサは、前記階層クラスタリングを行うステップおよび前記特徴量ごとの重みを更新するステップを繰り返し、前記階層クラスタリングの結果が改善されなくなるか、又は特徴量の総数より多い数だけ更新処理を行ったことに応答して、特徴量ごとに該特徴量に対し求めた仮の重みの総和を前記特徴量の重みとして出力する、請求項１２に記載の方法。
16. 前記プロセッサが、前記特徴量ごとの重みを切り替える１以上のレベルlと各レベルlでの上限クラスタ数Ｎ_lとを取得するステップを更に含み、
    前記階層構造を求めるステップは、重みを切り替えようとするレベルlより１つ下の階
    層l-１について求められた特徴量ごとの重みを用いて、上限クラスタ数がＮ_l-１個になるまでボトムアップ方式で階層クラスタリングを行うステップを含み、
    前記階層クラスタリングを行うステップおよび前記特徴量ごとの重みを更新するステップは、Ｎ_l-１のクラスタを新たな学習データとしてそれぞれの処理を行うステップを含み、前記特徴量ごとの重みを更新するステップは、求まった特徴量ごとの重みを、前記レベルlに対する特徴量ごとの重みとして出力するステップを含む、請求項１２に記載の
    方法。
17. 請求項１２乃至１６のいずれか一項に記載の方法をコンピュータに実行させる、物理的
    な特徴量の組み合わせとして表現されるコンテンツの主観的な階層クラスタリングにおける特徴量ごとの重みを求めるためのプログラム。

Images