JP6397378B2 - 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム - Google Patents

Description

本発明は、画像・音声・映像などの信号コンテンツの検索や認識を実行するための特徴量を生成するに当たり、文書を用いることで、より意味的に関連した信号コンテンツの発見を可能にする特徴量を生成するための特徴量生成方法、特徴量生成装置、特徴量生成プログラムに関する。

通信環境、コンピュータ、分散処理基盤技術等の高度化・高品質化により、ネットワークに流通するメディアコンテンツ（画像・映像・音声等）の数は膨大なものとなっている。例えば、ある検索エンジンがインデクシングしているウェブページの数は数兆にのぼるといわれている。また、あるサイトでは、日々３．５億の画像がアップロードされていると報告されており、また、あるサイトでは、１分当たり６４時間分の映像が新規に公開されているとの報告もある。

以降、便宜上、画像、映像、音声等の信号メディアによってなるコンテンツを信号コンテンツと呼称する。

このような膨大な量の信号コンテンツは、利用者にとっては豊富な情報源となる一方で、閲覧したい信号コンテンツに素早くアクセスすることがますます困難になっているという課題ももたらしている。このような流れの中、閲覧・視聴したい信号コンテンツを効率的に探し出すためのメディア解析技術への要望がますます高まってきている。

信号コンテンツの解析においては、意味的に関連している信号コンテンツを発見する手続きが重要な役割を果たす。例えば、信号コンテンツを分類する場合を考えると、同じような意味概念に属する信号コンテンツを同じカテゴリに分類することが常である。あるいは信号コンテンツを検索する場合、信号コンテンツをクエリとして与えたとき、この信号コンテンツと意味的に関連している信号コンテンツを検索することが基本的な要件となる。その他、コンテンツ推薦においても利用者がこれまでに閲覧した／閲覧している信号コンテンツと意味内容として類似した信号コンテンツを発見してこれを推薦するし、コンテンツ要約の場合においても、意味的に重複のない内容にまとめていく処理が必要となる。

意味的に関連する信号コンテンツを発見する典型的な手続きについて解説しておく。まず、信号コンテンツをある特徴量によって表現する。次に、特徴量同士の近さを測ることで類似度を計算し、この類似度が近いものほど、意味的に関連している信号コンテンツであると見做す。単純な例を挙げれば、信号コンテンツが画像や映像であれば、画像（映像フレーム）の色ヒストグラムを特徴量としてその類似度を測ることができる。音声信号であれば、音声信号の波形の周波数特性を解析したもの（Mel-Frequency Cepstral Coefficient等）を特徴量として類似度を測ることができる。いうまでもなく、仮にコンテンツの数が1,000あれば、1,000のコンテンツそれぞれに対して類似度を計算し、結果類似度の高いコンテンツを類似コンテンツとして拾い上げる必要がある。

しかしながら、信号コンテンツの類似度を測る際には、下記（１）及び（２）に示す２つの重要な課題がある。
（１）膨大な計算時間を要する
（２）意味的に類似した信号コンテンツを発見することが難しい

以下、上記（１）及び（２）に示した重要な課題について、具体的に説明する。

（１）通常、信号コンテンツの特徴量（ベクトル）の次元は高次元になることが多く、その類似度の計算には膨大な時間を要する。画像や映像を例に挙げると、色ヒストグラムのような単純な特徴量であっても、一般に数百〜数千次元の実数値ベクトルとなるし、最近用いられるニューラルネットを用いた特徴表現では数千次元、スパース表現やフィッシャーカーネルに基づく特徴表現では、数十万〜数百万次元のベクトルとなることもあり得る。さらに、全てのコンテンツの組に対してその類似度を計算する必要があるため、どのような類似度計算手段を用いようとも、特徴量の次元Ｄ、コンテンツ数Ｎに対してそれぞれ比例する計算時間を要する。

（２）先に述べた色ヒストグラムのような画像特徴量に代表されるように、画像・映像・ 音声等の信号コンテンツの特徴表現は、一般に物理的な性質を表すものが殆どであるが、当然のことながら、物理的な特徴量が近いからと言って、必ずしも意味的に関連のある信号コンテンツであるとは言えない。例えば、『（赤い）リンゴ』の画像に類似したコンテンツとして欲しいのは、『赤い鞄』ではなく、同じ果物である『青リンゴ』や『オレンジ』であるが、これらは少なくとも色ヒストグラムの近さで正しく評価することはできない。

以上の背景を鑑み、実用上、（１）高速でありながらも、（２）意味的に関連したコンテンツの発見を可能にする信号コンテンツの特徴量を生成することができる技術が望まれる。

従来、このような技術に関していくつかの発明がなされ、開示されてきている。

例えば、非特許文献１に開示されている技術では、沢山の画像群と、それに付随する意味ラベル（すなわち、個々の画像がどういった意味カテゴリに属するかを指示するラベル）とが所与の下、Convolutional Neural Network (CNN)を利用して画像と意味ラベルとの関係を学習し、特徴量化する方法について開示されている。

また、特許文献１に開示されている技術では、２種類の同時共起する信号コンテンツの特徴量の圧縮において、一方あるいは双方の特徴量が欠損していて同時共起とならなかった信号コンテンツを含む場合において、元の特徴量の次元を削減して低次元化する特徴量生成技術が開示されている。

特開２０１０−２８２２７７号公報

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks." In Proc. Advances in Neural Information Processing Systems (NIPS)", Pages. 1097-1105, 2012.

非特許文献１に開示されている技術では、画像と意味ラベルとのペアを元に画像と意味ラベルとの関係を学習することで、意味的な画像特徴量を得ることを可能にしていた。しかしながら、この技術は膨大な量の画像（例えば、非特許文献１に開示されている例ではおよそ120万枚の画像）と、そのそれぞれに対する意味ラベルが既知であることを前提とする。多くの場合、画像に意味ラベルを付与する場合には人手によって付与しなければならず、このような膨大な量の画像に意味ラベルを付与することは多大な労力がかかるため、現実的にこの技術を利用しにくい場合が多かった。また、この技術は画像に対してのみ適用できる技術であり、例えば音声など他の信号コンテンツに適用することはできなかった。

また、特許文献１に開示されている技術は、同時共起する２種のコンテンツのペアを前提として、その相関関係を使って新たな低次元特徴量を生成する技術である。非特許文献１に開示されている技術とは異なり、画像に意味ラベルを直接付与する必要がない点が特長である。

特許文献１の技術において、特徴量は、信号コンテンツの特徴量と文書の特徴量との統計量（相関）に基づいて学習生成される。しかしながら、信号コンテンツの物理的な特徴量と、文書の意味的な特徴量との単純な相関は、必ずしも有意ではない場合も多く、結果として意味的に関連した信号コンテンツを発見できるような特徴量を得ることは難しい場合も多かった。特に、この技術は、同時共起する信号コンテンツと文書とのペアを多数必要とするものであり、もし十分な数のペアが集められないような場合には、十分な精度を得ることが難しかった。

本発明は、以上のような事情に鑑みてなされたものであり、信号コンテンツの低次元特徴量を生成可能であり、かつ、文書の意味内容と対応した、文書特徴量の特徴的な幾何的特性を捕捉し、幾何的特性に基づいて信号コンテンツと文書との関連性を学習することで、信号コンテンツと文書のペアが少ないような場合であっても、意味的に関連した信号コンテンツを精度良く発見することを可能とする特徴量生成方法、特徴量生成装置、及び特徴量生成プログラムを提供することを目的とする。

上記目的を達成するために、本発明の特徴量生成方法は、所望の種別の信号コンテンツ及び文書がそれぞれ１つ以上所与であり、前記信号コンテンツ及び前記文書の１つ以上の組の関係性の有無を表す関係指示子が所与である場合に、前記信号コンテンツの低次元特徴量を生成する特徴量変換関数を学習する特徴量生成方法であって、前記文書に含まれる単語の共起に基づいて、共起しやすい単語ほど相互に近い単語ベクトルになるように、各単語及び単語ベクトル間の対応関係を生成する単語ベクトル学習ステップと、学習した前記単語ベクトルを用いて、前記文書の文書特徴量を抽出する文書特徴抽出ステップと、前記信号コンテンツの初期特徴量を抽出する初期特徴量抽出ステップと、前記単語ベクトル及び前記文書特徴量のうちの少なくとも１つを用いて、前記信号コンテンツ及び前記文書の相対的幾何関係を求め、前記初期特徴量、前記相対的幾何関係、及び関係指示子に基づいて、前記初期特徴量を低次元特徴量に変換する特徴量変換関数を生成し、出力する特徴量変換関数生成ステップと、を有する。

なお、記所望の種別の信号コンテンツが所与である場合において、前記信号コンテンツの前記低次元特徴量を生成する特徴量生成方法であって、前記信号コンテンツの前記初期特徴量を抽出する初期特徴量抽出ステップと、上記特徴量生成方法により生成した前記特徴量変換関数に基づいて、前記初期特徴量を低次元化して出力する低次元化ステップと、を有するようにしても良い。

また、本発明の特徴量生成装置は、所望の種別の信号コンテンツ及び文書がそれぞれ１つ以上所与であり、前記信号コンテンツ及び前記文書の１つ以上の組の関係性の有無を表す関係指示子が所与である場合に、前記信号コンテンツの低次元特徴量を生成する特徴量変換関数を学習する特徴量生成装置であって、前記文書に含まれる単語の共起に基づいて、共起しやすい単語ほど相互に近い単語ベクトルになるように、各単語及び単語ベクトル間の対応関係を生成する単語ベクトル学習部と、学習した前記単語ベクトルを用いて、前記文書の文書特徴量を抽出する文書特徴抽出部と、前記信号コンテンツの初期特徴量を抽出する初期特徴量抽出部と、前記単語ベクトル及び前記文書特徴量のうちの少なくとも１つを用いて、前記信号コンテンツ及び前記文書の相対的幾何関係を求め、前記初期特徴量、前記相対的幾何関係、及び関係指示子に基づいて、前記初期特徴量を低次元特徴量に変換する特徴量変換関数を生成し、出力する特徴量変換関数生成部と、を有する。

また、所望の種別の信号コンテンツが所与である場合において、信号コンテンツの低次元特徴量を生成する特徴量生成装置であって、前記信号コンテンツの初期特徴量を抽出する初期特徴量抽出部と、上記特徴量生成装置により生成した前記特徴量変換関数に基づいて、前記初期特徴量を低次元化して出力する低次元化部と、を有するようにしても良い。

本発明の特徴量生成プログラムは、コンピュータに、上記特徴量生成方法の各ステップを実行させるためのプログラムである。

以上の特徴からなる本発明によれば、文書特徴量の持つ幾何的な特性を捉えることで、文書の持つ意味内容をより正確に捉え、幾何的特性を用いて信号コンテンツと文書の関係性を学習することで、信号コンテンツと文書のペアが少ないような場合であっても、より意味的に関連した信号コンテンツを精度よく発見することを可能とする信号コンテンツの低次元特徴量を生成可能な特徴量生成方法、特徴量生成装置、特徴量生成プログラムを提供することができる。

さらに、本発明により生成される信号コンテンツの特徴量は、元の初期特徴量と比べて非常に低次元であることから、高速な類似コンテンツの発見が可能である。つまり、より実時間性の要求される利用に対しても対応可能であり、これらの効果を活用した具体的な利用シーンとして、街中を歩いているときに気になる場所や商品をモバイル端末で写真撮影し、類似した場所・商品を検索することが可能になるという利点がある。

上記２点の特長によれば、本発明によって（１）高速でありながらも、（２）意味的に類似したコンテンツの発見を可能にする信号コンテンツの特徴量を生成可能である。

第１実施形態に係る特徴量生成装置の構成を示すブロック図である。 実施形態に係る特徴量変換関数の生成方法を説明するための模式図である。 実施形態に係る特徴量生成装置により実行される特徴量変換関数学習処理の流れを示すフローチャートである。 実施形態に係る特徴量生成装置により実行される特徴量変換処理の流れを示すフローチャートである。 第２実施形態に係る特徴量生成装置の構成を示すブロック図である。

以下、本発明の実施形態について図面を用いて説明する。

＜＜全体構成＞＞

図１は、本発明の実施形態に係る特徴量生成装置１の構成の一例を示す機能ブロック図である。

同図に示す特徴量生成装置１は、単語ベクトル学習部１１、文書特徴量抽出部１２、初期特徴量抽出部１３、特徴量変換関数生成部１４、及び、低次元化部１５を備える。また、特徴量生成装置１は、記憶装置として記憶部３を備える。

また、特徴量生成装置１は、コンテンツデータベース２と通信手段を介して接続されて相互に情報通信する。特徴量生成装置１は、コンテンツデータベース２に登録された信号コンテンツ２１、文書２２、及び関係指示子２３に基づいて特徴量変換関数３１を生成して記憶部３に格納する特徴量変換関数学習処理を実行する。また、特徴量生成装置１は、学習して生成した特徴量変換関数３１を用い、信号コンテンツ４の初期特徴量に基づいて新たな低次元特徴量５を生成する特徴量変換処理を実行する。

なお、同図において、実線矢印は、特徴量変換関数学習処理時のデータの通信とその方向を示し、破線矢印は、特徴量変換処理時のデータの通信とその方向を表している。

コンテンツデータベース２は、特徴量生成装置１の内部にあっても外部にあっても構わない。上述した通信手段は、任意の公知ものを用いることができる。本実施形態では、コンテンツデータベース２が特徴量生成装置１の外部にあるものとして、特徴量生成装置１は、インターネット、ＴＣＰ／ＩＰにより通信する通信手段を介してコンテンツデータベース２に接続されているものとする。本実施形態では、コンテンツデータベース２は、いわゆるＲＤＢＭＳ (リレーショナルデータベース管理システム；Ｒｅｌａｔｉｏｎａｌ Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）を含んで構成されているものとするが、これに限らず、他の管理システムを用いたデータベースであっても良い。

同図に示すように、コンテンツデータベース２には、信号コンテンツ２１、文書２２、及び関係指示子２３が格納されている。信号コンテンツ２１は、複数のコンテンツファイルの集合によって構成される。例えば、信号コンテンツ２１の種別が画像である場合、信号コンテンツ２１は画像ファイルの集合によって構成される。信号コンテンツ２１の種別が音である場合は、信号コンテンツ２１は音ファイルに集合によって構成される。信号コンテンツ２１の種別が映像である場合は、信号コンテンツ２１は映像ファイルの集合によって構成される。一方、文書２２は、文書ファイルの集合によって構成される。

コンテンツデータベース２には、各々の信号コンテンツ２１のコンテンツファイル、各々の文書２２の文書ファイルに対して、それぞれを一意に識別可能な識別子（例えば、ファイル固有の通し番号によるＩＤ等）が関連付けられており、任意のファイルを識別子を指定することにより参照することができる。

関係指示子２３は、各々の信号コンテンツ２１のコンテンツファイル、及び、各々の文書２２の文書ファイルの間の“関係”を示すものであり、“関係”があると判断される信号コンテンツ２１のコンテンツファイル及び文書２２の文書ファイルの組を識別子の組として記述したものである。ここで言う“関係”とは、好ましくは信号コンテンツ２１または文書２２の意味内容的関連性である。識別子の組を生成する手法としては、任意の手法を採用することができる。例えば、人手によって識別子の組を生成しても良く、機械的に識別子の組を生成しても良く、あるいはその双方によって識別子の組を生成しても良い。

例えば、信号コンテンツ２１が画像である場合を考える。例えば、人手により識別子の組を生成する場合は、“画像３”の識別子を持つ３番目の画像ファイルと、“文書８”の識別子を持つ８番目の文書ファイルの内容が、人手で見て、その内容が相互に関連していると判断される場合には、ユーザの指示に基づき、３番目の画像ファイルの識別子と８番目の文書ファイルの識別子との組である｛“画像３”、“文書８”｝を示す情報が、関係指示子２３としてコンテンツデータベース２に格納される。

また、例えば、機械的に識別子の組を生成する場合は、ウェブページから画像ファイルを収集するような場合が例として挙げられる。最も単純には、同一ウェブページ内にある画像ファイルＡと文書ファイルＢは関連していると見做し、画像ファイルＡの識別子と文書ファイルＢの識別子との組である｛“画像Ａ”、“文書Ｂ”｝を示す情報が、関係指示子２３としてコンテンツデータベース２に格納される。あるいは、ウェブページ上レイアウトとして近傍にある画像ファイルと文書ファイル同士は互いに関連していると見做し、これらの画像ファイルの識別子と文書ファイルの識別子との組を示す情報が、関係指示子２３としてコンテンツデータベース２に格納されても良い。機械的に識別子の組を生成する場合、人手をかけることなく関係指示子２３が得られるというメリットがある。

なお、関係指示子２３は、必ずしもコンテンツデータベース２に格納されている全ての信号コンテンツ２１に対して付与されている必要はなく、一部の信号コンテンツ２１に対して付与されていれば良い。特に、本実施形態の技術は、文書の意味と相関の高い文書特徴量空間上の相対的な幾何関係を捉えることができる点が特長であり、与えられる関係指示子２３は、例えば、全ての信号コンテンツ２１のうちの半数程度の信号コンテンツ２１に対して付与されていれば十分である。

その他、メタデータとして、例えば、信号コンテンツ２１の内容を表現するデータ（信号コンテンツ２１のタイトル、概要文、キーワード等）、信号コンテンツ２１のフォーマットに関するデータ（信号コンテンツ２１のデータ量、信号コンテンツ２１を表すサムネイル等のサイズ等）等を含んでいても構わない。なお、本実施形態では、メタデータを使用しない場合について説明する。

ここで、上述した幾何関係について具体的に説明する。例えば幾何関係は行列Ｗとして表現される。幾何関係Ｗのｉ，ｊ番目の要素はｉ番目の文書特徴量とｊ番目の文書特徴量の近さを表すとし、これが大きければ大きいほど近いとする。一例として図２に示すように、幾何関係Ｗ内の要素として相互に大きな値を持っている文書特徴量８Ａ同士、文書特徴量８Ｂ同士は、（暗黙的に）グループを構成していると考えられる。ただし、実際にグルーピング処理をしているわけではなく、幾何関係Ｗ内の要素として相互に大きな値を持っている文書特徴量８Ａ同士、文書特徴量８Ｂ同士を、ここでは便宜上ある種のソフトなグループと表現している。幾何関係Ｗは意味的な関連性を表すものであるので、同じグループに属しているような文書特徴量同士は意味的関連性も高い。

このような前提で、同じグループの文書特徴量８Ａと、関係指示子２３を通じて接続されている初期特徴量９Ａ同士もまた、同じグループに属していると見做すことができる。また、同じグループの文書特徴量８Ｂと、関係指示子２３を通じて接続されている初期特徴量９Ｂ同士もまた、同じグループに属していると見做すことができる。これを通じて、初期特徴量９Ａ同士、初期特徴量９Ｂ同士もまた、文書特徴量の意味的な関連性を反映したようなグループを持つと考えられる。

すなわち、同じグループに属する初期特徴量９Ａ同士、初期特徴量９Ｂ同士が同じ次元に、異なるグループに属する初期特徴量同士は異なる次元に配置されるように低次元化する特徴量変換関数を求める。なお、特徴量変換関数の詳細に関しては、後述する。

特徴量生成装置１が備える各部およびコンテンツデータベース２は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成され、特徴量生成装置１の各部が実行する処理は各種プログラムによって実行される。本実施形態では、各種プログラムは、特徴量生成装置１が備える記憶装置に記憶されているが、各種プログラムの記憶先はこれに限らず、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録されても良く、ネットワークを通して提供されても良い。また、その他のいかなる構成要素も、必ずしも単一のコンピュータやサーバによって実現される必要はなく、ネットワークによって接続された複数のコンピュータにより分散されて実現されても構わない。

検索装置６は、本実施形態を実現する上で必須の構成要素ではないが、本実施形態による特徴量生成装置１を意味的に関連した信号コンテンツを検索する目的で利用する上で備える装置である。検索装置６は、特徴量生成装置１、ならびにコンテンツデータベース２と相互に通信可能な形で接続されている。

＜＜処理部＞＞

次に、本実施形態における特徴量生成装置１の各処理部について説明する。

単語ベクトル学習部１１は、コンテンツデータベース２から文書２２を取得し、文書に含まれる１つ又は複数の単語の各々に対して、単語を特徴づけるベクトルである単語ベクトル３２を学習して生成し、文書特徴量抽出部１２に出力すると共に記憶部３に記憶させる。

文書特徴量抽出部１２は、単語ベクトル学習部１１から、単語ベクトル３２、及びコンテンツデータベース２から取得した文書２２を取得し、単語ベクトル３２に基づいて文書２２の各文書ファイルの文書特徴量を抽出する。また、文書特徴量抽出部１２は、抽出した文書特徴量を、特徴量変換関数生成部１４に出力する。

初期特徴量抽出部１３は、特徴量変換関数学習処理において、コンテンツデータベース２に格納されている信号コンテンツ２１を取得し、取得した信号コンテンツ２１を解析し、信号コンテンツ２１の初期特徴量を抽出し、特徴量変換関数生成部１４に出力する。また、初期特徴量抽出部１３は、特徴量変換処理において、上述した通信手段を介して外部から入力された信号コンテンツ４を取得し、取得した信号コンテンツ４を解析し、信号コンテンツ４の初期特徴量を抽出し、低次元化部１５に出力する。

特徴量変換関数生成部１４は、文書特徴量抽出部１２から文書特徴量を取得し、初期特徴量抽出部１３から初期特徴量を取得し、コンテンツデータベース２から関係指示子２３を取得し、記憶部３から単語ベクトル３２を読み出す。そして、特徴量変換関数生成部１４は、文書特徴量、初期特徴量、関係指示子２３、及び単語ベクトル３２を用いて、初期特徴量を新たな低次元特徴量５に変換する特徴量変換関数３１を学習して生成し、記憶部３に記憶させる。

低次元化部１５は、初期特徴量抽出部１３から初期特徴量を取得し、記憶部３から特徴量変換関数３１を読み出し、初期特徴量を特徴量変換関数３１を用いて低次元特徴量５に変換することにより低次元特徴量５を生成する。そして、低次元化部１５は、生成した低次元特徴量５をコンテンツデータベース２に記憶させる。これにより、低次元特徴量５は、コンテンツデータベース２に格納されている各々の信号コンテンツ２１に対応付けられた上で、コンテンツデータベース２に格納される。

また、低次元化部１５は、特徴量生成装置１が検索装置６に接続されている場合には、生成した低次元特徴量５を検索装置６に出力する。検索装置６は、利用者の指示により信号コンテンツ４が入力されると、特徴量生成装置１から信号コンテンツ４に対応する低次元特徴量５を取得する。また、検索装置６は、コンテンツデータベース２を用いて信号コンテンツ４に対応する低次元特徴量５に類似する信号コンテンツ２１を検索し、コンテンツデータベース２から検索結果７を取得し、信号コンテンツ４の入力元に出力する。

＜＜処理概要＞＞

次に、本実施形態における特徴量生成装置１の各処理について大まかに説明する。本実施形態に係る特徴量生成装置１は、特徴量変換関数を学習して生成する特徴量変換関数学習処理、及び、初期特徴量を低次元特徴量に変換する特徴量変換処理を実行する。

最初に、特徴量変換関数学習処理について説明する。図３は、特徴量変換関数学習処理の流れを示すフローチャートである。特徴量変換関数学習処理は、例えば検索の対象とする信号コンテンツ４に対して特徴量変換処理を実行する前に、少なくとも１度実施しておく処理であり、利用者の指示が入力されたタイミングで実行される。

ステップＳ２０１では、単語ベクトル学習部１１が、コンテンツデータベース２から文書２２を取得し、文書２２に含まれる単語の共起に基づいて、共起しやすい単語ほど相互に近い単語ベクトルになるように、単語ベクトル３２を学習して生成し、単語ベクトル３２を記憶部３に記憶させる。

次のステップＳ２０２では、文書特徴量抽出部１２が、コンテンツデータベース２から文書２２を取得すると共に、記憶部３から単語ベクトル３２を取得する。また、文書特徴量抽出部１２は、その後、取得した単語ベクトル３２に基づいて文書２２に含まれる各々の文書ファイルの各々、又は、文書ファイルの一部に対して特徴抽出処理を行って文書特徴量を抽出し、特徴量変換関数生成部１４に出力する。

次のステップＳ２０３では、初期特徴量抽出部１３が、コンテンツデータベース２から信号コンテンツ２１を取得し、取得した信号コンテンツ２１に含まれるコンテンツファイルの各々、又は、コンテンツファイルの一部に対して特徴抽出処理を行って初期特徴量を抽出し、特徴量変換関数生成部１４に出力する。

次のステップＳ２０４では、特徴量変換関数生成部１４が、記憶部３から取得した単語ベクトル、及び、文書特徴量抽出部１２から取得した文書特徴量のうちの少なくとも１つを用いて、信号コンテンツ２１及び文書２２の相対的な幾何関係を求め、初期特徴量抽出部１３から取得した初期特徴量、求めた相対的な幾何関係、及びコンテンツデータベース２から取得した関係指示子２３に基づいて特徴量変換関数３１を生成し、特徴量変換関数３１を記憶部３に記憶させる。

以上のような処理により、特徴量生成装置１は、コンテンツデータベース２に格納された信号コンテンツ２１、文書２２、関係指示子２３から、特徴量変換関数３１を生成する。なお、各ステップにおいて実行される各種処理の詳細については後述する。

次に、特徴量変換処理について説明する。図４は、特徴量変換処理の流れを示すフローチャートである。特徴量変換処理は、記憶部３に格納された特徴量変換関数３１を用いて、信号コンテンツ４の初期特徴量を低次元化する処理である。特徴量変換処理は、利用者により信号コンテンツ４が指定された上で、利用者の指示が入力されたタイミングで実行される。

ステップＳ３０１では、初期特徴量抽出部１３が、上述した通信手段を介して、利用者により指定された信号コンテンツ４を取得し、取得した信号コンテンツ４の初期特徴量を抽出し、初期特徴量を低次元化部１５に出力する。本実施形態では、利用者に指摘された信号コンテンツ４を取得するが、信号コンテンツ４の取得方法はこれに限らず、信号コンテンツ４が記憶部３に記憶されている場合には、記憶部３から取得しても良い。

次のステップＳ３０２では、低次元化部１５が、記憶部３から取得した特徴量変換関数３１に基づいて、初期特徴量抽出部１３から取得した初期特徴量を低次元化して低次元特徴量５に変換して出力する。

以上のような処理により、特徴量生成装置１は、利用者により指定された信号コンテンツ４の低次元特徴量５を求める。

＜＜各処理の処理詳細＞＞

以降、上述した各々の処理の詳細について、本実施形態における一例を説明する。

［単語ベクトルの学習］

単語ベクトル３２は、単語に対して一意に定まる有限次元のベクトルである。単語ベクトル３２の次元Ｄｙとすると、次元Ｄｙには任意の整数の値を指定することができる。例えば、Ｄｙ＝１００、Ｄｙ＝１０００等とすると良い。ここで、語彙Ｖｏｃに含まれる単語ｖを単語ベクトル３２に変換する変換がｖｅｃ（ｖ）で表わされるとする。この場合、変換ｖｅｃ（ｖ）は、例えば、単語ｖをキーとし、単語ベクトル３２をその値とするハッシュやルックアップテーブルによって構成される。

語彙Ｖｏｃに含まれる任意の単語ｖの単語ベクトル３２を生成方法としては、種々の公知の方法を適用することができ、本実施形態では、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ：ＳＶＤ）を用いる方法を適用する。この方法においては、下記の手続きによって単語ベクトル３２を生成する。

（１）文書内に出現する単語を重複なく列挙する。この際、表記揺れを吸収したり、語形が変化する単語の語幹でマッチングを行う処理であるステミング処理を施したりすることにより、実質的に同じ単語であると見做せる単語を予め１つの単語にまとめても構わない。また、この際、出現回数が極めて多い単語、出現回数が極めて少ない単語等を除去しても構わない。出現頻度に基づいて単語を除去する場合には、例えば、各々の単語について単語頻度逆文書頻度（Ｔｅｒｍ−ｆｒｅｑｕｅｎｃｙ、Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ：ＴＦ−ＩＤＦ）のスコアを求め、スコアが低い単語を除去すれば良い。そして、これらの処理を行った後に最終的に列挙された単語の集合を、語彙Ｖｏｃとする。

（２）語彙Ｖｏｃ内の全ての単語について、各々の文書内の出現頻度を計数し、各々の要素として出現頻度を持つ文書数×単語数サイズの行列を生成する。なお、各々の要素の値は、出現頻度に限らず、例えばＴＦ−ＩＤＦのスコアの値としても良い。

（３）生成した行列にＳＶＤを施す。生成した行列は、ＳＶＤを施すことにより、「文書数×Ｄｙの行列」、「Ｄｙ×Ｄｙの行列」、及び「Ｄｙ×単語数の行列」に分解することが可能となる。なお、分解して得られたこれらの行列のうち、最後のＤｙ×単語数の行列の各列が、語彙Ｖｏｃに含まれる全ての単語の単語ベクトル３２を表している。

このように、本実施形態では、単語ベクトル３２の生成方法としてＳＶＤを用いる方法を適用するが、単語ベクトル３２の生成方法としてはＳＶＤを用いる方法以外の方法が多数存在するため、ＳＶＤを用いる方法以外の方法を適用しても良い。その場合には、好ましくは、下記の参考文献１に記載のＳｋｉｐ−ｇｒａｍ（ＳＧ）、Ｃｏｎｔｉｎｕｏｕｓ Ｂａｇ−ｏｆ−Ｗｏｒｄｓ （ＣＢＯＷ）等を用いる方法を適用すると良い。

［参考文献１］T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, and J. Dean, "Distributed Representations of Words and Phrases and Their Compositionality," In Proc., Advances in Neural Information Processing Systems (NIPS), 2013.

ＳＧ、ＣＢＯＷ等を用いる方法では、文書内に出現する単語の前後関係を元に単語ベクトル３２を学習する。ＳＧを用いる方法では、文書内の各々の単語が入力情報として与えられた際、与えられた単語の前後に出現する単語を予測する３層のニューラルネット型の関数を学習する。このニューラルネット型の関数のモデルの第２層のノードの数をＤｙとすると、最終的に、その第２層―第１層間のネットワーク結合重みがＤｙ×単語数の行列で表され、この行列を単語ベクトル３２とする。

ＣＢＯＷを用いる方法では、ＳＧを用いる方法とは異なり、予測対象の単語の前後に出現する単語が入力情報として与えられた下で、予測対象の単語を予測する３層のニューラルネット型の関数を学習する。そして、ＳＧを用いる方法と同様に、第２層―第１層間のネットワーク結合重みを単語ベクトル３２とする。

上記参考文献１によれば、このようにして生成された単語ベクトル３２は、ＳＶＤ等の単語ベクトル３２と比較して格段に高い意味内容捕捉能力があることが示されており、例えば、ｖｅｃ（“ベルリン”）−ｖｅｃ（“ドイツ”）＋ｖｅｃ（“フランス”） ≒ ｖｅｃ（“パリ”）になるという、特徴的な幾何的特性を持つことが示されている。従って、上記参考文献１に記載の単語ベクトル３２の生成方法により、単語の持つ意味の関係と、単語ベクトルの幾何的な関係の対応に特徴的な関係があるという点で、本実施形態の目的に適した単語ベクトル３２を得ることができる。

以上のような手続きにより、特徴量生成装置１は、入力された文書２２から、単語ベクトル３２を学習し、生成する。

［文書特徴量の抽出］

次に、生成した単語ベクトル３２に基づいて、任意の文書から当該文書の文書特徴量を抽出する抽出方法を詳細に説明する。

この手続きは至極単純であり、文書内に出現する単語のうち、語彙Ｖｏｃに含まれる単語を全て列挙し、列挙した各々の単語に対応する単語ベクトル３２の統計量を文書特徴量とすれば良い。ここで言う統計量は、文書に含まれている単語の数に依存せずに有効であるべきであるという要請から、複数の単語が含まれる文書であっても、１つの単語が含まれる文書である場合、すなわち、元の単語ベクトル３２自体と同じ次元を持つ、単語ベクトル空間上のデータとして表現可能である統計量であることが望ましい。例えば、次元毎の和、次元毎の最大値、次元毎の中央値、次元毎の最頻値等、次元毎に求めることができる統計量であれば任意の統計量を用いて良い。しかしながら、最も単純には、全ての単語ベクトル３２の平均ベクトルを求め、求めた平均ベクトルを文書特徴量とすることが好ましい。

以上のような手続きにより、特徴量生成装置１は、コンテンツデータベース２に格納された文書２２の文書特徴量を求める。

［初期特徴量抽出］

次に、信号コンテンツ２１の初期特徴量を抽出する初期特徴量抽出方法について説明する。

初期特徴量抽出処理では、抽出できる初期特徴量が、信号コンテンツ２１の種別（画像、音、映像等）によって異なっている。しかしながら、各々の種別の信号コンテンツ２１からどのような初期特徴量を抽出するかは、本実施形態の要件として重要ではなく、公知の特徴抽出処理を用いて公知の初期特徴量を抽出して構わない。

具体的には、信号コンテンツ２１の初期特徴量は、信号コンテンツ２１から抽出された、次元を持つ数値データ（スカラー又はベクトル）であれば有効である。ここでは、本実施形態の一例に適する、各種信号コンテンツ２１に対する初期特徴抽出処理の一例を説明する。

信号コンテンツ２１の種類が画像である場合には、信号コンテンツ２１から、例えば、明るさ特徴、色特徴、テクスチャ特徴、コンセプト特徴、景観特徴等の特徴量を初期特徴量として抽出する。

明るさ特徴を抽出する場合は、ＨＳＶ色空間におけるＶ値を数え上げることで、ヒストグラムとして抽出する。この場合、信号コンテンツ２１に含まれる各々の画像は、Ｖ値の量子化数（例えば、16bit量子化であれば256諧調）と同数の次元を持つベクトルとして表現される。

色特徴を抽出する場合は、Ｌ＊ａ＊ｂ＊色空間における各軸（Ｌ＊、ａ＊、ｂ＊）の値を数え上げることで、ヒストグラムとして抽出する。この際、各々の軸のヒストグラムのビンの数は、例えば、Ｌ＊に対して４、ａ＊に対して１４、ｂ＊に対して１４等とすれば良い。この場合、信号コンテンツ２１に含まれる各々の画像は、３軸の合計のビンの数は、４×１４×１４＝７８４、すなわち７８４次元のベクトルとして表現される。

テクスチャ特徴を抽出する場合は、濃淡ヒストグラムの統計量（コントラスト）、パワースペクトル等を抽出する。又は、局所特徴量を抽出しても良い。局所特徴量を抽出する場合には、色、動き等と同様に、ヒストグラムとして抽出することができるようになるため好適である。局所特徴量としては、例えば下記の参考文献２に記載のＳＩＦＴ（Scale Invariant Feature Transform ）、下記の参考文献３に記載のＳＵＲＦ（Speeded Up Robust Features）等を用いることができる。

［参考文献２］D.G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, pp.91-110, 2004.

［参考文献３］H. Bay, T. Tuytelaars, and L.V. Gool, "SURF: Speeded Up Robust Features", Lecture Notes in Computer Science, vol. 3951, pp.404-417, 2006.

このようにして抽出される局所特徴量は、例えば１２８次元の実数値ベクトルとして表現される。このベクトルを予め学習して生成しておいた符号長を参照して符号に変換し、その符号の数を数え上げることで、ヒストグラムを生成する。この場合、ヒストグラムのビンの数は、符号長の符号数と一致する。又は、局所特徴量として、参考文献４に記載のスパース表現、参考文献５及び６に記載のフィッシャーカーネルに基づく特徴表現等を用いても良い。

[参考文献４] Jinjun Wang, Jianchao Yang, Kai Yu, Fengjun Lv, Thomas Huang, and Yihong Gong, "Locality-constrained Linear Coding for Image Classification", IEEE Conference on Computer Vision and Pattern Recognition, pp. 3360-3367, 2010.

[参考文献５] Florent Perronnin, Jorge Sanchez, Thomas Mensink, "Improving the Fisher Kernel for Large-Scale Image Classification", European Conference on Computer Vision, pp. 143-156, 2010.

[参考文献６] Herve Jegou, Florent Perronnin, Matthijs Douze, Jorge Sanchez, Patrick Perez, Cordelia Schmid, "Aggregating Local Image Descriptors into Compact Codes", IEEE Trans. Pattern Recognition and Machine Intelligence, Vol. 34, No. 9, pp. 1704-1716, 2012.

何れの局所特徴量を用いた場合であっても、結果として生成される初期特徴量は、符号長の符号数に依存した長さを持つ実数値ベクトルとなる。

コンセプト特徴を抽出する場合は、画像内に含まれる物体、画像が捉えているイベント等の特徴量を初期特徴量として抽出する。抽出する物体、イベント等は、任意の物体、イベント等を用いて良いが、例えば、「海」、「山」、「ボール」等である。仮に、画像内に「海」が映されていた場合、その画像は、「海」のコンセプトに帰属する画像であると判断する。各々の画像が、各々のコンセプトに帰属するか否かは、コンセプト識別器を用いて識別する。通常、コンセプト識別器は、コンセプト毎に１つずつ用意され、画像の特徴量が入力されると、当該画像が識別対象とするコンセプトに帰属しているか否かを帰属レベルとして出力する。コンセプト識別器は、画像の特徴量（例えば上述した局所特徴量）と、予め人手によって入力された、当該画像がどのコンセプトに帰属しているかを示す正解ラベルと、の関係を学習することによって獲得される。学習器としては、例えばサポートベクターマシン等を用いれば良い。コンセプト特徴を抽出する場合は、各々のコンセプトへの帰属レベルをまとめてベクトルとして表現する。この場合、生成される初期特徴量は、コンセプトの数と同数の次元を持つベクトルとなる。

景観特徴は、画像の風景や場面を表現した特徴量である。景観特徴を抽出する場合は、例えば下記の参考文献７に記載のＧＩＳＴ記述子を用いることができる。ＧＩＳＴ記述子は、画像を複数の領域に分割し、分割した各々の領域に対して一定のオリエンテーションを持つフィルタを掛けたときの係数によって表現される。しかし、この場合、生成される初期特徴量は、フィルタの種類（分割する領域の数、及びオリエンテーションの数）に依存した長さのベクトルとなる。

［参考文献７］A. Oliva and A. Torralba, "Building the gist of a scene: the role of global image features in recognition", Progress in Brain Research, 155, pp.23-36, 2006.

また、非特許文献１に記載のＣＮＮによる特徴量を初期特徴量として抽出しても良い。

次に、信号コンテンツ２１の種類が音である場合には、信号コンテンツ２１から、例えば音高特徴、音圧特徴、スペクトル特徴、リズム特徴、発話特徴、音楽特徴、音イベント特徴等を初期特徴量として抽出する。

音高特徴を抽出する場合は、信号コンテンツ２１に含まれる音ファイルから例えば音高（ピッチ）の特徴量を抽出すれば良い。抽出方法としては、例えば、下記の参考ウェブサイトに記載の方法等を適用することができる。この場合、ピッチを１次元ベクトル（スカラー）として表現しても良く、あるいはピッチを複数の次元に量子化し、複数の次元を持つベクトルとして表現しても良い。

［参考ウェブサイト］http://en.wikipedia.org/wiki/Pitch_detection_algorithm

音圧特徴を抽出する場合は、信号コンテンツ２１に含まれる音ファイルから音声波形データの振幅値の特徴量を初期特徴量として抽出すれば良い。また、信号コンテンツ２１に含まれる音ファイルから音声波形データの短時間パワースペクトルを抽出し、任意の帯域の平均パワーを計算して特徴量を求め、初期特徴量としても良い。音声波形データの振幅値を抽出しても、短時間パワースペクトルを抽出しても、生成した初期特徴量は、音圧を計算するバンドの数に依存した長さのベクトルとなる。

スペクトル特徴を抽出する場合は、信号コンテンツ２１に含まれる音ファイルから例えばメル尺度ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstral Coefficients ）の特徴量を初期特徴量として抽出すれば良い。

リズム特徴を抽出する場合は、信号コンテンツ２１に含まれる音ファイルから例えばテンポの特徴量を初期特徴量として抽出すればよい。テンポを抽出する際には、例えば下記の参考文献８に記載の方法等を適用することができる。

［参考文献８］E.D. Scheirer, "Tempo and Beat Analysis of Acoustic Musical Signals ", Journal of Acoustic Society America, Vol. 103, Issue 1, pp.588-601, 1998.

発話特徴及び音楽特徴は、それぞれ発話の有無及び音楽の有無を表す。発話特徴又は音楽特徴を抽出する場合は、信号コンテンツ２１に含まれる音ファイルから、発話又は音楽が存在する区間を特徴量として抽出すれば良い。発話又は音楽が存在する区間を識別するためには、例えば下記の参考文献９に記載の方法等を適用することができる。

［参考文献９］K. Minami, A. Akutsu, H. Hamada, and Y. Tonomura, "Video Handling with Music and Speech Detection", IEEE Multimedia, vol. 5, no. 3, pp.17-25, 1998.

音イベント特徴を抽出する場合は、音イベントとして、例えば、笑い声、大声等の感情的な音声、又は、銃声、爆発音等の環境音の生起等を検出し、このような音イベントの特徴量を初期特徴量として抽出すれば良い。このような音イベントを検出する際には、例えば下記の参考文献１０に記載に方法等を適用することができる。

［参考文献１０］国際公開第２００８／０３２７８７号公報

信号コンテンツ２１の種類が映像である場合は、映像が一般に画像及び音のストリームであることから、上述した画像特徴及び音特徴を用いて初期特徴量を抽出することができる。映像中の何れの画像の区間を分析するか、又は何れの音の区間を分析するかについては、例えば、映像を複数の区間に予め分割し、その区間毎に１つの画像を抽出して特徴量を抽出する。また、映像を複数の区間に予め分割し、その区間毎に音の特徴量を抽出する。このようにして、初期特徴抽出処理を実施する。

なお、映像を複数の区間に分割する場合は、映像を予め定めた一定の間隔で分割しても良く、例えば下記の参考文献１１に記載の分割方法等を適用し、映像が不連続に途切れる点であるカット点で分割してもよい。望ましくは、後者の分割方法を適用すると良い。映像を複数の区間に分割した結果として、各々の区間の開始点（開始時刻）と終了点（終了時刻）が得られるが、この時刻毎に別々の初期特徴量として扱えば良い。

［参考文献１１］Y. Tonomura, A. Akutsu, Y. Taniguchi, and G. Suzuki, "Structured Video Computing", IEEE Multimedia, pp.34-43, 1994.

以上のようにして抽出した初期特徴量は、抽出した特徴量のうちの何れか１つの特徴量であっても良く、複数の特徴量から計算した特徴量であっても良い。また、初期特徴量は、上述した方法で抽出した特徴量に限らず、その他の公知の抽出方法で取得した特徴量を初期特徴量として用いても良い。

［特徴量変換関数の生成］

次に、特徴量変換関数の生成方法について詳細に説明する。

複数の信号コンテンツ２１のうちの信号コンテンツｉから抽出された初期特徴量をｘｉ∈ＲＤと表す。また、信号コンテンツの初期特徴量次元はＤｘである。

このとき、信号コンテンツをｄ次元（ｄ≦Ｄｘ）に低次元化する特徴量変換関数ｆ：ＲＤｘ→Ｒｄを求める。本実施形態では、信号コンテンツ２１と文書２２の関係性を学習し、活用することで、文書２２の持つ意味的な内容を信号コンテンツ２１の初期特徴量に移し、意味的な類似性がより反映された低次元特徴量を生成することである。これを実現するために、下記２つの方針を採る。

（１）初期特徴量・文書特徴量間の関係の保存：文書特徴量から捕捉される意味内容を初期特徴量に移すためには、信号コンテンツ２１（初期特徴量）及び文書２２（文書特徴量）の関係を崩さないような特徴量変換関数ｆを生成する。本実施形態では、信号コンテンツ２１及び文書２２の関係は関係指示子２３として与えられるため、関係指示子２３が指示する関係を保存するように特徴量変換関数ｆを学習する。

（２）文書特徴量空間の幾何関係の保存：先に述べた通り、単語ベクトル３２には、例えばＳＧやＣＢＯＷにおける「ｖｅｃ（“ベルリン”）−ｖｅｃ（“ドイツ”）＋ｖｅｃ（“フランス”）≒ｖｅｃ（“パリ”）」等、単語の持つ意味と、単語ベクトル３２の幾何関係の間に明確な関連性があることが知られている。然るに、単語ベクトル空間上の幾何関係を保存するように、特徴量変換関数ｆを学習すれば、単語ベクトルの持つ意味的な関係性を効果的に保存した特徴量変換関数ｆを得ることができる。上記特許文献１に記載の低次元化方法のように単純な相関を用いる場合とは異なり、意味内容に関連した幾何関係を捉えることで、文書２２の量が少ない場合であっても、有効な低次元特徴量を構成することができる点で利がある。

以降、一般性を失うことなく、関係指示子２３の与えられている信号コンテンツ２１及び文書２２の組の数をＮとし、当該信号コンテンツ２１の初期特徴量ｘｉ（ｉ＝１，２，・・・，Ｎ）と文書特徴量ｙｉ（ｉ＝１，２，・・・，Ｎ）について、同一インデクスを持つ組（例えばｘ１とｙ１、ｘ２とｙ２など）は関係指示子２３によって関係が指示されている組であるとする。また、これらは平均０に正規化されているとする。すなわち、初期特徴量ｘｉの平均ベクトルは０ベクトルである。

次に、特徴量変換関数ｆを生成する際の具体的な手続きを説明する。

まず、単語ベクトル空間にある幾何関係を捉える処理について説明する。これを実現するためには、各々の文書特徴量ｙｉが、他の文書特徴量ｙｊ≠ｉとどのような幾何関係にあるかを調べる必要がある。一般に、この幾何関係は、Ｎ個の文書特徴量ベクトルｙｉ（ｉ＝１，２，・・・，Ｎ）を入力情報として、文書特徴量ｙｉ及び文書特徴量ｙｊの間の幾何関係Ｗを出力とする、下記の最適化問題を解くことによって求められる。

ここで、幾何関係Ｗ＝｛ｗｉｊ｝はＮ×Ｎの行列であり、そのｉ行目幾何関係ｗｉは、文書特徴量ｙｉの他の文書特徴量ｙｊとの幾何関係を表す。ここで言う幾何関係Ｗは、より具体的には、文書特徴量ｙｉを、他の文書特徴量ｙｊ（ｊ＝１，２，・・・，Ｎ、ただしｉ≠ｊ）の線形和で表現した際の、線形結合重みを表している。この計算方法は所謂最小二乗法であり、公知の勾配法や行列分解を用いて解くことができる。結果として得られる幾何関係Ｗは、より意味的に関連した内容を持つ文書２２同士の関係に対応する要素（つまり文書特徴量ｙｉ及び文書特徴量ｙｊの間の関係に対応する要素ｗｉｊ）ほど大きい値を持つ傾向にある。

わかりやすい例を挙げると、文書特徴量ｙｉがリンゴについて記述した文書２２の文書特徴量であったとする。また、青リンゴについて記述した文書２２の文書特徴量ｙｊと、自動車について記述した文書２２の文書特徴量ｙｋがあったとする。このとき、文書特徴量ｙｋと比較し、文書特徴量ｙｊの方が文書特徴量ｙｉに類似しているため、幾何関係Ｗのうち、文書特徴量ｙｋに対応する幾何関係ｗｋはほとんどの値が０を取り、文書特徴量ｙｊに対応する幾何関係ｗｋはほとんどの値が１に近い値を取る。

あるいは、各々の文書特徴量ｙｉは、他の極少数の文書特徴量としか有効な幾何関係Ｗを持たない、つまり、文書特徴量ｙｉを持つ文書２２に意味的に関連した文書２２は、Ｎ個の文書の中で非常に限られている場合が多くある。この場合には、文書特徴量ｙｉ及び文書特徴量ｙｊの間の幾何関係Ｗは、Ｎ個の文書特徴量ベクトルｙｉ（ｉ＝１，２，・・・，Ｎ）を入力情報として、文書特徴量ｙｉ及び文書特徴量ｙｊの間の幾何関係Ｗを出力情報とする、下記（１）式及び（２）式の最適化問題を解くことによって求められる。

この最適化問題はベクトルｗｉ中のいくつかの限られた要素にのみ非ゼロの値を持つように正則化する、所謂スパース回帰問題、スパースコーディング問題と言われる問題であり、例えば、最小角回帰（Ｌｅａｓｔ Ａｎｇｌｅ Ｒｅｇｒｅｓｓｉｏｎ：ＬＡＲＳ），Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ（ＡＤＭＭ）等のいくつかの公知の数値計算アルゴリズムを用いて解くことができる。

一方、本実施形態では、必ずしもコンテンツデータベース２に登録された全ての文書２２に関係指示子２３が与えられている必要はない。特に、関係指示子２３が与えられている文書２２が少ない場合には、単語ベクトル空間上の幾何関係を捉えるに足る十分な量のデータ（文書特徴量）が得られず、結果として幾何関係の捕捉に失敗する、すなわち、意味的に関連した（していない）文書２２同士の幾何関係Ｗの要素が、本来、大きく（小さく）なるべきところ、そうはならないような場合も出てくる。そこで、本実施形態では、関係指示子２３が与えられていない文書２２の文書特徴量も活用して、幾何関係を捉えるに十分な量のデータを得ることを考える。

関係指示子２３が与えられていない文書２２がＭ個存在するとする。関係指示子２３が与えられていない文書２２も含めた文書特徴量ｕｉ（ｉ＝１，２，・・・，（Ｎ＋Ｍ））と表す（最初のＮ個は関係指示子２３が与えられている文書２２の文書特徴量ｙｉ（ｉ＝１，・・・，Ｎ））。この場合にも上記述べた手続きと同様に、Ｎ＋Ｍ個の文書特徴量ｕｉを用いてこれらの幾何関係Ｗを求めればよい。具体的には、（１）式及び（２）式に対応する問題は、それぞれ下記（３）式及び（４）式となる。

上記（３）式及び（４）式を、上記（１）式及び（２）式を用いた手続と同様の手続きで解くことによって幾何関係Ｗを求めれば良い。なお、関係指示子２３を持たない文書２２の文書特徴量は、必ずしも文書２２から抽出した文書特徴量である必要はない。具体的には、単語ベクトル３２自体を、直接関係指示子２３を持たない文書２２として利用することも可能である。単語ベクトル３２自体は、単語ベクトル空間上のＤｙ次元ベクトルであり、この空間を定める“基底”とも言える特別なデータであることから、単語ベクトル空間中の幾何関係Ｗを捉える上では特別有益な情報をもたらすものであり、効果的である。

以上のような手続きによって、特徴量生成装置１は、単語ベクトル空間上の幾何関係Ｗを捕捉する。

続いて、単語ベクトル空間上の文書特徴量同士の幾何関係Ｗを可能な限り保存し、かつ、関係指示子２３によって表される信号コンテンツ２１及び文書２２の関係を最大限保存するように、初期特徴量を、初期特徴量の次元より低次元な次元を持つ低次元特徴量へと変換する特徴量変換関数ｆを生成する。具体的には、下記の手続きに従って特徴量変換関数ｆを生成する。

本実施形態では、特徴量変換関数ｆとして以下の形式をとるものを考える。

上記（５）式において、αｋ，ｔはパラメータ、κ（ｘｔ，ｘ）はカーネル関数である。カーネル関数は、下記（６）式に示す関数であると共に、Ｎ個の初期特徴量｛ｘ１，・・・，ｘＮ｝に対して、下記（７）式を満たし、任意の実数αｉ、αｊに対して、下記（８）式を満たす関数である。

このような関数は無数に存在するが、例を挙げれば、下記（９）式、（１０）式、（１１）式等が存在する。ただし、β、γは正の実数値パラメータ、ｐは整数パラメータであり、適宜決定してよい。

なお、上記（１１）式のカーネル関数を用い、さらにｐ＝１、γ＝０とした場合には、得られる特徴量変換関数ｆは単純な線形関数に帰着され、低次元特徴量を求める処理、及び、特徴量変換関数ｆを求めるための処理量が大きく低減されるという利点がある。一方、この場合以外の場合には特徴量変換関数ｆは非線形関数となり、処理量は増加するものの、最終的に得られる低次元特徴量に移すことのできる文書２２の情報量は増え、結果的に得られる精度が向上するという利点がある。

上記（５）式において、ｂｋは下記（１２）式、すなわち平均値を求めることで定められる定数であるため、上記（５）式は、下記（１３）式のような内積の形式に変換することができる。ただし、ａｋ、κ（ｘ）は、下記（１４）式で表される。

ここで、Ｔは、特徴量変換関数ｆ、具体的にはカーネルベクトル写像κ（ｘ）を定める定数である。定数Ｔは、Ｔ≦Ｎの範囲で任意の値に決めてよい。例えば、Ｔ＝３００として、全ての初期特徴量｛ｘ１，・・・，ｘＮ｝の中から初期特徴量をランダムにＴ個選出して特徴量変換関数ｆの生成に用いても良く、あるいはＫ−ｍｅａｎｓ等のクラスタリング法を用いて決定された代表ベクトルを特徴量変換関数ｆの生成に用いても良い。

然るに、特徴量変換関数ｆを求めるためには、パラメータ｛αｋ｝を決定すれば良い。そこで、以下に、パラメータ｛αｋ｝を決定する方法を説明する。

便宜上、関係指示子２３を持たない文書特徴量も含めた文書特徴量｛ｕ１，・・・，ｕ（Ｎ＋Ｍ）｝（ただし、ｕ１＝ｙ１，・・・，ｕＮ＝ｙＮ）を定義しておく。ただし、関係指示子２３を持たない文書特徴量は必須ではなく、その場合には、Ｍ＝０とすれば良い。さらに、上記初期特徴量ｘｉと同様の手続きによって、κ（ｘｉ）に相当するカーネルベクトル写像ρ（ｕｉ）を求めておく。

κ（ｘｉ）（ｉ＝１，２，・・・，Ｎ）およびκ（ｕｉ）（ｉ＝１，２，・・・，Ｎ＋Ｍ）を並べた行列Ｋ＝［κ（ｘ１，１），・・・，κ１（ｘ１、Ｎ）］、Ρ＝［κ（ｕ１），・・・，κ（ｕＮ＋Ｍ）］を定義する。さらに、特徴量変換関数ｆに加えて、全く同様の形式を持つ文書特徴量を低次元化する変換関数ｇを用意し、上記（１３）式におけるαｋに相当するパラメータをθｋ（ｋ＝１，２，・・・，ｄ）とする。なお、ｇ並びにθｋは数理的理由によって便宜上用いるものであって、本実施形態において特徴量変換関数ｆとして利用することはない。αｋを並べた行列をΑ＝［α１，・・・，αｄ］と定義し、θｋ（ｋ＝１，２，・・・，ｄ）を並べた行列をΘ＝［θ１，・・・，θｄ］と定義し、以下の数式を解く。

ここで、上記（１５）式の第１項は、初期特徴量及び文書特徴量のそれぞれをＡおよびΘによって低次元化した際に得られる低次元特徴量において、関係指示子２３によって支持された組同士の線形または非線形な相関を最大化することを要請する項である。第２項は、幾何関係Ｗにより捕捉されている単語ベクトル３２上の幾何関係Ｗが、低次元化された後も保存されることを要請する項である。すなわち、上記（１５）式を解くことによって求められる特徴量変換関数ｆは、信号コンテンツ２１の低次元特徴量と同じく低次元化された文書特徴量との関係、および、単語ベクトル３２上の意味を反映した幾何関係Ｗの、双方を最大限保存する項である。

上記（１５）式に対して簡単な代数変形を適用すると、下記（１６）式が得られる。

ここで、下記（１７）式は、Ｇについて凸であるので、Ｇについて微分してその極値を取ることで、下記（１８）式に示すように、一般化固有値問題に帰着できる。

このような一般化固有値問題の解は、反復法などの公知の数値計算アルゴリズムによって求めることができる。Ｇの要素は、求めたいパラメータＡを含んでいるので、Ｇの要素を用いて特徴量変換関数ｆを得ることができる。

以上のようにして、特徴量生成装置１は、目的としていた性質を最適に満たすような特徴量変換関数ｆを得る。

［低次元化］

特徴量変換関数ｆを求めた後であれば、任意の信号コンテンツ２１に対する初期特徴量を低次元化することができる。具体的には、初期特徴量ｘに対して平均が０になるようにシフトした後、下記（１９）式により新たな低次元特徴量を計算する。

＜＜意味的に関連したコンテンツの発見への適用＞＞

上記説明した本実施形態に係る特徴量生成装置１を、意味的に関連のある信号コンテンツ２１を検索する目的で利用する場合の一例について説明する。ここでは、信号コンテンツ２１が画像である場合を例に挙げて説明する。

例えば、コンテンツデータベース２に、Ｎ枚のデータベース画像が格納されているとする。上記説明した特徴量変換関数学習処理を通じて特徴量変換関数ｆを求め、これが記憶部３に格納されているものとし、さらに、上記Ｎ枚のデータベース画像に対応する低次元特徴量Ｚ＝｛ｚ１，・・・，ｚＮ｝が得られているものとする。このとき、目的は新たなクエリ画像が利用者から与えられた時に、当該クエリ画像に意味的に関連のあるデータベース画像を発見することである。

まず、クエリ画像に対して初期特徴量抽出処理を施し、初期特徴量ｘｑを抽出する。その後、上記（１９）式に基づいて、特徴量ｘｑを低次元化し、低次元特徴量ｚｑを求める。

この低次元特徴量ｚｑと、低次元特徴量Ｚのそれぞれと距離を計算し、距離が小さいデータベース画像を意味的に関連のあるデータベース画像として出力する。低次元特徴量ｚｑ及び低次元特徴量Ｚはいずれも低次元であるため、距離計算に要する時間は、低次元化される前の初期特徴量を用いた場合に比べて短くなり、高速に演算することができる。また、物理的な特徴量である初期特徴量とは異なり、本実施形態により得られる低次元特徴量は文書２２の持つ意味内容と関連性が高くなるように学習された特徴量変換関数ｆを介して変換されているため、意味的な関連性の高いデータベース画像を精度良く発見することが可能である。

以上が、本実施形態において、意味的に関連のある信号コンテンツ２１を検索する目的で利用する場合一例である。

以上のように、本実施形態によれば、文書特徴量の持つ幾何的な特性を捉えることで、文書２２の持つ意味内容をより正確に捉え、これを用いて信号コンテンツ２１と文書２２の関係性を学習することで、信号コンテンツ２１と文書２２のペアが少ないような場合であっても、より意味的に関連した信号コンテンツ２１の発見が可能となる。

さらに、本実施形態で生成される信号コンテンツ２１の低次元特徴量は、元の初期特徴量と比べて非常に低次元であることから、高速な類似コンテンツの発見が可能であり、本実施形態によって（１）高速でありながらも、（２）意味的に類似したコンテンツの発見を可能にする信号コンテンツ２１の特徴量を生成可能である。

なお、本実施形態における主要な特徴を満たす範囲内において、任意の用途と構成を取ることができることは言うまでもない。例えば、特徴量変換関数生成処理と特徴量変換処理は分離可能であり、それぞれを成す装置を分けることもできるため、バッチ処理で実行する特徴量変換関数生成処理をサーバ装置に、オンライン処理で実行する特徴量変換処理をスマートフォンなどのクライアント装置に組み込む構成を取ることもできる。この場合の装置構成の一例を図５に示す。

図５に示すように、サーバ装置１００は、単語ベクトル学習部１０１、文書特徴抽出部１０２、初期特徴量抽出部１０３、特徴量変換関数生成部１０４、低次元化部１０５、及び記憶部３００を備える。記憶部３００には、特徴量変換関数３０１及び単語ベクトル３０２が記憶されている。また、コンテンツデータベース２００には、信号コンテンツ２０１、文書２０２、関係指示子２０３、及び低次元特徴量２０４が記憶されている。サーバ装置１００は、コンテンツデータベース２００に接続されている。

一方、図５に示すように、クライアント装置４００は、初期特徴量抽出部４０１、低次元化部４０２、及び記憶部５００を備える。記憶部５００には、特徴量変換関数５０１が記憶されている。

ここで、サーバ装置１００とクライアント装置４００において、共通する構成要素（初期特徴量抽出部、記憶部）はそれぞれ同一の機能を有するように構成し、また、図１に記載した各構成要素と同一名称のものは、図１の場合と同一の機能を有するものとしてよい。さらに、サーバ装置１００の記憶部３００に記憶されている特徴量変換関数３０１、及びクライアント装置４００の記憶部５００に記憶されている特徴量変換関数５０１は、それぞれ何らかの通信手段で適宜同期されているものとする。

さらに、検索装置８００を備える。この検索装置８００は、サーバ装置１００に組み込まれていても構わないし、外部からサーバ装置１００に接続されていても構わない。

この装置構成における処理概要は下記の通りである。

まずサーバ装置１００は、上述した特徴量変換関数学習処理を行って、適宜、特徴量変換関数を生成し、クライアント装置４００の特徴量変換関数と同期する。さらに、コンテンツデータベース２００中のコンテンツに対して、上述した処理と同様の処理を行って、低次元特徴量２０４を生成し、コンテンツデータベース２００に格納する。

一方、クライアント装置４００は、利用者からの検索要求、すなわち、新規信号コンテンツ６００の入力を受け付けたら、当該信号コンテンツ６００に対して低次元特徴量７００を生成し、検索装置８００に出力する。

検索装置８００は、クライアント装置４００から低次元特徴量７００を受け付けた場合、当該低次元特徴量を用いてコンテンツデータベース２００へ検索を掛け、低次元特徴量７００に基づいて意味的に関連した信号コンテンツを発見し、発見した信号コンテンツを検索結果９００として利用者に出力する。

このようにサーバ装置１００及びクライアント装置４００を構成することで、サーバ装置１００で特徴量変換関数学習処理を実施し、クライアント装置４００では特徴量変換処理のみを実施するように構成することができる。

ここで、サーバ装置１００及びクライアント装置４００をこのように構成するメリットを述べる。一般に、クライアント装置（ＰＣ，スマートフォン等）は、サーバ装置と比較して演算能力に乏しいため、特徴量変換関数生成のように演算量が比較的多い処理には適さない場合がある。しかし、このように構成にすれば、特徴量変換関数学習処理は演算能力の高いサーバ装置で適宜実施し、クライアント装置では演算量の少ない特徴量変換処理だけを実施することができる。さらに、通常、ネットワークを介した通信によってデータ容量の多い情報を伝送する場合、伝送時間が掛かるという問題があるが、当該構成によって、伝送するのは情報量の小さい低次元特徴量の伝送でのみで処理が可能となり、検索に対する即応性を高めることができる。

１ 特徴量生成装置
２ コンテンツデータベース
３ 記憶部
４ 信号コンテンツ
５ 低次元特徴量
１１ 単語ベクトル学習部
１２ 文書特徴量抽出部
１３ 初期特徴量抽出部
１４ 特徴量変換関数生成部
１５ 低次元化部
２１ 信号コンテンツ
２２ 文書
２３ 関係指示子
３１ 特徴量変換関数
３２ 単語ベクトル

Claims (5)

1. 所望の種別の信号コンテンツ及び文書がそれぞれ１つ以上所与であり、前記信号コンテンツ及び前記文書の１つ以上の組の関係性の有無を表す関係指示子が所与である場合に、前記信号コンテンツの低次元特徴量を生成する特徴量変換関数を学習する特徴量生成方法であって、
   前記文書に含まれる単語の共起に基づいて、共起しやすい単語ほど相互に近い単語ベクトルになるように、各単語及び単語ベクトル間の対応関係を生成する単語ベクトル学習ステップと、
   学習した前記単語ベクトルを用いて、前記文書の文書特徴量を抽出する文書特徴抽出ステップと、
   前記信号コンテンツの初期特徴量を抽出する初期特徴量抽出ステップと、
   前記単語ベクトル及び前記文書特徴量のうちの少なくとも１つを用いて、前記文書同士の前記文書特徴量の文書特徴量空間上の相対的幾何関係を求め、前記初期特徴量、前記相対的幾何関係、及び関係指示子に基づいて、前記初期特徴量および前記文書特徴量の各々を低次元化した低次元特徴量において前記関係指示子によって指示された組同士の線形または非線形な相関を最大化することを要請し、かつ、前記相対的幾何関係が、前記文書特徴量を前記低次元化した後においても保たれることを要請する一般化固有値問題を解くことにより、前記初期特徴量を低次元特徴量に変換するカーネル関数に基づいた特徴量変換関数を生成し、出力する特徴量変換関数生成ステップと、
   を有する特徴量生成方法。
2. 前記所望の種別の信号コンテンツが所与である場合において、前記信号コンテンツの前記低次元特徴量を生成する特徴量生成方法であって、
   前記信号コンテンツの前記初期特徴量を抽出する初期特徴量抽出ステップと、
   請求項１に記載の特徴量生成方法により生成した前記特徴量変換関数に基づいて、前記初期特徴量を低次元化して出力する低次元化ステップと、
   を有する特徴量生成方法。
3. 所望の種別の信号コンテンツ及び文書がそれぞれ１つ以上所与であり、前記信号コンテンツ及び前記文書の１つ以上の組の関係性の有無を表す関係指示子が所与である場合に、前記信号コンテンツの低次元特徴量を生成する特徴量変換関数を学習する特徴量生成装置であって、
   前記文書に含まれる単語の共起に基づいて、共起しやすい単語ほど相互に近い単語ベクトルになるように、各単語及び単語ベクトル間の対応関係を生成する単語ベクトル学習部と、
   学習した前記単語ベクトルを用いて、前記文書の文書特徴量を抽出する文書特徴抽出部と、
   前記信号コンテンツの初期特徴量を抽出する初期特徴量抽出部と、
   前記単語ベクトル及び前記文書特徴量のうちの少なくとも１つを用いて、前記文書同士の前記文書特徴量の文書特徴量空間上の相対的幾何関係を求め、前記初期特徴量、前記相対的幾何関係、及び関係指示子に基づいて、前記初期特徴量および前記文書特徴量の各々を低次元化した低次元特徴量において前記関係指示子によって指示された組同士の線形または非線形な相関を最大化することを要請し、かつ、前記相対的幾何関係が、前記文書特徴量を前記低次元化した後においても保たれることを要請する一般化固有値問題を解くことにより、前記初期特徴量を低次元特徴量に変換するカーネル関数に基づいた特徴量変換関数を生成し、出力する特徴量変換関数生成部と、
   を有する特徴量生成装置。
4. 所望の種別の信号コンテンツが所与である場合において、信号コンテンツの低次元特徴量を生成する特徴量生成装置であって、
   前記信号コンテンツの初期特徴量を抽出する初期特徴量抽出部と、
   請求項３に記載の特徴量生成装置により生成した前記特徴量変換関数に基づいて、前記初期特徴量を低次元化して出力する低次元化部と、
   を有する特徴量生成装置。
5. コンピュータに、請求項１又は２記載の特徴量生成方法の各ステップを実行させるための特徴量生成プログラム。

Images