JP5197492B2 - 半教師画像認識検索装置、半教師画像認識検索方法、及びプログラム - Google Patents

Description

本発明は、半教師画像認識検索装置、半教師画像認識検索方法、及びプログラムに関する。

所望の画像を与えられた言語情報に基づいて検索する画像検索技術、及び、与えられた画像に対してその画像を説明する言語情報を自動的に付与する画像認識技術は、ディジタルカメラ・携帯電話などの撮像装置の普及、インターネット上での画像共有の一般化などに伴い、非常に重要な技術となってきている。近年では、画像検索と画像認識を同一の枠組の下で実現する画像認識検索技術についても、非特許文献１など数多くの技術が開発されている。

中山、原田、國吉、大津"画像・単語間概念対応の確率構造学習を利用した超高速画像認識・検索方法"、電子情報通信学会技術報告、PRMU2007-147、2007年12月

これらの技術は、実際に検索・認識を行う前に、画像と言語情報との関連性を学習しておく必要があり、この学習の際に、同時共起する画像と言語情報との組が数多く必要となる。しかし、大量の画像に手動で言語情報を付与することは多くの労力を伴うため、言語情報が関連付けられている画像を大量に収集することは困難である。言語情報が関連付けられた画像が十分に用意できない場合には、画像と言語情報との関係性を精度良く学習できないため、結果として画像認識・画像検索の信頼性が損なわれてしまう。

本発明は、このような事情を考慮してなされたものであり、その目的は、言語情報が関連付けられた画像が少量しか利用できない場合においても、画像と言語情報との関係性の学習、類似性の高い画像の検索・認識をより効率的に行うことができる半教師画像認識検索装置、半教師画像認識検索方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置であって、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出手段と、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習手段とを備えることを特徴とする半教師画像認識検索装置である。

本発明は、上記の発明において、前記画像・付加情報間関係性学習手段は、前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習手段と、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習手段と、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習手段とを更に備え、前記画像・付加情報間関係性学習手段は、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力することを特徴とする。

本発明は、上記の発明において、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出手段と、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索手段とを更に備えることを特徴とする。

本発明は、上記の発明において、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識手段とを更に備えることを特徴とする。

また、上述した課題を解決するために、本発明は、与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置において用いられる半教師画像認識検索方法であって、蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出過程と、蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出過程と、画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習過程とを含むことを特徴とする半教師画像認識検索方法である。

本発明は、上記の発明において、前記画像・付加情報間関係性学習過程は、前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習過程と、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習過程と、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習過程とを更に含み、前記画像・付加情報間関係性学習手段は、前記画像・付加情報間関係性学習過程において、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力することを特徴とする。

本発明は、上記の発明において、入力付加情報特徴抽出手段が、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出過程と、画像検索手段が、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索過程とを更に含むことを特徴とする。

本発明は、上記の発明において、入力画像特徴抽出手段が、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出過程と、画像認識手段が、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識過程とを更に含むことを特徴とする。

また、上述した課題を解決するために、本発明は、与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置としてのコンピュータに実行させるプログラムであって、蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出ステップと、蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出ステップと、蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出ステップと、画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習ステップとを実行させることを特徴とするプログラムである。

この発明によれば、言語情報が関連付けられた画像が少量しか利用できない場合であっても、画像と言語情報との関係性の学習、類似性の高い画像の検索・認識をより効率的に行うことができるという利点が得られる。

本発明の第１実施形態による半教師画像学習装置の構成を示すブロック図である。 多変量解析の一種である正準相関分析方法を用いた多次元信号対圧縮装置の構成を示すブロック図である。 本第２実施形態による半教師画像検索装置の構成を示すブロック図である。 本第３実施形態による半教師画像認識装置の構成を示すブロック図である。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．第１実施形態
図１は、本発明の第１実施形態による半教師画像学習装置の構成を示すブロック図である。図において、本第１実施形態による半教師画像学習装置は、蓄積画像特徴抽出部１と、蓄積付加情報特徴抽出部２と、蓄積潜在変数抽出部３と、画像・付加情報間関係性学習部４とから構成される。該半教師画像学習装置は、画像を説明する情報である付加情報が予め付与された画像の集合である完全蓄積画像集合、付加情報が与えられていない画像の集合である不完全蓄積画像集合、及び付与された付加情報の集合である蓄積付加情報集合を入力し、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを出力する。

蓄積画像特徴抽出部１は、完全蓄積画像集合、及び不完全蓄積画像集合を入力し、完全蓄積画像集合の要素である完全蓄積画像、及び不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出し、完全蓄積画像特徴の集合である完全蓄積画像特徴集合、及び不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合を出力する。

完全蓄積画像特徴及び不完全蓄積画像特徴の抽出方法は、特に限定されるものではないが、例えば、以下のような方法、及びそれらの任意の組み合わせが考えられる。

・色ヒストグラム
・画像中の各小領域のディジタルコサイン変換の低周波成分
・Ｈａａｒ ｗａｖｅｌｅｔの低周波及び／または高周波成分のヒストグラム
・高次局所自己相関特徴（参考文献１「N. Otsu and T. Kurita “A new scheme for practical flexible and intelligent vision systems,” Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988.」参照）
・ＳＩＦＴ（参考文献２「D. Lowe, “Distinctive image features from scale-invariant keypoints, ”International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.」参照）

このようにして、蓄積画像特徴抽出部１は、完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出し、これらそれぞれの集合である完全蓄積画像特徴集合及び不完全蓄積画像特徴集合を出力する。

蓄積付加情報特徴抽出部２は、蓄積付加情報集合を入力し、蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報特徴集合を出力する。

蓄積付加情報特徴の抽出方法は、特に限定されるものではないが、本第１実施形態においては、付加情報として言語ラベルを想定し、その言語ラベルの有無を表現する２値ベクトルを蓄積付加情報特徴とする。すなわち、蓄積付加情報特徴は、以下のように構成される。

蓄積付加情報特徴は、考慮すべき言語ラベルの総数と同数の次元を持つベクトルであり、ベクトルの各次元が言語ラベルに対応する。以降、便宜的に、言語ラベルを、上記ベクトルにおいて対応する次元のインデックスを用いて表現する。蓄積付加情報に言語ラベルｉが含まれている場合には、蓄積付加情報特徴の第ｉ次元を「１」とし、そうでない場合には、「０」とする。あるいは、上記の方法で作成した特徴を主成分分析を用いて圧縮した多次元ベクトルを蓄積付加情報特徴としても良い。

このようにして、蓄積付加情報特徴抽出部２は、蓄積付加情報特徴を抽出し、この蓄積付加情報特徴の集合である蓄積付加情報集合を出力する。

蓄積潜在変数抽出部３は、完全蓄積画像特徴集合、不完全蓄積画像特徴集合、及び蓄積付加情報特徴集合を入力し、これらの特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出し、この蓄積潜在変数集合を出力する。

蓄積潜在変数集合の抽出方法は、特に限定されるものではないが、本第１実施形態においては、多変量解析の一種である正準相関分析を改良した以下の方法を用いる。

ここで、図２は、多変量解析の一種である正準相関分析方法を用いた多次元信号対圧縮装置の構成を示すブロック図である。なお、以下では、図２、及びその説明において用いる用語を本発明で用いる用語に置き換えて参照されたい。用語の対応関係は、以下の通りである。

・第１信号系列→蓄積画像特徴
・第２信号系列→蓄積付加情報特徴
・完全信号系列群→完全蓄積画像特徴と対応する蓄積付加情報特徴との集合
・第１完全信号系列→完全蓄積画像特徴
・第２完全信号系列→完全蓄積画像特徴に対応する蓄積付加情報特徴
・第１不完全信号系列→不完全蓄積画像特徴
・第２不完全信号系列→（本発明では存在しない）
・第１圧縮信号系列→蓄積潜在変数
・第２圧縮信号系列→（本発明では存在しない）

以下の説明においては、（１）第１信号系列と第２信号系列が同時共起している場合、（２）第１信号系列が欠損している場合、（３）第２信号系列が欠損している場合の３種類のケースを考慮しているのに対し、本発明では、（Ａ）蓄積画像特徴と蓄積付加情報特徴とが同時共起している場合、（Ｂ）蓄積付加情報特徴のみが欠損している場合の２種類のケースのみを考慮している点に注意されたい。このことから、以下の説明で用いられている変数ＮとＮｙは、本発明では同一となる。

図２において、多次元信号対圧縮装置は、完全信号系列群統計量算出部３１と、不完全信号系列群統計量算出部３２と、統合統計量算出部３３と、信号系列圧縮関数決定部３４と、信号系列圧縮部３５とから構成されている。

多次元信号対圧縮装置は、多次元信号系列の集合である第１信号系列群、及び第１データ群とは異なる多次元信号系列の集合である第２信号系列群を入力し、これら２つの信号系列群をそれぞれ圧縮した信号系列群である第１圧縮信号系列群及び第２圧縮信号系列群を出力する。

完全信号系列群統計量算出部３１は、第１信号系列群の構成要素としての多次元信号系列である第１信号系列、及び第２信号系列群の構成要素としての多次元信号系列である第２信号系列について、第１信号系列と第２信号系列とが対を成す信号系列対の集合である完全信号系列群（第１完全信号系列Ｘ_Ｃ、第２完全信号系列Ｙ_Ｃ）を入力し、その完全信号系列群を表現する統計量である完全信号系列群統計量を算出し、この完全信号系列群統計量を出力する。

完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、完全信号系列群統計量として、完全信号系列群の自己共分散行列、及び相互共分散行列を算出する。

第１信号系列群Ｘは、完全信号系列群に含まれる第１信号系列の集合である第１完全信号系列群Ｘ_Ｃと、完全信号系列群に含まれない第１信号系列の集合である第１不完全信号系列群Ｘ_Ｉとに分割される。同様に、第２信号系列群Ｙは、完全信号系列群に含まれる第２信号系列の集合である第２完全信号系列群Ｙ_Ｃと、完全信号系列群に含まれない第２信号系列の集合である第２不完全信号系列群Ｙ_Ｉとに分割される。併せて、次式（１）、（２）、（３）、（４）、（５）、（６）のように表現される。

ここで、Ｎは、完全信号系列群の要素数、Ｎ_ｘ及びＮ_ｙは、第１及び第２信号系列群の要素数である。また、各要素ｘ_ｉ及びｙ_ｉ（ｉ＝１、２、…、Ｎ_ｘ、ｊ＝１、２、…、Ｎ、Ｎ_ｘ＋１、Ｎ_ｘ＋２、…、Ｎ_ｘ＋Ｎ−Ｎ_ｙ）は、それぞれｄ_ｘ次元及びｄ_ｙ次元の列ベクトルとする。同じ添え字の信号系列は、互いに対応関係にあることを示している。以降の説明において、上記完全信号系列群と不完全信号系列群とを明確に区別して記述する必要がある場合には、次式（７）、（８）、（９）、（１０）に示すように、代替的な表記を用いることもある。

また、以降では、説明の簡略化のため、第１信号系列群及び第２信号系列群の平均信号系列は、常に０ベクトルであると仮定する。もしそうでない場合には、予め、次式（１１）、（１２）で表される、それぞれの平均信号系列を求めて、各信号系列からその平均信号系列を引くことで、同様の状況にすることが可能である。

このとき、完全信号系列群統計量Ｓ_Ｃとして、各信号系列群の自己共分散行列Ｓ_Ｃｘｘ、Ｓ_Ｃｙｙ、及び相互共分散行列Ｓ_Ｃｘｙを、次式（１３）、（１４）、（１５）で求める。

但し、ｘ^Ｔは、（ベクトルもしくは行列の）転置を意味する。

このようにして、完全信号系列群統計量算出部３１は、完全信号系列群統計量Ｓ_Ｃ＝｛Ｓ_Ｃｘｘ、Ｓ_Ｃｙｙ、Ｓ_Ｃｘｙ｝を抽出して出力する。

次に、不完全信号系列群統計量算出部３２は、不完全信号系列群（第１不完全信号系列群Ｘ_Ｉ、及び第２不完全信号系列群Ｙ_Ｉ）を入力し、これら２つの不完全信号系列群を表現する統計量である不完全信号系列群統計量を算出し、この不完全信号系列群統計量を出力する。不完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、第１不完全信号系列群統計量算出部３２１と、第２不完全信号系列群統計量算出部３２２とを用いる方法について説明する。

第１不完全信号系列群統計量算出部３２１は、第１不完全信号系列群Ｘ_Ｉを入力し、第１不完全信号系列群Ｘ_Ｉを表現する統計量である第１不完全信号系列群統計量を算出し、該第１不完全信号系列群統計量を出力する。第１不完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、第１不完全信号系列群統計量として、第１不完全信号系列の自己共分散行列を算出する例について説明する。

第１不完全信号系列の自己共分散行列Ｓ_Ｉｘｘは、次式（１６）で算出される。

このように、第１不完全信号系列群統計量算出部３２１は、第１不完全信号系列群統計量Ｓ_Ｉｘｘを抽出して出力する。

次に、第２不完全信号系列群統計量算出部３２２は、第２不完全信号系列群Ｙ_Ｉを入力し、第２不完全信号系列群Ｙ_Ｉを表現する統計量である第２不完全信号系列群統計量を算出し、該第２不完全信号系列群統計量を出力する。第２不完全信号系列群統計量の算出方法は、特に限定されるものではないが、ここでは、第２不完全信号系列群統計量として、第２不完全信号系列の自己共分散行列Ｓ_Ｉｙｙを算出する。自己共分散行列Ｓ_Ｉｙｙの算出方法は、第１不完全信号系列群統計量算出部３−２１と同様である。

このように、第２不完全信号系列群統計量算出部３２２は、第２不完全信号系列群統計量Ｓ_Ｉｙｙを抽出して出力する。

上述したように、不完全信号系列群統計量算出部３２は、第１不完全信号系列群統計量Ｓ_Ｉｘｘと第２不完全信号系列群統計量Ｓ_Ｉｙｙとを合わせて、不完全信号系列群統計量Ｓ_Ｉ＝｛Ｓ_Ｉｘｘ、Ｓ_Ｉｙｙ｝として出力する。

次に、統合統計量算出部３３は、完全信号系列群統計量、及び不完全信号系列群統計量を入力し、これらの統計量から、新しい統計量である統合統計量を算出し、該統合統計量を出力する。統合統計量の算出方法は、特に限定されるものではないが、ここでは、自己共分散行列に関する統合統計量と相互共分散行列に関する統合統計量とを算出する方法を用いる。

まず、自己共分散行列に関する統合統計量は、次式（１７）、（１８）、（１９）で算出される。なお、式中の文字下部に＿が付いた文字は、文中において文字の前に＿を記載して示す。つまり、上記統合統計量は、＿Ｃと記載する。

ここで、βは、０≦β≦１を満たすように予め定められた定数であり、０は、零行列である。Ｓ_ｘｘがｄ_ｘ×ｄ_ｘ正方行列、Ｓ_ｙｙがｄ_ｙ×ｄ_ｙ正方行列であることから、自己共分散行列に関する統合統計量＿Ｃは（ｄ_ｘ＋ｄ_ｙ）×（ｄ_ｘ＋ｄ_ｙ）正方行列となる。

一方、相互共分散行列に関する統合統計量は、次式（２０）で算出される。なお、式中の文字上部に￣が付いた文字は、文中において文字の前に￣を記載して示す。つまり、上記統合統計量は、￣Ｃと記載する。

但し、Ｉ_ｄは、ｄ×ｄ単位行列である。相互共分散行列に関する統合統計量￣Ｃも、自己共分散行列に関する統合統計量と同様、（ｄ_ｘ＋ｄ_ｙ）×（ｄ_ｘ＋ｄ_ｙ）正方行列となる。

上述した通り、統合統計量算出部３は、自己共分散行列に関する統合統計量＿Ｃと相互共分散行列に関する統合統計量Ｃ￣とを合わせて、統合統計量Ｃ＝｛＿Ｃ、￣Ｃ｝とし、該統合統計量Ｃを出力する。

次に、信号系列圧縮関数決定部３４は、統合統計量Ｃを入力し、第１信号系列及び第２信号系列を圧縮する関数である信号系列圧縮関数を決定し、該信号系列圧縮関数を出力する。信号系列圧縮関数の決定方法は、特に限定されるものではないが、本第１実施形態においては、統合統計量を用いた一般化固有値問題を解くことによって導出する。

まず、以下の一般化固有値問題を考える。

ここで、ｗは、（ｄ_ｘ＋ｄ_ｙ）次元のベクトルである。この一般化固有値問題は、定数βをβ＝１としたときの特殊例として完全信号系列群のみを用いた正準相関分析を含み、定数βをβ＝０としたときの特殊例として第１信号系列群と第２信号系列群とが無相関であることを仮定したときの主成分分析を含むことに注意する。

なお、β＝１の場合には、元の一般化固有値問題を直接解かず、代わりに、先頭ｄ_ｘ行分の一般化固有値問題と後方ｄ_ｙ行分の一般化固有値問題とに分解し、いくつかの式変形を行うことによって、ｍｉｎ（ｄ_ｘ、ｄ_ｙ）次元の一般化固有値問題に変形することができ、より効率的に解くことができる。また、第１信号系列群と第２信号系列群とが独立としてしまうと、固有値λまでもが第１信号系列群と第２信号系列群とで異なってしまう。

自己共分散行列に関する統合統計量＿Ｃの部分行列は、次式（２２）、（２３）で表わされる。

上記統合統計量Ｃ＿の部分行列＿Ｃ_ｘｘ、＿Ｃ_ｙｙが実対称正定値行列であることに着目すると、上記一般化固有値問題は、これら部分行列＿Ｃ_ｘｘ、＿Ｃ_ｙｙのコレスキー分解、次式（２４）、（２５）を用いることで、次式（２６）、（２７）、（２８）で示す固有値問題に変換できる。なお、＿Ｌ_ｘｘ及び＿Ｌ_ｙｙは、下三角行列となり、このことから＿Ｌも下三角行列となる。つまり、数式（２６）の左辺にある行列＿Ｌ^−１￣Ｃ（＿Ｌ^Ｔ）^−１は、実対称行列となる。実対称行列の固有値問題は各種解法が知られており、計算も比較的容易である。

数式（２６）に示す固有値問題を解き、予め定められた数の固有値と固有ベクトルとの組、もしくは固有値の和が予め定められた閾値を上回る最大数の固有値と固有ベクトルとの組を求めることで、信号系列圧縮関数を決定することができる。

具体的には、以下の通りである。まず、数式（２６）に示す実対称行列の固有値問題を解いて得られた固有ベクトルの集合を、次式（２９）とする。

このとき、数式（２７）の逆変換を用いて、各固有ベクトルｕ_ｉを、次式（３０）のように変換する。

但し、ハット（＾）ｄは、取り出した固有値及び固有ベクトルの数であり、ハット（＾）ｄ≦ｍｉｎ（ｄ_ｘ、ｄ_ｙ）を満たす。変換された各固有ベクトルｗ_ｉは、先頭のｄ_ｘ次元ベクトルｗ_ｘ，ｉと後続のｄ_ｙ次元ベクトルｗ_ｙ，ｉとに分解することができる。そして、この分解された固有ベクトルを用いて、信号系列圧縮関数を特徴付けるｄ_ｘ×ハット（＾）ｄ変換行列Ｔ_ｘ及びｄ_ｙ×ハット（＾）ｄ変換行列を、次式（３１）、（３２）、（３３）、（３４）のように得る。

このようにして、信号系列圧縮関数決定部３４は、信号系列圧縮関数を特徴付ける変換行列Ｔ_ｘとＴ_ｙを算出し、これらの変換行列を出力する。

次に、信号系列圧縮部３５は、第１信号系列群Ｘ（Ｘ_Ｃ、Ｘ_Ｉ）、第２信号系列群Ｙ（Ｙ_Ｃ、Ｙ_Ｉ）、及び信号系列圧縮関数を入力し、第１信号系列と第２信号系列のそれぞれを、信号系列圧縮関数を用いて圧縮し、圧縮された系列の集合である第１圧縮信号系列群及び第２圧縮信号系列群を出力する。第１圧縮信号系列群ハット（＾）Ｘ及び第２圧縮信号系列群ハット（＾）Ｙは、次式（３５）、（３６）、（３７）、（３８）に示すように、信号系列圧縮関数を特徴付ける変換行列を用いて、第１信号系列群Ｘ及び第２信号系列群Ｙの各信号系列を圧縮することによって得られる。

このように、信号系列圧縮部３５は、第１圧縮信号系列群ハット（＾）Ｘ及び第２圧縮信号系列群ハット（＾）Ｙを導出し、これら圧縮信号系列群を出力する。

なお、以降では、上記ハット（＾）Ｘを、蓄積潜在変数集合Ｚ＝｛ｚ_１，ｚ_２，…，ｚ_Ｎｘ｝として表記する。本発明では、上述した第２圧縮信号系列群ハット（＾）Ｙは用いない。このようにして、蓄積潜在変数抽出部３は、蓄積潜在変数集合Ｚを抽出し、この蓄積潜在変数集合を出力する。

図１に説明を戻すと、画像・付加情報間関係性学習部４は、完全蓄積画像特徴集合、不完全蓄積画像特徴集合、蓄積付加情報特徴集合、及び蓄積潜在変数集合を入力し、これら集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習し、この画像・付加情報関係モデルを出力する。画像・付加情報関係モデルの学習方法は、特に限定されるものではないが、本第１実施形態においては、潜在変数モデル学習部４１と、画像・潜在変数関係モデル学習部４２と、付加情報・潜在変数関係モデル学習部４３とを用いる方法について説明する。

潜在変数モデル学習部４１は、蓄積潜在変数集合を入力し、この蓄積潜在変数の構造を記述するモデルである潜在変数モデルを学習し、この潜在変数モデルを出力する。潜在変数モデルの学習方法は、特に限定されるものではないが、本第１実施形態では、以下の２つの実施例について説明する。いずれの実施例も、潜在変数モデルとして、潜在変数Ｚの生起確率ｐ（ｚ）を採用する。

［第１の実施例］
蓄積潜在変数集合Ｚを用いた以下の多点近似の数式（３）によって、潜在変数モデルｐ（ｚ）を決定する。

ここで、δ_ａ，ｂは、クロネッカーのデルタである。

［第２の実施例］
正準相関分析の確率的な構造を考慮し、潜在変数モデルｐ（ｚ）を、次式（４０）で示すように設定する。

このようにして、潜在変数モデル学習部４１は、潜在変数モデルｐ（ｚ）を抽出して出力する。

次に、画像・潜在変数関係モデル学習部４２は、蓄積画像特徴集合、及び蓄積潜在変数集合を入力し、これらの集合を用いて画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習し、この画像・潜在変数関係モデルを出力する。画像・潜在変数関係モデルの学習方法は、特に限定されるものではないが、本第１実施形態では、以下の２つの実施例について述べる。いずれも、画像・潜在変数関係モデルとして、潜在変数ｚが与えられたときの画像特徴ｘの条件付生起確率ｐ（ｘ｜ｚ）を採用する。

［第１の実施例］
蓄積潜在変数集合の各要素ｚ_ｎについて、画像・潜在変数関係モデルｐ（ｘ｜ｚ_ｎ）を以下の数式（４１）で示すように決定する。なお、式中の文字上部に〜が付いた文字は、文中において文字の前に〜を記載して示す。

但し、〜ｚは、蓄積画像特徴ｘを図２に示す信号系列圧縮部３５を用いて変換した蓄積潜在変数であり、βは、予め定められた定数である。

［第２の実施例］
正準相関分析の確率的な構造を考慮し、画像・潜在変数関係モデルｐ（ｘ｜ｚ）を以下の数式（４２）で示すように決定する。

但し、Ｓ_Ｃｘｘは、完全蓄積画像特徴と対応する蓄積付加情報特徴との集合、完全蓄積画像特徴、完全蓄積画像特徴に対応する蓄積付加情報特徴、及びその各要素の生起確率から、以下の数式（４３）によって算出する。

このようにして、画像・潜在変数関係モデル学習部４２は、画像・潜在変数関係モデルを抽出し、これを出力する。

付加情報・潜在変数関係モデル学習部４３は、蓄積付加情報特徴集合、及び蓄積潜在変数集合を入力し、これら集合を用いて付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習し、この付加情報・潜在変数関係モデルを出力する。

付加情報・潜在変数関係モデルの学習方法は、特に限定されるものではないが、本第１実施形態では、以下の２つの実施例について述べる。いずれも、付加情報・潜在変数関係モデルとして、潜在変数ｚが与えられたときの付加情報特徴ｙの条件付生起確率ｐ（ｙ｜ｚ）を採用する。

［第１の実施例］
蓄積潜在変数集合の各要素ｚ_ｎについて、付加情報・潜在変数関係モデルｐ（ｙ｜ｚ_ｎ）を以下の数式（４４）、（４５）、（４６）、（４７）で示すように決定する。

ここで、μは０≦μ≦１を満たす定数であり、ｙ_ｎ，ｉは、蓄積付加情報特徴ｙ_ｎの第ｉ要素である。すなわち、上記の関係式は、まず、各言語ラベルが独立に生起することを仮定し（第１の関係式）、各言語ラベルの生起確率を、各サンプルｎでの言語ラベルの経験分布（第２の関係式のδ_{ｙｉ，ｙｎ，ｉ}に相当）と全サンプルでの言語ラベルの経験分布（第２の関係式のＭ_ｉ／Ｍに相当）とを混合比μで混合して生成することを意味する。

［第２の実施例］
正準相関分析の確率的な構造を考慮し、付加情報・潜在変数関係モデルｐ（ｙ｜ｚ）を以下の数式（４８）に示すように決定する。

但し、Ｓ_Ｃｙｙは、完全蓄積画像特徴と対応する蓄積付加情報特徴との集合、完全蓄積画像特徴、完全蓄積画像特徴に対応する蓄積付加情報特徴、及びその各要素の生起確率から、以下の数式（４９）によって算出する。

このようにして、付加情報・潜在変数関係モデル学習部４３は、付加情報・潜在変数関係モデルを抽出し、これを出力する。

上述したように、画像・付加情報間関係性学習部４は、潜在変数モデル、画像・潜在変数関係モデル、及び付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとし、この画像・付加情報関係モデルを出力する。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図３は、本第２実施形態による半教師画像検索装置の構成を示すブロック図である。図において、本第２実施形態による半教師画像検索装置は、蓄積画像特徴抽出部１と、蓄積付加情報特徴抽出部２と、蓄積潜在変数抽出部３と、画像・付加情報間関係性学習部４と、入力付加情報特徴抽出部５と、画像検索部６とから構成される。なお、蓄積画像特徴抽出部１、蓄積付加情報特徴抽出部２、蓄積潜在変数抽出部３、画像・付加情報間関係性学習部４は、図１に示す第１実施形態と同様のため、説明を省略する。

該半教師画像検索装置は、完全蓄積画像集合と不完全蓄積画像集合を合わせた画像集合である蓄積画像集合、蓄積付加情報集合、及び別途与えられた付加情報である入力付加情報を入力し、これら集合から画像・付加情報関係モデルを抽出し、このモデルを用いて入力付加情報に関連する画像である付加情報関連画像を蓄積画像集合の中から選択して、この付加情報関連画像の集合である付加情報関連画像集合を出力する。

入力付加情報特徴抽出部５は、入力付加情報を入力し、この入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出し、この入力付加情報特徴を出力する。入力付加情報特徴の抽出方法は、蓄積付加情報特徴抽出部２と同様である。

画像検索部６は、入力付加情報特徴、蓄積画像集合、及び画像・付加情報関係モデル（潜在変数モデル、画像・潜在変数関係モデル、及び付加情報・潜在変数関係モデル）を入力し、入力付加情報特徴を画像・付加情報関係モデルに与えることで、蓄積画像集合から類似性の高い画像である付加情報関連画像を選択し、この付加情報関連画像の集合である付加情報関連画像集合を出力する（非特許文献１において、事後確率推定で、ｐｏｓｔｅｒｉｏｒの大きいｋ個の画像を提示、もしくは閾値を超えた画像を提示することに相当）。

付加情報関連画像の選択方法は特に限定されるものではないが、本第２実施形態においては、以下の方法について述べる。

まず、入力付加情報特徴ｙ_{ｇｉｖｅｎ}が与えられたときの画像特徴ｘの事後確率を、次式（５０）で設定する。

画像・付加情報間関係性学習部４において、蓄積潜在変数集合の各要素ｚ_ｎについて画像・付加情報関係モデルを生成している場合には、上記事後確率は、次式（５１）のように書き直すことができる。

この事後確率を蓄積画像特徴集合の各要素について計算し、事後確率の大きいある一定数の画像、もしくは事後確率が閾値を超えた画像を選択し、これら画像の集合を付加情報関連画像集合とする。

このようにして、画像検索部６は、付加情報関連画像集合を選択し、この付加情報関連画像集合を出力する。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図４は、本第３実施形態による半教師画像認識装置の構成を示すブロック図である。図において、本第３実施形態による半教師画像認識装置は、蓄積画像特徴抽出部１と、蓄積付加情報特徴抽出部２と、蓄積潜在変数抽出部３と、画像・付加情報間関係性学習部４と、入力画像特徴抽出部７と、画像認識部８とから構成される。なお、蓄積画像特徴抽出部１、蓄積付加情報特徴抽出部２、蓄積潜在変数抽出部３、画像・付加情報間関係性学習部４は、図１に示す第１実施形態と同様のため、説明を省略する。

該半教師画像認識装置は、蓄積画像集合、蓄積付加情報集合、及び別途与えられた画像である入力画像を入力し、これら集合から画像・付加情報関係モデルを抽出し、このモデルを用いて入力画像に関連する付加情報である画像関連付加情報を抽出して、この画像関連付加情報を出力する。

入力画像特徴抽出部７は、入力画像を入力し、この入力画像の特性を表現するベクトルである入力画像特徴を抽出し、この入力画像特徴を出力する。入力画像特徴の抽出方法は、蓄積画像特徴抽出部１と同様である。

画像認識部８は、入力画像特徴、及び画像・付加情報関係モデルを入力し、入力画像特徴を画像・付加情報関係モデルに与えることで、入力画像との類似性の高い画像である画像関連付加情報を抽出し、この画像関連付加情報を出力する。画像関連付加情報の選択方法は、特に限定されるものではないが、本第３実施形態においては、以下の方法について述べる。

まず、入力画像特徴ｘ_{ｇｉｖｅｎ}が与えられたときの付加情報特徴ｙの事後確率を、次式（５２）で設定する。

画像・付加情報間関係性学習部４において、蓄積潜在変数集合の各要素ｚ_ｎについて画像・付加情報関係モデルを生成している場合には、上記の事後確率は、次式（５３）のように書き直すことができる。

次に、次式（５４）に従って、この事後確率が最大となる付加情報特徴〜ｙを算出する。

上記事後確率最大となる付加情報特徴〜ｙは、一般に２値ベクトルとはならないことに注意する。この事後確率最大の付加情報特徴〜ｙの各要素のうち、値の大きいある一定数の要素、もしくは値が閾値を超えた要素を選択し、それぞれの要素に対応する言語ラベルを集めて画像関連付加情報とする。

このようにして、画像認識部８は、画像関連付加情報を選択し、この画像関連付加情報を出力する。

上述した第１から第３実施形態によれば、蓄積潜在変数抽出部３により、言語情報が関連付けられた画像と言語情報が関連付けられていない画像の双方からの、画像と言語情報の関係性を記述するための潜在変数の抽出することにより、言語情報が関連付けられた画像が少量しか利用できない場合においても、画像と言語情報の関係性を精度良く学習することができる。

すなわち、言語情報が関連付けられている画像を大量に収集することは困難である一方、言語情報が関連付けられていなくても良い場合には、画像そのものを収集することは非常に容易で大量に収集することが可能である。これら、言語情報が関連付けられていない画像を、画像と言語情報との関係性を学習する際に、同時に利用することにより、少数しかない言語情報が関連付けられた画像のみを利用する場合に比べて、高い精度で画像と言語情報の関係性を学習することができる。

なお、上述した第１から第３実施形態において、蓄積画像特徴抽出部１、蓄積付加情報特徴抽出部２、蓄積潜在変数抽出部３、画像・付加情報間関係性学習部４、入力付加情報特徴抽出部５、画像検索部６、入力画像特徴抽出部７、及び画像認識部８の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１ 蓄積画像特徴抽出部
２ 蓄積付加情報特徴抽出部
３ 蓄積潜在変数抽出部
３１ 完全信号系列群統計量算出部
３２ 不完全信号系列群統計量算出部
３２１ 第１不完全信号系列群統計量算出部
３２２ 第２不完全信号系列群統計量算出部
３３ 統合統計量算出部
３４ 信号系列圧縮関数決定部
３５ 信号系列圧縮部
４ 画像・付加情報間関係性学習部
４１ 潜在変数モデル学習部
４２ 画像・潜在変数関係モデル学習部
４３ 付加情報・潜在変数関係モデル学習部
５ 入力付加情報特徴抽出部
６ 画像検索部
７ 入力画像特徴抽出部
８ 画像認識部

Claims (9)

1. 与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置であって、
   付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、
   付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、
   前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出手段と、
   前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習手段と
   を備えることを特徴とする半教師画像認識検索装置。
2. 前記画像・付加情報間関係性学習手段は、
   前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習手段と、
   前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習手段と、
   前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習手段と
   を更に備え、
   前記画像・付加情報間関係性学習手段は、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力する
   ことを特徴とする請求項１に記載の半教師画像認識検索装置。
3. 入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出手段と、
   前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索手段と
   を更に備えることを特徴とする請求項１または２に記載の半教師画像認識検索装置。
4. 入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出手段と、
   前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識手段と
   を更に備えることを特徴とする請求項１または２に記載の半教師画像認識検索装置。
5. 与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像処理装置において用いられる半教師画像処理方法であって、
   蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、
   蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出過程と、
   蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出過程と、
   画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習過程と
   を含むことを特徴とする半教師画像認識検索方法。
6. 前記画像・付加情報間関係性学習過程は、
   前記蓄積潜在変数集合から、潜在変数の構造を記述するモデルである潜在変数モデルを学習する潜在変数モデル学習過程と、
   前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、及び前記蓄積潜在変数集合から、画像と潜在変数との関係性を記述するモデルである画像・潜在変数関係モデルを学習する画像・潜在変数関係モデル学習過程と、
   前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、付加情報と潜在変数との関係性を記述するモデルである付加情報・潜在変数関係モデルを学習する付加情報・潜在変数関係モデル学習過程と
   を更に含み、
   前記画像・付加情報間関係性学習手段は、前記画像・付加情報間関係性学習過程において、前記潜在変数モデル、前記画像・潜在変数関係モデル、及び前記付加情報・潜在変数関係モデルを合わせて、画像・付加情報関係モデルとして出力する
   ことを特徴とする請求項５に記載の半教師画像認識検索方法。
7. 入力付加情報特徴抽出手段が、入力付加情報から、入力付加情報の特性を表現するベクトルである入力付加情報特徴を抽出する入力付加情報特徴抽出過程と、
   画像検索手段が、前記入力付加情報特徴を、前記画像・付加情報関係モデルに与え、蓄積画像集合から類似性の高い画像を選択して提示する画像検索過程と
   を更に含むことを特徴とする請求項５または６に記載の半教師画像認識検索方法。
8. 入力画像特徴抽出手段が、入力画像から、入力画像の特性を表現するベクトルである入力画像特徴を抽出する入力画像特徴抽出過程と、
   画像認識手段が、前記入力画像特徴を、前記画像・付加情報関係モデルに与え、前記入力画像との類似性の高い付加情報を選択して提示する画像認識過程と
   を更に含むことを特徴とする請求項５または６に記載の半教師画像認識検索方法。
9. 与えられた画像と、その画像を説明する情報である付加情報との関係性を学習する半教師画像認識検索装置としてのコンピュータに実行させるプログラムであって、
   蓄積画像特徴抽出手段が、付加情報が予め付与された画像の集合である完全蓄積画像集合の要素である完全蓄積画像、及び付加情報が与えられていない画像の集合である不完全蓄積画像集合の要素である不完全蓄積画像のそれぞれから、各蓄積画像の特性を表現するベクトルである完全蓄積画像特徴、及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出ステップと、
   蓄積付加情報特徴抽出手段が、付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報のそれぞれから、蓄積付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出ステップと、
   蓄積潜在変数抽出手段が、前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、画像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出ステップと、
   画像・付加情報間関係性学習手段が、前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、画像と付加情報との関係性を記述するモデルである画像・付加情報関係モデルを学習する画像・付加情報間関係性学習ステップと
   を実行させることを特徴とするプログラム。

Images