JP6831453B2 - 信号検索装置、方法、及びプログラム - Google Patents

Description

本発明は、信号を検索するための信号検索装置、方法、及びプログラムに関する。
本願は、２０１７年５月２日に、日本へ出願された特願２０１７−０９１７３５号に基づき優先権を主張し、その内容をここに援用する。

従来より、画像に対して特徴量抽出を行って特徴量を抽出し、抽出された特徴量に基づき、画像を照合することが行われている（非特許文献１。２群２編２章 画像特徴抽出・照合の「概要」を参照）。
また、ＣＮＮ（Convolutional Neural Networks）を用いて、画像のエンコードを行う方法が知られている（非特許文献２）。

石川、「知識の森」、２群２編２章、電子情報通信学会、２０１２年 "Deep learning", Y. LeCun, Y. Bengio, G. Hinton、 Nature, 2015， www.nature.com

上記非特許文献１に記載の方法では、同一の画像を検出する精度は高い。しかし、同一の被写体が髪型を変えたり、笑ったりして、被写体の属性が変化した画像の特徴量は、属性が変化する前の画像の特徴量と異なる。このため、被写体の属性が変化した画像が、照合された画像に類似していると認識される可能性は低下する。
本発明は、上記事情を考慮して成されたものであり、属性を変更した信号に類似する信号を検索することができる信号検索装置、方法、及びプログラムを提供することを目的とする。

本発明の一態様は、取得された信号を出力する信号出力部と、信号を蓄積する信号蓄積部と、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値の変更指示を受付可能な状態で、前記属性の値を表示する信号属性値表示部と、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得する変更後属性値取得部と、前記変更後属性値取得部によって取得された前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索部と、を含む信号検索装置である。

本発明の一態様は上記の信号検索装置であって、前記取得された信号、前記信号蓄積部に蓄積された前記信号、前記変更後の信号、および、前記変更後の信号に類似する前記信号の各々は、画像であり、前記属性は、前記画像が表現する被写体を構成する要素に関する属性である。
本発明の一態様は上記の信号検索装置であって、前記信号属性値表示部は、前記属性の値の前記変更指示を受付可能な前記状態として、前記属性の値を示すコントローラで、前記属性の値を表示する。

本発明の一態様は、取得された信号を出力する信号出力部と、信号を蓄積する信号蓄積部と、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値を前記取得された信号から抽出する変数抽出部と、前記取得された信号の前記属性の値の変更指示を受付可能な状態で、前記属性の値を表示する信号属性値表示部と、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得する変更後属性値取得部と、前記変更後の前記属性の値と、前記信号蓄積部に蓄積された前記信号の各々について抽出された属性の値とに基づいて、前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索部と、を含む信号検索装置である。

本発明の一態様は上記の信号検索装置であって、前記信号検索部は、前記変更後の前記属性の値と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性の値とを比較して、前記変更後の信号に類似する前記信号を前記信号蓄積部に蓄積された前記信号から検索する。
本発明の一態様は上記の信号検索装置であって、前記変数抽出部は、予め学習されたニューラルネットワークを用いて、前記取得された信号から、隠れ変数を抽出し、前記隠れ変数は、前記属性を表す隠れ変数を含み、前記変更後属性値取得部は、前記属性の値の前記変更指示を受け付けると、前記変更後の前記属性を表す隠れ変数を取得し、前記信号検索部は、前記変更後の前記属性を表す前記隠れ変数と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性を表す隠れ変数とを比較して、前記変更後の前記属性を表す前記隠れ変数に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する。
本発明の一態様は上記の信号検索装置であって、前記変数抽出部は、前記取得された信号から、前記信号の個体性を表す第１の隠れ変数と、前記第１の隠れ変数とは独立した第２の隠れ変数であって前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数と、を含む複数の隠れ変数を抽出し、前記信号属性値表示部は、前記第２の隠れ変数を出力し、前記変更後属性値取得部は、前記第２の隠れ変数を変換することにより変更後の各属性を表す第３の隠れ変数を取得し、前記信号検索部は、前記信号を前記第３の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索する。
本発明の一態様は上記の信号検索装置であって、前記変数抽出部によって抽出された各属性を表す第２の隠れ変数のうち、変更対象の属性を表す隠れ変数の値を、変更後属性値取得部によって取得された変更後の値で置き換えることにより、前記変更対象の属性を表す第２の隠れ変数の値を変更する変更部をさらに備え、前記信号蓄積部は、蓄積された信号に関する第１の隠れ変数と第２の隠れ変数とを前記蓄積されたとともに記憶しており、前記信号検索部は、前記第３の隠れ変数と、前記蓄積された信号に関する第２の隠れ変数とを比較することにより、前記信号蓄積部に蓄積されている前記第２の隠れ変数のうち前記第３の隠れ変数に最も類似する隠れ変数に対応する前記信号を検索する。

本発明の一態様は、コンピュータを、上記の信号検索装置を構成する各部として機能させるためのプログラムである。

本発明の一態様は、信号出力部が、取得された信号を出力し、信号属性値表示部が、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値の変更指示を受付可能な状態で、前記属性の値を表示し、変更後属性値取得部が、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得し、信号検索部が、前記変更後属性値取得部によって取得された前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、信号を蓄積した信号蓄積部から検索する信号検索方法である。

本発明の一態様は、信号出力部が、取得された信号を出力し、変数抽出部が、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値を前記取得された信号から抽出し、信号属性値表示部が、前記取得された信号の前記属性の値の変更指示を受付可能な状態で、前記属性の値を表示し、変更後属性値取得部が、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得し、信号検索部が、前記変更後の前記属性の値と、信号蓄積部に蓄積された信号の各々について抽出された属性の値とに基づいて、前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索方法である。

本発明の信号検索装置、方法、及びプログラムによれば、属性を変更した信号に類似する信号を検索することができる、という効果が得られる。

本発明の第１の実施の形態における属性変更画面のイメージ図である。 本発明の第１の実施の形態におけるエンコーダの概念図である。 本発明の第１の実施の形態における生成器の概念図である。 生成器及び識別器を学習する方法を説明するための図である。 本発明の第１および第２の実施の形態に係る信号検索装置の構成を示すブロック図である。 本発明の第１および第２の実施の形態に係る信号検索装置における学習処理ルーチンを示すフローチャートである。 本発明の第１および第２の実施の形態に係る信号検索装置における検索処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態における生成器の概念図である。 本発明の第２の実施の形態における生成器、識別器、及び近似分布の概念図である。 音声信号の属性を変更するための属性変更画面のイメージ図である。 テキストデータの属性を変更するための属性変更画面のイメージ図である。 動画データの属性を変更するための属性変更画面のイメージ図である。 本発明の第２の実施の形態における生成器、識別器、及び近似分布の概念図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の第１の実施の形態に係る概要＞
まず、本発明の第１の実施の形態における概要を説明する。

第１の実施の形態では、図１に示すように、従来の画像編集ソフトと同様に、属性の値に対応するスライドバー９６を動かしたり、ラジオボタン９４をクリックしたりすることで、属性を自由自在にコントロールして、属性が類似する画像を検索することができるようにする。

ここで、世の中には多様なデータが存在する。例えば、様々な顔の向きに対応する画像、様々な照明条件に対応する画像、様々な年齢に対応する画像、様々な表情に対応する画像がある。

そこで、本実施の形態では、画像を直接検索するのではなく、図２に示すようなニューラルネットワークＥを用いて、隠れ変数（画像を表現するのに有用なエッセンスのようなもの）を抽出し、隠れ変数の値を変更して、変更後の画像と類似する画像を検索する。

また、一つの属性の中にも多様性が存在する。例えば、一言に「前髪」と言っても様々な形状が存在する。

そこで、本実施の形態では、図３に示すように、属性毎に、複数の隠れ変数で各属性を表現する。具体的には、複数の隠れ変数内を個体性を表現する隠れ変数と属性を表現する隠れ変数とに分離することで、属性をコントロールしやすくする。属性毎に、複数の隠れ変数で各属性を表現することにより、十分な表現能力を得る。属性が離散的な値で表現される場合、属性が取り得る離散的な値で定められた区間における任意の値を取り得る連続値で隠れ変数を表現してもよい。連続値を有する隠れ変数で各属性を表現することにより、生成器２は、十分な表現能力を得る。同様に、属性がある分布で表現される場合、それよりもより詳細な分布で隠れ変数を表現してもよい。より詳細な分布に従う隠れ変数で各属性を表現することにより、生成器２は、十分な表現能力を得る。なお、複数の隠れ変数のうち、後述する属性ベクトルｙにより制約が付与される隠れ変数（図３では隠れ変数ｚ_ａ）が属性を表現する隠れ変数である。また、複数の隠れ変数のうち、属性ベクトルｙによる制約が付与されない隠れ変数（図３では隠れ変数ｚ_ｉ）が個体性を表現する隠れ変数である。

また、生成器の構造を学習する際に、ＧＡＮ（Generative adversarial networks）を用いた場合には、生成器の入力が乱数ｚのみなので、個体性と属性とを陽に分離することが出来ない。また、生成器の構造を学習する際に、ＣＧＡＮ（Conditional generative adversarial networks）を用いた場合には、生成器の入力が乱数ｚと属性ベクトルｙとであり、生成器と、属性ベクトルｙで条件付けされた識別器とを学習することで、個体性と属性の分離が出来る。しかし、属性ベクトルｙは限定的である（属性の有無や正負などを表す）ため、個体性と分離できる属性情報は限定的となる。なお、属性の正負とは、後述するように、例えば「男性／女性」である。

そこで、本実施の形態では、図４に示すように、生成器２の学習時にＣＦＧＡＮ （Conditional Filtered generative adversarial networks)を一緒に学習する。このとき、ＣＦＧＡＮでは、生成器２の入力があるデータ分布から生成される隠れ変数ｚ_ｉと属性の多次元表現である隠れ変数ｚ_ａ’であるため、生成器２としてのニューラルネットワークＧと、属性ベクトルｙで条件付けられた識別器３としてのニューラルネットワークＤとを学習することで、個体性と詳細な属性情報とを分離できる。

また、本実施の形態では、画像の属性を変更する際に、個体性を保持したまま属性を変更する。

＜本発明の第１の実施の形態に係る信号検索装置の構成＞
次に、本発明の第１の実施の形態に係る信号検索装置の構成について説明する。図５に示すように、本発明の第１の実施の形態に係る信号検索装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する学習処理ルーチン及び検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭ（Read Only Memory）と、を含むコンピュータで構成することが出来る。図５に示すように、この信号検索装置１００は、機能的には、入力部１０と、演算部２０と、出力部９０とを備えている。

入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙの複数のペアを受け付ける。また、入力部１０は、検索対象となる複数の蓄積画像データと、検索のための変更対象となる画像データｘとを受け付ける。属性ベクトルｙは、例えば、属性の有無や正負を表す。しかし、属性ベクトルｙは、特にこれらに限定されるものではない。

演算部２０は、学習部３０と、ニューラルネットワーク記憶部４０と、予測部４２と、変数抽出部４４と、信号蓄積部４６と、予測部５０と、変数抽出部５２と、信号出力部５３と、信号属性値表示部５４と、変更後属性値取得部５６と、変更部６２と、信号検索部６４と、類似信号出力部６６とを含んでいる。

学習部３０は、入力された学習データに基づいて、生成器２としてのニューラルネットワークＧと、識別器３としてのニューラルネットワークＤとが、互いに競合する最適化条件に従うように、これらニューラルネットワークを学習する。生成器２としてのニューラルネットワークＧは、生成された個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａ’とを入力とし、個体性を表す隠れ変数ｚ_ｉ及び各属性を表す隠れ変数ｚ_ａ’から、画像データを生成する。識別器３としてのニューラルネットワークＤは、生成された画像データが、画像データの各属性を表す属性ベクトルｙの下で真の画像データｘと同一の分布に従うか否かを識別する。すなわち、識別器３としてのニューラルネットワークＤは、生成された画像データが真の画像データｘであるか否かを識別する。生成器２としてのニューラルネットワークＧへの入力となる各属性を表す隠れ変数ｚ_ａ’は、属性ベクトルｙの値により、各属性を表す隠れ変数ｚ_ａを変換することにより得られる。変換の一例としては、属性ベクトルｙが属性の有無を表す場合（すなわち、属性が有る場合にはｙ＝１、属性が無い場合にはｙ＝０）に、以下の式に示すように、生成された各属性を表す隠れ変数ｚ_ａと属性ベクトルｙとを掛け合わせることが考えられる。

あるいは、属性ベクトルｙが属性の正負を表す場合に、以下の式に示すように、生成された各属性を表す隠れ変数ｚ_ａに対して、属性ベクトルｙに応じて正の値（｜ｚ_ａ｜）（ｙ＝１の場合）または負の値（−｜ｚ_ａ｜）（ｙ＝０の場合）を与えることが考えられる。

具体的には、学習部３０は、入力された学習データの画像データｘと属性ベクトルｙと、あるデータ分布から生成された個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａとを入力とする。隠れ変数ｚ_ｉ及び隠れ変数ｚ_ａは、乱数を用いて生成されてもよい。ここで、画像データｘが顔画像データである場合には、属性ベクトルｙが、「メガネ」、「化粧」、「髭」、「前髪」の各々の有無や、「男性／女性」、「笑顔でない／笑顔」、「老けている／若い」の区別を表し、属性を表す隠れ変数ｚ_ａが、各属性内の多様性（例：どんなメガネか？を表現）を表す。
また、あるデータ分布から属性を表す隠れ変数ｚ_ａを生成する際には、例えば、属性を表す隠れ変数ｚ_ａが離散的である場合、学習部３０は、以下の式に従って、属性を表す隠れ変数ｚ_ａを生成する。

ただし、ｋは、カテゴリ数（離散的な値の数）を表す。また、Ｃａｔは、カテゴリ数Ｋの各カテゴリを示す値からなる分布であり、ｐは確率である。
また、属性を表す隠れ変数ｚ_ａが連続的である場合には、学習部３０は、以下の式に従って、属性を表す隠れ変数ｚ_ａを生成する。

ただし、Ｕｎｉｆ（−１，１）は、値の範囲を−１から１までとした一様分布である。
なお、他の分布に従う隠れ変数ｚ_ａや変換を採用することができる。例えば、隠れ変数ｚ_ａの分布として、一様分布（Ｕｎｉｆ（−１，１））ではなく、正規分布を用いることが可能であり、また、値の範囲を変更することも可能である。

また、学習部３０は、生成された個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａ’とを入力とし、生成器２としてのニューラルネットワークＧを用いて、画像データを生成する。このとき、生成器２としてのニューラルネットワークＧの入力となる各属性を表す隠れ変数ｚ_ａ’は、属性ベクトルｙの値により、各属性を表す隠れ変数ｚ_ａを変換することにより得られる。変換の一例としては、生成された各属性を表す隠れ変数ｚ_ａと属性ベクトルｙとを掛け合わせることが考えられる。

そして、学習部３０は、生成された画像データを、なるべく識別器３が、属性ベクトルｙの下で真の画像データと同一の分布に従うと識別する制約を満たすように、生成器２としてのニューラルネットワークＧのパラメータを更新する。すなわち、生成された画像を真の画像データであると識別器３が識別するように、生成器２としてのニューラルネットワークＧのパラメータが更新される。

また、学習部３０は、生成された画像データを、なるべく識別器３が、属性ベクトルｙの下で真の画像データと同一の分布に従わないと識別する制約を満たし、かつ、真の画像データｘを、識別器３が、真の画像データと同一の分布に従うと識別する制約を満たすように、識別器３としてのニューラルネットワークＤのパラメータを更新する。

なお、生成器２としてのニューラルネットワークＧと、識別器３としてのニューラルネットワークＤとが、互いに競合する最適化条件は、以下の式で表わされる。

ただし、

は、学習データから、真の画像データｘと属性ベクトルｙをサンプリングすることを表す。
また、

は、個体性を表す隠れ変数ｚ_ｉを、あるデータ分布から生成することを表す。
また、

は、属性を表す隠れ変数ｚ_ａを、あるデータ分布から生成することを表す。
また、

は、学習データから、属性ベクトルｙをサンプリングすることを表す。
また、Ｅは期待値を表す。

学習部３０は、上記の処理を、学習データ毎に行って、生成器２としてのニューラルネットワークＧのパラメータと、識別器３としてのニューラルネットワークＤのパラメータとを繰り返し更新する。

最終的に得られた、生成器２としてのニューラルネットワークＧと、識別器３としてのニューラルネットワークＤは、ニューラルネットワーク記憶部４０に記憶される。

次に、学習部３０は、図２に示すように、入力された学習データに含まれる画像データｘを入力とし、エンコーダ１としてのニューラルネットワークＥを用いて、個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａを抽出する。

また、学習部３０は、図３に示すように、抽出された個体性を表す隠れ変数ｚ_ｉと、各属性を表す隠れ変数ｚ_ａ’とを入力とし、生成器２としてのニューラルネットワークＧを用いて、画像データＧ（ｚ_ｉ、ｚ_ａ、ｙ）を生成する。このとき、各属性を表す隠れ変数ｚ_ａ’は、属性ベクトルｙの値により、エンコーダ１としてのニューラルネットワークＥが出力する各属性を表す隠れ変数ｚ_ａを変換することにより得られる。なお、図３において、ｆ_ｙは、変換に使用するフィルタ関数である。変換の一例としては、エンコーダ１としてのニューラルネットワークＥが出力する各属性を表す隠れ変数ｚ_ａと属性ベクトルｙとを掛け合わせることが考えられる。

また、学習部３０は、生成された画像データが、元の画像データｘと同じになる制約を満たすように、エンコーダ１としてのニューラルネットワークＥのパラメータを更新する。

学習部３０は、上記の処理を、学習データ毎に行って、エンコーダ１としてのニューラルネットワークＥのパラメータを繰り返し更新する。

最終的に得られたエンコーダ１としてのニューラルネットワークＥは、ニューラルネットワーク記憶部４０に記憶される。

予測部４２は、入力部１０で受け付けた蓄積画像データを、属性ベクトルｙを予測するための予測器（図示せず）としての予め学習されたニューラルネットワーク（例えば、ＣＮＮ（Convolutional Neural Networks））に入力し、属性ベクトルｙを予測する。

予測器としてのニューラルネットワークは、属性ベクトルｙを出力する。属性ベクトルｙは、例えば、各属性の有無又は正負の分類である。しかし、属性ベクトルｙは、特にこれらに限定されない。

変数抽出部４４は、蓄積画像データを入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダ１としてのニューラルネットワークＥを用いて、蓄積画像データの個体性を表す隠れ変数ｚ_ｉ及び各属性を表す隠れ変数ｚ_ａを抽出する。また、変数抽出部４４は、抽出された各属性を表す隠れ変数ｚ_ａと、予測部４２によって予測された属性ベクトルｙとに基づいて、各属性を表す隠れ変数ｚ_ａ’を求める。このとき、各属性を表す隠れ変数ｚ_ａ’は、予測部４２によって予測された属性ベクトルｙの値により、変数抽出部４４によって抽出された各属性を表す隠れ変数ｚ_ａを変換することにより得られる。変換の一例としては、各属性を表す隠れ変数ｚ_ａと属性ベクトルｙとを掛け合わせることが考えられる。各属性は、属性毎に、複数の隠れ変数ｚ_ａにより表現されるため、属性ベクトルｙの要素は、各属性が対応する複数の隠れ変数の全てに掛け合わされる。

信号蓄積部４６は、変数抽出部４４により求められた蓄積画像データの各属性を表す隠れ変数ｚ_ａ’と共に蓄積画像データの各々を記憶する。

予測部５０は、入力部１０で受け付けた変更対象の画像データｘを、属性ベクトルｙを予測するための予測器（図示せず）としての予め学習されたニューラルネットワークに入力し、属性ベクトルｙを予測する。

変数抽出部５２は、入力された変更対象の画像データｘを入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダ１としてのニューラルネットワークＥを用いて、変更対象の画像データｘの個体性を表す隠れ変数ｚ_ｉ及び各属性を表す隠れ変数ｚ_ａを抽出する。また、変数抽出部５２は、抽出された各属性を表す隠れ変数ｚ_ａと、予測部５０によって予測された属性ベクトルｙとに基づいて、各属性を表す隠れ変数ｚ_ａ’を求める。このとき、各属性を表す隠れ変数ｚ_ａ’は、予測部５０によって予測された属性ベクトルｙの値により、変数抽出部５２によって抽出された各属性を表す隠れ変数ｚ_ａを変換することにより得られる。

信号出力部５３は、出力部９０により、上記図１に示すように、属性変更画面９２の画像表示領域９８Ａに、入力された変更対象の画像データｘを表示させる。

信号属性値表示部５４は、変更対象の画像データｘの各属性を表す隠れ変数ｚ_ａ’を、値の変更指示を受付可能な状態で出力部９０に表示させる。具体的には、上記図１に示すように、属性変更画面９２に、各属性を表す隠れ変数ｚ_ａ’の値の変更指示を受付可能な状態として、各属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６などの任意のコントローラで隠れ変数ｚ_ａ’の値を表示する。

変更後属性値取得部５６は、属性変更画面９２において、変更対象の属性を表す隠れ変数ｚ_ａ’の値の変更指示（例えば、属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６に対する操作）を受け付けると、変更対象の属性を表す隠れ変数ｚ_ａ’の変更後の値を取得する。

ラジオボタン９４に対する操作を受け付けた場合には、変更後属性値取得部５６は、操作されたラジオボタン９４に対して予め定められた、変更対象の属性を表す隠れ変数ｚ_ａ’の変更後の値を取得する。
また、属性「前髪」や属性「化粧」など、属性の有無に関わる隠れ変数に対応するスライドバー９６に対する操作を受け付けた場合には、変更後属性値取得部５６は、操作されたスライドバー９６の位置に対して予め定められた、変更対象の属性を表す隠れ変数ｚ_ａ’の変更後の値を取得する。
また、属性「男性／女性」や属性「笑顔でない／笑顔」など、属性の正負に関わる隠れ変数に対応するスライドバー９６に対する操作を受け付けた場合には、変更後属性値取得部５６は、操作されたスライドバー９６の位置に対して予め定められた、変更対象の属性を表す隠れ変数ｚ_ａ’の変更後の値を取得する。

変更部６２は、変数抽出部５２によって求められた各属性を表す隠れ変数ｚ_ａ’のうち、変更後属性値取得部５６によって取得した変更対象の属性を表す隠れ変数の値ｚ_ａ’を、変更後の値で置き換えることにより、変更対象の属性を表す隠れ変数の値ｚ_ａ’を変更する。

信号検索部６４は、変更部６２による変更後の各属性を表す隠れ変数ｚ_ａ’と、信号蓄積部４６に記憶された、蓄積画像データの各々についての各属性を表す隠れ変数ｚ_ａ’とを比較して、変更部６２による変更後の各属性を表す隠れ変数ｚ_ａ’に最も類似する隠れ変数に対応した蓄積画像データを検索する。なお、比較を行う際の距離基準には、Ｌ２距離、ユークリッド距離などの既知の距離基準を用いればよい。また、類似度順に検索結果をソートして、ランキング形式で出力してもよい。

類似信号出力部６６は、出力部９０により、上記図１に示すように、属性変更画面９２の画像表示領域９８Ａに、信号検索部６４によって検索された蓄積画像データを表示させる。

＜本発明の第１の実施の形態に係る信号検索装置の作用＞
次に、本発明の第１の実施の形態に係る信号検索装置１００の作用について説明する。信号検索装置１００は、以下に説明する学習処理ルーチンと検索処理ルーチンを実行する。

まず、学習処理ルーチンについて説明する。入力部１０が、学習データとして、画像データｘと属性ベクトルｙとの複数のペアを受け付けると、信号検索装置１００は、図６に示す学習処理ルーチンを実行する。

まず、ステップＳ１００では、学習部３０が、入力部１０で受け付けた複数の学習データのうちの何れか一つを取得する。

次に、ステップＳ１０２では、学習部３０が、あるデータ分布から個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａを生成する。学習部３０は、乱数を用いて隠れ変数ｚ_ｉ及び隠れ変数ｚ_ａを生成してもよい。

ステップＳ１０４では、学習部３０が、ステップＳ１００で取得した属性ベクトルｙの値により、ステップＳ１０２で生成された各属性を表す隠れ変数ｚ_ａを変換することにより、各属性を表す隠れ変数ｚ_ａ’を求める。

そして、ステップＳ１０６では、学習部３０が、上記ステップＳ１０２およびステップＳ１０４でそれぞれ求められた、個体性を表す隠れ変数ｚ_ｉと、変換により得られた各属性を表す隠れ変数ｚ_ａ’とを入力とし、生成器２としてのニューラルネットワークＧを用いて、画像データｘ^ｐを生成する。

ステップＳ１０８では、学習部３０が、上記ステップＳ１０２で生成された個体性を表す隠れ変数ｚ_ｉと、各属性を表す隠れ変数ｚ_ａ’と、上記ステップＳ１０６で生成された画像データｘ^ｐと、ステップＳ１００で得た学習データに含まれる画像データｘ及び属性ベクトルｙとに基づいて、生成器２としてのニューラルネットワークＧのパラメータ、及び識別器３としてのニューラルネットワークＤのパラメータを更新する。

ステップＳ１１０では、学習部３０が、全ての学習データについて、上記ステップＳ１００〜Ｓ１０８の処理を実行したか否かを判定する。上記ステップＳ１００〜Ｓ１０８の処理を実行していない学習データが存在する場合、学習部３０は、処理を上記ステップＳ１００へ戻し、当該学習データを取得する。一方、全ての学習データについて、上記ステップＳ１００〜Ｓ１０８の処理を実行した場合には、学習部３０は、最終的に得られた、生成器２としてのニューラルネットワークＧのパラメータ、及び識別器３としてのニューラルネットワークＤのパラメータを、ニューラルネットワーク記憶部４０に格納する。

次に、ステップＳ１１２では、学習部３０が、入力部１０で受け付けた複数の学習データのうちの何れか一つを取得する。

ステップＳ１１４では、学習部３０が、ステップＳ１１２で得た学習データに含まれる画像データｘと属性ベクトルｙとを入力として、エンコーダ１としてのニューラルネットワークＥを用いて、個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａを抽出する。また、学習部３０は、抽出された個体性を表す隠れ変数ｚ_ｉと、各属性を表す隠れ変数ｚ_ａ’とを入力とし、生成器２としてのニューラルネットワークＧを用いて、画像データを生成する。このとき、各属性を表す隠れ変数ｚ_ａ’は、当該画像データの属性ベクトルｙの値により、抽出された各属性を表す隠れ変数ｚ_ａを変換することにより得られる。

ステップＳ１１６では、学習部３０が、生成された画像データと、ステップＳ１１２で得た学習データに含まれる画像データｘとに基づいて、エンコーダ１としてのニューラルネットワークＥのパラメータを更新する。

ステップＳ１１８では、学習部３０が、全ての学習データについて、上記ステップＳ１１２〜Ｓ１１６の処理を実行したか否かを判定する。上記ステップＳ１１２〜Ｓ１１６の処理を実行していない学習データが存在する場合、学習部３０は、処理を上記ステップＳ１１２へ戻し、当該学習データを取得する。一方、全ての学習データについて、上記ステップＳ１１２〜Ｓ１１６の処理を実行した場合には、学習部３０は、学習処理ルーチンを終了し、最終的に得られたエンコーダ１としてのニューラルネットワークＥのパラメータを、ニューラルネットワーク記憶部４０に格納する。

そして、入力部１０が複数の蓄積画像データを受け付けると、予測部４２が、入力部１０で受け付けた蓄積画像データの各々を、属性ベクトルｙを予測するための予測器としての予め学習されたニューラルネットワークに入力し、属性ベクトルｙを予測する。

また、変数抽出部４４が、蓄積画像データの各々を入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダ１としてのニューラルネットワークＥを用いて、蓄積画像データの個体性を表す隠れ変数ｚ_ｉ及び各属性を表す隠れ変数ｚ_ａを抽出する。また、変数抽出部４４は、抽出された各属性を表す隠れ変数ｚ_ａと、予測部４２によって予測された属性ベクトルｙとに基づいて、各属性を表す隠れ変数ｚ_ａ’を求める。

そして、蓄積画像データの各々が、変数抽出部４４により求められた当該蓄積画像データの各属性を表す隠れ変数ｚ_ａ’と共に、信号蓄積部４６に記憶される。

次に、検索処理ルーチンについて説明する。入力部１０が、検索のための変更対象となる画像データを受け付けると、信号検索装置１００は、図７に示す検索処理ルーチンを実行する。

ステップＳ１５０では、信号出力部５３が、出力部９０により、上記図１に示すように、属性変更画面９２の画像表示領域９８Ａに、入力された変更対象の画像データを表示させる。

ステップＳ１５２では、予測部５０が、入力部１０で受け付けた変更対象となる画像データに基づいて、予め学習された予測器としてのニューラルネットワークを用いて、属性ベクトルｙを予測する。

ステップＳ１５４では、変数抽出部５２が、入力部１０で受け付けた変更対象となる画像データを入力として、ニューラルネットワーク記憶部４０に記憶された、エンコーダ１としてのニューラルネットワークＥを用いて、個体性を表す隠れ変数ｚ_ｉと各属性を表す隠れ変数ｚ_ａを抽出する。また、変数抽出部５２は、抽出された各属性を表す隠れ変数ｚ_ａと、上記ステップＳ１５２で予測された属性ベクトルｙとに基づいて、各属性を表す隠れ変数ｚ_ａ’を求める。このとき、各属性を表す隠れ変数ｚ_ａ’は、予測された属性ベクトルｙの値により、抽出された各属性を表す隠れ変数ｚ_ａを変換することにより得られる。

ステップＳ１５６では、信号属性値表示部５４が、上記ステップＳ１５４で求められた変更対象の画像データｘの各属性を表す隠れ変数ｚ_ａ’を、値の変更指示を受付可能な状態で出力部９０に表示させる。具体的には、信号属性値表示部５４は、上記図１に示すように、属性変更画面９２に、各属性を表す隠れ変数ｚ_ａ’の値の変更指示を受付可能な状態として、各属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６で、隠れ変数ｚ_ａ’の値を表示する。

ステップＳ１５８では、変更後属性値取得部５６が、属性変更画面９２において、変更対象の属性を表す隠れ変数ｚ_ａ’の値の変更指示（例えば、属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６に対する操作）を受け付けると、変更対象の属性を表す隠れ変数ｚ_ａ’の変更後の値を取得する。

ステップＳ１６０では、変更部６２が、上記ステップＳ１５４で求められた各属性を表す隠れ変数ｚ_ａ’のうち、上記ステップＳ１５８で取得した変更対象の属性を表す隠れ変数ｚ_ａ’の値を、変更後の値で置き換えることにより、変更対象の属性を表す隠れ変数ｚ_ａ’を変更する。

そして、ステップＳ１６２では、信号検索部６４が、上記ステップＳ１６０による変更後の各属性を表す隠れ変数ｚ_ａ’と、信号蓄積部４６に記憶された、蓄積画像データの各々についての各属性を表す隠れ変数ｚ_ａ’とを比較して、変更部６２による変更後の各属性を表す隠れ変数ｚ_ａ’に最も類似する隠れ変数に対応した蓄積画像データを検索する。

そして、ステップＳ１６４では、類似信号出力部６６が、出力部９０により、上記図１に示すように、属性変更画面９２の画像表示領域９８Ａに、上記ステップＳ１６２で検索された蓄積画像データを表示させて、検索処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る信号検索装置は、変更対象の画像データについて抽出された各属性を表す隠れ変数の値の変更指示を受付可能な状態で、属性を表す隠れ変数の値を表示し、属性を表す隠れ変数の値の変更指示を受け付けると、変更後の属性を表す隠れ変数の値に基づいて属性を変更した場合の画像データに類似する蓄積画像データを検索する。これにより、属性を変更した画像データに類似する蓄積画像データを検索することができる。

また、本発明の第１の実施の形態に係る信号検索装置は、エンコーダ１としてのニューラルネットワークＥを用いて、入力された画像データの各属性を表す隠れ変数を抽出し、抽出された各属性を表す隠れ変数の値の変更指示を受付可能な状態で、属性を表す隠れ変数の値を表示し、属性を表す隠れ変数の値の変更指示を受け付けると、変更対象の属性を表す隠れ変数の値を変更し、変更後の画像データに類似する蓄積画像データを検索する。これにより、属性を変更した画像データに類似する蓄積画像データを検索することができる。

また、本発明の第１の実施の形態に係る信号検索装置は、属性毎に、複数の隠れ変数を有するため、属性の多様性を表現することができる。また、本発明の第１の実施の形態に係る信号検索装置は、一つの属性に対する複数の隠れ変数のうちの一つの隠れ変数の値だけをコントロールすることができる。例えば、属性（例えば眼鏡）だけを変える場合は、個体性を表す隠れ変数ｚ_ｉを固定して、多次元の隠れ変数ｚ_ａの各次元をインタラクティブに変更すればよい。属性を維持したまま個体性だけを変える場合は、各属性を表す隠れ変数ｚ_ａを固定して、個体性を表す隠れ変数ｚ_ｉを変更すればよい。

なお、上記の実施の形態では、互いに競合する最適化条件に従って、生成器２としてのニューラルネットワークＧと、識別器３としてのニューラルネットワークＤとを学習する場合を例に説明した。しかし、制約は、これに限定されるものではない。例えば、各隠れ変数が独立なものを表現するように制約を更に設けてもよい。具体的には、以下の式に示すように、隠れ変数ｚ_ａ’と、隠れ変数ｚ_ａ’から生成された画像データの相関（情報量）が大きくなるように制約を更に設ける。

なお、Ｉ（ｚ_ａ’；Ｇ（ｚ_ｉ，ｚ_ａ，ｙ）｜ｙ）は、属性ベクトルｙが与えられたときの隠れ変数ｚ_ａ’と画像データＧ（ｚ_ｉ、ｚ_ａ、ｙ）との相互情報量を表す。Ｈは、条件付きエントロピーを表す。Ｄ_ＫＬはカルバック・ライブラー情報量（Kullback-Leibler divergence)を表す。Ｐ（ｚ_ａ’｜ｘ，ｙ）は、画像データｘおよび属性ベクトルｙが与えられたときの隠れ変数ｚ_ａ’の分布を表す。ｚ_ａ＾’（＾はｚ_ａの上に付される）は、Ｐ（ｚ_ａ’｜ｘ，ｙ）の分布に従って得られた隠れ変数である。

Ｐ（ｚ_ａ’｜ｘ，ｙ）は未知であるため、上記の情報量Ｉを直接求めることは困難である。そのため、上記のように、Ｐ（ｚ_ａ’｜ｘ，ｙ）を近似する近似分布Ｑ（ｚ_ａ’｜ｘ，ｙ）を導入して、変分法を使い、情報量Ｉの下限を最大化するように、近似分布Ｑ（ｚ_ａ’｜ｘ，ｙ）を推定するニューラルネットワークを学習すると共に、互いに競合する最適化条件の最適化を行う。これにより、属性「メガネ」に対する複数の隠れ変数が隠れ変数ｚ_ａ ^１と隠れ変数ｚ_ａ ^２とを含み、かつ、属性「メガネ」に対する隠れ変数ｚ_ａ ^１がサングラスを表す場合に、隠れ変数ｚ_ａ ^２がサングラス以外の眼鏡を表現するようになる。

また、上記の第１の実施の形態では、エンコーダ１としてのニューラルネットワークＥが、属性を表す隠れ変数ｚ_ａと個体性を表す隠れ変数ｚ_ｉを同時に推定する場合を例に説明した。しかし、隠れ変数の推定方法は、これに限定されるものではない。例えば、エンコーダ１としてのニューラルネットワークＥが、属性を表す隠れ変数ｚ_ａではなく、属性を表す隠れ変数ｚ_ａ’を直接推定することにより、属性を表す隠れ変数ｚ_ａ’と個体性を表す隠れ変数ｚ_ｉを同時に推定するようにしてもよい。
また、生成器２としてのニューラルネットワークＧの学習の際に、近似分布Ｑ（ｚ_ａ’｜ｘ，ｙ）を推定するニューラルネットワークを一緒に学習した場合は、この近似分布を推定するニューラルネットワークを用いて、属性を表す隠れ変数ｚ_ａ’を推定するようにし、エンコーダ１としてのニューラルネットワークＥは、個体性を表す隠れ変数ｚ_ｉだけを推定するようにしてもよい。
また、エンコーダ１としてのニューラルネットワークＥを使わずに、生成器２としてのニューラルネットワークＧに任意の個体性を表す隠れ変数ｚ_ｉを入力し、生成器２としてのニューラルネットワークＧの出力が目的画像ｘに近づくように勾配法で個体性を表す隠れ変数ｚ_ｉを更新していくことで、最適な個体性を表す隠れ変数ｚ_ｉを求めるようにしてもよい。また、エンコーダ１としてのニューラルネットワークＥで、属性を表す隠れ変数ｚ_ａ’と個体性を表す隠れ変数ｚ_ｉを求めた後、これらを初期値にして、生成器２としてのニューラルネットワークＧに個体性を表す隠れ変数ｚ_ｉを入力し、生成器２としてのニューラルネットワークＧの出力が目的画像ｘに近づくように勾配法で個体性を表す隠れ変数ｚ_ｉを更新していくことで、最適な個体性を表す隠れ変数ｚ_ｉを求めるようにしてもよい。また、エンコーダ１としてのニューラルネットワークＥ、または、予測器としてのニューラルネットワークを生成器２としてのニューラルネットワークＧおよび識別器３としてのニューラルネットワークＤと一緒に学習しても良い。

次に、本発明の第２の実施の形態に係る信号検索装置について説明する。なお、第２の実施の形態に係る信号検索装置の構成は、第１の実施の形態に係る信号検索装置の構成と同様であるため、同一の符号を付して説明を省略する。

第２の実施の形態では、各属性を表す隠れ変数が、階層構造になっている点が、第１の実施の形態と異なっている。

＜本発明の第２の実施の形態に係る概要＞
次に、本発明の第２の実施の形態における概要を説明する。

第２の実施の形態では、属性に対して階層的な制御を実現するために、図８に示すように、各属性を表す隠れ変数が、２階層以上の隠れ変数へ階層的に変換される構造となっている。また、１層目の隠れ変数ｃ_１が、各属性を表しており、上記第１の実施の形態における属性ベクトルｙに対応している。隠れ変数は、例えば属性の有無や正負を表す。しかし、隠れ変数は、特にこれらに限定されるものではない。

２層目の隠れ変数ｃ_２は、１層目の隠れ変数ｃ_１の値により変換され、変換結果ｃ_２’が得られる。また、３層目の隠れ変数ｃ_３は、２層目の隠れ変数ｃ_２の変換結果ｃ_２’の値により変換され、変換結果ｃ_３’が得られる。そして、信号検索装置１００は、変更対象となる画像データについて得られた変換結果ｃ_３’と蓄積画像データの各々について得られた変換結果ｃ_３’を比較して、変更後の属性に類似する属性を持つ蓄積画像データを検索する。

また、ニューラルネットワークの学習では、信号検索装置１００は、図９に示すように、１層目の隠れ変数ｃ_１及び個体性を表す隠れ変数ｚ_１を入力とし、画像データを生成するニューラルネットワークＧ_１、識別器としてのニューラルネットワークＤ_１、及び、近似分布としてのニューラルネットワークＱ_１を学習する。また、信号検索装置１００は、２層目の隠れ変数の変換結果ｃ_２’及び個体性を表す隠れ変数ｚ_２を入力とし、画像データを生成するニューラルネットワークＧ_２、識別器としてのニューラルネットワークＤ_２、及び、近似分布としてのニューラルネットワークＱ_２を学習する。さらに、信号検索装置１００は、３層目の隠れ変数の変換結果ｃ_３’及び個体性を表す隠れ変数ｚ_３を入力とし、画像データを生成するニューラルネットワークＧ_３、識別器としてのニューラルネットワークＤ_３、及び、近似分布としてのニューラルネットワークＱ_３を学習する。なお、図９において、Ｐ_１，Ｐ_２，Ｐ_３は、それぞれ、識別器としてのニューラルネットワークＤ_１，Ｄ_２，Ｄ_３の識別結果である。また、１層目〜３層目においてそれぞれ得られるｃ_１、ｃ_２’、ｃ_３’は、近似分布としてのニューラルネットワークＱ_１，Ｑ_２，Ｑ_３によって予測された、属性を表す隠れ変数である。

このように、信号検索装置１００は、１層目の隠れ変数に対応するニューラルネットワークを最初に学習し、その学習結果をもとに一層深い層の隠れ変数に対応するニューラルネットワークを学習することを再帰的に行って、一階層ずつ、生成器としてのニューラルネットワーク、識別器としてのニューラルネットワーク、及び近似分布としてのニューラルネットワークを学習する。これにより、浅い階層において、抽象的な概念が最初に獲得され、階層が深くなるに従って、徐々に概念を詳細化することができる。

＜本発明の第２の実施の形態に係る信号検索装置の構成＞
本発明の第２の実施の形態に係る信号検索装置１００において、入力部１０は、学習データとして、複数の画像データｘを受け付ける。また、入力部１０は、検索対象となる複数の蓄積画像データと、検索のための変更対象となる画像データｘを受け付ける。

まず、学習部３０は、あるデータ分布から個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３及び各階層における各属性を表す隠れ変数ｃ_１、ｃ_２、ｃ_３を生成する。各隠れ変数は、例えば各階層における属性の有無や正負を表す。しかし、隠れ変数は、特にこれらに限定されるものではない。学習部３０は、乱数を用いて隠れ変数ｚ_１、ｚ_２、ｚ_３及び隠れ変数ｃ_１、ｃ_２、ｃ_３を生成してもよい。学習部３０は、入力された学習データに含まれる真の画像データｘと、生成された個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３と各階層における各属性を表す隠れ変数ｃ_１、ｃ_２、ｃ_３とを入力とする。そして、学習部３０は、個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３及び各属性を表す隠れ変数ｃ_１、ｃ_２、ｃ_３から、画像データを生成するための生成器としてのニューラルネットワーク（例えば、ＣＮＮ）と、生成された画像データが真の画像データと同一の分布に従うか否かを識別する識別器としてのニューラルネットワーク（例えば、ＣＮＮ）とを、互いに競合する最適化条件に従い学習する。同時に、学習部３０は、生成された画像データについての各属性を表す隠れ変数を推定する近似分布としてのニューラルネットワーク（例えば、ＣＮＮ）については、情報量の下限を最大化するように学習を行う。学習部３０は、上記の処理を、各階層に対して再帰的に繰り返し行う。

具体的には、学習部３０は、まず、１層目に対して、入力された学習データに含まれる真の画像データｘと、生成された個体性を表す隠れ変数ｚ_１と、１層目の各属性を表す隠れ変数ｃ_１とを入力とする。

そして、学習部３０は、生成された個体性を表す隠れ変数ｚ_１と、１層目の各属性を表す隠れ変数ｃ_１と、生成器としてのニューラルネットワークＧ_１とを用いて、画像データを生成する。

そして、学習部３０は、生成された画像データを、なるべく識別器が、真の画像データｘと同一の分布に従うと識別する制約を満たすように、生成器としてのニューラルネットワークＧ_１のパラメータを更新する。すなわち、生成された画像データを真の画像データｘであると識別器が識別するように、ニューラルネットワークＧ_１のパラメータが更新される。

また、学習部３０は、生成された画像データを、なるべく識別器が、真の画像データｘと同一の分布に従わないと識別する制約を満たし、かつ、真の画像データｘを、識別器が、真の画像データと同一の分布に従うと識別する制約を満たすように、識別器としてのニューラルネットワークＤ_１のパラメータを更新する。

また、学習部３０は、生成された画像データについての１層目の各属性を表す隠れ変数ｃ_１を予測する近似分布としてのニューラルネットワークＱ_１について、隠れ変数ｃ_１と、隠れ変数ｃ_１から生成された画像データの相関（情報量）の下限が最大化するように、近似分布としてのニューラルネットワークＱ_１のパラメータを更新する。

次に、学習部３０は、２層目に対して、入力された学習データに含まれる真の画像データｘと、近似分布としてのニューラルネットワークＱ_１によって予測された１層目の各属性を表す隠れ変数ｃ_１と、生成された個体性を表す隠れ変数ｚ_２と、２層目の各属性を表す隠れ変数ｃ_２とを入力とする。このとき、２層目の各属性を表す隠れ変数ｃ_２’は、１層目の各属性を表す隠れ変数ｃ_１の値により、２層目の各属性を表す隠れ変数ｃ_２を変換することにより得られる。変換の一例としては、２層目の各属性を表す隠れ変数ｃ_２と１層目の各属性を表す隠れ変数ｃ_１とを掛け合わせることが考えられる。

また、学習部３０は、生成された個体性を表す隠れ変数ｚ_２と、２層目の各属性を表す隠れ変数ｃ_２の変換結果ｃ_２’と、生成器としてのニューラルネットワークＧ_２とを用いて、画像データを生成する。

そして、学習部３０は、生成された画像データを、なるべく識別器が、１層目の各属性を表す隠れ変数ｃ_１の下で真の画像データと同一の分布に従うと識別する制約を満たすように、生成器としてのニューラルネットワークＧ_２のパラメータを更新する。すなわち、生成された画像データを真の画像データであると識別器が識別するように、ニューラルネットワークＧ_２のパラメータが更新される。

また、学習部３０は、生成された画像データを、なるべく識別器が、１層目の各属性を表す隠れ変数ｃ_１の下で真の画像データと同一の分布に従わないと識別する制約を満たし、かつ、真の画像データｘを、識別器が、真の画像データと同一の分布に従うと識別する制約を満たすように、識別器としてのニューラルネットワークＤ_２のパラメータを更新する。

また、学習部３０は、１層目の各属性を表す隠れ変数ｃ_１の下で、生成された画像データについての２層目の各属性を表す隠れ変数ｃ_２’を予測する近似分布としてのニューラルネットワークＱ_２について、隠れ変数ｃ_２’と、隠れ変数ｃ_２’から生成された画像データの相関（情報量）の下限が最大化するように、近似分布としてのニューラルネットワークＱ_２のパラメータを更新する。

次に、学習部３０は、３層目に対して、入力された学習データに含まれる真の画像データｘと、近似分布としてのニューラルネットワークＱ_２によって予測された２層目の各属性を表す隠れ変数ｃ_２’と、生成された個体性を表す隠れ変数ｚ_３と、３層目の各属性を表す隠れ変数ｃ_３とを入力とする。このとき、３層目の各属性を表す隠れ変数ｃ_３’は、２層目の各属性を表す隠れ変数ｃ_２の変換結果ｃ_２’の値により、３層目の各属性を表す隠れ変数ｃ_３を変換することにより得られる。

また、学習部３０は、生成された個体性を表す隠れ変数ｚ_３と、３層目の各属性を表す隠れ変数ｃ_３の変換結果ｃ_３’と、生成器としてのニューラルネットワークＧ_３とを用いて、画像データを生成する。

そして、学習部３０は、生成された画像データを、なるべく識別器が、２層目の各属性を表す隠れ変数ｃ_２の変換結果ｃ_２’の下で真の画像データと同一の分布に従うと識別する制約を満たすように、生成器としてのニューラルネットワークＧ_３のパラメータを更新する。すなわち、生成された画像データを真の画像データであると識別器が識別するように、ニューラルネットワークＧ_３のパラメータが更新される。

また、学習部３０は、生成された画像データを、なるべく識別器が、２層目の各属性を表す隠れ変数ｃ_２の変換結果ｃ_２’の下で真の画像データと同一の分布に従わないと識別する制約を満たし、かつ、真の画像データｘを、識別器が、真の画像データと同一の分布に従うと識別する制約を満たすように、識別器としてのニューラルネットワークＤ_３のパラメータを更新する。

また、学習部３０は、２層目の各属性を表す隠れ変数ｃ_２の変換結果ｃ_２’の下で、生成された画像データについての３層目の各属性を表す隠れ変数ｃ_３’を予測する近似分布としてのニューラルネットワークＱ_３について、隠れ変数ｃ_３’と、隠れ変数ｃ_３’から生成された画像データの相関（情報量）の下限が最大化するように、近似分布としてのニューラルネットワークＱ_３のパラメータを更新する。

学習部３０は、上記の処理を、学習データ毎に行って、各種のニューラルネットワークのパラメータを繰り返し更新する。

最終的に得られた、生成器としてのニューラルネットワークＧ_１、Ｇ_２、Ｇ_３と、識別器としてのニューラルネットワークＤ_１、Ｄ_２、Ｄ_３と、近似分布としてのニューラルネットワークＱ_１、Ｑ_２、Ｑ_３とは、ニューラルネットワーク記憶部４０に記憶される。

次に、学習部３０は、入力された学習データに含まれる画像データｘを入力とし、エンコーダとしてのニューラルネットワークを用いて、個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３を推定し、近似分布としてのニューラルネットワークＱ_１、Ｑ_２、Ｑ_３を用いて、各属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’を抽出する。

また、学習部３０は、推定された個体性を表す隠れ変数ｚ_３と、抽出された各属性を表す隠れ変数ｃ_３’とを入力とし、生成器としてのニューラルネットワークＧ_３を用いて、画像データを生成する。

また、学習部３０は、生成された画像データが、元の画像データｘと同じになる制約を満たすように、エンコーダとしてのニューラルネットワークのパラメータを更新する。

学習部３０は、上記の処理を、学習データ毎に行って、エンコーダとしてのニューラルネットワークのパラメータを繰り返し更新する。

最終的に得られたエンコーダとしてのニューラルネットワークは、ニューラルネットワーク記憶部４０に記憶される。

予測部４２は、入力部１０で受け付けた蓄積画像データを、１層目の各属性を表す隠れ変数ｃ_１を予測するための近似分布としてのニューラルネットワークＱ_１に入力し、１層目の各属性を表す隠れ変数ｃ_１を予測する。

予測部４２は、１層目の各属性を表す隠れ変数ｃ_１を出力する。

変数抽出部４４は、蓄積画像データを入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、蓄積画像データの個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３を推定し、近似分布としてのニューラルネットワークＱ_２、Ｑ_３を用いて、２層目以降の各属性を表す隠れ変数ｃ_２’、ｃ_３’を抽出する。

信号蓄積部４６は、変数抽出部４４により求められた蓄積画像データの各属性を表す隠れ変数ｃ_３’と共に蓄積画像データの各々を記憶する。

予測部５０は、入力部１０で受け付けた変更対象の画像データを、１層目の各属性を表す隠れ変数ｃ_１を予測するための近似分布としてのニューラルネットワークＱ_１に入力し、１層目の各属性を表す隠れ変数ｃ_１を予測する。予測部５０は、予測した隠れ変数ｃ_１を変数抽出部５２に出力する。

変数抽出部５２は、入力された変更対象の画像データｘを入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、変更対象の画像データｘの個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３を推定し、近似分布としてのニューラルネットワークＱ_２、Ｑ_３を用いて、２層目以降の各属性を表す隠れ変数ｃ_２’、ｃ_３’を抽出する。変数抽出部５２は、予測部５０が予測した隠れ変数ｃ_１および抽出した隠れ変数ｃ_２’、ｃ_３’を信号属性値表示部５４に出力する。

信号属性値表示部５４は、変更対象の画像データｘの各属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’を、値の変更指示を受付可能な状態で出力部９０に表示させる。具体的には、信号属性値表示部５４は、属性変更画面９２に、各属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’の値の変更指示を受付可能な状態として、各属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’の値を示すラジオボタン９４又はスライドバー９６で、隠れ変数ｃ_１、ｃ_２’、ｃ_３’の値を表示する。

変更後属性値取得部５６は、属性変更画面９２において、変更対象の属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’の値の変更指示（例えば、各属性を表す隠れ変数ｃ_３’の値を示すラジオボタン９４又はスライドバー９６に対する操作）を受け付けると、変更対象の属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’の変更後の値を取得する。なお、属性を表す隠れ変数ｃ_１の値の変更指示を受け付けた場合には、関連する属性を表す隠れ変数ｃ_２’、ｃ_３’の値も変更される。また、属性を表す隠れ変数ｃ_２’の値の変更指示を受け付けた場合には、関連する属性を表す隠れ変数ｃ_３’の値も変更される。

変更部６２は、予測部５０および変数抽出部５２によって求められた各属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’のうち、変更後属性値取得部５６によって取得した変更対象の属性を表す隠れ変数ｃ_３’を、変更後の値で置き換えることにより、変更対象の属性を表す隠れ変数ｃ_３’を変更する。

信号検索部６４は、変更部６２による変更後の各属性を表す隠れ変数ｃ_３’と、信号蓄積部４６に記憶された、蓄積画像データの各々についての各属性を表す隠れ変数ｃ_３’とを比較して、変更部６２による変更後の各属性を表す隠れ変数ｃ_３’に最も類似する隠れ変数に対応した蓄積画像データを検索する。なお、比較を行う際の距離基準には、ユークリッド距離などの既知の距離基準を用いればよい。

なお、第２の実施の形態に係る信号検索装置１００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように第２の実施の形態に係る信号検索装置は、３層目の各属性を表す隠れ変数の変換結果の値を、変更指示に従って変更し、変更後の３層目の各属性を表す隠れ変数の変換結果に類似する隠れ変数に対応した蓄積画像データを検索する。これにより、属性を変更した画像データに類似する蓄積画像データを検索することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、ニューラルネットワークの学習を行う学習部３０を含むように信号検索装置１００を構成していた。しかし、本発明は、こうした構成に限定されるものではない。例えば、信号検索装置とは別に、学習部３０を含む学習装置を設け、予測部、変数抽出部、信号出力部、信号属性値表示部、変更後属性値取得部、変更部、信号検索部、類似信号出力部、及び信号蓄積部を含むように信号検索装置を構成してもよい。

また、上述した実施の形態では、入力される信号が、顔画像データである場合を例に説明した。しかし、入力される信号は、これに限定されるものではなく、顔以外の画像データであってもよい。例えば、入力される信号が、文字画像データであってもよい。この場合には、属性ベクトルｙが、文字の種類（例：ａ，ｂ，ｃ，…，１，２，…）の各々の有無を表し、属性を表す隠れ変数ｚ_ａが、文字内の多様性（例：どんな４か？を表現）を表す。あるいは、属性ベクトルｙが、文字のフォント（例：ゴシック体，明朝体，太字，斜体字…）の各々の有無を表し、属性を表す隠れ変数ｚ_ａが、フォント内の多様性（例：どんなゴシック体か？を表現）を表す。

また、入力される信号が、動物画像データ（例えば、鳥画像データ）であってもよい。この場合には、属性ベクトルｙが、色（例：赤）の有無を表し、属性を表す隠れ変数ｚ_ａが、色内の多様性（例：どこがどのように赤い鳥か？を表現）を表す。あるいは、属性ベクトルｙが、パーツの形状（例：嘴が丸い／嘴が尖っている）を表し、属性を表す隠れ変数ｚ_ａが、パーツ内の多様性（例：どう丸い嘴か？を表現）を表す。

また、入力される信号が、背景画像データであってもよい。この場合には、属性ベクトルｙが、背景のタイプ（例：海、山、川、家、道路）を表し、属性を表す隠れ変数ｚ_ａが、背景内の多様性（例：どんな海か？を表現）を表す。

また、入力される信号が、家画像データであってもよい。この場合には、属性ベクトルｙが、色（例：赤）の有無を表し、属性を表す隠れ変数ｚ_ａが、色内の多様性（例：どこがどのように赤い家か？を表現）を表す。

また、入力される信号が、建物画像データであってもよい。この場合には、属性ベクトルｙが、建物の種類（例：ビル、戸建、タワー）の有無を表し、属性を表す隠れ変数ｚ_ａが、建物内の多様性（例：どのようなビルか？を表現）を表す。あるいは、属性ベクトルｙが、パーツの形状（例：屋根が平ら、屋根が丸い、屋根が三角）の有無を表し、属性を表す隠れ変数ｚ_ａが、パーツ内の多様性（例：屋根がどのように平らか？を表現）を表す。

また、上述した実施の形態では、入力される信号が、画像データである場合を例に説明した。しかし、入力される信号は、これに限定されるものではなく、画像データ以外の信号であってもよい。例えば、入力される信号は、音声信号（あるいは楽曲信号）、テキストデータ、または、動画データであってもよい。

音声信号を入力とする場合には、信号検索装置１００は、個体性を表す隠れ変数と、属性(音声信号の発生源である人に関する属性（例えば、魅力、男性／女性、若い／年寄り、感情、方言など）や、音声信号を構成する要素に関する属性（例えば、速い／ゆっくり、高い／低い）)を表す隠れ変数とを抽出した後、属性を表す隠れ変数を変更して、音声信号を再構成することができる。この場合、信号出力部５３又は類似信号出力部６６は、図１０に示すように属性変更画面２９２の音声表示領域２９８Ａ、２９８Ｂに、変更対象の音声データの音声波形及び音声スペクトログラム又は検索結果の音声データの音声波形及び音声スペクトログラムを表示させる。また、信号属性値表示部５４は、属性変更画面２９２に、各属性を表す隠れ変数ｚ_ａ’の値の変更指示を受付可能な状態として、各属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６で、各属性を表す隠れ変数ｚ_ａ’の値を表示する。また、属性変更画面２９２には、変更対象の音声信号又は検索結果の音声信号を再生することを指示するためのボタン２９９も表示されている。

テキストデータを入力とする場合には、信号検索装置１００は、個体性を表す隠れ変数と、属性(テキストデータの発生源である人に関する属性（例えば、丁寧度、男性／女性など）や、テキストデータを構成する要素に関する属性（例えば、抽象的／具体的、感情、ジャンル、口語／文語、フォーマル／ｎｏｔフォーマル）)を表す隠れ変数とを抽出した後、属性を表す隠れ変数を変更して、テキストデータを再構成することができる。この場合、信号出力部５３又は類似信号出力部６６は、図１１に示すように、属性変更画面３９２のテキスト表示領域３９８Ａに、変更対象のテキストデータ又は検索結果のテキストデータを表示させる。また、信号属性値表示部５４は、属性変更画面３９２に、各属性を表す隠れ変数ｚ_ａ’の値の変更指示を受付可能な状態として、各属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６で、各属性を表す隠れ変数ｚ_ａ’の値を表示する。

動画データを入力とする場合には、信号検索装置１００は、個体性を表す隠れ変数と、属性(動画データを構成する要素に関する属性（例えば、コミカル度、古い／新しい、実写／アニメ、感情、ジャンルなど）)を表す隠れ変数とを抽出した後、属性を表す隠れ変数を変更して、動画データを再構成することができる。この場合、信号出力部５３又は類似信号出力部６６は、図１２に示すように、属性変更画面４９２の動画表示領域４９８Ａに、変更対象の動画データ又は検索結果の動画データを表示させる。また、信号属性値表示部５４は、属性変更画面４９２に、各属性を表す隠れ変数ｚ_ａ’の値の変更指示を受付可能な状態として、各属性を表す隠れ変数ｚ_ａ’の値を示すラジオボタン９４又はスライドバー９６で、各属性を表す隠れ変数ｚ_ａ’の値を表示する。また、属性変更画面４９２には、変更対象の動画データ又は検索結果の動画データを再生することを指示するためのボタン４９９も表示されている。

なお、上記の第１の実施の形態では、各属性を表す隠れ変数ｚ_ａ’同士を比較して、類似する蓄積画像データを検索する場合を例に説明した。しかし、比較の対象は、これに限定されるものではない。例えば、更に、個体性を表す隠れ変数ｚ_ｉ同士を比較して、類似する蓄積画像データを検索したり、属性ベクトルｙ同士を比較して、類似する蓄積画像データを検索したり、画像データ同士を比較して、類似する蓄積画像データを検索したりするようにしてもよい。
また、上記の第２の実施の形態では、各属性を表す隠れ変数ｃ_３’同士を比較して、類似する蓄積画像データを検索する場合を例に説明した。しかし、比較の対象は、これに限定されるものではない。例えば、更に、各属性を表す隠れ変数ｃ_２’同士を比較して、類似する蓄積画像データを検索すると共に、各属性を表す隠れ変数ｃ_１同士を比較して、類似する蓄積画像データを検索することにより、各階層で類似する蓄積画像データを検索するようにしてもよい。また、更に、個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）同士を比較して、類似する蓄積画像データを検索したり、画像データ同士を比較して、類似する蓄積画像データを検索したりするようにしてもよい。
また、上述した実施の形態では、識別器、生成器、予測器、及び近似分布としてのニューラルネットワークとして、ＣＮＮを用いる場合を例に説明した。しかし、ニューラルネットワークの構造は、これに限定されるものではなく、他のニューラルネットワーク構造を用いてもよい。例えば、時系列性を考慮したモデルであるＲＮＮ（Recurrent Neural Network、例えばＬＳＴＭ（Long short-term memory）など）やＦｕｌｌｙ Ｃｏｎｎｅｃｔｅｄなどを用いてもよい。

また、上述した実施の形態では、エンコーダとしてのニューラルネットワークの出力として、隠れ変数そのものを出力する場合を例に説明した。しかし、エンコーダとしてのニューラルネットワークの出力は、これに限定されるものではない。例えば、エンコーダとしてのニューラルネットワークの出力を、隠れ変数の分布に関するパラメータ（例えば、ガウシアン分布の場合、平均と標準偏差）とし、その分布に関するパラメータに従ってサンプリングして隠れ変数を得るようにしてもよい。

また、上記の第２の実施の形態では、エンコーダとしてのニューラルネットワークが、個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３を推定し、近似分布としてのニューラルネットワークＱ_２、Ｑ_３を用いて、属性を表す隠れ変数ｃ_２’、ｃ_３’を予測し、予測器としてのニューラルネットワークを用いて隠れ変数ｃ_１を予測する場合を例に説明した。しかし、エンコーダとしてのニューラルネットワークが、属性を表す隠れ変数ｃ_１、ｃ_２、ｃ_３と個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３を同時に推定するようにしてもよい。あるいは、エンコーダとしてのニューラルネットワークが、属性を表す隠れ変数ｃ_２、ｃ_３ではなく、属性を表す隠れ変数ｃ_２’、ｃ_３’を直接推定するようにしてもよい。
また、エンコーダとしてのニューラルネットワークを使わずに、生成器としてのニューラルネットワークに任意の個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）を入力し、出力が目的画像ｘに近づくように勾配法で個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）を更新していくことで、最適な個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）を求めるようにしてもよい。また、予測器としてのニューラルネットワークで属性を表す隠れ変数ｃ_１を求め、エンコーダとしてのニューラルネットワークで、属性を表す隠れ変数ｃ_２’、ｃ_３’と個体性を表す隠れ変数ｚ_１、ｚ_２、ｚ_３を求めた後、これらを初期値にして、生成器としてのニューラルネットワークに個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）を入力し、出力が目的画像ｘに近づくように勾配法で個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）を更新していくことで、最適な個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）を求めるようにしてもよい。
また、エンコーダとしてのニューラルネットワークを用いて、個体性を表す隠れ変数ｚ_ｉ（ｚ_１、ｚ_２、ｚ_３）と同時に、属性を表す隠れ変数ｃ_２、ｃ_３を推定する場合には、エンコーダとしてのニューラルネットワークは、推定された各属性を表す隠れ変数ｃ_２、ｃ_３と、予測された１層目の各属性を表す隠れ変数ｃ_１とに基づいて、各属性を表す隠れ変数ｃ_２’、ｃ_３’を求める。各属性を表す隠れ変数ｃ_３’は、以下のように得られる。
まず、２層目の各属性を表す隠れ変数ｃ_２’が、１層目の各属性を表す隠れ変数ｃ_１の値により、２層目の各属性を表す隠れ変数ｃ_２を変換することにより得られる。次に、３層目の各属性を表す隠れ変数ｃ_３’が、２層目の各属性を表す隠れ変数ｃ_２の変換結果ｃ_２’の値により、３層目の各属性を表す隠れ変数ｃ_３を変換することにより得られる。
また、エンコーダとしてのニューラルネットワーク、または、予測器としてのニューラルネットワークを生成器としてのニューラルネットワークおよび識別器としてのニューラルネットワークと一緒に学習してもよい。

また、上記の第２の実施の形態では、学習データに含まれる画像データから、１層目の各属性を表す隠れ変数ｃ_１を予測して、学習に用いる場合を例に説明した。しかし、１層目の各属性を表す隠れ変数ｃ_１の与え方は、これに限定されるものではない。例えば、学習する際に、１層目の各属性を表す隠れ変数ｃ_１を学習データとして入力するようにしてもよい。

また、１層目の各属性を表す隠れ変数ｃ_１だけでなく、任意の階層の各属性を表す隠れ変数も学習データとして入力して、より深い階層を学習するようにしてもよい。

また、上記の第１の実施の形態では、学習データに含まれる全ての画像データｘについて、属性ベクトルｙが付与されている場合を例に説明した。しかし、属性ベクトルｙが付与される画像データｘは、これに限定されるものではない。例えば、学習データに含まれる一部の画像データｘについてだけ、属性ベクトルｙが付与されていてもよい。あるいは、学習データが属性ベクトルｙを含まずともよい。この場合、信号検索装置は、第２の実施の形態の信号検索装置が属性ベクトルｙに対応する各属性を表す隠れ変数ｃ_１を推定するのと同様に、属性ベクトルｙを推定してもよい。信号検索装置は、推定した属性ベクトルｙに基づいて、各ニューラルネットワークを学習してもよい。同様に、第２の実施の形態の場合についても、任意の階層の各属性を表す隠れ変数を学習データとして入力するときに、学習データに含まれる一部の画像データｘについてだけ隠れ変数を付与するようにしてもよい。

第２の実施の形態の信号検索装置が、１つ前の層の各属性を表す隠れ変数ｃ_ｉ−１’の値により、隠れ変数ｃ_ｉを変換して隠れ変数ｃ_ｉ’を得る場合について説明した。しかし、信号検索装置は、これに限定されることなく、隠れ変数ｃ_ｉ’に対応する層より浅い層の隠れ変数ｃ_ｊ’（ｊ＝１，２，…，ｉ−１）のうち少なくとも１つにより、隠れ変数ｃ_ｉを変換して隠れ変数ｃ_ｉ’を得てもよい。例えば、信号検索装置は、隠れ変数ｃ_ｉ’を得る際に、隠れ変数ｃ_ｉ’に対応する層より２つ浅い層の隠れ変数ｃ_ｉ−２’により、隠れ変数ｃ_ｉを変換して隠れ変数ｃ_ｉ’を得てもよい。更に、信号検索装置は、隠れ変数ｃ_ｉ’に対応する層より浅い層の隠れ変数ｃ_ｊ’（ｊ＝１，２，…，ｉ−１）と隠れ変数ｃ_ｉ’との予め定められた関係に基づいて、隠れ変数ｃ_ｉ’を得てもよい。

第１の実施の形態の信号検索装置における生成器２において、隠れ変数ｚ_ａを属性ベクトルｙで変換する処理をニューラルネットワークが行ってもよい。学習部は、隠れ変数ｚ_ａを変換するニューラルネットワークの学習を、生成器としてのニューラルネットワークＧの学習とともに行ってもよい。第２の実施の形態の信号検索装置における生成器２において、隠れ変数ｃ_ｉを隠れ変数ｃ_ｉ−１’で変換して隠れ変数ｃ_ｉ’を得る処理をニューラルネットワークが行ってもよい。学習部は、隠れ変数ｃ_ｉ’を得るニューラルネットワークの学習を、生成器としてのニューラルネットワークＧ_ｉの学習とともに行ってもよい。

第１の実施の形態における信号検索装置が、カテゴリ分布又は一様分布などのあるデータ分布から隠れ変数ｚ_ｉ、ｚ_ａを生成する場合について説明した。しかし、隠れ変数ｚ_ｉ、ｚ_ａを生成する方法は、これに限定されない。例えば、信号検索装置は、ガウシアン分布、ディリクレ分布などを含む任意の分布に基づいて、隠れ変数ｚ_ｉ、ｚ_ａを生成してもよい。第２の実施の形態における信号検索装置は、同様に、ガウシアン分布、ディリクレ分布などを含む任意の分布に基づいて、隠れ変数ｚ_１，ｚ_２，ｚ_３，ｃ_１，ｃ_２，ｃ_３を生成してもよい。あるいは、第１及び第２の実施の形態における信号検索装置は、隠れ変数それぞれを生成するニューラルネットワークを備えてもよい。

第１及び第２の実施の形態における信号検索装置が、生成器としてのニューラルネットワークＧと識別器としてのニューラルネットワークＤとの学習における最適化条件として式（５）で表される目的関数を用いる場合について説明した。しかし、生成器としてのニューラルネットワークＧと識別器としてのニューラルネットワークＤとの学習における最適化条件を表す目的関数は、これに限定されない。例えば、信号検索装置は、Least Squares ＧＡＮ、Wasserstein ＧＡＮなどを含む任意の拡張モデルを用いてもよい。

第１及び第２の実施の形態における識別器としてのニューラルネットワークＤが、生成器により生成される画像データが属性ベクトルの下で真の画像データと同一の分布に従うか否かを識別する場合について説明した。しかし、識別器としてのニューラルネットワークＤが識別する対象は、これに限定されない。例えば、識別器としてのニューラルネットワークＤは、生成される画像データが真の画像データと同一の分布に従うか否かを識別してもよい。この場合、生成器としてのニューラルネットワークＧと、識別器としてのニューラルネットワークＤとの学習における目的関数に、画像データが属性ベクトルを含むか否かの識別結果を加えてもよい。画像データが属性ベクトルを含むとは、属性ベクトルが示す属性（特徴）が画像データに含まれていることである。画像データが属性ベクトルを含むか否かの識別は、例えば、Ｐ（ｃ_１｜ｘ）及びＰ（ｃ｜ｘ，ｐ）近似分布を推定するニューラルネットワークＱ_ｌ（ｌ＝１，２，…，Ｌ）が行ってもよい。

画像データが属性ベクトルを含むか否かの識別結果を、最適化条件としての目的関数に加える場合、例えば、目的関数は式（７）で表される。式（７）で表される目的関数を用いる学習では、生成器としてのニューラルネットワークＧと、識別器としてのニューラルネットワークＤと、Ｐ（ｃ_１｜ｘ）及びＰ（ｃ｜ｘ，ｐ）近似分布を推定するニューラルネットワークＱ_ｌ（ｌ＝１，２，…，Ｌ）との学習が行われる。

式（７）における、λ_１，…，λ_Ｌは、トレードオフ・パラメータである。Ｌ_ＧＡＮ（Ｄ，Ｇ）は式（８−１）で表される。Ｌ_{ＭＩ／ＡＣ}（Ｇ，Ｑ_１）は、式（８−２）で表されるＬ_ＭＩ（Ｇ，Ｑ_１）と、式（８−３）で表されるＬ_ＡＣ（Ｇ，Ｑ_１）との何れかを用いることを表す。学習データに属性ベクトルが含まれない場合、Ｌ_ＭＩ（Ｇ，Ｑ_１）が用いられる。学習データに属性ベクトルが含まれる場合、Ｌ_ＡＣ（Ｇ，Ｑ_１）が用いられる。Ｌ_ＨＣＭＩ（Ｇ，Ｑ_ｌ）は、式（８−４）で表される。

式（８−１）〜式（８−４）におけるｘ〜Ｐ_ｄａｔａ（ｘ）は、学習データから真の画像データｘをサンプリングすることを表す。ｚ〜Ｐ（ｚ）は、隠れ変数ｚ（ｚ_ｉ，ｚ_ａ）をあるデータ分布から生成することを表す。ｃ_１〜Ｐ（ｃ_１）は、１層目の属性ベクトルｃ_１をあるデータ分布から生成することを表す。ｘ〜Ｇ（＾ｃ_Ｌ，ｚ）は、Ｌ階層における各属性を表す隠れ変数＾ｃ_Ｌと隠れ変数ｚ（ｚ_ｉ，ｚ_ａ）に基づいて、生成器としてのニューラルネットワークＧで画像データを生成することを表す。ｃ_１，ｘ〜Ｐ_ｄａｔａ（ｃ_１，ｘ）は、学習データから真の画像データｘと画像データｘに対応する属性ベクトルｃ_１とをサンプリングすることを表す。ｃ〜Ｐ（ｃ｜ｐ）は、Ｐ（ｃ｜ｐ）の分布に従って隠れ変数ｃをサンプリングすることを表す。式（８−４）におけるｃはｌ層目の各属性を表す隠れ変数であり、ｐは（ｌ−１）層目の各属性を表す隠れ変数である。

第２の実施の形態の信号検索装置において、生成される画像データが真の画像データと同一の分布に従うか否かを識別器が識別する場合、学習部３０は、図９に示した３層のニューラルネットワークを有する構成に代えて、図１３に示す１層のニューラルネットワークを有する構成を備えてもよい。図１３に示す１層のニューラルネットワークの構成を学習部３０が備える場合、学習部３０は、生成器として動作するニューラルネットワークＧ_３と、識別器として動作するニューラルネットワークＤ_３と、各属性を表す隠れ変数ｃ_１、ｃ_２’、ｃ_３’の分布を推定するニューラルネットワークＱ_１、Ｑ_２、Ｑ_３とを有する。
各ニューラルネットワークの学習において、学習部３０は、学習対象となる１つのニューラルネットワーク以外の他のニューラルネットワークのパラメータを固定して、学習対象のニューラルネットワークのパラメータを更新する。学習部３０が有するニューラルネットワークそれぞれの学習は、第１及び第２の実施の形態において説明した学習と同様に、学習データごとに繰り返し行われる。
ニューラルネットワークＱ_１の学習を行う際、学習部３０は、予め定められた初期値を設定した隠れ変数ｃ_２、ｃ_３と、あるデータ分布から生成される隠れ変数ｚ_３、ｃ_１とに基づいて、ニューラルネットワークＱ_１のパラメータを更新する。ニューラルネットワークＱ_２の学習を行う際、学習部３０は、初期値を設定した隠れ変数ｃ_３と、あるデータ分布から生成される隠れ変数ｚ_３、ｃ_１、ｃ_２とに基づいて、ニューラルネットワークＱ_２のパラメータを更新する。ニューラルネットワークＱ_３の学習を行う際、学習部３０は、あるデータ分布から生成される隠れ変数ｚ_３、ｃ_１、ｃ_２、ｃ_３に基づいて、ニューラルネットワークＱ_３のパラメータを更新する。
属性を表す隠れ変数ｃ_２、ｃ_３に設定する初期値は、例えば、隠れ変数ｃ_２、ｃ_３が取り得る値の期待値、平均値に基づいて決定される。あるいは、隠れ変数ｃ_２、ｃ_３に含まれる変数の数に基づいて初期値を決定してもよい。ニューラルネットワークＧ_３、Ｄ_３の学習は、第２の実施の形態において説明した学習と同様である。

画像データが属性ベクトルを含むか否かの識別は、識別器としてのニューラルネットワークＤが行ってもよい。画像データが属性ベクトルを含むか否かの識別を識別器が行う場合、識別器は、入力される画像データに各属性が含まれるか否かを判定するニュールラルネットワークを更に含んでもよい。
信号検索装置は、生成した画像データに対して、既知の画像処理技術を適用してもよい。例えば、信号検索装置は、生成した画像に対して超解像処理や画質の補正を行ってもよい。

上述した実施の形態における信号検索装置および学習装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

本発明は、例えば、画像などの信号を検索するために利用することができる。本発明によれば、属性を変更した信号に類似する信号を検索することができる。

１ エンコーダ
２ 生成器
３ 識別器
１０ 入力部
２０ 演算部
３０ 学習部
４０ ニューラルネットワーク記憶部
４２ 予測部
４４ 変数抽出部
４６ 信号蓄積部
５０ 予測部
５２ 変数抽出部
５３ 信号出力部
５４ 信号属性値表示部
５６ 変更後属性値取得部
６２ 変更部
６４ 信号検索部
６６ 類似信号出力部
９０ 出力部
９２ 属性変更画面
９４ ラジオボタン
９６ スライドバー
９８Ａ 画像表示領域
１００ 信号検索装置
２９２ 属性変更画面
２９４ ラジオボタン
２９８Ａ、２９８Ｂ 音声表示領域
２９９ ボタン
３９２ 属性変更画面
３９８Ａ テキスト表示領域
４９２ 属性変更画面
４９８Ａ 動画表示領域
４９９ ボタン
Ｅ，Ｄ，Ｇ，Ｑ_１，Ｑ_２，Ｑ_３ ニューラルネットワーク

Claims (10)

1. 取得された信号を出力する信号出力部と、
   信号を蓄積する信号蓄積部と、
   前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値の変更指示を受付可能な状態で、前記属性の値を表示する信号属性値表示部と、
   前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得する変更後属性値取得部と、
   前記変更後属性値取得部によって取得された前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索部と、
   前記取得された信号から、前記信号の個体性を表す第１の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第１の隠れ変数とは独立した第２の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出する変数抽出部と
   を含み、
   前記信号属性値表示部は、前記第２の隠れ変数を出力し、
   前記変更後属性値取得部は、前記第２の隠れ変数を変換することにより変更後の各属性を表す第３の隠れ変数を取得し、
   前記信号検索部は、前記信号を前記第３の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
   前記隠れ変数は、前記信号の各属性を表す隠れ変数が、２階層以上の隠れ変数へ階層的に変換される階層構造を有する
   信号検索装置。
2. 前記取得された信号、前記信号蓄積部に蓄積された前記信号、前記変更後の信号、および、前記変更後の信号に類似する前記信号の各々は、画像であり、
   前記属性は、前記画像が表現する被写体を構成する要素に関する属性である
   請求項１記載の信号検索装置。
3. 前記信号属性値表示部は、前記属性の値の前記変更指示を受付可能な前記状態として、前記属性の値を示すコントローラで、前記属性の値を表示する
   請求項１又は２記載の信号検索装置。
4. 取得された信号を出力する信号出力部と、
   信号を蓄積する信号蓄積部と、
   前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値を前記取得された信号から抽出する変数抽出部と、
   前記取得された信号の前記属性の値の変更指示を受付可能な状態で、前記属性の値を表示する信号属性値表示部と、
   前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得する変更後属性値取得部と、
   前記変更後の前記属性の値と、前記信号蓄積部に蓄積された前記信号の各々について抽出された属性の値とに基づいて、前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する信号検索部と、
   を含み、
   前記変数抽出部は、前記取得された信号から、前記信号の個体性を表す第１の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第１の隠れ変数とは独立した第２の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出し、
   前記信号属性値表示部は、前記第２の隠れ変数を出力し、
   前記変更後属性値取得部は、前記第２の隠れ変数を変換することにより変更後の各属性を表す第３の隠れ変数を取得し、
   前記信号検索部は、前記信号を前記第３の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
   前記隠れ変数は、前記信号の各属性を表す隠れ変数が、２階層以上の隠れ変数へ階層的に変換される階層構造を有する
   信号検索装置。
5. 前記信号検索部は、前記変更後の前記属性の値と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性の値とを比較して、前記変更後の信号に類似する前記信号を前記信号蓄積部に蓄積された前記信号から検索する
   請求項４記載の信号検索装置。
6. 前記変数抽出部は、予め学習されたニューラルネットワークを用いて、前記取得された信号から、隠れ変数を抽出し、前記隠れ変数は、前記属性を表す隠れ変数を含み、
   前記変更後属性値取得部は、前記属性の値の前記変更指示を受け付けると、前記変更後の前記属性を表す隠れ変数を取得し、
   前記信号検索部は、前記変更後の前記属性を表す前記隠れ変数と、前記信号蓄積部に蓄積された前記信号の各々について抽出された前記属性を表す隠れ変数とを比較して、前記変更後の前記属性を表す前記隠れ変数に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索する
   請求項４又は５記載の信号検索装置。
7. 前記変数抽出部によって抽出された各属性を表す第２の隠れ変数のうち、変更対象の属性を表す隠れ変数の値を、変更後属性値取得部によって取得された変更後の値で置き換えることにより、前記変更対象の属性を表す第２の隠れ変数の値を変更する変更部をさらに備え、
   前記信号蓄積部は、蓄積された信号に関する第１の隠れ変数と第２の隠れ変数とを前記蓄積された信号とともに記憶しており、
   前記信号検索部は、前記第３の隠れ変数と、前記蓄積された信号に関する第２の隠れ変数とを比較することにより、前記信号蓄積部に蓄積されている前記第２の隠れ変数のうち前記第３の隠れ変数に最も類似する隠れ変数に対応する前記信号を検索する、
   請求項４〜６の何れか１項記載の信号検索装置。
8. コンピュータを、請求項１〜請求項７の何れか１項記載の信号検索装置を構成する各部として機能させるためのプログラム。
9. 信号出力部が、取得された信号を出力し、
   信号属性値表示部が、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値の変更指示を受付可能な状態で、前記属性の値を表示し、
   変更後属性値取得部が、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得し、
   信号検索部が、前記変更後属性値取得部によって取得された前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、信号を蓄積した信号蓄積部から検索し、
   変数抽出部が、前記取得された信号から、前記信号の個体性を表す第１の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第１の隠れ変数とは独立した第２の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出し、
   前記信号属性値表示部が、前記第２の隠れ変数を出力し、
   前記変更後属性値取得部が、前記第２の隠れ変数を変換することにより変更後の各属性を表す第３の隠れ変数を取得し、
   前記信号検索部が、前記信号を前記第３の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
   前記隠れ変数は、前記信号の各属性を表す隠れ変数が、２階層以上の隠れ変数へ階層的に変換される階層構造を有する
   信号検索方法。
10. 信号出力部が、取得された信号を出力し、
    変数抽出部が、前記取得された信号が表現する対象を構成する要素、又は信号発生源に関する属性の値を前記取得された信号から抽出し、
    信号属性値表示部が、前記取得された信号の前記属性の値の変更指示を受付可能な状態で、前記属性の値を表示し、
    変更後属性値取得部が、前記属性の値の前記変更指示を受け付けると、変更後の属性の値を取得し、
    信号検索部が、前記変更後の前記属性の値と、信号蓄積部に蓄積された信号の各々について抽出された属性の値とに基づいて、前記変更後の前記属性の値に基づいて前記属性の値を変更した場合の変更後の信号に類似する信号を、前記信号蓄積部に蓄積された前記信号から検索し、
    前記変数抽出部が、前記取得された信号から、前記信号の個体性を表す第１の隠れ変数と、前記信号の各属性を表す隠れ変数又は前記隠れ変数に基づく隠れ変数である、前記第１の隠れ変数とは独立した第２の隠れ変数と、を含む複数の隠れ変数をフィルタ関数を用いて抽出し、
    前記信号属性値表示部が、前記第２の隠れ変数を出力し、
    前記変更後属性値取得部が、前記第２の隠れ変数を変換することにより変更後の各属性を表す第３の隠れ変数を取得し、
    前記信号検索部が、前記信号を前記第３の隠れ変数に基づいて変更した信号に類似する信号を、前記信号蓄積部に蓄積された信号から検索し、
    前記隠れ変数は、前記信号の各属性を表す隠れ変数が、２階層以上の隠れ変数へ階層的に変換される階層構造を有する
    信号検索方法。

Images