JP5462748B2

JP5462748B2 - データ可視化装置、データ変換装置、方法、及びプログラム

Info

Publication number: JP5462748B2
Application number: JP2010198043A
Authority: JP
Inventors: 勝彦石黒; 大地持橋; 具治岩田; 宏澤田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-09-03
Filing date: 2010-09-03
Publication date: 2014-04-02
Anticipated expiration: 2030-09-03
Also published as: JP2012053848A

Description

本発明は、データ可視化装置、データ変換装置、方法、及びプログラムに係り、特に、観測データを、画像に変換して可視化するデータ可視化装置、方法、及びプログラム、並びに、画像を文書データに変換するデータ変換装置及び方法に関する。

大量のデータがインターネットなどを通じて入手可能な現在、そのような大規模データセットを用いた情報解析やビジネスが盛んに行われている。しかしながら、こういった大量のデータの内容を人間が把握するのは困難である。

大量のデータの検索や要約のため、各データを少数のパターンの組み合わせで表現するトピックモデルと呼ばれる手法が提案されている（例えば、非特許文献１、２）。これらの手法では、それぞれのデータを数個から数十個の「トピック」と呼ばれる要素の組み合わせで表現する。各トピックは、観測されるデータの一部の特徴を抽象化したものである。この手法を用いることで、多種多様なデータを複数のトピックの構成比（混合比）で要約して表現することができる。

また、データの内容を「人間の目で見て理解」できるようにする可視化手法の研究が数多く行われてきた（例えば、非特許文献３）。非特許文献３に記載の技術は、トピックモデルの技術を利用して得られた情報を、２次元あるいは３次元空間の点の集合へと変換することで可視化する技術である。一つのデータは２次元あるいは３次元空間上の一つの点へと写像される。写像の求め方は、手法によって異なるが、基本的には、データの内容の近さが写像先の低次元空間での点の近さにできるだけ比例するような写像を求めている。全てのデータを１つの空間上に写像することで一つの画像が構成されている。これにより、大量に存在するデータの間の関係性が一目で理解できる。

また、連続量で表現されたデータについて、個々のデータの内容を画像パターンとして可視化・認識する方法が提案されている (非特許文献４)。

Blei, D. M., Ng, A. Y. and Jordan, M. I., "Latent Dirichlet Allocation", Journal of Machine Learning Research, Vol. 3, pp. 993−1022, 2003. Blei, D. M. and Lafferty, J. D., "A Correlated Topic Model of Science", The Annals of Applied Statistics, Vol. 1, pp. 17−35, 2007. Iwata, T. and Yamada, T. and Ueda, N., "Probabilistic Latent Semantic Visualization: Topic Model for Visualizing Documents", Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), pp. 363−371, 2008. Yoshii, K. and Goto, M., "Music Thumbnailer: Visualizing Musical Pieces in Thumbnail Images based on Acoustic Features", Proceedings of the Ninth International Conference on Music Information Retrieval (ISMIR), 2008.

以上の手法はそれぞれ以下のような問題点を持つ。

非特許文献１、２に記載の技術によれば、トピックの構成比を表す多次元ベクトルが得られるのみであり、画像などの形で可視化する技術ではないため、大量のデータの内容を直観的に理解するのは困難である、という問題がある。

また、非特許文献３に記載の可視化手法は、大規模データセット中の各データの関係を理解する点では有用だが、個別のデータの内容理解には不適切である。なぜなら、各データ点は高々３次元空間中の点として表現されているからである。従って、近年注目されている商品のレビューやブログ上の口コミ記事などのように、データ全体の関係性だけでなく、個々のデータの内容も重要なデータ集合には、有用ではない、という問題がある。

また、非特許文献４に記載の手法は、連続量で表現されたデータにしか適用できない。しかし、インターネットなどを通じて収集・利用できるデータの大部分は言語情報やアイテム間の関係データのように離散的である。したがって、非特許文献４に記載の手法では多くのデータセットを可視化することができない、という問題がある。

本発明は、上記の課題を解決するためになされたもので、離散データの集合を含む観測データを、画像に変換して可視化することができるデータ可視化装置、方法、及びプログラムを提供することを第１の目的とする。

また、画像を、離散データの集合を含む出力データに変換することができるデータ変換装置、方法、及びプログラムを提供することを第２の目的とする。

上記の第１の目的を達成するために第１の発明に係るデータ可視化装置は、離散データの集合を含む観測データの集合を、前記観測データの内容に応じた画像の集合を推定することによって、可視化するデータ可視化装置であって、可視化対象とする前記観測データの集合、前記観測データの集合に対する画像の集合、前記観測データの集合に含まれる複数種類の離散データの各々が前記観測データの各々において出現する確率を示す確率パラメータ、前記画像の集合を前記確率パラメータに変換するための変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータを記憶した記憶手段と、前記記憶手段に記憶されている、前記観測データの集合、前記観測データの集合に対する前記画像の集合、前記変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータに基づいて、前記観測データの集合に対して前記画像の集合及び前記変換行列を最適化させるために予め定められた評価関数により、前記観測データの集合に対する前記画像の集合、及び前記変換行列を推定し、前記記憶手段に更新して格納する最適値推定手段と、前記最適値推定手段による前記画像の集合及び前記変換行列を推定する処理を繰り返すことで、前記観測データの集合に対する前記画像の集合及び前記変換行列を最適化した場合に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合を出力する可視化処理手段と、を含んで構成されている。

第２の発明に係るデータ可視化方法は、離散データの集合を含む観測データの集合を、前記観測データの内容に応じた画像の集合を推定することによって、可視化するために、可視化対象とする前記観測データの集合、前記観測データの集合に対する画像の集合、前記観測データの集合に含まれる複数種類の離散データの各々が前記観測データの各々において出現する確率を示す確率パラメータ、前記画像の集合を前記確率パラメータに変換するための変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータを記憶した記憶手段と、最適値推定手段と、可視化処理手段とを含むデータ可視化装置におけるデータ可視化方法であって、前記データ可視化装置は、前記最適値推定手段によって、前記記憶手段に記憶されている、前記観測データの集合、前記観測データの集合に対する前記画像の集合、前記変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータに基づいて、前記観測データの集合に対して前記画像の集合及び前記変換行列を最適化させるために予め定められた評価関数により、前記観測データの集合に対する前記画像の集合、及び前記変換行列を推定し、前記記憶手段に更新して格納するステップと、前記可視化処理手段によって、前記最適値推定手段による前記画像の集合及び前記変換行列を推定する処理を繰り返すことで、前記観測データの集合に対する前記画像の集合及び前記変換行列を最適化した場合に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合を出力するステップと、を含んで実行することを特徴としている。

第１の発明に係るデータ可視化装置及び第２の発明に係るデータ可視化方法によれば、最適値推定手段によって、記憶手段に記憶されている、観測データの集合、観測データの集合に対する画像の集合、変換行列、変換行列に関するハイパーパラメータ、及び画像に関するハイパーパラメータに基づいて、観測データの集合に対して画像の集合及び変換行列を最適化させるために予め定められた評価関数により、観測データの集合に対する画像の集合、及び変換行列を推定し、記憶手段に更新して格納する。

そして、可視化処理手段によって、最適値推定手段による画像の集合及び変換行列を推定する処理を繰り返すことで、観測データの集合に対する画像の集合及び変換行列を最適化した場合に、記憶手段に記憶されている観測データの集合に対する画像の集合を出力する。

このように、離散データの集合を含む観測データについて、観測データの集合に対して、画像の集合及び変換行列を最適化するように繰り返し推定することにより、離散データの集合を含む観測データの集合を、可視化することができる。

第１の発明に係るデータ可視化装置は、入力された可視化対象データの集合について、前記可視化対象データの各々を、前記離散データの集合を含む前記観測データに変換して、変換した前記観測データの集合を前記記憶手段に格納する入力変換手段を更に含むようにすることができる。

第１の発明に係る前記記憶手段は、前記可視化対象とする前記観測データの集合の一部の観測データの各々に対して予め求められた教師画像の集合を更に記憶し、前記記憶手段に記憶されている前記画像の集合のうち、前記一部の観測データに対する前記画像の集合を、前記教師画像の集合とすることができる。これによって、観測データから変換される画像の内容を制御することができる。

第１の発明に係る前記最適値推定手段は、前記観測データの集合に対する前記画像の集合及び前記変換行列の統計値を計算する前記評価関数により、前記画像の集合及び前記変換行列を推定するようにすることができる。

第１の発明に係るデータ可視化装置は、前記記憶手段に記憶されている前記変換行列に基づいて、前記変換行列に関するハイパーパラメータを推定すると共に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合に基づいて、前記画像に関するハイパーパラメータを推定し、前記記憶手段に更新して格納するハイパーパラメータ推定手段を更に含み、前記可視化処理手段は、前記最適値推定手段による前記画像の集合及び前記変換行列を推定する処理、並びに前記ハイパーパラメータ推定手段による前記変換行列に関するハイパーパラメータ及び前記画像に関するハイパーパラメータを推定する処理を繰り返すことで、前記観測データの集合に対する前記画像の集合及び前記変換行列を最適化した場合に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合を出力するようにすることができる。これによって、ハイパーパラメータも最適化することができる。

第５の発明に係るプログラムは、上記のデータ可視化装置の各手段としてコンピュータを機能させるためのプログラムである。

以上説明したように、本発明のデータ可視化装置、方法、及びプログラムによれば、離散データの集合を含む観測データについて、観測データの集合に対する画像の集合及び変換行列を最適化するように繰り返し推定することにより、離散データの集合を含む観測データの集合を、可視化することができる、という効果が得られる。

また、本発明のデータ変換装置及び方法によれば、変換対象とする前記画像の集合、及び画像の集合を確率パラメータに変換するための変換行列に基づいて、複数種類の離散データの各々が出力データの各々において出現する確率を示す確率パラメータを計算することによって、画像を、離散データの集合を含む出力データに変換することができる、という効果が得られる。

変換モデルの模式図である。本発明の第１の実施の形態に係るデータ可視化装置の構成を示す概略図である。本発明の第１の実施の形態に係るデータ可視化装置における最適値推定処理ルーチンの内容を示すフローチャートである。カテゴリ識別率の計算結果を示すグラフである。２０ｎｅｗｓデータセットに対する可視化結果を示す図である。ｅａｃｈｍｏｖｉｅデータセットに対する可視化結果を示す図である。本発明の第２の実施の形態に係るデータ可視化装置の構成を示す概略図である。（ａ）教師トピック画像の例を示す図、及び（ｂ）２０ｎｅｗｓデータセットに対する、半教師有り学習を用いて可視化結果を示す図である。本発明の第３の実施の形態に係るデータ変換装置の構成を示す概略図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜概要＞
まず、本発明で提案するデータ可視化装置で用いる変換モデルについて説明する。図１は、提案する変換モデルを模式的に表した図である。可視化したい観測データの集合をＸとする。観測データは全部でＤ個存在するとし、ｄ番目の観測データをＸ_d(ｄ = １, … ,Ｄ) と表す。すなわちＸ = {Ｘ₁, … ,Ｘ_d, … , Ｘ_D}。

ｄ番目の観測データＸ_dはＮ_d個のデータｘ_d,i(ｉ=１,２, … ,Ｎ_d) の集合である。ここでｉをデータのインデックスとし、データの種類の数をＶで表現すると、ｘ_d,iは、Ｖ次元のベクトルｘ_d,i=(ｘ_d,i,1, … , ｘ_d,i,v, … , ｘ_d,i,V)^T である。

各観測データは、確率パラメータθ_dで定義される確率分布から生成されたと考える。この確率パラメータは一般にはＶ次元のベクトルであり、各要素はθ_d,vで表される。

提案する変換モデルのポイントは、この確率パラメータが、観測データを抽象化した画像表現であるトピック画像Ｙ_dと変換行列Ａから決定されるものと考える点である。すなわち、ｄ番目の観測データに対応するトピック画像Ｙ_dに変換行列Ａを作用させると、θ_dが得られる。

また、各トピック画像Ｙ_dはＺ個のピクセルをもち、各ピクセルの位置をｚで表す。このとき、変換行列Ａの役割は、Ｚ個の要素を持つトピック画像をＶ次元の確率パラメータθ_dに変換することである。

例えば、θ_dのｖ番目の要素の計算においては、Ａのｖ番目の要素ａ_vと、トピック画像のｚ番目のピクセルの値ｙ_d,zを利用することが考えられる。

提案する発明は、以上の変換モデルを利用して、与えられた観測データの集合Ｘを入力として、確率パラメータを経由して、変換行列Ａとトピック画像の集合Ｙ={Ｙ₁, … ,Ｙ_d, … ,Ｙ_D} の最適な組み合わせを計算し出力する。

＜観測データの形式＞
次に、観測データの形式について説明する。以下、本実施の形態では、観測データＸ_dがＢａｇ−ｏｆ−Ｗｏｒｄ(ＢｏＷ) 形式で表現された離散データである、と仮定して説明する。

ＢｏＷ形式のデータは、例えばトピックモデル(非特許文献１を参照) などの離散データに対する技術で幅広く用いられている。ただし、その他の離散データや連続データにも、本発明は適用可能である。例えば、一般の離散データや連続データをＢｏＷ形式に変換すれば、以下で説明するシステムの形態をそのまま利用することができる。

ＢｏＷ形式は、各データが複数のトークンと呼ばれる構成要素から構成されるとみなし、データを、トークンの集合で記述した形式である。ＢｏＷ形式の場合、各トークンｘ_{d, i}は単語データと呼ばれることもある。その場合、観測データＸ_dは単語の集合であるため文書データとも呼ばれる。

したがって、文書を観測データとした場合、Ｖはとりうる単語の語彙数として自然に解釈できる。ｘ_{d, i}は各要素に０あるいは１のみをとり、かつ全Ｖ要素中でｘ_{d, i, v}=１となるｖはただ一つであると仮定する。これによってｘ_{d, i, v}=１の場合、観測データＸ_d中の第ｉ単語データはｖ番目の語彙であることを表現する。

また、多数のユーザによる映画のレビューデータを観測データとした場合、映画毎に観測データＸ_dが構成される。このとき、各映画にレビューを書いたユーザの識別情報をトークンとすれば、映画毎にその映画にレビューしたユーザの集合から構成される観測データが得られる。これが、ＢｏＷ形式の観測データとなる。

ＢｏＷ形式においては、θ_dはＶ次元の実数ベクトルである。ただしΣ_v=1 ^V θ_{d, v}＝１, (θ_{d, v} ≧０) を仮定する。

＜トピック画像の形式＞
次に、トピック画像の形式について説明する。以下、本実施の形態では、簡単のためトピック画像Ｙ_dは各ピクセルに一次元の値を持つ場合を例に説明する。

Ｒで１次元実数を、Ｒ^aでａ次元実数ベクトルを表すものとすると、すなわちｙ_{d, z} ∈ Ｒである。このような画像データは例えば白黒（グレイスケール）画像に対応する。

ただし、これは発明の範囲を狭めるものではなく、このピクセル値をより高次元に拡張することも容易である。例えば３次元(ｙ_{d, z}∈Ｒ³)の場合は、トピック画像はＲＧＢ画像として表現される。

また、ピクセルの位置を表すベクトルｚが、２次元ベクトルの場合は、トピック画像は通常の静止画像として表現され、３次元ベクトルの場合は、動画像として表現される。本実施の形態では、簡単のためｚ∈ Ｒ²を仮定して説明するが、その拡張もやはり容易である。

＜システム構成＞
次に、観測データの集合を入力として、トピック画像に変換して出力するデータ可視化装置に、本発明を適用した場合を例にして、第１の発明の実施の形態を説明する。

図２に示すように、第１の実施の形態に係るデータ可視化装置は、可視化したい観測データの入力を受け付ける入力部１と、モデルの学習とデータの変換を行う変換モデル部２と、変換結果を出力する出力部３と、を備えている。

入力部１は、既知のビデオカメラ、マイクロフォン、記憶装置などの入力器により実現される。また、出力部３は、ディスプレイ、プリンタ、磁気ディスクなどで実装される。

変換モデル部２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）と、後述する最適値推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）とを備えたコンピュータで構成され、機能的には次に示すように構成されている。変換モデル部２は、入力読込部２１、入力変換部２２、入力制御部２３、最適値推定部３０、終了判定部２４、出力制御部２５、出力変換部２６、及び記憶手段１０を備えている。

入力読込部２１は、入力部１から観測データを読み込む。

入力変換部２２は、観測データがＢｏＷ形式（最適値推定部３０における処理に適した形式）でない場合に、観測データをＢｏＷ形式に変換して出力する。

入力制御部２３は、入力変換部２２から取得した（データ形式変換後の）観測データを取得し、最適値推定部３０による最適値推定処理を実行させる。

最適値推定部３０は、観測データを用いて、変換行列Ａとトピック画像の集合Ｙ={Ｙ₁, … ,Ｙ_d, … ,Ｙ_D} との最適な組み合わせの推定を行う。また、最適値推定部３０は、対数事後確率計算部３１、トピック画像推定部３３、変換行列推定部３４、確率パラメータ推定部３５、及びハイパーパラメータ推定部３６を備える。

終了判定部２４は最適値推定部３０による最適値推定処理を監視し、最適値推定処理の終了を検知してその終了情報を出力制御部２５に通知する。

出力制御部２５は、終了判定部２４より受けた終了情報を受けて、記憶手段１０に保存された推定結果のうち、要求された推定結果を出力変換部２６へ出力する。

出力変換部２６は、必要となるデータ形式の変換などを施した推定結果を、出力部３へ出力する。

＜入力読込部２１＞
入力読込部２１は、入力部１を介して、可視化したい観測データ(被変換データ) の集合Ｘの入力を受け付ける。

入力データは以下のような形式であり、入力読込部２１でロードされる。観測データは全部でＤ個存在するとし、ｄ番目の観測データをＸ_d(ｄ＝１, ..., Ｄ) と表す。すなわち、入力データは、Ｘ＝{Ｘ₁, ...,Ｘ_d, ..., Ｘ_D}と表わされる。

また、観測データとは別に、以下の定数も、入力部１を介して別途入力を受け付ける。まずＤは観測データの数である。Ｖは語彙数、すなわち単語データのとりうる値の種類の数である。Ｚはトピック画像のピクセル数である。Ｅはトピック画像の次元数である。Ｌは後述するハイパーパラメータΨの要素数である。Ｏは以下で述べる最適化に必要となる定数集合である。ここでＤ，Ｖ，Ｌについては、入力された観測データの集合に基づいて、入力制御部２３で自動抽出するようにしてもよい。

さらに、モデルに必要なハイパーパラメータと呼ばれる定数も同時に入力する。Ψ＝(ψ₁, ..., ψ_l, ...,ψ_L) はトピック画像に関するハイパーパラメータである。μ∈Ｒ^V, σ∈Ｒ^V×V は変換行列に関するハイパーパラメータである。

＜入力変換部２２＞
入力変換部２２では、観測データＸ_d をＢａｇ−ｏｆ−Ｗｏｒｄ（ＢｏＷ）形式で表現する。ＢｏＷ形式のデータは、例えばトピックモデル(非特許文献１）などの離散データに対する技術で幅広く用いられている。

観測データとして、その他の離散データや連続データが入力された場合には、入力変換部２２は、観測データをＢｏＷ形式に変換する。例えば、入力された観測データが、１００次元の連続値ベクトルで表現されていた場合、各次元の値を適当な粒度で正整数へ量子化することにより、単語数１００のＢｏＷ形式データに変換する。なお、変換手法については、非特許文献（Ishiguro, K., Yamada, T., Araki, S., and Nakatani, T., “A Probabilistic Speaker Clustering for DOA-based Diarization”, in Proceedings of the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), pp. 241−244, 2009.）に記載されている手法を用いればよいため、詳細な説明を省略する。

ＢｏＷ形式では、ｄ番目の観測データＸ_dはＮ_d個のデータｘ_{d, i}，ｉ＝１,２, ...,Ｎdの集合である。ここでｉはデータのインデックスである。各データｘ_{d, i}は単語データと呼ばれ、またＸ_dは単語データの集合であるため文書データとも呼ばれる。

データの種類の数はＶで表現する。この際、Ｖはとりうる単語の語彙数として自然に解釈できる。データｘ_{d, i}＝（ｘ_{d, i, 1}, ..., ｘ_{d, i, v}, ..., ｘ_{d, i, V}）^T はＶ次元のベクトルである。ｘ_{d, i}は各要素に０あるいは１のみをとり、かつ全Ｖ要素中でｘ_{d, i, v}＝１となるｖはただ一つであると仮定する。これによって、ｘ_{d, i, v}＝１でもって、観測データＸ_d中の第ｉ単語データがｖ番目の語彙であることを表現する。

＜入力制御部２３＞
入力制御部２３は、入力読込部２１で取得した定数とハイパーパラメータ、および、入力変換部２２でＢｏＷ形式に変換した観測データを、記憶手段１０に記憶する。そして、最適値推定部３０による最適値推定処理へ移行する。

＜モデルの定式化＞
次に、主に記憶手段１０に保存される情報について、モデルにおけるそれらの意味とともに説明する。

トピック画像１４は、入力された観測データを画像へと変換した場合の変換結果を表す。トピック画像の集合をＹ＝{Ｙ₁, ..., Ｙ_d, ..., Ｙ_D}で表現する。各観測データＸ_dはトピック画像Ｙ_dに対応する。トピック画像Ｙ_dはＺ個のピクセルを持ち、各ピクセルの位置をｚ∈Ｒ^Eで表す。このとき、Ｅ＝２の場合、トピック画像は静止画像であり、Ｅ＝３の場合、トピック画像は動画像である。

第ｄ画像上の位置ｚにおけるピクセル値をｙ_{d, z}で表す。以下ではｙ_{d, z}∈Ｒ、すなわちグレースケール画像あるいは白黒の画像を想定して説明するが、例えばｙ_{d, z}∈Ｒ³とすればそのままカラー画像の表現も可能である。

本実施の形態では、トピック画像の事前分布としてガウス過程(Ｇａｕｓｓｉａｎｐｒｏｃｅｓｓ，ＧＰ) を利用する。なお、ガウス過程については、非特許文献（Rasmussen, C. E. and Williams, C. K. I., “Gaussian Processes for Machine Learning”, MIT Press, 2006.）に記載されている。

以下、トピック画像Ｙ_dの全ピクセルを一列に並べてベクトルにしたものをｙ_d＝(ｙ_{d, z1}, ｙ_{d, z2} , ..., ｙ_{d, zZ} )^T ∈Ｒ^Zと表すことにする。このとき、ガウス過程によれば次の（１）式が成り立つ。

ただし、Ｎは正規分布を、０はＺ次元のゼロベクトルを表す。上記（１）式は、全てのピクセルの値が、グラム行列Ｋ＝{ｋ_{i j}}∈Ｒ^Z×Z をパラメータとした正規分布より生成されることを表している。

ここで、グラム行列Ｋの要素ｋ_{i j}は、以下の（２）式で表される。

ただし、ｋはユーザが事前に選択するカーネル関数あるいは共分散関数と呼ばれる関数であり、ピクセルｚ∈Ｒ^Eとｚ´∈Ｒ^Eの間の距離に応じた値を返す正定値対称関数である。このｋとして、様々な種類の関数を選ぶことができるが、その選択によって画像ピクセル間の値の相関をモデル化することができる。例えばｋとしてガウシアンを選択すると、近くにあるピクセルは近い値を持ち、滑らかなパターンが生成されやすくなる。また、ｋの計算は、ハイパーパラメータ１３に保存されたΨによって規定される。必要となるハイパーパラメータの数や種類は、選択したカーネル関数によって変化する。

変換行列１６は、Ｚピクセルを持つトピック画像からＶ次元の確率パラメータ１７を計算するために利用される行列Ａである。

変換行列Ａは、Ｖ個のＺ次元列ベクトルａ_vからなる:Ａ＝(ａ₁, ...,ａ_v, ...,ａ_V) ∈Ｒ^Z×V。ａ_v＝(ａ_{v, 1}, ..., ａ_{v, z}, ...,ａ_{v, Z})^T ∈Ｒ^Zは、単語ｖが観測される確率に各ピクセルｚ_zの値が与える影響を表す列ベクトルである。ａ_{v, z}が正の値であれば、ピクセルｚ_zの値が大きいと単語ｖが観測される可能性が高まる。本実施の形態では、以下の（３）式に示すように、ａ_vの事前分布として正規分布を仮定する。ただし、事前分布として、正規分布以外の分布、例えばディリクレ分布などを用いても良い。

ここでμ∈Ｒ^Zおよびσ∈Ｒ^Z×Z はハイパーパラメータ１３に保存された量である。また「〜」により、左辺の要素が右辺の確率分布より一様かつ独立にサンプリングされることを示す。

ＢｏＷ形式の観測データを仮定する場合、観測データの分布として、多項分布が良く用いられる。この多項分布のパラメータを確率パラメータ１７と呼ぶ。確率パラメータθ_d ∈Ｒ^Vは、ｄ番目の観測データおよびトピック画像に対応するパラメータであり、そのｖ番目の要素は次の（４）式に従って計算される。

この方法ならば、多項分布のパラメータとして要請される条件(θ_{d, v}≧０,Σ_V=1 ^V θ_{d, v} ＝１)を満たすことができる。

観測データｘ_{d, i}は、以下の（５）式に示すように多項分布から生成される。

トピック画像１４、グラム行列１５、変換行列１６、確率パラメータ１７は、最適値の推定処理に先立って初期化を必要とする。グラム行列１５は、入力されたハイパーパラメータとカーネル関数の選択によって、上記（２）式に従って一意に決定される。トピック画像１４および変換行列１６は任意の実数値を割り当てても良いし、ハイパーパラメータ１３とグラム行列１５を用いて、上記（１）式、（３）式に従って計算しても良い。確率パラメータ１７は、ｙ_dとａ_vに基づいて、上記（４）式に従って一意に決定される。

＜変数の最適化と出力＞
変換モデルの目的は、観測データＸが与えられた際に、何らかの意味で最適な変数ＡとＹを求めて変換結果として出力することである。

本実施の形態に係るデータ可視化装置では、最適値推定部３０が記憶手段１０に保存された情報を用いてＡおよびＹの最適値を推定し、その結果を出力制御部２５、出力変換部２６を通じて出力部３により出力する。

各変数の最適化には、最尤推定(ＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄ，ＭＬ) 法や事後確率最大化(ＭａｘｉｍｕｍＡＰｏｓｔｅｒｉｏｒ，ＭＡＰ) 法などの様々な標準的な手法を用いることが可能である。なお、これらの標準的な手法については、非特許文献（ビショップ, C. M., “パターン認識と機械学習”, シュプリンガージャパン, 2007.）に記載されているため、説明を省略する。

特に、本実施の形態で用いる最適化手法は、事後確率の変数に対する微分値を解析的に計算可能であるため、微分勾配を利用した標準的な最適化手法を利用することができる。

本実施の形態では、上述の定式化例の場合であって、ＭＡＰ法を用いて最適化する場合を例に説明する。ＭＡＰ法では以下の対数事後確率を最大化するようにＡおよびＹを決定する。

対数事後確率計算部３１は、以下の（６）式に従って、対数事後確率を計算する。

ここで∝は比例を表す。各要素はそれぞれ以下の（７）式のように計算される。

上記（６）式を、ａ_vおよびｙ_dそれぞれについて微分をとると、評価関数である（６）式を最大化するために、各変数をどのように変化させればよいかが計算できる。

そこで、以下の（１０）式、（１１）式で表される微分値を、微分計算部３２において計算する。

ここで、ｎ_{d, v}＝Σ_i=1 ^Nd ｘ_{d, i, v}は、ｖ番目の単語がｄ番目の観測データＸ_d中に何回登場したかを表わしている。また、上記（１０）式、（１１）式は、上記（４）式で計算される確率パラメータθ_d,vを用いて計算してもよいし、確率パラメータを用いずに計算してもよい。計算量を考慮すると、上記（４）式で計算される確率パラメータθ_d,vを更新、保存しておいて、上記（１０）式、（１１）式の計算のときに用いることが好ましい。

以上の数値を利用すれば、一般的な非線形最適化手法を用いて、ａ_vおよびｙ_dそれぞれについての微分値が示す傾きの方向に、ａ_vおよびｙ_dをそれぞれ所定の量だけ増加させることにより、ａ_vとｙ_dの更新値を決定することができる。なお、一般的な非線形最適化手法としては、非特許文献（Nocedal, J. and Wright, S., “Numerical Optimization”, Springer, 1999.）に記載されている手法を用いればよいため、説明を省略するが、非線形最適化手法として、例えばＬ−ＢＦＧＳ法などが候補として考えられる。また、選択する最適化手法ごとに、必要となる定数集合Ｏの数や性質などは異なる。

上述した手法により、トピック画像推定部３３では、最適なＹを、変換行列推定部３４では、最適なＡを計算する。また、確率パラメータ推定部３５は、最適なＹ、Ａに基づいて、最適なθ_d を計算する。

また、モデル中のハイパーパラメータ、すなわち事前設定する定数μ、σ およびΨ＝ (ψ₁, ..., ψ_l, ..., ψ_L) の最適化を、ハイパーパラメータ推定部３６を利用して行う。

変換行列に関するハイパーパラメータμ、σについては、変換行列Ａの最適化と同様にμ、σの生成モデルとなる確率分布（事前分布である上記（１）式や（３）式に相当するもの）を仮定する。このとき、変換行列Ａのモデルである（多次元）正規分布と共役性をもつ確率分布を用いることで、変換行列Ａを観測値と仮定したときのμ、σの正確な事後分布（理想的な推定量）をベイズ推定法によって求めて、μ、σの最適値を計算する。μ、σのモデルも確率分布であるため、選択した確率分布に応じた定数パラメータが必要であるが、定数パラメータについては適当な値を選択しておけばよい。

なお、この最適化方法は、非特許文献（ビショップ, C. M., “パターン認識と機械学習”, シュプリンガージャパン, 2007.）に記載されている方法と同様であるため、詳細な説明を省略する。

また、トピック画像に関するハイパーパラメータΨについては、推定されたトピック画像Ｙを観測値と捉えた最尤推定（ＭＬ）法によって、最適値を推定する。なお、この最適化手法は、非特許文献（Rasmussen, C. E. and Williams, C. K. I., “Gaussian Processes for Machine Learning”, MIT Press, 2006.）に記載されている手法と同様であるため、詳細な説明を省略する。なお、ＭＬ法を用いた最適化手法に限定されるものではなく、例えば、周辺尤度に基づいた最適化手法、あるいはＭＡＰ法による最適化手法を用いてもよい。

また、ハイパーパラメータΨが変更された場合には、ハイパーパラメータ推定部３６は、変更されたハイパーパラメータΨに基づいて、グラム行列Ｋを再計算する。

最適値推定部３０は、各部（対数事後確率計算部３１、トピック画像推定部３３、変換行列推定部３４、確率パラメータ推定部３５、ハイパーパラメータ推定部３６)での計算結果を一度記憶手段１０に更新保存し、更新された情報を再度ロードして、繰り返し計算を行うことにより、各種の最適値を推定する。

以上より、本実施の形態で提案する手法では、事前に設定しなければならない定数も同時に最適化可能であるため、既存の手法（例えば、非特許文献４に記載の手法）に比べて利用時のユーザ負担が軽減できる。

終了判定部２４は、最適値推定処理の終了を監視する。その方法としては、例えば、最適値の推定前後で対数事後確率計算部３１を計算し、その変化量が一定の閾値以下になった場合、あるいは推定処理に許される繰り返し回数や計算時間の上限に達した場合に、最適値推定処理が終了したと判定することができる。

最適値推定処理が終了した後、出力制御部２５は、ユーザによって指定された変数の最終推定値を記憶手段１０よりロードする。

出力変換部２６は出力制御部２５より受け取った推定結果を指定の形式に変換する。例えば、観測データの画像可視化結果が要求されている場合には、トピック画像１４を任意の画像フォーマットに変換する。

最終的な出力結果が、出力部３よりユーザに出力される。

＜データ可視化装置の作用＞
次に、第１の実施の形態に係るデータ可視化装置の作用について説明する。まず、可視化対象の観測データが入力部１を介してデータ可視化装置に入力され、観測データが、ＢｏＷ形式でない場合には、ＢｏＷ形式に変換されてから、記憶手段１０に格納される。また、各種の定数が、入力部１を介してデータ可視化装置に入力され、記憶手段１０に格納される。

また、トピック画像、グラム行列、変換行列、及び確率パラメータが、初期化処理によって生成されて、記憶手段１０に格納される。

そして、データ可視化装置の変換モデル部２において、図３に示す最適値推定処理ルーチンが実行される。

まず、ステップ１００において、記憶手段１０に記憶された各種の最適値（初期値）や、定数、変数を読み込み、取得する。そして、ステップ１０２において、観測データ、変換行列、及び確率パラメータに基づいて、上記（６）式に従って、対数事後確率を計算する。

次に、ステップ１０４において、語彙の単語を識別するための変数ｖを初期値である１に設定し、ステップ１０６において、観測データ、変換行列、及び確率パラメータに基づいて、上記（１０）式に従って、変換行列のベクトルａ_vに関する微分値を計算する。そして、ステップ１０８において、変数ｖをインクリメントして、ステップ１１０で、変数ｖが、語彙数Ｖを超えたか否かを判定し、変数ｖが、語彙数Ｖを超えていない場合には、上記ステップ１０６へ戻る。一方、変数ｖが、語彙数Ｖを超えた場合には、ステップ１１２へ移行する。

ステップ１１２では、トピック画像を識別するための変数ｄを初期値である１に設定し、ステップ１１４において、観測データ、変換行列、確率パラメータ、及びグラム行列に基づいて、上記（１１）式に従って、トピック画像ｙ_dに関する微分値を計算する。そして、ステップ１１６において、変数ｄをインクリメントして、ステップ１１８で、変数ｄが、トピック画像数Ｄ（すなわち、観測データ数Ｄ）を超えたか否かを判定し、変数ｄが、トピック画像数Ｄを超えていない場合には、上記ステップ１１４へ戻る。一方、変数ｄが、トピック画像数Ｄを超えた場合には、ステップ１２０へ移行する。

ステップ１２０では、上記ステップ１０６で各々計算されたａ_vに関する微分値に基づいて、全てのａ_vを最適化すると共に、上記ステップ１１４で各々計算されたｙ_dに関する微分値に基づいて、全てのｙ_dを最適化する。

次のステップ１２２では、上記ステップ１２０で最適化された変換行列Ａ及びトピック画像の集合Ｙに基づいて、ハイパーパラメータμ、σ、Ψを最適化する。そして、ステップ１２４において、上記ステップ１２０で最適化された変換行列及びトピック画像に基づいて、上記（４）式に従って、確率パラメータを再計算する。なお、上記（１０）式、（１１）式の計算において、確率パラメータを用いない場合には、上記ステップ１２４を省略してもよい。

ステップ１２６では、上記ステップ１２２で最適化された、トピック画像に関するハイパーパラメータΨを用いて、上記（２）式に従って、グラム行列Ｋを再計算する。そして、ステップ１２８において、上記ステップ１２０〜ステップ１２６で推定された各種の最適値を記憶手段１０に格納する。

次のステップ１３０では、所定の最適化終了条件として、例えば、繰り返し回数が、上限に到達したか否かを判定し、繰り返し回数が上限に到達していない場合には、所定の最適化終了条件が成立していないと判断して、上記ステップ１００へ戻り、上記ステップ１２８で更新した各種の最適値を用いて、上記ステップ１０２〜ステップ１２８の処理を繰り返す。一方、繰り返し回数が上限に到達した場合には、所定の最適化終了条件が成立したと判断し、最適値推定処理ルーチンを終了する。

そして、データ可視化装置は、例えば、記憶手段１０に記憶された、各観測データに対応するトピック画像の最適値を読み込んで、出力部３により出力する。

＜実験例＞
次に、本実施の形態で提案するデータ可視化法を用いた実験の結果について説明する。実験では、ＮＩＰＳ、２０−Ｎｅｗｓｇｒｏｕｐｓ、ＥａｃｈＭｏｖｉｅの３種類の実データに対して、データの可視化を行った。

ＮＩＰＳデータは、ある国際会議に投稿された論文データであり語彙数Ｖ＝２，０００、データ数Ｄ＝５９６とした。また、各データが、１３種のカテゴリのいずれかに属しているようにした。

２０−Ｎｅｗｓｇｒｏｕｐｓは、あるテーマにそって参加者が自由に議論するサイトの発言記録データである。語彙数はＶ＝１，０００、データ数はＤ＝１８，７９８とした。各データが、２０種類の発言テーマのうち、いずれかに属するようにした。

ＥａｃｈＭｏｖｉｅは、多数のユーザによる映画のレビューデータである。ここでは一つの映画に対する観測データＸdとし、レビューを投稿したユーザのインデックスを単語ｖとした。データ数はＤ＝１，０１４、語彙数(ユーザ数）がＶ＝２００とした。各映画が、１０のカテゴリ（アクション、アニメなど）のうちいずれかに属するようにした。

最初に、既存のトピックモデルであるＬＤＡ（非特許文献１）とＣＴＭ（非特許文献２）を用いた場合の抽象表現に対して評価を行った。また、本実施の形態に係る手法を用いた場合の可視化画像に対して、同様に評価を行った。

評価方法は、抽象表現（ベクトルあるいは画像）の類似度によるカテゴリ判別である。トピックモデルおよび本実施の形態で提案する手法は、いずれもベクトルあるいは画像の形で入力された観測データを抽象化して表現する。したがって、この抽象化が良く機能していれば、同種の内容をもつデータ、すなわち同カテゴリに所属するデータは、抽象表現（ベクトルあるいは画像）された後も類似した特徴をもつと考えられる。そこで、抽象表現したデータ同士の類似度を計算し、最近傍のデータが同じカテゴリに属する確率、すなわち最近傍法によるカテゴリ識別率を計算して、評価を行った。

図４に示すような計算結果が得られた。縦軸の識別率は大きいほど良い性能であることを示す。横軸のＺは、本実施の形態で提案した手法のＺであり、ＫはＬＤＡ、ＣＴＭモデルにおけるトピック数と呼ばれるパラメータの大きさである。本実施の形態で提案した手法は、既存手法に比べて良い性能をもつことが分かった。

次に、本実施の形態で提案するデータ可視化法を用いた実際の可視化結果を示す。図５は、２０ｎｅｗｓデータセットに対する可視化結果の画像を示す。この例では、出力変換部２６において、全画像を通じて最も小さいｙ_{d, z} を青に、最も大きいｙ_{d, z} の値を赤になるように、トピック画像を変換した。上記図５に示す各トピック画像は、２０ある発言テーマのカテゴリごとに平均した可視化結果を示している。また、２０のカテゴリを大まかな内容ごとに、さらに６種の大カテゴリに分けている。結果、カテゴリごとに異なる可視化結果を得られることが分かった。さらに、カテゴリ間の類似度によってもその可視化傾向に差が見られた。すなわち、データの内容に応じた可視化結果を得ることができることが示された。

図６は、ＥａｃｈＭｏｖｉｅデータセットに対する可視化結果の画像を示す。ここでは個別のデータの可視化結果をカテゴリごとに表示している。やはり、カテゴリごとに可視化結果に違いが見られる。一方で、“ｄｒａｍａ”カテゴリと”ｒｏｍａｎｃｅ”カテゴリに属する映画は似たような可視化結果となっているが、これは視聴者層を考えると妥当な結果となっている。一方で、コメディ要素の強い恋愛映画”ＰｒｅｔｔｙＷｏｍａｎ”は”ｃｏｍｅｄｙ”カテゴリと似たような可視化結果になるなど、個別の映画タイトルの内容に即した可視化結果が得られていると言える。この結果から、画像可視化によるアイテム・データの直観的な検索が可能であることが示唆される。

以上説明したように、第１の実施の形態に係るデータ可視化装置によれば、単語データの集合である文書データについて、文書データの集合に対して、トピック画像の集合及び変換行列を最適化するように繰り返し推定することにより、離散データの集合である観測データを、内容に応じて画像に変換して可視化することができる。

また、従来の可視化手法と異なり、個々の観測データをピクセル数に相当する高次元空間に写像して可視化する。そのため、個々の観測データの内容を画像パターンとして可視化・認識することができる。また、個々の観測データが画像パターンとして可視化されているため、データ間の関係もパターンの類似性によって直感的に理解することができる。

また、離散データを含む様々なデータを可視化することが可能である。インターネットなどで取り扱われる情報の大部分は文字や関係の有無といった離散データであるため、この特徴は幅広い電子データセットへの応用を可能にする。また、連続データ、離散データの多くが変換可能なＢｏＷ形式に入力データを変換することで、様々なデータを可視化することができる。

また、静止画像だけでなく、動画像やさらに高次元のデータへの変換も可能である。これは提案モデルが数学的に整理されており、高次元データへの拡張変換が簡単に定義できるためである。

また、事前のパラメータ設定は必要ではあるが、データの画像変換と同時に自動的に最適な値に再設定可能である。したがって、パラメータの初期値の影響を最小限に抑えることができ、提案手法の利用しやすさを向上させる。また、変数の最適値推定プロセスにおいて、事前に細かく設定しなければならない定数が存在しないため、安定した可視化結果を得ることができる。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、半教師有り学習のスキームを用いて、出力されるトピック画像の結果を制御している点が、第１の実施の形態と異なっている。

第２の実施の形態では、観測データＸとトピック画像Ｙの各々を、内部的に２つのグループに分けている。それぞれ教師無し(ｕｎｓｕｐｅｒｖｉｓｅｄ) を表すｕと教師有り(ｓｕｐｅｒｖｉｓｅｄ) を表すｓの添字で区別すると、観測データＸ＝{Ｘ_u, Ｘ_s} およびトピック画像Ｙ＝{Ｙ_u, Ｙ_s} の内部構造を仮定する。教師有り集合{Ｘ_s, Ｙ_s} はそれぞれＤ_s個のデータからなる。教師無し集合{Ｘ_u,Ｙ_u} はそれぞれＤ_u個のデータからなる。

図７に示すように、データ可視化装置の記憶手段１０には、定数Ｄ_u,Ｄ_sからなる半教師有り学習用定数１８と、教師トピック画像の集合である教師トピック画像１９とが更に格納される。

半教師有り学習を行う際に、入力部１を介して、半教師有り学習用定数Ｄ_u,Ｄ_sと教師トピック画像の集合Ｙ_sとが入力される。Ｄ_uは教師無しデータ集合の数、Ｄ_s は教師有りデータ集合の数であり、Ｄ＝Ｄ_u＋Ｄ_sである。教師トピック画像は、Ｄ_s個のトピック画像の集合Ｙ_s＝{Ｙ_s1, ..., Ｙ_sd , ..., Ｙ_sDs} である。Ｙ_sdは、Ｚ次元のベクトルである。そして、s_d∈ {1, 2, ..., Ｄ}は、全Ｄ個のトピック画像１４のうち対応する画像データを表すインデックスである。

また、記憶手段１０に格納されているトピック画像１４は、Ｄ_s個の教師トピック画像を含むＤ個のトピック画像である。

最適値推定部３０の各部（対数事後確率計算部３１、トピック画像推定部３３、変換行列推定部３４、確率パラメータ推定部３５、ハイパーパラメータ推定部３６)における最適値推定処理では、上記の第１の実施の形態と同様に、各種の最適値の推定をおこなう。但し、トピック画像推定部３３において、最適なトピック画像Ｙを求めて、記憶手段１０に格納するときに、教師トピック画像に対応するトピック画像については、常に、教師トピック画像１９に保存された教師トピック画像を格納する。

この教師トピック画像の存在は、微分値の計算などにおいて他のトピック画像の最適化に影響を与えるので、Ｄ_u個の（教師データが与えられなかった）トピック画像の最適化結果に教師トピック画像の影響が及ぶことが期待できる。したがって、教師トピック画像Ｙ_sで上書きされないＤ_u個のトピック画像の推定値についても、教師トピック画像Ｙ_sの影響により推定結果をある程度まで制御でき、所望のパターンのトピック画像を得やすくなる。

なお、第２の実施の形態に係るデータ可視化装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

＜実験例＞
半教師有り学習を用いた場合に、観測データに対して可視化結果として得られたトピック画像について説明する。図８（ａ），（ｂ）は、２０ｎｅｗｓデータセットに対して半教師有り学習を用いて可視化を行った場合の結果を示す。Ｄ＝１８，７９８のデータのうち、Ｄ_ｓ＝２，０００個のデータに対して、図８（ａ）に示すように、そのカテゴリに即したトピック画像を事前に準備し、教師トピック画像Ｙ_sとして付与した。教師トピック画像では、画像をブロックに分割し、上記図５に示した大カテゴリごとに赤く描画するブロックを変更した。図８（ｂ）に示すように、可視化結果として得られたトピック画像は、上記第１の実施の形態の実験と異なり、ブロック要素が目立つ画像となった。

以上説明したように、第２の実施の形態に係るデータ可視化装置によれば、半教師有り学習により、出力されるトピック画像の内容を制御することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

＜概要＞
第３の実施の形態では、上記図１で説明した変換モデルを用いて、トピック画像の集合を、文書データの集合に変換する。

＜システム構成＞
次に、トピック画像の集合を入力として、文書データに変換して出力するデータ変換装置に、本発明を適用した場合を例にして、本発明の第３の実施の形態を説明する。

図９に示すように、第３の実施の形態に係るデータ可視化装置は、入力部１と、データの変換を行う変換モデル部３０２と、出力部３と、を備えている。

変換モデル部３０２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）と、データ変換処理を実行するためのプログラムを記憶したＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）とを備えたコンピュータで構成され、機能的には次に示すように構成されている。変換モデル部３０２は、入力読込部２１、入力制御部２３、データ変換部３３０、出力制御部２５、出力変換部２６、及び記憶手段３１０を備えている。

入力読込部２１は、入力部１から各種データを読み込む。

入力制御部２３は、入力読込部２１より読み込んだデータを取得し、データ変換部３３０によるデータ変換処理を実行させる。

データ変換部３３０は、変換行列Ａを用いて、トピック画像の集合Ｙ={Ｙ₁, … ,Ｙ_d, … ,Ｙ_D}を、文書データの集合に変換する。また、データ変換部３３０は、トピック画像生成部３３３、変換行列生成部３３４、確率パラメータ計算部３３５、及び文書データ生成部３３６を備える。

出力制御部２５は、データ変換部３３０によるデータ変換処理が終了すると、記憶手段１０に保存された文書データを出力変換部２６へ出力する。

出力変換部２６は、必要となるデータ形式の変換などを施した文書データを、出力部３へ出力する。

＜入力読込部２１＞
入力読込部２１は、入力部１を介して、トピック画像に関するハイパーパラメータΨ＝(ψ₁, ..., ψ_l, ...,ψ_L)と、変換行列に関するハイパーパラメータμ∈Ｒ^V, σ∈Ｒ^V×V との入力を受け付ける。

また、入力読込部２１は、トピック画像の数Ｄ（文書データの数Ｄ）、語彙数Ｖ、トピック画像のピクセル数Ｚ、トピック画像の次元数Ｅ、ハイパーパラメータΨの要素数Ｌ、その他の定数集合Ｏも、入力部１を介して別途入力を受け付ける。

＜入力制御部２３＞
入力制御部２３は、入力読込部２１で取得した定数とハイパーパラメータを、記憶手段３１０に記憶する。そして、データ変換部３３０によるデータ変換処理へ移行する。

＜記憶手段３１０＞
記憶手段３１０には、文書データ１１、定数１２、ハイパーパラメータ１３、トピック画像１４、グラム行列１５、変換行列１６、及び確率パラメータ１７が格納されている。

＜データの変換と出力＞
本実施の形態に係るデータ変換装置では、データ変換部３３０が記憶手段３１０に保存された情報を用いて変換行列Ａおよびトピック画像Ｙを生成し、変換行列Ａおよびトピック画像Ｙに基づいて、文書データを生成し、その結果を出力制御部２５、出力変換部２６を通じて出力部３により出力する。

トピック画像生成部３３３は、トピック画像に関するハイパーパラメータΨ＝ (ψ₁, ..., ψ_l, ..., ψ_L)に基づいて、上記（２）式に従って、グラム行列Ｋを計算し、計算されたグラム行列Ｋに基づいて、上記（１）式に従って、トピック画像を生成する。トピック画像生成部３３３は、Ｄ個のトピック画像を生成して、トピック画像の集合Ｙ＝{Ｙ₁, ..., Ｙ_d, ..., Ｙ_D}を記憶手段３１０に格納する。

変換行列生成部３３４は、変換行列に関するハイパーパラメータμ∈Ｒ^Zおよびσ∈Ｒ^Z×Zに基づいて、上記（３）式に従って、変換行列Ａ＝(ａ₁, ...,ａ_v, ...,ａ_V) ∈Ｒ^Z×Vを生成する。

確率パラメータ計算部３３５は、上記（４）式に従って、トピック画像の集合Ｙに対して、変換行列Ａを作用させて、確率パラメータθ_d ∈Ｒ^V(ｄ＝１, ..., Ｄ)を計算する。

文書データ生成部３３６は、確率パラメータθ_d(ｄ＝１, ..., Ｄ)に基づいて、上記（５）式に従って、文書データＸ_d(ｄ＝１, ..., Ｄ)のデータｘ_{d, i}を計算して、文書データＸ_dを生成する。文書データ生成部３３６は、トピック画像の集合Ｙ＝{Ｙ₁, ..., Ｙ_d, ..., Ｙ_D}に対して、文書データの集合Ｘ = {Ｘ₁, … ,Ｘ_d, … , Ｘ_D}を生成する。

データ変換処理が終了した後、出力制御部２５は、文書データの集合を記憶手段３１０よりロードする。

出力変換部２６は出力制御部２５より受け取った文書データを指定の形式に変換する。最終的な出力結果が、出力部３よりユーザに出力される。

＜データ変換装置の作用＞
次に、第３の実施の形態に係るデータ変換装置の作用について説明する。まず、ハイパーパラメータや定数が入力部１を介してデータ変換装置に入力され、記憶手段３１０に格納される。

そして、データ変換装置の変換モデル部３０２において、記憶手段３１０に記憶された各種の定数、変数を読み込み、取得する。そして、トピック画像生成部３３３によって、トピック画像に関するハイパーパラメータに基づいて、グラム行列Ｋを計算し、トピック画像の集合Ｙを生成する。

次に、変換行列生成部３３４によって、変換行列に関するハイパーパラメータに基づいて、変換行列Ａを生成する。確率パラメータ計算部３３５によって、トピック画像の集合Ｙと変換行列Ａとに基づいて、各トピック画像Ｙ_dに対する確率パラメータθ_dを計算する。

そして、文書データ生成部３３６によって、各確率パラメータθ_dに基づいて、文書データＸ_dを各々生成し、文書データの集合Ｘを記憶手段３１０に格納する。

そして、データ変換装置は、記憶手段３１０に記憶された、トピック画像の集合に対応する文書データの集合を読み込んで、出力部３により出力する。

以上説明したように第３の実施の形態に係るデータ変換装置によれば、変換対象とするトピック画像の集合、及びトピック画像の集合を確率パラメータに変換するための変換行列に基づいて、複数種類の単語データの各々が文書データの各々において出現する確率を示す確率パラメータを計算することによって、トピック画像を、単語データの集合を含む文書データに変換することができる。また、トピック画像を文書データに変換する際に、例えば、単語データの集合に含まれる単語数を少なくすれば、要約された文書データが出力されることが期待できる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、評価関数を、事後確率や尤度など、対数事後確率以外の確率統計的な値を計算する関数としてもよい。

また、第３の実施の形態に係るデータ変換装置において、ハイパーパラメータに基づいて、トピック画像の集合を生成する場合を例に説明したが、これに限定されるものではない。入力部を介して、トピック画像の集合を入力するようにしてもよい。また、ハイパーパラメータに基づいて、変換行列を生成する場合を例に説明したが、これに限定されるものではない。入力部を介して、変換行列を入力するようにしてもよい。

また、第１の実施の形態又は第２の実施の形態に係るデータ可視化装置と、第３の実施の形態に係るデータ変換装置とを組み合わせて用いてもよい。例えば、データ可視化装置によって得られた文書データの可視化画像と共に、データ変換装置によって得られた要約文書を提示するようにしてもよい。これによって、出力結果に対するユーザの理解をより高めたり、画像可視化結果を用いた検索を行う際の検索精度を向上させることができる。

また、上述のデータ可視化装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１入力部
２、３０２変換モデル部
３出力部
１０、３１０記憶手段
２２入力変換部
２４終了判定部
３０最適値推定部
３１対数事後確率計算部
３２微分計算部
３３トピック画像推定部
３４変換行列推定部
３５確率パラメータ推定部
３６ハイパーパラメータ推定部
３３０データ変換部
３３３トピック画像生成部
３３４変換行列生成部
３３５確率パラメータ計算部
３３６文書データ生成部

Claims

離散データの集合を含む観測データの集合を、前記観測データの内容に応じた画像の集合を推定することによって、可視化するデータ可視化装置であって、
可視化対象とする前記観測データの集合、前記観測データの集合に対する画像の集合、前記観測データの集合に含まれる複数種類の離散データの各々が前記観測データの各々において出現する確率を示す確率パラメータ、前記画像の集合を前記確率パラメータに変換するための変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータを記憶した記憶手段と、
前記記憶手段に記憶されている、前記観測データの集合、前記観測データの集合に対する前記画像の集合、前記変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータに基づいて、前記観測データの集合に対して前記画像の集合及び前記変換行列を最適化させるために予め定められた評価関数により、前記観測データの集合に対する前記画像の集合、及び前記変換行列を推定し、前記記憶手段に更新して格納する最適値推定手段と、
前記最適値推定手段による前記画像の集合及び前記変換行列を推定する処理を繰り返すことで、前記観測データの集合に対する前記画像の集合及び前記変換行列を最適化した場合に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合を出力する可視化処理手段と、
を含むデータ可視化装置。
入力された可視化対象データの集合について、前記可視化対象データの各々を、前記離散データの集合を含む前記観測データに変換して、変換した前記観測データの集合を前記記憶手段に格納する入力変換手段を更に含む請求項１記載のデータ可視化装置。
前記記憶手段は、前記可視化対象とする前記観測データの集合の一部の観測データの各々に対して予め求められた教師画像の集合を更に記憶し、
前記記憶手段に記憶されている前記画像の集合のうち、前記一部の観測データに対する前記画像の集合を、前記教師画像の集合とした請求項１又は２記載のデータ可視化装置。
前記最適値推定手段は、前記観測データの集合に対する前記画像の集合及び前記変換行列の統計値を計算する前記評価関数により、前記画像の集合及び前記変換行列を推定する請求項１〜請求項３の何れか１項記載のデータ可視化装置。
前記記憶手段に記憶されている前記変換行列に基づいて、前記変換行列に関するハイパーパラメータを推定すると共に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合に基づいて、前記画像に関するハイパーパラメータを推定し、前記記憶手段に更新して格納するハイパーパラメータ推定手段を更に含み、
前記可視化処理手段は、前記最適値推定手段による前記画像の集合及び前記変換行列を推定する処理、並びに前記ハイパーパラメータ推定手段による前記変換行列に関するハイパーパラメータ及び前記画像に関するハイパーパラメータを推定する処理を繰り返すことで、前記観測データの集合に対する前記画像の集合及び前記変換行列を最適化した場合に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合を出力する請求項１〜請求項４の何れか１項記載のデータ可視化装置。
離散データの集合を含む観測データの集合を、前記観測データの内容に応じた画像の集合を推定することによって、可視化するために、
可視化対象とする前記観測データの集合、前記観測データの集合に対する画像の集合、前記観測データの集合に含まれる複数種類の離散データの各々が前記観測データの各々において出現する確率を示す確率パラメータ、前記画像の集合を前記確率パラメータに変換するための変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータを記憶した記憶手段と、最適値推定手段と、可視化処理手段とを含むデータ可視化装置におけるデータ可視化方法であって、
前記データ可視化装置は、
前記最適値推定手段によって、前記記憶手段に記憶されている、前記観測データの集合、前記観測データの集合に対する前記画像の集合、前記変換行列、前記変換行列に関するハイパーパラメータ、及び前記画像に関するハイパーパラメータに基づいて、前記観測データの集合に対して前記画像の集合及び前記変換行列を最適化させるために予め定められた評価関数により、前記観測データの集合に対する前記画像の集合、及び前記変換行列を推定し、前記記憶手段に更新して格納するステップと、
前記可視化処理手段によって、前記最適値推定手段による前記画像の集合及び前記変換行列を推定する処理を繰り返すことで、前記観測データの集合に対する前記画像の集合及び前記変換行列を最適化した場合に、前記記憶手段に記憶されている前記観測データの集合に対する前記画像の集合を出力するステップと、
を含んで実行することを特徴とするデータ可視化方法。
請求項１〜請求項５の何れか１項に記載のデータ可視化装置を構成する各手段として、コンピュータを機能させることを特徴とするデータ可視化プログラム。