JP7723331B2 - 学習装置、自己符号化装置、学習方法、自己符号化方法及びプログラム - Google Patents

Description

本発明は、学習装置、自己符号化装置、学習方法、自己符号化方法及びプログラムに関する。

深層学習を用いたデータ圧縮において量子化処理にはスカラー量子化とベクトル量子化の２種類があり、ベクトル量子化の方が、圧縮性能が高い。ベクトル量子化の試みとして、以下の非特許文献１や非特許文献２に記載の試みがある。非特許文献１に記載の技術は、ＶＱＶＡＥと呼称される技術である。非特許文献１に記載の技術では、Ｅｎｄ－ｔｏ－Ｅｎｄでの学習はせず、特徴ベクトルの分布を一様分布と仮定して、エンコード及びデコードの最適化と代表ベクトルの最適化とを分けて実施する。非特許文献２の技術は、Ｓｏｆｔ ｔｏ Ｈａｒｄと呼称される技術である。非特許文献２の技術は、ソフトマックス関数を用いて量子化処理を近似計算し、代表ベクトルの生起確率をヒストグラムで近似してＥｎｄ－ｔｏ－Ｅｎｄでの学習を行う。

Ali Razavi, et.al.,"Generating Diverse High-Fidelity Images with VQ-VAE-2,",2019. Eirikur Agustsson, et.al.,"Soft-to-Hard Vector Quantization for End-to-End Learning Compressible Representations,",2017.

しかしながら非特許文献１に記載の技術や非特許文献２の技術など従来の技術は、ベクトル量子化を用いた自己符号化の処理を得ることに関する問題があった。問題は、例えば安定性の問題であったり、例えば処理性能の問題であったり、例えばベクトルの次元が大きい場合や高レートでの符号化を行う場合に計算量又はメモリ使用量が爆発的に増加してしまう問題であったりであった。このように従来の技術では、ベクトル量子化を用いた自己符号化の処理を得ることに要する負担が大きい場合があった。その結果、コンピュータ資源の不足によりベクトル量子化を用いた自己符号化を実現できないなど、ベクトル量子化を用いた自己符号化に要する負担が大きい場合があった。

上記事情に鑑み、本発明は、ベクトル量子化を用いた自己符号化に要する負担を軽減する技術を提供することを目的としている。

本発明の一態様は、ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習部、を備え、前記学習部は前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、学習装置である。

本発明の一態様は、自己符号化の対象を取得する自己符号化対象取得部と、ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習部、を備え、前記学習部は前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、学習装置を用いて得られた、学習済みの符号化の処理と学習済みの復号の処理とを用いて、前記自己符号化対象取得部が取得した前記対象のベクトル量子化による自己符号化を行う自己符号化実行部と、を備える自己符号化装置である。

本発明の一態様は、ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習ステップ、を有し、前記学習ステップは前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、学習方法である。

本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。

本発明により、ベクトル量子化を用いた自己符号化に要する負担を軽減することが可能となる。

実施形態の学習装置の概要を説明する説明図。 実施形態におけるＬａｔｔｉｃｅＶＱを説明する説明図。 実施形態におけるノイズの付与の一例を説明する第１の説明図。 実施形態におけるノイズの付与の一例を説明する第２の説明図。 実施形態における累積分布関数と生起確率との関係を説明する説明図。 実施形態における超直方体分割を説明する説明図。 実施形態における学習部が実行する処理の流れの一例を示す図。 実施形態における自己符号化装置の概要を説明する第１の説明図。 実施形態における自己符号化装置の概要を説明する第２の説明図。 実施形態におけるエンコーダが実行する処理の流れの一例を示すフローチャート。 実施形態におけるデコーダが実行する処理の流れの一例を示すフローチャート。 実施形態における学習装置のハードウェア構成の一例を示す図。 実施形態における学習装置が備える制御部の構成の一例を示す図。 実施形態における自己符号化装置のハードウェア構成の一例を示す図。 実施形態における自己符号化装置が備える制御部の構成の一例を示す図。 変形例における学習ネットワークの構成の一例を説明する説明図。 変形例における学習部が実行する処理の流れの一例を示すフローチャート。

（実施形態）
図１は、実施形態の学習装置１の概要を説明する説明図である。学習装置１は、学習部１０を備える。学習部１０は、テンソルで表現されたデータのベクトル量子化を用いた自己符号化の性能が高まるように、学習を行う。なお、自己符号化の性能は元データと復元データの誤差Ｄとデータの符号量Ｒをラグランジュ定数λで重み付け和した量であるＲＤコスト（Ｄ＋λＲ）の小ささで評価される。ＲＤ性能はＲＤコストが小さいほどよいことを表す。なお、学習は、機械学習を意味する。学習は、例えば深層学習である。なお、よく知られているようにデータの自己符号化とはデータの圧縮を意味する。

学習部１０は、学習ネットワーク１００と最適化部１１３とを備える。学習ネットワーク１００は、ニューラルネットワークである。学習ネットワーク１００は、主データ取得部１０１、主データ側符号化部１０２と、補助データ側符号化部１０３と、主データ側ノイズ付与部１０４と、補助データ側ノイズ付与部１０５と、補助データ側確率推定部１０６と、補助データ側復号部１０７と、補助エントロピー取得部１０８と、主データ側確率推定部１０９と、主エントロピー取得部１１０と、主データ側復号部１１１と、再構成誤差算出部１１２と、を備える。詳細は後述するが最適化部１１３は、学習ネットワーク１００の出力に基づいて学習ネットワーク１００を更新する。

主データ取得部１０１は、テンソルで表現されたデータを主データとして取得する。テンソルで表現されたデータとは、例えば画像のデータである。テンソルで表現されたデータは、例えば１又は複数のチャネルの音声の時系列のデータであってもよい。テンソルで表現されたデータは、例えば点群データであってもよい。テンソルで表現されたデータは、例えば機械学習で使われるセンサデータであってもよい。以下、主データ取得部１０１が取得したデータを主データという。

主データ側符号化部１０２は、主データ特徴量取得処理を実行する。主データ特徴量取得処理は主データを符号化する処理である。符号化とは符号化の対象の特徴を示す情報を取得する処理であるので、符号化とは特徴量を示す情報を取得する処理である。

したがって、主データ側符号化部１０２による主データの符号化とは主データの特徴量を取得する処理である。そのため主データ特徴量取得処理は、主データ特徴量を取得する処理である。主データ特徴量は符号化された主データである。主データ特徴量取得処理の内容は、学習により更新される。すなわち、主データ側符号化部１０２の実行する処理の内容は、学習により更新される。

補助データ側符号化部１０３は、主データ特徴量をさらに符号化する。上述したように符号化とは特徴量を示す情報を取得する処理であるので、補助データ側符号化部１０３による主データ特徴量の符号化とは主データ特徴量の特徴量を取得する処理である。そこで、以下、符号化された主データがさらに符号化された情報を補助特徴量という。すなわち補助特徴量は、主データ特徴量の特徴量を示す情報である。補助特徴量は、主データ特徴量が符号化された情報であるので、補助特徴量のエントロピーは主データ特徴量よりもエントロピーの小さな情報である。

以下、主データ特徴量を符号化する処理を、補助特徴量取得処理という。補助特徴量取得処理の内容は学習により更新される。すなわち、補助データ側符号化部１０３の実行する処理の内容は、学習により更新される。

補助特徴量取得処理の内容は、主データ統計量情報の情報量がより多く補助特徴量に含まれるように学習により更新される。主データ統計量情報は、主データを表現するテンソルの各要素の値が従う各確率分布の統計量を示す情報である。確率分布の統計量は、例えば散布度である。確率分布の統計量は、散布度だけでなく散布度と代表値との組であってもよい。

なお、情報処理や情報理論の分野において説明されるように、英文に出現する各ローマ字の出現の確率分布などのようにデータは一般に確率分布に従って出現する。主データを表現するテンソルの各要素の値もまた確率分布に従う。

主データ側ノイズ付与部１０４は、ノイズ付き主データ特徴量取得処理を実行する。ノイズ付き主データ特徴量取得処理は、主データ特徴量に対してベクトルノイズ付与処理を実行する処理である。ベクトルノイズ付与処理は、要素の数が予め定められた数Ｋ（Ｋは２以上の整数）であるＫ次元ベクトル（以下「ノイズ付与対象ベクトル」という。）を処理対象とする処理であって、処理対象に対してノイズを付与する処理である。したがって、ノイズ付き主データ特徴量取得処理は、主データ特徴量にノイズが付与された情報（以下「ノイズ付き主データ特徴量」という。）を取得する処理である。

ノイズ付与対象ベクトルは具体的には、主データ特徴量を表現するテンソルに含まれるＫ次元ベクトルである。テンソルに含まれるＫ次元ベクトルとは、そのベクトルのｋ番目の要素（ｋは１以上Ｋ以下の整数）が、テンソルの全要素のうちの連続するＫ個の要素のうちのｋ番目の要素である、ベクトルを意味する。

ノイズ付与対象ベクトルの要素数Ｋは、学習部１０による学習の結果を用いたベクトル量子化を行う装置によるベクトル量子化によって、１つの符号に写像される要素の数である。以下、学習部１０による学習の結果を、ネットワーク学習結果、という。したがって、ネットワーク学習結果を用いたベクトル量子化によってＫ個の要素がまとめて１つの符号に写像される場合、ノイズ付与対象ベクトルの要素数はＫである。なお、量子化によってＫ個の要素がまとめて１つの符号に写像される場合、得られる符号はＫ次元のベクトルを示すインデックスである。

したがって、ノイズ付与対象ベクトルの要素数Ｋは、予め決定された数である。なお、データのベクトル量子化とはデータの符号化であるので、ネットワーク学習結果を用いたベクトル量子化とはネットワーク学習結果を用いたデータの符号化を意味する。

ここでノイズを付与する方法について説明するが、ノイズの付与の説明に先立ち、ＬａｔｔｉｃｅＶＱについて説明する。

＜ＬａｔｔｉｃｅＶＱ＞
ベクトル量子化では代表ベクトルが必要である。Ｌａｔｔｉｃｅは、ベクトル空間における格子点集合である。ＬａｔｔｉｃｅＶＱは、ベクトル空間において代表ベクトルを格子状に配置する場合のベクトル量子化である。すなわち、ＬａｔｔｉｃｅＶＱは、ベクトル空間において代表ベクトルが格子状に配置されるという条件を満たすベクトル量子化である。ＬａｔｔｉｃｅＶＱは特定の条件を除いて、スカラー量子化よりもＲＤ性能が良いことが知られている。

図２は、実施形態におけるＬａｔｔｉｃｅＶＱを説明する説明図である。より具体的には、図２は、ノイズ付与対象ベクトルの要素数が２である場合のＬａｔｔｉｃｅＶＱを説明する説明図である。

図２は、Ａ_２格子の例である。２次元の場合、格子の種類の１つとしてＡ_２格子がある。なお８次元の場合、格子の種類の１つとして、Ｅ_８格子がある。なお２４次元の場合、格子の種類の１つとして、リーチ格子があり、それぞれ一様分布に対してＲＤ性能を最大にするＬａｔｔｉｃｅＶＱの格子である。

以下、代表ベクトルが格子状に配置された空間を格子空間という。すなわち、代表ベクトルは、格子空間の各格子点に位置する。図２は格子空間の一例を示す図でもある。図２の例では格子空間は２次元であるが、代表ベクトルがＫ次元であれば格子空間もＫ次元である。

＜ノイズの付与＞
それでは図３及び図４を用いてノイズの付与の一例を、要素数が２の場合を例に説明する。図３は、実施形態におけるノイズの付与の一例を説明する第１の説明図である。図４は、実施形態におけるノイズの付与の一例を説明する第２の説明図である。

ノイズの付与に際してはまず、原点格子の格子単位領域（以下「対象格子単位領域」という。）に外接する（Ｋ－１）次元球面内に一様分布するランダムなＫ次元ベクトルを複数生成し、格子空間に配置する。例えば図４の例であれば、ノイズ付与に際してはまず、図４の内部点数が少なくとも１つ以上になるまで生成される。格子単位領域は、格子空間を分割条件が満たされるように複数の領域に分割した結果生じた各領域である。

分割条件は、各領域の大きさ及び形状が同一であり、各領域はそれぞれ格子空間の１つの格子点を含むという条件である。したがって、格子単位領域は、代表ベクトルが格子状に配置されたベクトル空間を分割する領域であってベクトル空間の１つの格子点を含む領域である。

なお、（Ｋ―１）次元球面は、Ｋ＝２であれば円であり、Ｋ＝３であれば球面であり、Ｋが４以上であれば、超球面である。図３の領域Ｂ１が対象格子単位領域の一例である。

図３及び図４の例において、格子単位領域は、ボロノイ領域である。ボロノイ領域は、格子空間等の距離空間をボロノイ分割によって複数の領域に分割した結果得られる各前記領域である。

図３のノイズ点は、対象格子単位領域の外接円内に配置されたサンプルの一例である。なお、格子空間内にサンプルが配置される処理とは、具体的には、格子空間内の座標が取得される処理である。そして、格子空間における格子単位領域は格子空間内の領域であるので、任意の１つの格子単位領域の外接円内にサンプルが配置される処理とは、その外接円内の座標を取得する処理である。

次に、配置されたノイズ点のうち、対象格子単位領域内に位置するノイズ点（以下「内部点」という。）と、対象格子単位領域外に位置するノイズ点（以下「除外点」という。）と、が図４の例に示すように、区別される。内部点と除外点との区別の処理は、具体的には、ノイズ点ごとに、ノイズ点の座標に基づき対象格子単位領域内の座標か対象格子単位領域外の座標かを判定する処理である。判定処理は具体的にはノイズ点を式（１１）によってベクトル量子化した結果、原点格子と一致した点が領域内の座標と判定される処理である。

次に、対象格子単位領域内位置する複数のノイズ点のうちの１つがランダムに選択される。次に、選択されたノイズ点が１つのノイズ付与対象ベクトルに付与される。付与の処理は具体的には、ノイズ付与対象ベクトルと選択されたノイズ点を示す位置ベクトルとが足し算される処理を意味する。

このように、選択されたノイズ点を示す位置ベクトルは乱数で決まる量であるので、ノイズの一種である。そして、選択されたノイズ点を示す位置ベクトルはベクトルで表現されるので、選択されたノイズ点を示す位置ベクトルはベクトルで表現されたノイズである。そこで、以下、選択されたノイズ点を示す位置ベクトルをノイズベクトルという。このようにしてノイズ付与対象ベクトルにはノイズが付与される。

図１の説明に戻る。補助データ側ノイズ付与部１０５は、ノイズ付き補助特徴量取得処理を実行する。ノイズ付き補助特徴量取得処理は、補助特徴量に対してノイズを付与する処理である。すなわち、ノイズ付き補助特徴量取得処理は、補助特徴量に対してスカラーのノイズが付与された情報（以下「ノイズ付き補助特徴量」という。）を取得する処理である。より具体的には、補助データ側ノイズ付与部１０５は、補助特徴量を示すテンソルの各要素にスカラーのノイズを付与する。スカラーのノイズは例えば、－１／２以上１／２以下の一様ノイズである。

補助データ側確率推定部１０６は、補助データ側確率推定処理を実行する。補助データ側確率推定処理は、ノイズ付き補助特徴量に基づき補助データ側確率を推定する処理である。補助データ側確率は、補助特徴量を示すテンソルの各要素の生起確率を示す情報である。補助特徴量を示すテンソルの各要素の生起確率の推定には補助特徴量を示すテンソルの各要素の確率分布の情報が用いられる。

補助特徴量を示すテンソルの各要素の確率分布が予め与えられた確率分布である場合には、補助データ側確率推定部１０６は、その予め与えられた確率分布を後述する記憶部１４等の所定の記憶装置からの読み出し等によって取得する。そして、補助データ側確率推定部１０６は、取得した確率分布に基づいて補助特徴量を示すテンソルの各要素の生起確率を推定する。なお、予め与えられた確率分布は、例えば累積分布関数を用いて表現された確率分布である。

補助特徴量を示すテンソルの各要素の確率分布が、パラメトライズド補助特徴量累積分布関数で表現される場合、補助データ側確率推定部１０６は、パラメトライズド補助特徴量累積分布関数に基づいて、補助特徴量を示すテンソルの各要素の生起確率を推定する。パラメトライズド補助特徴量累積分布関数は、補助特徴量を示すテンソルの各要素の確率分布を示す関数であってパラメトライズされた関数である。パラメトライズド補助特徴量累積分布関数のパラメータは、具体的には、補助特徴量を示すテンソルの各要素の確率分布を表す統計量に応じて変化するパラメータである。

パラメトライズド補助特徴量累積分布関数のパラメータの値は学習によって更新される。すなわち、補助データ側確率推定部１０６の実行する処理の内容は、学習により更新される。

パラメトライズされた累積分布関数は、例えばパラメトライズされたシグモイド関数やソフトプラス関数である。上述したようにパラメトライズド補助特徴量累積分布関数のパラメータの値は学習により更新されるので、パラメトライズされた累積分布関数のパラメータの値は学習により更新される。

ここで、累積分布関数と生起確率との関係を確率変数が１次元の場合を例に説明する。図５は、実施形態における累積分布関数と生起確率との関係を説明する説明図である。画像Ｇ１は、確率変数ｑの確率密度を示す確率密度関数の一例を示す画像である。Δは量子化のステップサイズを示す。画像Ｇ１は、値ｑを中心にした定義域内の範囲Δで確率密度関数を積分した値が値ｑの生起確率ｐ（ｑ）であることを示す。図５のような１次元の場合、ステップサイズΔは例えば閉区間［－１／２、１／２］の大きさ（すなわち１）である。

画像Ｇ２は、画像Ｇ１の確率密度関数の積分の結果として得られた累積分布関数ｃｄｆ（ｑ）である。このように、確率密度関数の積分の結果は、シグモイド関数等の単調増加関数で表される。なお、確率密度関数の積分の結果は、確率密度関数の形状によらずシグモイド関数等の単調増加関数で表される。より具体的には、累積分布関数は、ｃｄｆ（－∞）＝０という条件と、ｃｄｆ（∞）＝１という条件と、ｃｄｆ（ｑ）のｑについての微分値が０以上という条件とを満たす関数である。

画像Ｇ２は、生起確率ｐ（ｑ）がｃｄｆ（ｑ＋Δ／２）－ｃｄｆ（ｑ－Δ／２）に等しいことを示す。図１の説明に戻る。

補助データ側復号部１０７は、補助特徴量復号処理を実行する。補助特徴量復号処理は補助特徴量に基づいて得られた情報を処理対象とする処理であって、処理対象を復号する処理である。補助データ側復号部１０７が実行する補助特徴量復号処理の処理対象は、ノイズ付き補助特徴量である。以下、ノイズ付き補助特徴量が復号された情報を補助データという。したがって、補助データ側復号部１０７は、ノイズ付き補助特徴量を復号することで補助データを取得する。

上述したように学習により補助特徴量取得処理の内容が更新されるほど、ＲＤコストが小さくなる。したがって、補助特徴量取得処理の内容が更新されるほど、補助データが含み得る主データ統計量情報の情報量の最大量も増大する。

補助特徴量復号処理の内容は、ＲＤコストが小さくなるように、学習により更新される。すなわち、補助データ側復号部１０７の実行する処理の内容は、学習により更新される。

補助エントロピー取得部１０８は、補助データ側確率推定部１０６の推定の結果である補助データ側確率に基づき、補助エントロピーを取得する。補助エントロピーは、補助特徴量のエントロピーである。

主データ側確率推定部１０９は、主データ側確率推定処理を実行する。主データ側確率推定処理は、ノイズ付き主データ特徴量と補助データとに基づき主データ側確率を推定する処理である。主データ側確率は、主データ特徴量を示すテンソルの各要素の生起確率を示す情報である。主データ特徴量を示すテンソルの各要素の生起確率の推定には主データ特徴量を示すテンソルの各要素の確率分布の情報が用いられる。

主データ特徴量を示すテンソルの各要素の確率分布が、パラメトライズド主データ特徴量累積分布関数を用いて表現される場合、主データ側確率推定部１０９は、パラメトライズド主データ特徴量累積分布関数に基づいて、主データ特徴量を示すテンソルの各要素の生起確率を推定する。

パラメトライズド主データ特徴量累積分布関数は、主データ特徴量を示すテンソルの各要素の確率分布を示す累積分布関数であってパラメトライズされた累積分布関数である。確率分布は例えばガウス分布である。

パラメトライズド主データ特徴量累積分布関数のパラメータは、具体的には、主データ特徴量を示すテンソルの各要素の確率分布を表す統計量である。したがって、学習においてパラメトライズド補助特徴量累積分布関数のパラメータの値としては、補助データの示す値が用いられる。

例えば確率分布がガウス分布である場合には、学習済みの学習ネットワーク１００において得られる補助データはガウス分布の代表値と散布度とを示す。

＜生起確率の推定＞
主データ側確率推定処理について一例を説明する。より具体的には、上述したＬａｔｔｉｃｅＶＱを用いる場合の主データ側確率推定処理の一例を説明する。主データの各ベクトルはベクトル量子化が行われた際には、代表ベクトルの１つで表される。したがって、ＬａｔｔｉｃｅＶＱを用いる場合の主データ側確率推定処理の説明とは、さらに具体的には、ＬａｔｔｉｃｅＶＱを用いる場合の代表ベクトルの生起確率を推定する処理の説明である。以下、代表ベクトルの生起確率を推定する処理を、代表ベクトル生起確率推定処理という。代表ベクトル生起確率推定処理は主データ側確率推定処理の一例である。

＜代表ベクトル生起確率推定処理の一例＞
上述したように、主データ側確率推定処理では、パラメトライズド主データ特徴量累積分布関数が用いられる。また、上述したようにパラメトライズド主データ特徴量累積分布関数は、具体的にはパラメトライズされた累積分布関数である。さらに、上述したように累積分布関数とは確率密度関数を積分した結果である。したがって、代表ベクトル生起確率推定処理は累積分布関数を用いる処理である。そして、代表ベクトル生起確率推定処理で累積分布関数が用いられるとは、パラメトライズされた確率密度関数を格子単位領域で積分した結果が用いられることを意味する。

ところでボロノイ領域は、上述したように格子単位領域の１つである。ボロノイ分割はよく知られた領域分割の方法であるため、格子単位領域を得る際にボロノイ分割が用いられる場合が多い。しかしながら、格子空間が２次元の場合ボロノイ領域の形は上述のように６角形である。

しかしながら、多様体上の関数の積分において、積分領域を示す領域の形状が６角形である場合、積分の実行は必ずしも容易ではない。なお、積分の実行が容易とは、予め定められた精度以上の精度で積分の結果を得ることに要する演算量が少ないことを意味する。

さらに、多様体が２次元よりも高次元の場合には、ボロノイ分割の結果として得られる領域における関数の積分の実行は、２次元の場合よりも更に容易ではない。例えば４次元の場合、ボロノイ領域の形を２次元空間に描くことは難しい場合が多く、そのような多様体上での関数の積分の実行も容易では無い。このように、ボロノイ分割の結果として得られる領域を積分領域として関数の積分を実行することは必ずしも容易ではない。

したがって、代表ベクトル生起確率推定処理で用いられるパラメトライズされた累積分布関数の取得は容易ではない場合がある。

そこで代表ベクトル生起確率推定処理では例えば、ボロノイ分割に代えて超直方体分割の結果を用いて得られたパラメトライズされた累積分布関数を用いる。超直方体分割は、形状が超直方体の格子単位領域で格子空間を分割する処理である。なお、２次元の超直方体は矩形であり、３次元の超直方体は直方体である。

図６は、実施形態における超直方体分割を説明する説明図である。より具体的には、図６は２次元の格子空間に対する超直方体分割の結果の一例を、ボロノイ分割の結果の一例とともに示す図である。図６における“真の領域”と“近似領域”とはいずれも格子単位領域の例である。

“真の領域”はボロノイ分割の結果の領域である。すなわち、“真の領域”はボロノイ領域である。“真の領域”は、６角形の格子単位領域である。“近似領域”は超直方体分割の結果の格子単位領域である。

“近似領域”の形状は直方体である。図６に示す２種類の分割の結果のうち、主データ側確率推定部１０９が実行する超直方体分割の結果の一例は、“近似領域”による分割の結果である。図６におけるＳ_１は“近似領域”の形状である直方体の辺の長さであって、２次元の格子空間の１次元目の辺の長さを示し、Ｓ_２は２次元目の辺の長さを示す。

１次元目の辺の長さとは、格子空間における直方体を直交する２つの斜影空間に射影した際の一方の斜影空間における直方体の長さを意味する。２次元目の辺の長さとは、他方の斜影空間における直方体の長さを意味する。なお、以下の説明において、Ｎ次元の格子空間における超直方体のｎ次元目の辺の長さとは、超直方体を直交するＮ個の１次元の斜影空間に射影した際のｎ番目の斜影空間における超直方体の長さを意味する。なお、斜影空間における超直方体は、直線である。

ところで、２次元以上の領域を積分領域とする積分は反復積分で得られる。Ｎ次元の超直方体を積分領域とする関数の積分では関数に対してＮ回の積分を行う反復積分が実行される。超直方体の場合、Ｎ回の各積分の積分領域を超直方体の辺とする反復積分の実行が可能である。

そして、Ｎ回の各積分の積分領域を超直方体の辺とする反復積分を実行する場合、各積分は他の積分の結果に影響されない。一方、超直方体ではない超多面体の場合、反復積分の各積分は他の積分の結果に影響される。そのため、格子単位領域の形が超直方体である場合、格子単位領域の形が超直方体ではない超多面体の場合よりも、積分の実行が容易である。

図６の例では“真の領域”は形状が６角形であり“近似領域”の形状は直方体であるため、“近似領域”を積分領域とする積分の実行は、“真の領域”を積分領域とする積分よりも容易である。

超直方体分割の結果得られた超直方体を積分領域としてパラメトライズされた累積分布関数を得る場合、反復積分の各積分において１次元の確率密度関数であって他の次元の影響を受けない確率密度関数の積分が実行される。

学習ネットワーク１００においては、反復積分の対象である確率密度関数は、予め定められた種類の分布を示す関数であり、パラメトライズされた関数である。予め定められた種類の分布は、ガウス分布である。確率密度関数のパラメータの値は補助データに応じた値である。パラメトライズされた累積分布関数は、確率密度関数に対して超直方体分割で得られた超直方体を積分領域とする反復積分を実行することで得られる。学習ネットワーク１００において、確率密度関数のパラメータの値は補助データの値であるので、このようにして得られたパラメトライズされた累積分布関数は補助データに応じた関数である。

代表ベクトル生起確率推定処理では、このようにして予め得られた累積分布関数のパラメータに補助データの値を代入することが実行される。代表ベクトル生起確率推定処理では、このようにして得られた累積分布関数を用いて代表ベクトルの生起確率を推定する。

なお代表ベクトル生起確率推定処理では、例えば以下の式（１）及び式（２）の表す処理の実行により代表ベクトルの生起確率が推定される。なお式（２）における累積分布関数ｃｄｆは反復積分の各積分で得られた各累積分布関数を表す。ｍ次元（ｍは自然数）の累積分布関数を１つの次元について積分した結果は、（ｍ－１）次元の累積分布関数である。

式（１）の右辺がパラメトライズド主データ特徴量累積分布関数を用いて得られる生起確率の一例である。式（１）は式（２）の累積分布関数ｃｆｄを介してパラメトライズされた関数である。式（２）は確率密度関数を格子単位領域の１次元方向に積分した結果得られた累積分布関数である。式（１）は式（２）で得られた各次元の生起確率の積である。したがって、式（１）は、格子単位領域全面で確率密度関数を積分した結果を用いて表された生起確率である。

ｉは、各格子点を識別する識別子である。ｊは、格子空間の各次元を意味する。式（１）の左辺は、代表ベクトルの生起確率を示す。各格子点はそれぞれ代表ベクトルを示すので、各格子点における生起確率ｐ_ｉとは、各代表ベクトルの生起確率ｐ_ｉを意味する。Δ_ｊは、格子単位領域の識別子ｊで表される次元の長さを意味する。格子単位領域の形状及び大きさは予め定められているので、Δ_ｊは予め定められた長さである。

なお、以下の式（３）で表されるハット記号が付与されたｙは、ノイズ付き主データ特徴量を意味する。以下、ハット付きの記号ＡをＡ＾と記載する。したがった、例えば以下の式（３）で表されたハット付きの記号ｙは、ｙ＾である。

式（１）は、生起確率ｐ_ｉは次元ごとに得られた確率ｐ_ｉ［ｊ］の積で表現される、ことを示す。仮に格子単位領域の形状が超直方体ではない場合には、生起確率ｐ_ｉは次元ごとに得られた確率ｐ_ｉ［ｊ］の簡単な積で表現されない。したがって、格子単位領域の形状が超直方体であるので、主データ側確率推定部１０９は式（１）及び式（２）が示すように生起確率ｐ_ｉの取得が容易である。

なお上記式（１）と（２）とは、次元間の共分散が０である場合を仮定して得られた式である。しかしながら、格子単位領域の形状が超直方体である場合、格子空間の座標軸を超直方体の各辺に平行なように回転させれば次元間の共分散を０にすることができる。したがって式（１）と式（２）とは次元間の共分散が０では無い場合であっても、座標軸の回転により成り立つ式である。なお、線形代数でよく知られた事実であるが、座標軸の回転はユニタリ変換であるので式（１）と式（２）の内容を変える変換ではない。なお、共分散を０にする処理とは、次元間の分散を表す行列を対角化する処理である。

このように、主データ側確率推定処理は、パラメトライズされた確率密度関数が、形状が超直方体である格子単位領域を積分領域として積分された結果を用いて、主データ特徴量を示すテンソルの各要素の生起確率を推定する。なお、主データ特徴量を示すテンソルの各要素の生起確率とは、主データ特徴量を表す代表ベクトルの生起確率である。

＜超直方体の範囲の決定の処理＞
ここまで、格子単位領域として超直方体を用いることを説明してきたが、その超直方体の形状及び大きさをどのように決めるのか、その処理については触れてこなかった。ここで、超直方体であるという条件は少なくとも満たす格子単位領域について、その形状及び大きさを決める処理（以下「超直方体決定処理」という。）の一例を説明する。

超直方体決定処理では、まず原点格子の隣接格子が算出される。なお、原点格子とは、格子空間の原点に位置する格子点である。隣接格子は、原点の隣の格子点である。次に超直方体決定処理では、超直方体決定条件を満たす超直方体が算出される。超直方体決定条件は、原点格子の格子単位領域が各隣接格子の格子単位領域と重ならないという条件と、超直方体の体積がボロノイ領域の体積に等しい、という条件とを含む条件である。

超直方体決定処理の具体例として、８次元のＥ８格子空間における超直方体の形状及び大きさの決定に用いられる条件について説明する。原点格子の隣接格子は、以下の２種類が存在する。１つは、［±１^２、０^６］である。他の１つは、［±（１／２）^８］である。ここで、上付き文字は、次元の数を示す。例えば［１^２、０^６］は、［１、１、０、０、０、０、０、０］を意味する。なお、上記の大カッコ［］は、ベクトルを表す。

＜超直方体を示す記法について＞
超直方体［ｓ_１ ^ａ、ｓ_２ ^ｂ・・・ｓ_３ ^ｃ］における上付き文字は、１次元目からａ次元目までの各辺の長さがｓ_１であり、（ａ＋１）次元目から（ａ＋ｂ）次元目までの各辺の長さがｓ_２であり、ということを示す。このように、上付き文字を用いる記法における上付き文字は、上付き文字の添付対象の文字をｓとして、一続きの次元であって上付き文字の数だけの次元について、超直方体の辺の長さが同じ長さｓであることを示す。すなわちｓ^ａは、一続きのａ個の次元については超直方体の辺の長さがｓであることを示す。なお、次元が一続きか否かの判定には次元の順番の情報が必要であるが、次元の順番は予め定められた順番である。

なお［±１^２、０^６］における“±”は、＋１の場合と－１の場合とが存在することを示す。したがって、［±１^２、０^６］は、具体的には、［１、１、０^６］と、［－１、１、０^６］と、［１、－１、０^６］と、［－１、－１、０^６］との４つのベクトルを意味する。

８次元の格子空間における超直方体の形状及び大きさの決定の説明に戻る。各隣接格子の超直方体が原点格子の超直方体と重ならない条件は、以下の２つである。１つは超直方体の辺（要素）のうち７つ以上が１以下という条件である。他の１つは、超直方体の辺（要素）のうち１つ以上が１／２以下という条件である。

また、Ｅ８格子のボロノイ領域の体積は１なので、超直方体は、以下の式（４）の条件を満たす。

これらの条件を満たす超直方体として、８次元のＥ８格子空間の場合には、例えばｓ＝［１／２、１^６、２］が得られる。

他の次元の場合の例を紹介する。２次元のＡ２格子空間の場合には、格子単位領域の範囲は、以下の式（５）で表される超直方体の囲う範囲である。

８次元のＥ８格子空間の場合には、格子単位領域の範囲は、以下の式（６）で表される超直方体の囲う範囲である。

２４次元のリーチ格子空間の場合には、格子単位領域の範囲は、以下の式（７）で表される超直方体の囲う範囲である。

このようにして、超直方体の範囲（格子単位領域の形状及び大きさ）が決定される。図１の説明に戻る。

主エントロピー取得部１１０は、主データ側確率推定部１０９の推定の結果に基づき主データ特徴量のエントロピーを取得する。以下、主データ特徴量のエントロピーを主エントロピーという。

主データ側復号部１１１は、主データ特徴量復号処理を実行する。主データ特徴量復号処理は主データ特徴量に基づいて得られた情報を処理対象とする処理であって、処理対象を復号する処理である。主データ側復号部１１１が実行する主データ特徴量復号処理の処理対象は、ノイズ付き主データ特徴量である。主データ側復号部１１１の復号の処理の内容は、学習により更新される。

再構成誤差算出部１１２は、主データ側復号部１１１の復号の結果と主データ取得部１０１の取得した主データとの違いを算出する。以下、主データ側復号部１１１の復号の結果と主データ取得部１０１の取得した主データとの違い、を再構成誤差という。主データ側復号部１１１の復号の結果と主データ取得部１０１の取得した主データとの違いは、例えば平均二乗誤差和で表されてもよいし、バイナリークロスエントロピーで表されてもよい。

最適化部１１３は、補助エントロピーと主エントロピーと再構成誤差とに基づき、学習ネットワーク１００を更新する。なお、補助エントロピーと主エントロピーと再構成誤差とはいずれも学習ネットワーク１００の出力の例である。最適化部１１３は、具体的には、最適化誤差と、主エントロピーと、補助エントロピーとを小さくするように学習ネットワーク１００を更新する。最適化部１１３が用いる目的関数は、例えば、Ｌ＝Ｄ＋λ（Ｒ_ｙ＋Ｒ_ｚ）である。

記号Ｌは目的関数を表す。記号Ｄは、再構成誤差を表す。記号ラムダは予め定められた定数である。記号Ｒ_ｙは、補助エントロピーを表す。記号Ｒ_ｚは、主エントロピーを表す。

エントロピーの小ささは、符号長の短さを意味するので、最適化部１１３は、エントロピーを小さくするよう学習ネットワーク１００を更新する。また、最適化誤差が小さいほど自己符号化の精度が高いことを意味するので、最適化部１１３は最適化誤差を小さくするよう学習ネットワーク１００を更新する。

例えば学習ネットワーク１００の更新は、目的関数Ｌの最小化問題を解くことが勾配法を用いて行われる。すなわち、例えば誤差逆伝搬法により学習ネットワーク１００の各パラメータの値が更新されることで学習ネットワーク１００が更新される。

学習ネットワーク１００の更新とは具体的には、主データ側符号化部１０２、補助データ側符号化部１０３、補助データ側確率推定部１０６、補助データ側復号部１０７及び主データ側復号部１１１の処理の内容を更新することを意味する。

＜自己符号化と学習ネットワーク１００との関係＞
ところで学習ネットワーク１００は、主データ側ノイズ付与部１０４を備える。主データ側ノイズ付与部１０４そのものは量子化の処理ではない。しかしながら、主データ側ノイズ付与部１０４の処理を含むからこそ、学習が行われることで、ベクトル量子化を用いた自己符号化の性能が高まる。その理由を説明する。

学習時にベクトル量子化が行われると、勾配が０になってしまうため、ベクトル量子化を用いた自己符号化の処理を高効率化する学習の実行ができないことが知られている。したがって、自己符号化の処理を学習によって高効率化するためには、ベクトル量子化そのものに代えてベクトルに対してノイズを付与する処理が学習時に行われる。

ベクトル量子化そのものに代えてノイズを付与する処理を行うことで、ベクトル量子化を行う処理そのものではなくベクトル量子化に用いられる情報を生成する他の処理の性能が高まる。その結果、自己符号化の際にはノイズを付与する処理に代えてベクトル量子化を行っても、学習前よりも高効率な自己符号化が行われる。

学習部１０について関しては、主データ側ノイズ付与部１０４がノイズ付与対象ベクトルに対してノイズを付与する。したがって、主データ側ノイズ付与部１０４を含む学習を行うことで、勾配が０にならない。その結果、ベクトル量子化を用いた自己符号化の際にも用いられる主データ側符号化部１０２、補助データ側符号化部１０３、補助データ側確率推定部１０６、補助データ側復号部１０７及び主データ側復号部１１１の内容を更新することが可能である。

したがって、ここまでネットワーク学習結果と説明してきた内容は、具体的には、ベクトル量子化に代えてノイズの付与を実行するニューラルネットワーク（すなわち学習ネットワーク１００）の学習で更新された周辺処理、を意味する。周辺処理は、ベクトル量子化で用いられる情報を生成する処理である。周辺処理は具体的には、主データ側符号化部１０２、補助データ側符号化部１０３、補助データ側確率推定部１０６、補助データ側復号部１０７及び主データ側復号部１１１のそれぞれが実行する処理である。

図７は、実施形態における学習部１０が実行する処理の流れの一例を示す図である。主データ取得部１０１が主データｘ＝［ｘ_１、ｘ_２、・・・、ｘ_Ｎ］を取得する（ステップＳ１０１）。主データｘはｘ_１からｘ_ＮまでのＮ個の要素を有するＮ次元ベクトルである。ｘ_１からｘ_Ｎまでの各要素はテンソルである。したがって、ｘ_１からｘ_Ｎまでの各要素はスカラーであってもよいしベクトルであってもよい。

次に、主データ側符号化部１０２が、主データ特徴量取得処理を実行する（ステップＳ１０２）。すなわち、主データ側符号化部１０２が主データｘを符号化する。主データの符号化により、主データ特徴量ｙ＝ｆ_ｅｎｃ（ｘ）が得られる。関数ｆ_ｅｎｃ（ｘ）は、主データｘの符号化の処理を表現する関数（以下「主データ符号化関数」という。）である。なお主データ特徴量ｙはｋ個のＫ次元ベクトルで構成されるテンソルである。

次に、補助データ側符号化部１０３が補助特徴量取得処理を実行する（ステップＳ１０３）。補助特徴量取得処理の実行により、補助特徴量ｚ＝ｇ_ｅｎｃ（ｙ）が得られる。関数ｇ_ｅｎｃ（ｙ）は、主データ特徴量ｙの符号化の処理を表現する関数（以下「主データ特徴量符号化関数」という。）である。なお補助特徴量ｚはベクトル等のテンソルである。

次に、主データ側ノイズ付与部１０４がノイズ付き主データ特徴量取得処理を実行する（ステップＳ１０４）。ノイズ付き主データ特徴量取得処理の実行により、主データ特徴量にノイズが付与される。すなわち、ノイズ付き主データ特徴量取得処理の実行により、ノイズ付き主データ特徴量ｙ＾＝［ｙ_１＾、ｙ_２＾、・・・、ｙ_ｋ＾］が得られる。ただし、ｙ_ｉ＾＝ｙ_ｉ＋ｕ_ｙである。ｙ_ｉは、主データ特徴量ｙのｉ番目のベクトル要素を表す。ｕ_ｙはノイズを表す。

次に、補助データ側ノイズ付与部１０５がノイズ付き補助特徴量取得処理を実行する（ステップＳ１０５）。ノイズ付き補助特徴量取得処理の実行により、補助特徴量にノイズが付与される。すなわち、ノイズ付き補助特徴量取得処理の実行により、ノイズ付き補助特徴量ｚ＾＝［ｚ_１＾、ｚ_２＾、・・・、ｚ_ｗ＾］が得られる。なお、ｗは１以上の整数である。ただし、ｚ_ｉ＾＝ｚ_ｉ＋ｕ_ｚである。ｚ_ｉは、補助特徴量ｚのｉ番目の要素を表す。ｕ_ｚはノイズを表す。

次に、補助データ側確率推定部１０６が補助データ側確率推定処理を実行する（ステップＳ１０６）。補助データ側確率推定部１０６は、補助データ側確率推定処理の実行により補助データ側確率を推定する。補助データ側確率は具体的には以下の式（８）で表される。

式（８）の左辺の記号が補助データ側確率を表す。記号ｈはパラメトライズド補助特徴量累積分布関数である。

次に補助データ側復号部１０７が、ノイズ付き補助特徴量に対して補助特徴量復号処理を実行する（ステップＳ１０７）。補助特徴量復号処理の実行により、補助特徴量復号処理の実行により、ノイズ付き補助特徴量が復号される。すなわち、補助特徴量復号処理の実行により、補助データθ＝ｇ_ｄｅｃ（ｚ＾）が得られる。関数ｇ_ｄｅｃ（ｚ＾）は、ノイズ付き補助特徴量ｚ＾の復号の処理を表現する関数（以下「補助特徴量復号関数」という。）である。なお補助データθはベクトル等のテンソルである。

次に、補助エントロピー取得部１０８が補助データ側確率に基づき、補助エントロピーを取得する（ステップＳ１０８）。具体的には、以下の式（９）で表される処理を実行することで、補助エントロピー取得部１０８は補助エントロピーを取得する。

式（９）の左辺の記号が補助エントロピーを表す。

次に、主データ側確率推定部１０９が、主データ側確率推定処理を実行する（ステップＳ１０９）。主データ側確率推定部１０９は、主データ側確率推定処理の実行によりノイズ付き主データ特徴量と補助データとに基づき主データ側確率を推定する。主データ側確率は、具体的には上述の式（１）で表される。

次に、主エントロピー取得部１１０が、主データ側確率に基づき主エントロピーを取得する（ステップＳ１１０）。具体的には、以下の式（１０）で表される処理を実行することで、主エントロピー取得部１１０は主エントロピーを取得する。

式（１０）の左辺の記号が主エントロピーを表す。

次に、主データ側復号部１１１が、ノイズ付き主データ特徴量に対して主データ特徴量復号処理を実行する（ステップＳ１１１）。主データ特徴量復号処理の実行により、ノイズ付き主データ特徴量が復号される。以下、ノイズ付き主データ特徴量が復号された情報を復号主データという。したがって、主データ側復号部１１１は主データ特徴量復号処理の実行による復号主データｘ＾＝ｆ_ｄｅｃ（ｙ＾）を得る。関数ｆ_ｄｅｃ（ｙ＾）は、ノイズ付き主データ特徴量ｙ＾の復号の処理を表現する関数（以下「主データ特徴量復号関数」という。）である。なお復号主データｘ＾はベクトル等のテンソルである。

次に、再構成誤差算出部１１２が、復号主データと主データ取得部１０１の取得した主データとの違いを取得する（ステップＳ１１２）。復号主データと主データ取得部１０１の取得した主データとの違いが再構成誤差である。

次に最適化部１１３は、補助データエントロピーと主データエントロピーと再構成誤差とに基づき、学習ネットワーク１００を更新する（ステップＳ１１３）。次に、最適化部１１３は学習に関する所定の終了条件（以下「学習終了条件」という。）が満たされたか否かを判定する（ステップＳ１１４）。学習終了条件は、例えば、学習ネットワーク１００の所定の回数の更新が行われた、という条件である。

学習終了条件が満たされた場合（ステップＳ１１４：ＹＥＳ）、処理が終了する。一方、学習終了条件が満たされない場合（ステップＳ１１４：ＮＯ）、ステップＳ１０１の処理に戻る。学習終了条件が満たされた時点の周辺処理が学習済みの周辺処理としてベクトル量子化に用いられる。

なお、ステップＳ１０１～ステップＳ１１４の各処理は因果律に反することが無ければどのような順番で実行されてもよい。

なお、上述したように、補助データ側確率推定部１０６は予め与えられた確率分布を所定の記憶装置からの読み出し等によって取得してもよい。このような場合、補助データ側確率推定処理の内容は学習によって更新されない。したがって、学習済みの補助データ側確率推定処理は学習前の補助データ側確率推定処理と同じである。

なお、補助データ側確率推定処理の内容の更新は、より具体的には、パラメトライズド補助特徴量累積分布関数ｈの更新である。したがって、補助データ側確率推定部１０６が予め与えられた確率分布を所定の記憶装置からの読み出し等によって取得する場合、学習済みのパラメトライズド補助特徴量累積分布関数ｈは学習前のパラメトライズド補助特徴量累積分布関数ｈと同じである。

このように学習部１０は、ベクトル量子化を用いた自己符号化の処理における符号化と復号との処理を学習により更新する。ベクトル量子化を用いた自己符号化の処理は、自己符号化の対象の特徴量である主データ特徴量と、主データ特徴量の特徴量である補助特徴量とを用いる。さらに、ベクトル量子化を用いた自己符号化の処理は、主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う。

このようなベクトル量子化を用いた自己符号化の処理における符号化の処理は、具体的には、主データ側符号化部１０２が実行する主データ特徴量取得処理と、補助データ側符号化部１０３が実行する補助特徴量取得処理とである。また、このようなベクトル量子化を用いた自己符号化の処理における復号の処理は、具体的には、補助データ側復号部１０７が実行する補助特徴量復号処理と、主データ側復号部１１１が実行する主データ特徴量復号処理とである。

学習済みの周辺処理を用いるベクトル量子化、を用いた自己符号化について図８及び図９を用いて説明する。学習済みとは、学習終了条件が満たされた時点の、という意味である。より具体的には、学習済みの周辺処理を用いるベクトル量子化、を用いた自己符号化を実行する装置の例として、エンコードとデコードとの処理を実行する自己符号化装置２を説明する。自己符号化装置２は、自己符号化器（オートエンコーダ）の１種である。

図８は、実施形態における自己符号化装置２の概要を説明する第１の説明図である。図９は、実施形態における自己符号化装置２の概要を説明する第２の説明図である。より具体的には、図８は自己符号化装置２で実行されるエンコードの処理を説明する説明図であり、図９は、自己符号化装置２で実行されるデコードの処理を説明する説明図である。

自己符号化装置２は、自己符号化器の１種であるので、エンコーダとデコーダとを備える。具体的には、自己符号化装置２は、エンコーダ２００とデコーダ２１２とを備える。エンコーダ２００は、自己符号化対象取得部２０１、学習済み主データ側符号化部２０２、学習済み補助データ側符号化部２０３、ベクトル量子化部２０４、スカラー量子化部２０５、学習済み補助データ側確率推定部２０６、学習済み補助データ側復号部２０７、補助エントロピー符号化部２０８、主データ側確率推定部２０９、主エントロピー符号化部２１０及びデータ多重化部２１１を備える。

デコーダ２１２は、符号化データ取得部２１３、データ分離部２１４、補助エントロピー復号部２１５、学習済み補助データ側復号部２１６、主エントロピー復号部２１７及び学習済み主データ側復号部２１８を備える。

自己符号化対象取得部２０１は、自己符号化の対象であるデータを主データとして取得する。以下、自己符号化の対象を自己符号化対象という。

学習済み主データ側符号化部２０２は、自己符号化対象に対して学習済みの主データ特徴量取得処理を実行する。学習済みの主データ特徴量取得処理の実行により学習済み主データ側符号化部２０２は自己符号化対象の主データ特徴量を取得する。

学習済み補助データ側符号化部２０３は、自己符号化対象の主データ特徴量に対して学習済みの補助特徴量取得処理を実行する。学習済みの補助特徴量取得処理の実行により学習済み補助データ側符号化部２０３は自己符号化対象の補助特徴量を取得する。

ベクトル量子化部２０４は、自己符号化対象の主データ特徴量に対してベクトル量子化の処理を実行する。ベクトル量子化の処理の実行によりベクトル量子化部２０４は、自己符号化対象のベクトル量子化された主データ特徴量（以下「ベクトル量子化特徴量」という。）を取得する。

スカラー量子化部２０５は、自己符号化対象の補助特徴量に対してスカラー量子化の処理を実行する。スカラー量子化の処理の実行によりスカラー量子化部２０５は、自己符号化対象のスカラー量子化された補助特徴量（以下「スカラー量子化特徴量」という。）を取得する。

学習済み補助データ側確率推定部２０６は、学習済みの補助データ側確率推定処理を実行する。学習済み補助データ側確率推定部２０６は、学習済みの補助データ側確率推定処理の実行により、スカラー量子化特徴量に基づき自己符号化対象の補助データ側確率を推定する。

学習済み補助データ側復号部２０７は、スカラー量子化特徴量に対して学習済みの補助特徴量復号処理を実行する。すなわち、学習済み補助データ側復号部２０７は、スカラー量子化特徴量を復号する。以下、スカラー量子化特徴量が復号された情報を量子化補助データという。したがって、学習済み補助データ側復号部２０７は、スカラー量子化特徴量を復号することで量子化補助データを取得する処理である。

補助エントロピー符号化部２０８は、スカラー量子化特徴量と自己符号化対象の補助データ側確率とに基づき、スカラー量子化特徴量のエントロピー符号化を行う。エントロピー符号化は例えば算術符号化である。

主データ側確率推定部２０９は、ベクトル量子化特徴量と量子化補助データとに基づき自己符号化対象の主データ側確率を推定する。

主エントロピー符号化部２１０は、ベクトル量子化特徴量と自己符号化対象の主データ側確率とに基づき、ベクトル量子化特徴量のエントロピー符号化を行う。エントロピー符号化は例えば算術符号化である。

データ多重化部２１１は、エントロピー符号化されたベクトル量子化特徴量と、エントロピー符号化されたスカラー量子化特徴量とをデコーダ２１２に出力する。このようにして、エンコーダ２００は、自己符号化対象をエンコードする。

符号化データ取得部２１３は、エントロピー符号化されたベクトル量子化特徴量と、エントロピー符号化されたスカラー量子化特徴量とを取得する。

データ分離部２１４は、符号化データ取得部２１３の取得した、エントロピー符号化されたベクトル量子化特徴量と、エントロピー符号化されたスカラー量子化特徴量と、を取得する。データ分離部２１４は、エントロピー符号化されたスカラー量子化特徴量を補助エントロピー復号部２１５に出力し、エントロピー符号化されたベクトル量子化特徴量を主エントロピー復号部２１７に出力する。

学習済み補助エントロピー復号部２１５は、学習済みのパラメトライズド補助特徴量累積分布関数を用いて、エントロピー符号化されたスカラー量子化特徴量に対してエントロピー復号を行う。

学習済み補助データ側復号部２１６は、学習済み補助エントロピー復号部２１５によるエントロピー復号の結果に対して、学習済みの補助特徴量復号処理を実行する。

主エントロピー復号部２１７は、エントロピー符号化されたベクトル量子化特徴量と、学習済み補助データ側復号部２１６による学習済みの補助特徴量復号処理の結果と、に基づき、エントロピー符号化されたベクトル量子化特徴量のエントロピー符号化を行う。より具体的には、主エントロピー復号部２１７は、復号累積分布関数を用いて、エントロピー符号化されたベクトル量子化特徴量のエントロピー復号を行う。復号累積分布関数は、パラメータの値が学習済み補助データ側復号部２１６による学習済みの補助特徴量復号処理の結果が示す値であるパラメトライズド主データ特徴量累積分布関数である。

学習済み主データ側復号部２１８は、主エントロピー復号部２１７による復号の結果に対して、学習済みの主データ特徴量復号処理を実行する。

このようにして、デコーダ２１２は、エンコーダ２００によってエンコードされた自己符号化対象をデコードする。また、このようにして、自己符号化装置２は、自己符号化対象の自己符号化を行う。

図１０は、実施形態におけるエンコーダ２００が実行する処理の流れの一例を示すフローチャートである。自己符号化対象取得部２０１が自己符号化対象Ｘ＝［Ｘ_１、Ｘ_２、・・・、Ｘ_Ｎ］を取得する（ステップＳ２０１）。自己符号化対象ＸはＸ_１からＸ_ＮまでのＮ個の要素を有するＮ次元ベクトルである。Ｘ_１からＸ_Ｎまでの各要素はテンソルである。したがって、Ｘ_１からＸ_Ｎまでの各要素はスカラーであってもよいしベクトルであってもよい。

次に、学習済み主データ側符号化部２０２が、学習済みの主データ特徴量取得処理を実行する（ステップＳ２０２）。すなわち、学習済み主データ側符号化部２０２が自己符号化対象Ｘを符号化する。自己符号化対象の符号化により、自己符号化対象の主データ特徴量Ｙ＝Ｆ_ｅｎｃ（Ｙ）が得られる。関数Ｆ_ｅｎｃ（Ｘ）は、学習済みの主データ符号化関数である。なお主データ特徴量Ｙはベクトル等のテンソルである。

次に、学習済み補助データ側符号化部２０３が学習済み補助特徴量取得処理を実行する（ステップＳ２０３）。学習済み補助特徴量取得処理の実行により、自己符号化対象の補助特徴量Ｚ＝Ｇ_ｅｎｃ（Ｙ）が得られる。関数Ｇ_ｅｎｃ（Ｙ）は、学習済みの主データ特徴量符号化関数である。なお補助特徴量Ｚはベクトル等のテンソルである。

次に、ベクトル量子化部２０４が自己符号化対象の主データ特徴量Ｙに対してベクトル量子化を行う（ステップＳ２０４）。ベクトル量子化の実行により、ベクトル量子化特徴量Ｙ＾＝［Ｙ_１＾、Ｙ_２＾、・・・、Ｙ_ｋ＾］＝［Ｑ（Ｙ_１）、Ｑ（Ｙ_２）、・・・、Ｑ（Ｙ_ｋ）］が得られる。Ｙ_ｉは、自己符号化対象の主データ特徴量Ｙのｉ番目の要素を表す。Ｙ＾_ｉは、ベクトル量子化特徴量Ｙ＾のｉ番目の要素を表す。Ｑは以下の式（１１）で表される関数である。

なお、記号Λは全格子点の集合を意味する。

次に、スカラー量子化部２０５が自己符号化対象の補助特徴量Ｚに対してスカラー量子化を行う（ステップＳ２０５）。スカラー量子化の処理の実行によりスカラー量子化部２０５は、スカラー量子化特徴量Ｚ＾＝ｒｏｕｎｄ（Ｚ）を取得する。なお、ｒｏｕｎｄは丸め処理を表す。

次に学習済み補助データ側確率推定部２０６が、学習済みの補助データ側確率推定処理を実行する（ステップＳ２０６）。学習済み補助データ側確率推定部２０６は、学習済みの補助データ側確率推定処理の実行により、スカラー量子化特徴量Ｚ＾に基づき自己符号化対象の補助データ側確率を推定する。自己符号化対象の補助データ側確率は具体的には以下の式（１２）で表される。

式（１２）の左辺の記号が自己符号化対象の補助データ側確率を表す。記号Ｈは学習済みのパラメトライズド補助特徴量累積分布関数である。

学習済み補助データ側復号部２０７が、スカラー量子化特徴量Ｚ＾に対して学習済みの補助特徴量復号処理を実行する（ステップＳ２０７）。すなわち、学習済み補助データ側復号部２０７は、スカラー量子化特徴量を復号することで量子化補助データΘ＝Ｇ_ｄｅｃ（Ｚ＾）が得られる。関数Ｇ_ｄｅｃ（Ｚ＾）は、学習済みの補助特徴量復号関数である。なお量子化補助データΘはベクトル等のテンソルである。

次に補助エントロピー符号化部２０８が、スカラー量子化特徴量Ｚ＾と自己符号化対象の補助データ側確率とに基づき、スカラー量子化特徴量Ｚ＾のエントロピー符号化を行う（ステップＳ２０８）。

次に主データ側確率推定部２０９が、ベクトル量子化特徴量Ｙ＾と量子化補助データΘとに基づき自己符号化対象の主データ側確率を推定する（ステップＳ２０９）。

次に主エントロピー符号化部２１０が、ベクトル量子化特徴量Ｙ＾と自己符号化対象の主データ側確率とに基づき、ベクトル量子化特徴量Ｙ＾のエントロピー符号化を行う（ステップＳ２１０）。

次にデータ多重化部２１１が、エントロピー符号化されたベクトル量子化特徴量と、エントロピー符号化されたスカラー量子化特徴量とをデコーダ２１２に出力する（ステップＳ２１１）。

ステップＳ２０１からステップＳ２１１までの一連の処理がエンコーダ２００によるエンコードの処理の一例である。なお、ステップＳ２０１～ステップＳ２１１までの各処理は因果律に反することが無ければどのような順番で実行されてもよい。

図１１は、実施形態におけるデコーダ２１２が実行する処理の流れの一例を示すフローチャートである。符号化データ取得部２１３が、エンコーダ２００によるエンコードの結果を取得する（ステップＳ３０１）。エンコーダ２００によるエンコードの結果とは具体的には、ステップＳ２１１で出力されたエントロピー符号化されたベクトル量子化特徴量と、エントロピー符号化されたスカラー量子化特徴量とである。

次にデータ分離部２１４が、ステップＳ３０１で取得されたエントロピー符号化されたスカラー量子化特徴量と、ステップＳ３０２で取得されたエントロピー符号化されたベクトル量子化特徴量とを分離する（ステップＳ３０２）。分離するとは、具体的には、ステップＳ３０１で取得されたエントロピー符号化されたスカラー量子化特徴量を補助エントロピー復号部２１５に出力し、ステップＳ３０２で取得されたエントロピー符号化されたベクトル量子化特徴量を主エントロピー復号部２１７に出力することを意味する。

次に学習済み補助エントロピー復号部２１５が、学習済みのパラメトライズド補助特徴量累積分布関数を用いて、エントロピー符号化されたスカラー量子化特徴量に対してエントロピー復号を行う（ステップＳ３０３）。

次に学習済み補助データ側復号部２１６が、学習済み補助エントロピー復号部２１５によるエントロピー復号の結果に対して、学習済みの補助特徴量復号処理を実行する（ステップＳ３０４）。

次に主エントロピー復号部２１７が、復号累積分布関数を用いて、エントロピー符号化されたベクトル量子化特徴量のエントロピー復号を行う（ステップＳ３０５）。

次に学習済み主データ側復号部２１８が、主エントロピー復号部２１７による復号の結果に対して、学習済みの主データ特徴量復号処理を実行する（ステップＳ３０６。

ステップＳ３０１からステップＳ３０６までの一連の処理がデコーダ２１２によるデコードの処理の一例である。なお、ステップＳ３０１～ステップＳ３０６までの各処理は、ステップＳ２１１等のエンコーダ２００によるエンコードの処理の実行後に実行され、なおかつ、因果律に反することが無ければどのような順番で実行されてもよい。

＜ハードウェアの説明＞
図１２は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えば学習により生じた各種情報を記憶部１４に記録する。

入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。

通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば学習に用いられる主データの送信元の装置である。通信部１３は、主データの送信元の装置との通信によって学習に用いられる主データを取得する。外部装置は、例えば自己符号化装置２である。通信部１３は自己符号化装置２との通信により自己符号化装置２にネットワーク学習結果を送信する。なお、主データは、必ずしも通信部１３を介して入力される必要は無く、入力部１２に入力されてもよい。

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば学習の実行により生じた各種情報を記憶する。

記憶部１４は、例えば補助特徴量を示すテンソルの各要素の生起確率の取得に用いられる確率分布を予め記憶する。記憶部１４は、例えばパラメトライズド補助特徴量累積分布関数を予め記憶する。記憶部１４は、例えばパラメトライズド主データ特徴量累積分布関数を予め記憶する。記憶部１４は、例えば代表ベクトル情報を予め記憶する。記憶部１４は、例えば超直方体分割の結果を記憶する。

記憶部１４は、例えば学習ネットワーク１００の各パラメータの値の初期値を予め記憶する。初期値は例えばランダムな値である。記憶部１４は、例えばネットワーク学習結果を記憶する。

出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば学習の結果を表示してもよい。

図１３は、実施形態における学習装置１が備える制御部１１の構成の一例を示す図である。制御部１１は、学習部１０、記憶制御部１２０、通信制御部１３０及び出力制御部１４０を備える。記憶制御部１２０は、記憶部１４に各種情報を記録する。通信制御部１３０は通信部１３の動作を制御する。出力制御部１４０は、出力部１５の動作を制御する。

図１４は、実施形態における自己符号化装置２のハードウェア構成の一例を示す図である。自己符号化装置２は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。自己符号化装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、自己符号化装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

制御部２１は、自己符号化装置２が備える各種機能部の動作を制御する。制御部２１は、例えば出力部２５の動作を制御する。制御部２１は、例えばエンコーダ２００によるエンコードとデコーダ２１２によるデコードとにより生じた各種情報を記憶部２４に記録する。

入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を自己符号化装置２に接続するインタフェースとして構成されてもよい。入力部２２は、自己符号化装置２に対する各種情報の入力を受け付ける。

通信部２３は、自己符号化装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば自己符号化対象の送信元の装置である。通信部２３は、自己符号化対象の送信元の装置との通信によって自己符号化対象を取得する。外部装置は、例えば学習装置１である。通信部２３は学習装置１との通信によりネットワーク学習結果を受信する。なお、自己符号化対象は、必ずしも通信部２３を介して入力される必要は無く、入力部２２に入力されてもよい。

記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２４は自己符号化装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えばエンコーダ２００によるエンコードとデコーダ２１２によるデコードとの実行により生じた各種情報を記憶する。

記憶部２４は、例えばネットワーク学習結果を記憶する。記憶部２４は、例えば代表ベクトル情報を予め記憶する。記憶部２４は、例えば超直方体分割の結果を記憶する。

出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。出力部２５は、例えば自己符号化対象の自己符号化の結果を出力してもよい。

図１５は、実施形態における自己符号化装置２が備える制御部２１の構成の一例を示す図である。制御部２１は、自己符号化実行部２０、記憶制御部２２０、通信制御部２３０及び出力制御部２４０を備える。自己符号化実行部２０は、自己符号化対象に対して自己符号化を行う。自己符号化実行部２０はエンコーダ２００とデコーダ２１２とを備える。自己符号化実行部２０は、エンコーダ２００によるエンコードとデコーダ２１２によるデコードとを行うことで、自己符号化対象の自己符号化を行う。

記憶制御部２２０は、記憶部２４に各種情報を記録する。通信制御部２３０は通信部２３の動作を制御する。出力制御部２４０は、出力部２５の動作を制御する。

このように構成された学習装置１は、ＬａｔｔｉｃｅＶＱ等のベクトル空間において格子状に配置された代表ベクトルの位置を示す情報である代表ベクトル情報を用いてベクトル量子化のための周辺処理の学習を行う。そして学習装置１は、超直方体分割の結果を用いて代表ベクトルの生起確率の推定を行う。上述したように、代表ベクトルを用いる場合にはボロノイ分割を用いて代表ベクトルの生起確率の推定が行われる場合があるが積分が容易ではない。

したがって、超直方体分割によって得られた超直方体を用いて代表ベクトルの生起確率を推定する学習装置１は、ベクトル量子化を用いた自己符号化の処理を得ることに要する負担を軽減することができる。これはベクトル量子化を用いた自己符号化の実現までに要する学習段階からの負担を軽減することである。したがって、学習装置１は、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

また、このように構成された学習装置１は、代表ベクトルを用いてベクトル量子化のための周辺処理の学習を行うため、代表ベクトルの学習に要する負担を軽減することができる。また、このように構成された学習装置１は、代表ベクトルを用いてベクトル量子化のための周辺処理の学習を行うため、代表ベクトルの学習を行う際には必要となるメモリの使用が無い。そのため、学習装置１は、メモリ不足の問題が生じる頻度を下げることができ、より大きな次元の主データを処理することができる。

ところで上述したように、ベクトル量子化の学習では量子化に変えてノイズの付与を行う必要がある。しかしながら、ＬａｔｔｉｃｅＶＱ等の代表ベクトル情報を用いる場合、ボロノイ領域の範囲が量子化誤差になるため、確率分布がガウス分布であるノイズの生成そのものが容易ではない。

一方、このように構成された学習装置１は、学習において、Ｋ次元のベクトル空間におけるボロノイ領域に外接する（Ｋ－１）次元球面内にランダムに生成させたサンプルのうち、ボロノイ領域内のサンプルのみノイズとして用いる。このため、ガウス分布に従うノイズを生成することができる。したがって、学習装置１は、ベクトル量子化を用いた自己符号化の処理を得ることに要する負担を軽減することができる。そのため、学習装置１は、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

このように構成された自己符号化装置２は、学習装置１による学習の結果を用いてベクトル量子化を用いた自己符号化を行う。そのため、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

（変形例）
主データ特徴量に対するノイズの付与では、体積をＫ次元のベクトル空間におけるボロノイ領域の体積に近似させた（Ｋ－１）次元球面内に一様に発生させたサンプルがノイズ点として用いられてもよい。主データ特徴量に対するノイズの付与では、超直方体分割によって得られた超直方体内に一様に発生させたサンプルがノイズ点として用いられてもよい。

したがって主データ特徴量に対するノイズを付与する処理（すなわちベクトルノイズ付与処理）は、第１ノイズ付与処理、第２ノイズ付与処理又は第３ノイズ付与処理のいずれかひとつの処理であってもよい。第１ノイズ付与処理は、Ｋ次元のベクトル空間におけるボロノイ領域に外接する（Ｋ－１）次元球面内にランダムに生成させたサンプルのうち、ボロノイ領域内のサンプルをノイズとして付与する処理である。すなわち第１ノイズ付与処理は、図３及び図４を用いて説明した処理である。

第２ノイズ付与処理は、体積をＫ次元のベクトル空間におけるボロノイ領域の体積に近似させた（Ｋ－１）次元球面内に一様に発生させたサンプルをノイズとして付与する処理である。第３ノイズ付与処理は、代表ベクトルが格子状に配置されたベクトル空間を分割する領域でありベクトル空間の１つの格子点を含む領域であり形状が超直方体である領域内に一様に発生させたサンプルをノイズとして付与する処理である。

＜主データ側確率推定処理の他の例＞
上述したように、パラメトライズされた累積分布関数の取得が必ずしも容易ではない。そのため、主データ側確率推定処理によって主データ特徴量を表す代表ベクトルの生起確率を推定することは必ずしも容易ではない。そこで上述した例では、超直方体分割を用いてパラメトライズされた累積分布関数を得ることで、主データ特徴量を表す代表ベクトルの生起確率を得た。

ここでは、パラメトライズされた累積分布関数を得る他の例を説明することで、主データ特徴量を表す代表ベクトルの生起確率を推定する処理の他の例を説明する。具体的には、モンテカルロ積分を用いることで主データ特徴量を表す代表ベクトルの生起確率を推定する主データ側確率推定処理（以下「モンテカルロ型生起確率推定処理」という。）を説明する。

以下、説明の簡単のため、格子空間内の位置をｘで表し、格子空間内の位置ｘにおける確率密度関数をｆ（ｘ）と表す。確率密度関数ｆ（ｘ）は上述したようにパラメトライズされた確率密度関数である。このような場合、格子空間内の領域Ｖにおける累積分布関数は、以下の式（１３）で表される。

式（１３）は、モンテカルロ積分を用いれば、以下の式（１４）で近似される。式（１４）の右辺が、式（１３）を表現するモンテカルロ積分である。すなわち式（１４）の右辺のモンテカルロ積分は、格子空間における確率密度関数ｆ（ｘ）の積分を表す。

式（１４）のｑ（ｘ_ｉ）は、一様分布にしたがう確率であってモンテカルロ法において格子空間内の位置ｘ_ｉがサンプルされる確率を示す。一様分布であるのでｑ（ｘ_ｉ）の値は領域Ｖの大きさの逆数に等しい。式（１４）におけるｉは、格子空間内の位置ｘであってサンプルされた位置ｘをそれぞれ識別する識別子である。式（１４）の右辺の和はモンテカルロ法によって領域Ｖ内にサンプリングされた位置ｘ_ｉについての和である。式（１４）の右辺と左辺との各表現から明らかに、式（１４）が示す右辺と左辺との誤差はＮ→無限で０に収束する。

領域Ｖが１つのボロノイ領域である場合、式（１３）の累積分布関数の値は領域Ｖが示すボロノイ領域に属する代表ベクトルの生起確率である。したがって、このような場合、式（１４）の右辺のモンテカルロ積分の値は、領域Ｖが示すボロノイ領域に属する代表ベクトルの生起確率である。なお、累積分布関数は、式（１３）が示すようにパラメトライズされた確率密度関数が積分された結果である。

モンテカルロ型生起確率推定処理のより具体的な処理を説明する。モンテカルロ型生起確率推定処理では、まず、格子空間内の位置ｘのうち確率密度関数ｆ（ｘ）の平均を示す位置ｘ_ｉが推定される。平均の位置とは、言い換えれば、確率密度関数ｆ（ｘ）で表される確率密度の分布の中心である。以下、確率密度関数ｆ（ｘ）の平均を示す位置ｘ_ｉを平均位置という。モンテカルロ型生起確率推定処理では、次に、推定された平均位置を含むボロノイ領域（以下「始領域」という。）において式（１４）で表されるモンテカルロ積分の値が取得される。

モンテカルロ型生起確率推定処理では次に、平均位置との距離が近い代表ベクトルから順に生起確率を足し算することが、所定の終了条件（以下「足し算終了条件」という。）が満たされるまで行われる。上述したように式（１３）及び（１４）より、各代表ベクトルの生起確率は、各代表ベクトルの属するボロノイ領域におけるモンテカルロ積分である。したがって、始領域におけるモンテカルロ積分の値は、始領域に属する代表ベクトルの生起確率である。

また隣接する代表ベクトル間の距離と隣接するボロノイ領域間の距離とは同じであるので、平均位置との距離が近い代表ベクトルから順に生起確率を足し算するとは、平均位置に近いボロノイ領域の順にモンテカルロ積分の値を足し合わせることを意味する。ボロノイ領域間の距離とは、例えばボロノイ領域の中心間の距離である。

足し算終了条件は、例えば、第１副条件が満たされるという条件である。第１副条件は、生起確率の足し算の結果が１より大きい、という条件である。足し算終了条件は、例えば、第２副条件が満たされるという条件であってもよい。第２副条件は、平均位置と代表ベクトルとの距離が、平均位置と主データ特徴量を表現する格子空間内の位置（以下「主格子空間位置」という。）との距離よりも長いという条件である。足し算終了条件は、第１副条件又は第２副条件のいずれか一方が満たされるという条件であってもよい。

主格子空間位置は、必ずしも代表ベクトルの位置ではない。主格子空間位置は、学習により更新される数理モデルであって、主データ特徴量から格子空間内の位置を推定する数理モデルによる推定の結果である。

足し算終了条件が満たされたか否かの判定は、例えば主データ側確率推定部１０９が行う。足し算終了条件が満たされたか否かの判定は、例えば１つの代表ベクトルの生起確率が足し算されるたびに行われる。

第１副条件が満たされた場合、モンテカルロ型生起確率推定処理では次に、最近接代表ベクトルの生起確率が、主データ特徴量を表す代表ベクトルの生起確率として取得される。最近接代表ベクトルは、生起確率が足し算された代表ベクトルのうち主格子空間位置を含まないボロノイ領域に含まれる代表ベクトルであって主格子空間位置に最も近い代表ベクトルである。さらに、モンテカルロ型生起確率推定処理では、最近接代表ベクトルが主データ特徴量を表す代表ベクトルであると判定される。

最近接代表ベクトルは定義より、平均位置に近いボロノイ領域の順にモンテカルロ積分の値を足し合わせた結果が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域（以下「最近接ボロノイ領域」という。）に属する代表ベクトルである。したがって、第１副条件が満たされた場合、モンテカルロ型生起確率推定処理では、最近接ボロノイ領域のモンテカルロ積分の値が、主データ特徴量を示すベクトルの生起確率、として推定される。

第２副条件が満たされた場合、モンテカルロ型生起確率推定処理では次に、主格子空間位置を含むボロノイ領域の代表ベクトルの生起確率が、主データ特徴量を表す代表ベクトルの生起確率として推定される。さらに、モンテカルロ型生起確率推定処理では、主格子空間位置を含むボロノイ領域の代表ベクトルが主データ特徴量を表す代表ベクトルであると判定される。

このようにモンテカルロ型生起確率推定処理を用いて、主データ特徴量を表す代表ベクトルの生起確率を推定する学習装置１は、モンテカルロ積分を用いて主データ特徴量を表す代表ベクトルの生起確率を推定する。ところで、超直方体分割を用いて自己符号化を行う場合にはボロノイ領域が超直方体に近似された。しかしながらこのような近似は必ずしも精度が良いとは限らない。その結果、超直方体による近似の精度が悪い場合には、近似を用いることなく演算を行う必要が生じてしまうという負担の増大が生じる場合がある。

一方、モンテカルロ積分を用いる場合、式（１４）が示すように、累積分布関数との近似の精度はボロノイ領域の形状に依存せず、なおかつ高い。そのため、モンテカルロ型生起確率推定処理を用いて主データ特徴量を表す代表ベクトルの生起確率を推定する学習装置１は、ベクトル量子化を用いた自己符号化の処理を得ることに要する負担を軽減することができる。これはベクトル量子化を用いた自己符号化の実現までに要する学習段階からの負担を軽減することである。したがって、学習装置１は、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

また、このように構成された自己符号化装置２は、学習装置１による学習の結果を用いてベクトル量子化を用いた自己符号化を行う。そのため、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

（学習ネットワーク１００の他の例）
なお学習部１０は、学習ネットワーク１００に代えて学習ネットワーク１００ａを備えてもよい。このような場合、最適化部１１３は、学習ネットワーク１００に代えて学習ネットワーク１００ａを学習ネットワーク１００ａの出力に基づいて更新する。以下、学習ネットワーク１００が備える各機能部と同様の機能を有するものについては図１と同じ符号を付すことで説明を省略する。

図１６は、変形例における学習ネットワーク１００ａの構成の一例を説明する説明図である。学習ネットワーク１００ａは、ＳＴＥ実行部１１４を備える点と、主データ側復号部１１１に代えて主データ側復号部１１１ａを備える点と、で学習ネットワーク１００と異なる。また学習ネットワーク１００ａの主データ側ノイズ付与部１０４は、主データ側復号部１１１ａには出力されない点でも学習ネットワーク１００ａは学習ネットワーク１００と異なる。

ＳＴＥ実行部１１４は、Straight Through Estimator（ＳＴＥ）を実行する。ＳＴＥは、ベクトル量子化を行う数理モデルであって誤差逆伝搬時の勾配が１に固定された数理モデルである。ＳＴＥ実行部１１４によるＳＴＥの実行の対象は主データ側符号化部１０２の実行結果である。主データ側符号化部１０２の実行結果とは具体的には、主データ特徴量である。

主データ側復号部１１１ａは、主データ特徴量復号処理を実行する。主データ側復号部１１１ａは、主データ特徴量復号処理の実行の対象が、主データ側ノイズ付与部１０４の実行の結果ではなく、ＳＴＥ実行部１１４の実行の結果である点で、主データ側復号部１１１と異なる。

図１７は、変形例における学習部１０が実行する処理の流れの一例を示すフローチャートである。以下説明の簡単のため実施形態の学習部１０が実行する処理と同様の処理については図７と同じ符号を付すことで説明を省略する。

ステップＳ１０１からステップＳ１０３までの処理の実行の次に、ＳＴＥ実行部１１４が主データ特徴量に対してＳＴＥを実行する（ステップＳ１１５）。ステップＳ１１５の次にステップＳ１０４が実行される。ステップＳ１０４からステップＳ１１０までの処理の実行の次に、ステップＳ１１２からステップＳ１１４の処理が実行される。

なお、ステップＳ１１５の処理はステップＳ１０２より後であってステップＳ１１２より前に実行されればどのようなタイミングで実行されてもよい。

＜学習ネットワーク１００ａの奏する効果について＞
学習ネットワーク１００ａの奏する効果について説明する。上述したように自己符号化装置２による自己符号化（いわゆる推論時）においては、符号化対象にノイズが付与されることなく、ベクトル量子化が行われる。そして、学習時に用いられる数理モデルである学習ネットワーク１００はＳＴＥ実行部１１４を含む。

ＳＴＥ実行部１１４による符号化は、ノイズを付与することなく符号化の対象の量子化を行う符号化である。したがって、推論時の自己符号化と同じ符号化により、学習ネットワーク１００ａの学習は行われる。

ただ、ＳＴＥはバックワード時の勾配を１に固定する数理モデルである。その結果、量子化誤差の分布が学習時と推論時とで異なるという事象を引き起こす場合があり、確率分布の推定精度が過学習によって低下してしまう場合がある。言い換えれば、ＳＴＥがばらつきを加えることはない処理であるために過学習の発生が生じやすい、と言うこともできる。

そこで学習ネットワーク１００は、このような状況の発生を抑制するため、学習時の確率分布の推定については、ノイズを加算した値を用いる。具体的には、主データ側ノイズ付与部１０４の結果を用いて、主データ側確率推定部１０９によって、主データ特徴量を表す代表ベクトルの生起確率が推定される。

その結果、学習ネットワーク１００ａは、学習時と推定時との処理の違いによる自己符号化の精度の低下を抑制するとともに、ノイズを用いることにより過学習の発生を抑制することができる。

したがって、このように構成された学習ネットワーク１００ａを備える変形例の学習装置１は、自己符号化の精度の低下を抑制することと、過学習の発生を抑制することとを両立することができる。

また、このように構成された学習ネットワーク１００ａを備える変形例の学習装置１は、学習時と推定時との処理の違いによる自己符号化の精度の低下を抑制するとともに、ノイズを用いることにより過学習の発生を抑制することができる。そのため、学習ネットワーク１００ａを用いれば、自己符号化の精度の低下を抑制しつつ、過学習の発生を抑制するためにばらつきの大きな学習データを準備することなどの学習データの生成に要する労力が軽減される。

したがって、学習ネットワーク１００ａを備える変形例の学習装置１は、ベクトル量子化を用いた自己符号化の処理を得ることに要する負担を軽減することができる。これはベクトル量子化を用いた自己符号化の実現までに要する学習段階からの負担を軽減することである。したがって、学習ネットワーク１００ａを備える変形例の学習装置１は、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

また、このように構成された変形例の学習装置１の学習結果を用いる自己符号化装置２は、自己符号化の精度の低下を抑制された数理モデルであって過学習の発生が抑制された数理モデルで、自己符号化を行う。そのため、ベクトル量子化を用いた自己符号化に要する負担を軽減することができる。

なお、学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、自己符号化装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、自己符号化装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、学習装置１と、自己符号化装置２と、の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…学習装置、 １０…学習部、 １００、１００ａ…学習ネットワーク、 １０１…主データ取得部、 １０２…主データ側符号化部、 １０３…補助データ側符号化部、 １０４…主データ側ノイズ付与部、 １０５…補助データ側ノイズ付与部、 １０６…補助データ側確率推定部、 １０７…補助データ側復号部、 １０８…補助エントロピー取得部、 １０９…主データ側確率推定部、 １１０…主エントロピー取得部、 １１１、１１１ａ…主データ側復号部、 １１２…再構成誤差算出部、 １１３…最適化部、 １１４…ＳＴＥ実行部、 ２…自己符号化装置、 ２００…エンコーダ、 ２０１…自己符号化対象取得部、 ２０２…学習済み主データ側符号化部、 ２０３…学習済み補助データ側符号化部、 ２０４…ベクトル量子化部、 ２０５…スカラー量子化部、 ２０６…学習済み補助データ側確率推定部、 ２０７…学習済み補助データ側復号部、 ２０８…補助エントロピー符号化部、 ２０９…主データ側確率推定部、 ２１０…主エントロピー符号化部、 ２１１…データ多重化部、 ２１３…符号化データ取得部、 ２１４…データ分離部、 ２１５…補助エントロピー復号部、 ２１６…学習済み補助データ側復号部、 ２１７…主エントロピー復号部、 ２１８…学習済み主データ側復号部、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １２０…記憶制御部、 １３０…通信制御部、 １４０…出力制御部、 ２１…制御部、 ２２…入力部、 ２３…通信部、 ２４…記憶部、 ２５…出力部、 ２０…自己符号化実行部、 ２２０…記憶制御部、 ２３０…通信制御部、 ２４０…出力制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

Claims (7)

1. ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習部、
   を備え、
   前記学習部は前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、
   前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち前記主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、
   学習装置。
2. 前記学習部は、前記主データ側確率推定処理によって推定された前記生起確率に基づいて得られる前記主データ特徴量のエントロピー、を用いて前記符号化と前記復号との処理を更新する、
   請求項１に記載の学習装置。
3. 前記ベクトル量子化は、ＬａｔｔｉｃｅＶＱである、
   請求項１又は２に記載の学習装置。
4. 自己符号化の対象を取得する自己符号化対象取得部と、
   ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習部、を備え、前記学習部は前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、学習装置を用いて得られた、学習済みの符号化の処理と学習済みの復号の処理とを用いて、前記自己符号化対象取得部が取得した前記対象のベクトル量子化による自己符号化を行う自己符号化実行部と、
   を備える自己符号化装置。
5. ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習ステップ、
   を有し、
   前記学習ステップは前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、
   前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、
   学習方法。
6. 自己符号化の対象を取得する自己符号化対象取得ステップと、
   ベクトル量子化を用いた自己符号化の処理であり、自己符号化の対象の特徴量である主データ特徴量と、前記主データ特徴量の特徴量である補助特徴量とを用いる自己符号化の処理であり、前記主データ特徴量をベクトル量子化した結果に対するエントロピー符号化と前記補助特徴量をスカラー量子化した結果に対するエントロピー符号化とを行う自己符号化の処理、における符号化と復号との処理を学習により更新する学習ステップ、を有し、前記学習ステップは前記学習において、前記主データ特徴量を示すベクトルの生起確率を推定する主データ側確率推定処理を実行し、前記主データ側確率推定処理は、代表ベクトルが格子状に配置されたベクトル空間においてパラメトライズされた確率密度関数の積分を表すモンテカルロ積分の値であって前記ベクトル空間におけるボロノイ領域のモンテカルロ積分の値の足し合わせの結果であり、前記確率密度関数の平均を表す前記ベクトル空間内の位置である平均位置に近いボロノイ領域の順に前記モンテカルロ積分の値を足し合わせた結果、が１より大きい場合に足し合わされたボロノイ領域のうち主データ特徴量を示すベクトルの位置から最も近いボロノイ領域のモンテカルロ積分の値を、前記主データ特徴量を示すベクトルの生起確率、として推定する、学習方法を用いて得られた、学習済みの符号化の処理と学習済みの復号の処理とを用いて、前記自己符号化対象取得ステップが取得した前記対象のベクトル量子化による自己符号化を行う自己符号化実行ステップと、
   を有する自己符号化方法。
7. 請求項１に記載の学習装置としてコンピュータを機能させるためのプログラム。