JP3203609B2

JP3203609B2 - ベクトル量子化器の設計方法およびベクトル量子化器

Info

Publication number: JP3203609B2
Application number: JP26090893A
Authority: JP
Inventors: 修功上田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1992-12-01
Filing date: 1993-10-19
Publication date: 2001-08-27
Anticipated expiration: 2016-08-27
Also published as: JPH06237179A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像・音声データなど
を圧縮して符号化する際に用いられるベクトル量子化器
の設計方法と、この設計方法を応用したベクトル量子化
器に関する。

【０００２】

【従来の技術】画像データや音声データなどを圧縮して
符号化する方法の一つとして、ベクトル量子化（vector
quantization；ＶＱ）がある。このベクトル量子化
は、入力信号空間を離散的な信号で信号で近似する処理
である。例えば音声データの場合、音声データを適宜の
間隔でサンプリングしてＰ個のサンプルを得て、このＰ
個サンプルをまとめＰ次元の１個の入力ベクトルとす
る。予め適当な数だけ用意されている代表ベクトルの中
から最もこの入力ベクトルに近いものを選択し、選択さ
れた代表ベクトルによって前記入力ベクトルを近似す
る。そして、選択された代表ベクトルを表わす番号をも
って、入力ベクトルすなわち入力信号を符号化する方法
である。ベクトル量子化は、データ圧縮や符号化の分野
において、極めて重要な技術である。

【０００３】ベクトル量子化は、形式的には、ｋ次元ユ
ークリッド空間Ｒ^kからＲ^kの部分集合Ｙへの写像Ｑとし
て、定義される。すなわち、

【０００４】

【数１】である。代表ベクトルを一般的にｙ_iで表わすことにす
ると、部分集合Ｙは、Ｎ個の代表ベクトルからなる集合
Ｙ＝｛ｙ_i｜ｉ＝１,２,...,Ｎ｝である。ｙ_iとＹは、そ
れぞれコードワード、コードブックと呼ばれる。したが
ってこのようなベクトル量子化を行なうベクトル量子化
器は、上述のｋ次元ユークリッド空間Ｒ^kを漏れなくか
つ重複のないＮ個の部分領域（部分空間）Ｓ₁,Ｓ₂,...,
Ｓ_Nに分割する。ここで、Ｓ_i＝Ｑ^-1(ｙ_i)である。そし
て、入力ベクトルがどの部分領域に属するかによって、
その属する部分領域に対応するコードワードにより入力
ベクトルを近似し符号化する。

【０００５】ベクトル量子化の性能は、入力ベクトルを
それに対応するコードワードで近似する際の歪みで評価
される。したがって最適なベクトル量子化を実現するた
めには、ベクトル量子化に先立って有限個の訓練ベクト
ルデータを用い、全てのコードワードにわたる平均歪み
（歪みの統計的期待値）を最小化するように量子化器を
設計しておかなければならない。この設計過程は、通
常、コードブックの学習過程とも呼ばれる。

【０００６】訓練ベクトルデータｘをコードワードｙ_i
で近似したときの歪みをｄ(ｘ,ｙ_i)とすると、平均歪み
Ｄは次式で定義される。

【０００７】

【数２】ここでＤ_iは、コードワードｙ_iの支配領域Ｓ_i（ｋ次元
ユークリッド空間Ｒ^kの部分空間のうちコードワードｙ_i
に対応する部分空間）内から生じる歪みを意味する。ｐ
(ｘ)は、入力ベクトルｘの確率分布である。歪みｄ(ｘ,
ｙ)としては、通常、ユークリッドノルムのｒ乗：

【０００８】

【数３】が用いられる。

【０００９】ところで、コードブックの学習手法とし
て、従来から多くの手法が提案されている。前述したよ
うに、量子化器は部分領域の分割方法と各分割領域を代
表する代表ベクトル値により特定される。最適コードブ
ックの公知の学習指針として、(1)ボロノイ分割、(2)重
心分割がある（Linde Y.,Buzo A.、 and Gray R。 M。,:"A
n algorithm Vector quantizer design", IEEE Trans.
Commu., vol. 28, no. 1, 1980）。ところが、これらの
条件は最適性のための弱い必要条件であるため、多くの
局所最適値を有する。それゆえ、得られるコードブック
の性能は代表ベクトルの初期値に大きく依存する。最
近、この問題を解決する方法として、"等確率原理"に基
づく学習アルゴリズムが提案されている（例えば、Ahal
t S。 C。, Krishnamurthy A. K., Chen P., and Melton
D. E.,:"Competive learning algorithm for vector qu
antization", Neural Networks, 3, pp. 277-290, 199
0）。ここで等確率原理とは、各コードワードが等しい確
率で最近傍ベクトルとなるようにするためのコードブッ
クの設計原理である。しかし、等確率原理によった場
合、上述した平均歪みＤが最小化するという理論的保証
は得られていない。

【００１０】また本発明者らは、競合学習（Competitiv
e Learning：ＣＬ）アルゴリズムに"増殖・消滅"機構を
新たに付加したコードブック設計法を提案し（特願平４
−２９４６０８）、競合学習に基づく従来の手法に対す
る優位性を示した。この特願平４−２９４６０８に示さ
れる方法では、学習過程において、各コードワードごと
に、そのコードワードが最近傍ベクトルとなった頻度が
記憶される。そして、予め定められた時間間隔で、記憶
された頻度を基にしてコードワードの増殖・消滅が逐次
実行される。この方法は、従来の競合学習アルゴリズム
における"等確率原理"をより忠実に実現する方法であ
る。

【００１１】

【発明が解決しようとする課題】上述したように等確率
原理による場合でも平均歪みＤが最小値に到達するとい
う保証はなく、平均歪みの大局的最小値を保証するコー
ドブックの設計方法は、これまで知られていなかった。

【００１２】本発明の目的は、ベクトル量子化における
平均歪みを最小化するベクトル量子化器の設計方法と、
この設計方法を応用したベクトル量子化器を提供するこ
とにある。

【００１３】

【課題を解決するための手段】本発明の第１のベクトル
量子化器の設計方法（請求項１，２）は、予め有限個の
コードワードからなるコードブックが用意され、ある確
率分布にしたがう有限個の訓練ベクトルデータの各々に
対し前記訓練ベクトルデータとの歪みが最小になるコー
ドワードを前記コードブックの中から選択して最近傍ベ
クトルとする選択工程と、前記最近傍ベクトルと前記歪
みとに基づいて前記コードブック内のコードワードを逐
次修正する修正工程とを有し、前記確率分布に対応する
前記コードブックの設計を行なうベクトル量子化器の設
計方法において、前記選択工程では、前記各コードワー
ドの各々に対して、前記最近傍ベクトルとして選択され
た際の前記歪みの累積値を測定し、前記修正工程に、前
記各コードワードごとに当該コードワードについての前
記歪みの累積値に応じて適応度を算出し前記適応度に応
じて当該コードワードの複製を生成する複製生成工程
と、前記複製生成工程で生成した前記各複製にそれぞれ
微小なランダムベクトルを加算して新たなコードワード
とし、前記各コードワードをもって新たな前記コードブ
ックとする更新工程とが付加され、前記複製生成工程お
よび前記更新工程とが、前記訓練ベクトルデータの提示
累積個数が所定数に達したときに実行される。

【００１４】本発明の第２のベクトル量子化器の設計方
法（請求項３〜５）は、予め有限個のコードワードから
なるコードブックが用意され、ある確率分布にしたがう
有限個の訓練ベクトルデータの各々に対し前記訓練ベク
トルデータとの歪みが最小になるコードワードを前記コ
ードブックの中から選択して最近傍ベクトルとする選択
工程と、前記最近傍ベクトルと前記歪みとに基づいて前
記コードブック内のコードワードを逐次修正する修正工
程とを有し、前記確率分布に対応する前記コードブック
の設計を行なうベクトル量子化器の設計方法において、
前記修正工程に、前記各コードワードごとに当該コード
ワードについての部分歪みに応じて適応度を算出し前記
適応度に応じて当該コードワードを複製しあるいは消滅
させる複製・消滅工程と、前記複製・消滅工程で生成し
た各複製にそれぞれ微小なランダムベクトルを加算して
新たなコードワードとし、前記各コードワードをもって
新たな前記コードブックとする更新工程とが付加され、
前記複製・消滅工程および前記更新工程とが、前記訓練
ベクトルデータの提示累積個数が所定数に達したときに
実行される。

【００１５】本発明の第１のベクトル量子化器（請求項
６）は、有限個のコードワードからなるコードブックを
保持するコードブック記憶手段と、逐次的に入力ベクト
ルが入力し前記入力ベクトルとの歪みが最小になるコー
ドワードを前記コードブックの中から選択して最近傍ベ
クトルとする選択手段と、前記最近傍ベクトルに基づい
て量子化結果を出力する量子化手段と、前記最近傍ベク
トルと前記歪みとに基づいて前記コードブック内のコー
ドワードを逐次修正する修正手段とを有するベクトル量
子化器において、前記各コードワードの各々について当
該コードワードが前記最近傍ベクトルとして選択された
際の前記歪みをそれぞれ積算して記憶する加算手段を有
し、前記修正手段が、前記入力ベクトルの提示累積回数
が所定数に達したときには、前記加算手段を参照し前記
各コードワードごとに当該コードワードについての前記
歪みの累積値に応じて適応度を算出し前記適応度に応じ
て当該コードワードの複製を確率的に生成し、生成した
前記各複製にそれぞれ微小なランダムベクトルを加算し
て新たなコードワードとし、前記各新たなコードワード
をもって新たなコードブックとして前記コードブック記
憶手段に保持されたコードブックを更新するものであ
る。

【００１６】本発明の第２のベクトル量子化器（請求項
７）は、有限個のコードワードからなるコードブックを
保持するコードブック記憶手段と、逐次的に入力ベクト
ルが入力し前記入力ベクトルとの歪みが最小になるコー
ドワードを前記コードブックの中から選択して最近傍ベ
クトルとする選択手段と、前記最近傍ベクトルに基づい
て量子化結果を出力する量子化手段と、前記最近傍ベク
トルと前記歪みとに基づいて前記コードブック内のコー
ドワードを逐次修正する修正手段とを有するベクトル量
子化器において、前記修正手段が、前記入力ベクトルの
提示累積回数が所定数に達したときには、前記各コード
ワードごとに当該コードワードについての部分歪みに応
じて適応度を算出し前記適応度に応じて確定的に当該コ
ードワードを複製しあるいは消滅させ、生成した各複製
にそれぞれ微小なランダムベクトルを加算して新たなコ
ードワードとし、前記各新たなコードワードをもって新
たなコードブックとして前記コードブック記憶手段に保
持されたコードブックを更新するものであることを特徴
とするベクトル量子化器。

【００１７】

【作用】本発明によるコードブックの学習過程は、上述
の特願平４−２９４６０８に示されるものと同様に"増
殖・消滅"過程によるものであるが、増殖と消滅のため
の基準となる原理が根本的に異なっている。すなわち本
発明では、上述の"等確率原理"ではなく、"等歪み原理"
に基づいて、コードワードの増殖と消滅が行なわれる。
等歪み原理とは、コードワードｙ_iから生ずる歪みＤ_iが
全てのコードワードにわたってことごとく等しく（Ｄ_i
＝Ｄ／Ｎ，ｉ＝１,２,...,Ｎ）となるようなコードブッ
ク設計原理である。

【００１８】すなわち本発明の第１のベクトル量子化器
の設計方法およびベクトル量子化器では、各コードワー
ドごとに、そのコードワードが最近傍ベクトルとして選
択されたときの歪みを積算しておく。そして、訓練ベク
トルデータの累積提示回数が所定の値になったときに、
歪みの累積値（累積歪量）の相対的な大小関係を基に"
増殖"と"消滅"を行なって各コードワードの複製を作成
し、得られた複製コードワードにノルムの小さなランダ
ムノイズを加算する。累積歪量が大きかったコードワー
ドに対してはその累積歪量に応じた数の複製が作成さ
れ、累積歪量の小さかったコードワードに対しては複製
が生成しないようにする。このように"増殖"と"消滅"を
行なうことにより、コードワードｙ_iから生ずる歪みＤ_i
が全てのコードワードにわたってことごとく等しくな
る。この場合、コードワードの複製の作成は、確率的に
行なわれる。通常の場合、コードワードの総数は複製の
前後で変化しないようにする。また、訓練ベクトルデー
タの確率分布が、設計対象とするベクトル量子化器の入
力対象データの確率分布と同様のものであることは、言
うまでもない。

【００１９】本発明の第２のベクトル量子化器の設計方
法およびベクトル量子化器では、訓練ベクトルデータが
全て提示されたときに、そのときの各コードワードごと
の部分歪みの相対的な大小関係を基に"複製"と"消滅"を
行なって各コードワードの複製を作成し、得られた複製
コードワードにノルムの小さなランダムベクトルを加算
する。部分歪みが相対的に大きかったコードワードに対
しては想定的に多数の複製を作成し、部分歪みが小さか
ったコードワードに対してはそのコードワードを消滅さ
せ、全体としてのコードワードの総数を保つようにす
る。以上の工程をある収束条件が満たされるまで繰り返
す。したがって、有限個の訓練ベクトルデータが繰り返
し用いられることになる。このように、最適値ベクトル
の修正工程に、複製・消滅工程を付加することにより、
コードワードｙ_iから生じる部分歪みＤ_iが全てのコード
ワードにわたって近似的に等しくなり、最適なコードワ
ードが生成される。

【００２０】ここで、この"等歪み原理"に基づくコード
ブック設計方法が最適であることを説明する。

【００２１】Ｇｅｒｓｈｏは、確率分布ｐ(ｘ)が十分滑
らか（連続）でありかつ十分大きなＮ（Ｎはコードベク
トルの数）に対して、平均歪みＤ^*の下限値が次の式を
満たすことを理論的に示した（"Asymptotically optima
l block quantization", IEEE Trans. Inform. Theory,
IT-25, 4, pp. 373-380, 1979）。

【００２２】

【数４】ここでβ＝ｒ／ｋであり、ｒはノルムの次数である。Ｃ
(ｋ,ｒ)は量子化係数と呼ばれ、ｋ,ｒで決まる定数であ
る。ただし、一般のｋ,ｒに対しては、Ｃ(ｋ,ｒ)の上限
値のみが分かっているだけで、実際の値は未知である。
Ｃ(ｋ,ｒ)は、以下の議論において重要ではないので、
詳細は省略する。

【００２３】

【外１】ノルムと呼ばれ、次式で定義される。

【００２４】

【数５】上記の下限値Ｄ^*は、コードワード（代表ベクトル）の
分布が

【００２５】

【外２】に比例するときに得られ、これは若干の考察により、Ｄ
_i＝Ｄ^*／Ｎが成立するときであることが分かる。

【００２６】以上の議論は分布ｐ(ｘ)が連続な場合につ
いてのものであったが、本発明では、一般の場合、すな
わち分布が不連続なＭ個のクラスタからなる場合に、こ
の議論を一般化する。各クラスタ内での信号分布をｐ
_j(ｘ),ｊ＝１,...,Ｍとし、ｊ番目のクラスタ内にはｎ_j
の比率でコードワードが存在する場合を考える。式(3)
に注意すると、全平均歪みＤを最小化するための最適コ
ードワードの個数比率ｎ _j ^*は、制約条件

【００２７】

【数６】のもとで、次の最小化問題を解くことにより得られる。

【００２８】

【数７】この最小化問題は変分法により容易に解かれ、その解は
以下のようになる。

【００２９】

【数８】ゆえに、ｊ番目のクラスタに（ｎ_j ^*Ｎ）個のコードワー
ドを配置し、かつｊ番目のクラスタ内の領域Ｓ_i ^(j)での
歪みＤ_i ^(j)がことごとく等しいときに、全てのクラスに
わたる最小歪みが得られる。領域Ｓ_i ^(j)での歪みＤ_i ^(j)
がことごとく等しいとは、具体的には以下の場合であ
る。

【００３０】

【数９】ところが、

【００３１】

【数１０】に注意すると、Ｄ^(j)／（ｎ_j ^*Ｎ）はｊによらない定数
であることが分かる。このことは、あるクラスタ内の各
領域内での歪みが当該クラスタ内で等しいだけではな
く、クラスタ相互間でも等しいことを意味する。

【００３２】以上の議論から、等歪み原理がコードブッ
クの最適設計となることが示された。また、上記の解析
から、従来手法である等確率原理は、クラスタ内で一様
分布となっている場合（ただし、クラスタ数がコードワ
ードの数より十分小さい場合）にのみ最適となることが
わかる。

【００３３】ところで、本発明の特徴である上述の"等
歪み原理"は、通常のベクトル量子化器のコードブック
の最適設計に利用できるほか、適応ベクトル量子化法に
も応用できる。"等歪み原理"を用いて適応ベクトル量子
化を行なう場合には、訓練ベクトルデータのかわりに入
力ベクトル（入力信号）そのものを対象として、上述の
各工程を実施するようにすればよい。

【００３４】また、本発明における"等歪み原理"は、通
常のベクトル量子化器の最適設計にも利用できるほか、
クラス分類型ベクトル量子化器の最適設計にも利用でき
る。ここでクラス分類型ベクトル量子化器とは、画像な
どのパタン認識において、入力画像の特徴を抽出し、抽
出された特徴に基づいてクラス分けを行ない、クラスご
とに量子化を行なうものであって、予め定めてられてい
る複数のクラスごとにコードブックが用意されている。
本発明におけるクラス分類型ベクトル量子化器の設計方
法は、上述した設計方法に対し、画像を同じサイズの矩
形画像に分割してこの矩形画像を予め定められた複数の
画像クラスに分類する分類工程と、分類された矩形画像
に含まれる各画素値を列挙して得られるベクトルを訓練
ベクトルデータとする訓練データ作成工程とが付加され
た構成となっている。この場合、部分領域の部分歪みを
等しくするかわりに、分類工程により分類された第ｊ番
目のクラスの訓練データの個数比Ｐ_jによって重み付け
された重み付き部分歪みを全てのコードワードにわたっ
て等しくするように、複製・消滅工程を実施する。

【００３５】

【実施例】

《第１の実施例》次に、本発明の実施例について、図面
を参照して説明する。図１は、本発明の第１の実施例に
おけるベクトル量子化器の設計方法の実施に使用される
ベクトル量子化器の構成を示すブロック図である。

【００３６】このベクトル量子化器１０は、ベクトルデ
ータが入力する入力端子１１、量子化結果を外部に出力
するための出力端子１２、入力端子１１に接続され入力
したベクトルデータを量子化して結果を出力端子１２に
出力する量子化部１、コードブック３を有するコードワ
ード保持部２、入力したベクトルデータを一定周期でサ
ンプリングして訓練データとして出力する訓練データ生
成部４、歪計算部５、歪加算テーブル７を内蔵した修正
部６とによって構成されている。ここでコードブック３
は、予め定められた数Ｎのコードワード（代表ベクト
ル）を保持するものであり、その構成は図２に示す通り
のものである。すなわち、各コードワードごとにそのＩ
Ｄ（識別番号）とそのコードワードのベクトル値（ベク
トルの座標値、例えばｋ次元ベクトルであるコードワー
ドｙ_iに対して(ｙ_i1,ｙ_i2,...,ｙ_ik)）とを格納してい
る。また歪計算部５は、訓練データ生成部４からの訓練
データとコードブック３に格納されたコードワードの各
々との歪み（例えばユークリッドノルムのｒ乗）を計算
し、歪みが最も小さいコードワードを最近傍ベクトルと
し、そのコードワードのＩＤを修正部６と量子化部１と
に送出するよう構成されている。また、選択されたコー
ドワードと訓練データとの歪みは、歪計算部５から修正
部６に送られる。

【００３７】歪加算テーブル７は、図３に示すように、
各コードワードごとに、そのＩＤと累積歪量とを格納す
る。ここで累積歪量とは、そのコードワードが最近傍ベ
クトルとして選ばれた際の訓練データとそのコードワー
ドとの歪みを積算したものである。修正部６は、歪計算
部５からコードワードのＩＤと歪みの値とが送られてき
た場合に、訓練データの入力数（コードワードのＩＤの
１回の送出は、１個の訓練データの入力に対応する）を
カウント（累積）するともに、歪加算テーブル７中のそ
のＩＤに対応する累積歪量に今送られてきた歪みの値を
加算し、従来の手法にしたがいコードワード保持部２に
アクセスして最近傍ベクトルとなったコードワードを更
新する。そして修正部６は、入力した訓練データの数が
ある値になったとき、歪加算テーブル７に記憶された
各コードワードごとの累積歪量にしたがって、各ワード
コードごとに適応度を算出し、適応度にしたがって各
コードワードの複製を生成し、複製されたコードワード
にノルムが微小なランダムベクトルを加算し、得られた
コードワード群を持ってコードブック３を書き換え、
歪加算テーブル７を初期化（各累積歪量を０にする）
し、次に複製生成を行なうこととなる入力ベクトルの累
積数に、前記ある値を書き換えるように構成されてい
る。適応度とは、累積歪量の相対的な大小関係のことを
示している。

【００３８】次に、本実施例の動作を図４のフローチャ
ートを用いて説明する。

【００３９】コードブック３には、予め定められた数
（例えばＮ個）のコードワードが、乱数で初期化されて
記憶されている。

【００４０】ベクトルデータが入力すると、そのベクト
ルデータは、量子化部１と訓練データ生成部４とに送ら
れ、訓練データ生成部４で一定周期ごとにサンプリング
され、訓練データｘ(t)として歪計算部５に送られる。
歪計算部５は、コードブック３内のコードワードｙ
_i（１≦ｉ≦Ｎ）のそれぞれと入力した訓練データｘ(t)
との歪みを計算し、この歪みが一番小さいコードワード
を最近傍ベクトルｙ_cとして決定する（ステップ１０
１）。すなわち、

【００４１】

【数１１】を満たすものが、最近傍ベクトルｙ_cとして選び出され
る。そして選び出されたコードワードのＩＤが量子化部
１と修正部６に送られ、歪みｄ(ｘ,ｙ_c)の値が修正部６
に送られる。量子化部１は、送られてきたＩＤに基づい
て、量子化データを外部に出力する。

【００４２】一方、修正部６は、訓練データの累積入力
数ｔをカウントしており、ｔがある値Ｔと一致している
かどうかをまず調べる（ステップ１０２）。

【００４３】ｔ≠Ｔである場合には、歪加算テーブル７
において入力したＩＤに対応する累積歪量ｇ_cに歪みｄ
(ｘ,ｙ_c)を加算する（ステップ１０３）。そして、次式
にしたがって、最近傍ベクトルｙ_cに対応するコードワ
ードを修正・更新してコードブック３に格納する（ステ
ップ１０４）。

【００４４】

【数１２】ここでε(ｔ)は、訓練データの提示回数ｔすなわち時間
に関する減少関数である。

【００４５】一方、ステップ１０２でｔ＝Ｔであった場
合、修正部６は歪加算テーブル７を参照して、各コード
ワードごとの累積歪量ｇ_i（１≦ｉ≦Ｎ）を正規化する
（ステップ１０５）。この正規化は、次式にしたがって
行なわれる。

【００４６】

【数１３】続いて修正部６は、実数からなる区間［０,１］をステ
ップ１０５で得られた正規化された累積歪量

【００４７】

【外３】によって、分割する。これにより区間［０,１］は、長
さが累積歪量ｇ_iに比例したＮ個の部分区間（Ｉ₁,
Ｉ₂,...,Ｉ_N）に分割される。続いて各コードワードに
対する複製個数（ｍ_iとする）を初期化する（ｍ_i＝０，
ｉ＝１,...,Ｌ）。そして区間［０,１］に対する一様乱
数をＮ個発生させ、その各々の乱数（∈［０,１］）に
対し、上述の部分区間（Ｉ_i＝０，ｉ＝１,...,Ｎ）のど
の区間に属するかを判定する。例えばＩ_jに属する場
合、その区間に対応する複製個数に１を加算する（ｍ_i
←ｍ_i＋１）。これにより、コードワードｙ_iの複製後の
個数ｍ_iが前記累積歪量ｇ_iに確率的に比例して得られる
ことになる。明らかに

【００４８】

【数１４】が成立するから、複製後のコードワードの総数は複製前
と変らない。そして、各コードワードｙ_iごとに、その
コードワードｙ_iに対する複製個数ｍ_iだけの複製の代表
ベクトルを作成する（ステップ１０６）。この時点で
は、複製されたコードワードは、対応するもとのコード
ワードと同じである。

【００４９】次に、複製された各コードワードに対し、
以下の式によって微小なノルムのランダムベクトルをそ
れぞれ加算して、新たなコードワードを設定する（ステ
ップ１０７）。ここでｙ_i ^*（ただしｉ＝１,...,Ｎ）
は、新たなコードワードの座標値である。

【００５０】

【数１５】ここでδ_i(t)∈Ｒ^kは、‖δ_i(t)‖≪‖ｙ_i(t)‖を満た
すノルムの微小なランダムベクトルである。以上のステ
ップ１０５〜ステップ１０７によって、各コードワード
近傍に、前記累積歪量に比例した複製が確率的に配置さ
れるから、この新たに生成した複製でもって、コードブ
ック３全体を更新する（ステップ１０８）。

【００５１】そして、修正部６は、全コードワードに対
して歪加算テーブル７を初期化し（ステップ１０９）、
上述の値Ｔに２Ｔを代入して（ステップ１１０）、処理
を終了する。ここでＴに２Ｔを代入したことにより、入
力する訓練データの累積個数が２Ｔに達した時点で再び
上記のステップ１０５〜ステップ１１０が行なわれるこ
とになる。

【００５２】ここで、複製過程について、実例を挙げて
説明する。ここでは、コードワードの数が７個であっ
て、訓練データの入力数が所定の数に達したときに、累
積頻度から適応度を求めて複製を作る場合の処理を取り
上げる。例えば、この時点で７個のコードワードｙ
_i（１≦ｉ≦７）のそれぞれの累積歪量ｇ_iが図５の(A)
に示すものであったとする。これに対する新たなコード
ワードｙ_i ^*が図５の(B)に示されている。累積歪量が０.
０であったコードワードｍ₃,ｍ₄,ｍ₇に対しては複製が
作成されず、累積歪量が４０.２であって一番大きかっ
たコードワードｍ₁に対しては３個の複製が作成されて
いることがわかる。

【００５３】次に、同一の訓練データに対するコードブ
ックの学習過程について、本実施例の方法に基づくもの
と、等確率原理に基づく従来の方法に基づくものとを比
較した結果を説明する。実験で使用した訓練データとし
ては、図６(a)に示す不連続な１次元分布を使用した。
この分布は、区間［０.０,１.０］の間の任意の値をと
る２つの一様乱数の積を計算し、計算で得た分布から区
間［０.２,０.４］に属するものを取り除くことによっ
て得た。訓練データ数は７０００とした。また、コード
ワードの総数Ｎは１５とし、各コードワードの初期値を
一律に０.３５とした。図６(b)に示したものは本実施例
による学習過程を示し、図６(c)は従来の方法による学
習過程を示している。これらの図で、縦軸は時間の推移
すなわち訓練データの累積入力数に対応し、横軸は、各
コードワードの値に対応する。

【００５４】ところで、１次元の場合には、式(2)の平
均歪みＤの最小値とそれに対応するコードワードｙ_iの
最適値を数値的探索法により求めることができ（Max
J.,;"Quantizing for minimum distortion", IRE Tran
s. Inform. Theory, IT-6, pp. 7-12, 1960）、理論値
との比較が可能となる。図６(a),(b)において、図中の
点線は数値的に求めた理論値を示す。

【００５５】本実施例による結果を示す図６(b)では、
コードワードの値が理論値に漸近していく様子を確認で
きる。また、学習終了後、同じデータに対する歪みｄ
（歪みとしては自乗誤差を採用）を算出したところ、理
論値の２％以下の誤差という極めて良好な結果が得られ
た。一方、従来の方法による結果を示す図６(c)では、
コードワードの収束値と理論値との差がかなりあり、等
確率原理が必ずしも最適ではないことを示している。な
お、本実施例に基づく図６(b)において、分岐や消滅が
見られるが、これは上述した増殖・消滅によるものであ
る。

【００５６】《第２の実施例》次に、本発明の第２の実
施例について説明する。図７は本発明の第２の実施例に
おけるベクトル量子化器の設計方法の実施に使用される
ベクトル量子化器の構成を示すブロック図である。

【００５７】このベクトル量子化器２０は、図１に示し
た第１の実施例でのベクトル量子化器１０と比べ、歪計
算部２５と修正部２６の構成が異なっている。図７にお
いて、図１に示したものと同じブロックには、同一の参
照符号が付されている。以下では、第１の実施例との相
違点を中心にして説明を行なう。

【００５８】歪計算部２５は、訓練データ生成部４から
の訓練データとコードブック３に格納されたコードワー
ドの各々との歪み（例えばユークリッドノルムのｒ乗）
を計算し、歪みが最も小さいコードワードを最近傍ベク
トルとし、そのコードワードのＩＤを修正部２６と量子
化部１とに送出し、選択されたコードワードと訓練デー
タとの歪みを修正部２６に送るように構成されている。
さらに、歪計算部２５は、全ての訓練データを用いてコ
ードワードが更新されたとき、再度、全ての訓練データ
を用いて現在のコードワードの値を用いて歪み（部分歪
み）を算出し、各コードワードごとの部分歪みを修正部
２６に送出するようになっている。

【００５９】修正部２６には、部分歪みテーブル２７が
設けられている。部分歪みテーブル２７は、図８に示す
ように、各コードワードごとに、そのＩＤと歪計算部２
５から送られててきた部分歪みとを格納する。修正部２
６は、歪み計算部２５から最近傍ベクトルに対応するコ
ードワードのＩＤと歪みの値が送られてきた場合に、従
来の手法にしたがいコードワード保持部２にアクセスし
て最近傍ベクトルとなったコードワードを更新する（例
えば上述の式(9)）。そして修正部２６は、全ての訓練
データを用いてコードワードが更新されたときに歪計算
部２５から各コードワードごとの部分歪みが送られてく
ると、各コードワードごとの部分歪みを部分歪みテー
ブル２７に格納し、部分歪みテーブル２７内に格納さ
れた各コードワードごとの部分歪みに応じて各コードワ
ードごとに適応度を算出し、適応度にしたがって後述
するように各コードワードを複製しあるいは消滅させ、
複製されたコードワードにノルムが微小なランダムベク
トルを加算し、得られたコードワード群をもってコー
ドブック３を書き換えるように構成されている。

【００６０】次に、本実施例の動作について図９のフロ
ーチャートを用いて説明する。

【００６１】コードブック３には予め定められた数のコ
ードワード（代表ベクトル）が記憶されているとする。
そしてベクトルデータが入力すると、第１の実施例と同
様に訓練データｘ(ｔ)として歪計算部２５に送られ、最
近傍ベクトルｙ_cが決定される（ステップ２０１）。修
正部２６は、上記の式(9)にしたがって最近傍ベクトル
ｙ_cに対応するコードワードを修正・更新し、コードブ
ック３に格納する（ステップ２０２）。そして全ての訓
練データに基づいてコードワードが更新されたかどうか
が判定される（ステップ２０３）。全ての訓練データに
基づいてコードワードが更新された場合には、ステップ
２０４に移行する。

【００６２】ステップ２０４では、歪計算部２５によっ
て、全ての訓練データを用いて現在のコードワード値に
対する部分歪みが算出され、この部分歪みはコードワー
ドごとに部分歪みテーブル２７に格納される。続いて、
各コードワードごとに、当該コードワードの部分歪みＤ
_jを基に、次式によって正規化適応度ｈ_jが算出される
（ステップ２０５）。ここでｊはｊ番目のコードワード
であることを示している。γ（＜１.０）は非負の定数
であって、これにより極端な淘汰が抑制される。また、
ｓ(ｍ)は、ｍ回目の繰り返しにおける複製・消滅対象コ
ードワード数を表わすものであって、ｍとともに０にま
で減少する関数とする。これにより、複製・消滅処理は
有限回で必ず終了する。

【００６３】

【数１６】続いて、以下の手順(I),(II)による確定的な淘汰を未処
理のコードワードに対する複製個数（ｕ_j；ｊ＝１,
２,...,Ｎ）を決定する（ステップ２０６）。

【００６４】手順(I)：ｊ番目のコードワードｙ_jに対
し、［ｈ_j・ｓ(ｍ)］（＝ｕ_j）を計算する。ただし、
［ａ］はａを越えない最大の整数とする。

【００６５】手順(II)：全てのコードワードｙ_j（ｊ＝
１,２,...,Ｎ）に対し、ｈ_j・ｓ(ｍ)の値の大きなものか
ら順に、

【００６６】

【外４】個のコードワードを選び、選択されたコードワードに対
応する複製個数（ｕ_j）に１を加算する。

【００６７】以上のようにコードワードごとの複製個数
が求められたら、複製個数が０すなわちｕ_j＝０である
コードワードを消滅させて、以下の処理の処理対象から
除外する（ステップ２０７）。そして、各コードワード
ｙ_jの複製個数ｕ_jにしたがい、各コードワードに対し、
‖δ_j,l‖≪‖ｙ_j‖なるランダムな摂動ベクトルδ_j, _l
（ただしｌ＝１,２,...,ｕ_j−１）を加算する（ステッ
プ２０８）。これにより、コードワードｙ_jの近傍に計
ｕ_j−１個の重みベクトル（複製）が生成されたことに
なり、各コードワードの近傍にその部分歪みの相対値に
比例した複製が配置されたことになる。このようにして
得られた複製を新たなコードワードとし、複製の親とな
ったコードワードと新たに生成されたコードワードとを
もって、コードブック３全体を更新する（ステップ２０
９）。重みベクトルの個数が各コードワードｙ_jに対し
てｕ_j−１個であることにより、明らかに、複製後のコ
ードワード全体の個数は複製前と変わらない。以上のよ
うにして、本実施例における複製・消滅過程が終了した
ことになる。

【００６８】ここで、複製・消滅過程について実例を挙
げて説明する。ここでは７個のコードワードについて、
それぞれの部分歪みが図１０(A)に示しようなものであ
ったとし、ｓ(ｍ)＝７であるとする。これに対する新た
なコードワードが図１０(B)に示されており、部分歪み
の相対値に比例した複製が生成していることが分かる。

【００６９】次に、同一の訓練データに対するコードブ
ックの学習過程について、本実施例の方法に基づくもの
と、等確率原理に基づく従来の方法に基づくものとを比
較した結果を説明する。実験で使用した訓練データとし
ては、図１１(a)に示す不連続な１次元分布を使用し
た。この分布は、区間［０.０,１.０］の間の任意の値
をとる２つの一様乱数の積を計算し、計算で得た分布か
ら区間［０.２,０.４］に属するものを取り除くことに
よって得た。訓練データ数は７０００とした。また、コ
ードワードの総数Ｎは１５とし、各コードワードの初期
値を一律に０.３５とした。図１１(b)は本実施例による
学習過程を示している。図１１(c)は従来の方法による
学習過程を示しており、上述の第１の実施例で図６(c)
に示したものと同じである。これらの図で、縦軸は時間
の推移すなわち訓練データの累積入力数に対応し、横軸
は、各コードワードの値に対応する。また、図１１(a),
(b)において図中の点線は、図６(a),(b)におけるの場合
と同様に数値的に求めた理論値を示す。

【００７０】本実施例による結果を示す図１１(b)で
は、コードワードの値が理論値に漸近していく様子を確
認できる。また、学習終了後、同じデータに対する歪み
ｄ（歪みとしては自乗誤差を採用）を算出したところ、
理論値の２％以下の誤差という極めて良好な結果が得ら
れた。一方、従来の方法による結果を示す図１１(c)で
は、コードワードの収束値と理論値との差がかなりあ
り、等確率原理が必ずしも最適ではないことを示してい
る。なお、本実施例に基づく図１１(b)において、分岐
や消滅が見られるが、これは上述した増殖・消滅による
ものである。

【００７１】

【発明の効果】以上説明したように本発明は、等歪み原
理に基づいて、コードワードの増殖および消滅処理を行
なうことにより、分布の如何を問わず、平均歪みを最小
かできる最適なコードブックを設計できるという効果が
ある。

【図面の簡単な説明】

【図１】本発明の第１の実施例におけるベクトル量子化
器の構成を示すブロック図である。

【図２】コードブックの構成例を示す図である。

【図３】歪加算テーブルの構成例を示す図である。

【図４】図１に示したベクトル量子化器の動作を説明す
るフローチャートである。

【図５】第１の実施例におけるコードワードの複製過程
を説明する図である。

【図６】(a)は第１の実施例における訓練データの確率
密度分布図、(b)は(a)に示す確率密度分布を示す訓練デ
ータに対して本発明の方法によりコードワードの学習を
行なった状況を示す図、(c)は(a)に示す確率密度分布を
示す訓練データに対して従来の方法によりコードワード
の学習を行なった状況を示す図である。

【図７】本発明の第２の実施例におけるベクトル量子化
器の構成を示すブロック図である。

【図８】部分歪みテーブルの構成例を示す図である。

【図９】図７に示したベクトル量子化器の動作を説明す
るフローチャートである。

【図１０】第２の実施例におけるコードワードの複製・
消滅過程を説明する図である。

【図１１】(a)は第２の実施例における訓練データの確
率密度分布図、(b)は(a)に示す確率密度分布に対して本
発明の方法によりコードワードの学習を行なった状況を
示す図、(c)は(a)に示す確率密度分布を示す訓練データ
に対して従来の方法によりコードワードの学習を行なっ
た状況を示す図である。

【符号の説明】

１量子化部２コードワード保持部３コードブック４訓練データ作成部５，２５歪計算部６，２６修正部７歪加算テーブル１０，２０ベクトル量子化器１１入力端子１２出力端子２７部分歪みテーブル１０１〜１１０，２０１〜２０９ステップ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H03M 7/30

Claims

(57)【特許請求の範囲】

【請求項１】予め有限個のコードワードからなるコー
ドブックが用意され、ある確率分布にしたがう有限個の
訓練ベクトルデータの各々に対し前記訓練ベクトルデー
タとの歪みが最小になるコードワードを前記コードブッ
クの中から選択して最近傍ベクトルとする選択工程と、
前記最近傍ベクトルと前記歪みとに基づいて前記コード
ブック内のコードワードを逐次修正する修正工程とを有
し、前記確率分布に対応する前記コードブックの設計を
行なうベクトル量子化器の設計方法において、前記選択工程では、前記各コードワードの各々に対し
て、前記最近傍ベクトルとして選択された際の前記歪み
の累積値を測定し、前記修正工程に、前記各コードワードごとに当該コード
ワードについての前記歪みの累積値に応じて適応度を算
出し前記適応度に応じて当該コードワードの複製を生成
する複製生成工程と、前記複製生成工程で生成した前記
各複製にそれぞれ微小なランダムベクトルを加算して新
たなコードワードとし、前記各コードワードをもって新
たな前記コードブックとする更新工程とが付加され、前記複製生成工程および前記更新工程とが、前記訓練ベ
クトルデータの提示累積個数が所定数に達したときに実
行されることを特徴とするベクトル量子化器の設計方
法。
【請求項２】複製生成工程において各コードワードご
とに生成される複製の数が当該コードワードについての
歪みの累積値に比例した数に確率的な処理を施したもの
であり、前記複製の総数が前記複製生成工程を行なう前
のコードワードの数に等しいものである請求項１に記載
のベクトル量子化器の設計方法。
【請求項３】予め有限個のコードワードからなるコー
ドブックが用意され、ある確率分布にしたがう有限個の
訓練ベクトルデータの各々に対し前記訓練ベクトルデー
タとの歪みが最小になるコードワードを前記コードブッ
クの中から選択して最近傍ベクトルとする選択工程と、
前記最近傍ベクトルと前記歪みとに基づいて前記コード
ブック内のコードワードを逐次修正する修正工程とを有
し、前記確率分布に対応する前記コードブックの設計を
行なうベクトル量子化器の設計方法において、前記修正工程に、前記各コードワードごとに当該コード
ワードについての部分歪みに応じて適応度を算出し前記
適応度に応じて当該コードワードを複製しあるいは消滅
させる複製・消滅工程と、前記複製・消滅工程で生成し
た各複製にそれぞれ微小なランダムベクトルを加算して
新たなコードワードとし、前記各コードワードをもって
新たな前記コードブックとする更新工程とが付加され、前記複製・消滅工程および前記更新工程とが、前記訓練
ベクトルデータの提示累積個数が所定数に達したときに
実行されることを特徴とするベクトル量子化器の設計方
法。
【請求項４】複製・消滅工程において各コードワード
ごとに生成される複製の数が当該コードワードについて
の部分歪みの巾乗に比例し、前記複製の総数が前記複製
・消滅工程を行なう前のコードワードの数に等しいもの
である請求項３に記載のベクトル量子化器の設計方法。
【請求項５】請求項３または４に記載のベクトル量子
化器の設計方法を利用したクラス分類型ベクトル量子化
器の設計方法であって、前記ベクトル量子化器の設計方法に、画像を同じサイズ
の矩形画像に分割して該矩形画像を予め定められた複数
の画像クラスに分類する分類工程と、前記分類された矩
形画像に含まれる各画素値を列挙して得られるベクトル
を前記訓練ベクトルデータとする訓練データ作成工程と
が付加され、予め定められた複数の画像クラスごとに前記コードブッ
クが用意され、前記選択工程が前記画像クラスごとに実行されることに
より前記画像クラスごとに前記コードブックの設計がな
されるクラス分類型ベクトル量子化器の設計方法。
【請求項６】有限個のコードワードからなるコードブ
ックを保持するコードブック記憶手段と、逐次的に入力
ベクトルが入力し前記入力ベクトルとの歪みが最小にな
るコードワードを前記コードブックの中から選択して最
近傍ベクトルとする選択手段と、前記最近傍ベクトルに
基づいて量子化結果を出力する量子化手段と、前記最近
傍ベクトルと前記歪みとに基づいて前記コードブック内
のコードワードを逐次修正する修正手段とを有するベク
トル量子化器において、前記各コードワードの各々について当該コードワードが
前記最近傍ベクトルとして選択された際の前記歪みをそ
れぞれ積算して記憶する加算手段を有し、前記修正手段が、前記入力ベクトルの提示累積回数が所
定数に達したときには、前記加算手段を参照し前記各コ
ードワードごとに当該コードワードについての前記歪み
の累積値に応じて適応度を算出し前記適応度に応じて当
該コードワードの複製を確率的に生成し、生成した前記
各複製にそれぞれ微小なランダムベクトルを加算して新
たなコードワードとし、前記各新たなコードワードをも
って新たなコードブックとして前記コードブック記憶手
段に保持されたコードブックを更新するものであること
を特徴とするベクトル量子化器。
【請求項７】有限個のコードワードからなるコードブ
ックを保持するコードブック記憶手段と、逐次的に入力
ベクトルが入力し前記入力ベクトルとの歪みが最小にな
るコードワードを前記コードブックの中から選択して最
近傍ベクトルとする選択手段と、前記最近傍ベクトルに
基づいて量子化結果を出力する量子化手段と、前記最近
傍ベクトルと前記歪みとに基づいて前記コードブック内
のコードワードを逐次修正する修正手段とを有するベク
トル量子化器において、前記修正手段が、前記入力ベクトルの提示累積回数が所
定数に達したときには、前記各コードワードごとに当該
コードワードについての部分歪みに応じて適応度を算出
し前記適応度に応じて確定的に当該コードワードを複製
しあるいは消滅させ、生成した各複製にそれぞれ微小な
ランダムベクトルを加算して新たなコードワードとし、
前記各新たなコードワードをもって新たなコードブック
として前記コードブック記憶手段に保持されたコードブ
ックを更新するものであることを特徴とするベクトル量
子化器。