JPH066316A

JPH066316A - コードブック作成装置及びベクトル量子化装置

Info

Publication number: JPH066316A
Application number: JP4159833A
Authority: JP
Inventors: Hidekazu Tsuboka; 英一坪香
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-06-18
Filing date: 1992-06-18
Publication date: 1994-01-14

Abstract

(57)【要約】【目的】少ない計算量で精度良くベクトル量子化を行う
ためのコードブック作成装置とそれを用いたベクトル量
子化装置を提供すること。【構成】コードブック作成装置は、クラスタ数Ｍ'＜Ｍ
の第１のコードブック４０３と、該Ｍ'個のクラスタを
別々にクラスタリングすることによって最終的に得られ
るクラスタ数がＭの第２のコードブック４０６を含む構
成である。符号化装置は、符号化すべきベクトルｙを、
前記第１のコードブック４０３により、前記Ｍ'個のク
ラスタの何れに含まれるかを決定する第１の量子化手段
と、その段階で選ばれたクラスタのみについて、第２の
コードブックにより、更に細分化されたクラスタの何れ
に属するかを決定する第２の量子化手段を含む構成であ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】音声や画像などの帯域圧縮伝送、
蓄積、認識その他の処理に利用されるコードブック作成
装置及びベクトル量子化装置に関するものである。

【０００２】

【従来の技術】音声や画像などの信号を取り扱うに際し
て用いられる技術の一つにベクトル量子化（Vector Qua
ntization略してＶＱ）方法と呼ばれる技術が知られて
いる。本発明はこのようなＶＱに関するものである。

【０００３】先ず、ＶＱについて簡単に説明する。（１）コードブックの作成音声や画像の、取り扱うべき信号の多数の訓練集合から
特徴抽出を行い、特徴ベクトル集合を得、この特徴ベク
トル集合をクラスタリングし、Ｍ個のクラスタと各々の
クラスタの重心ベクトル（セントロイド）を得る。クラ
スタｍのセントロイドをｃ_mとするとき、ｍ＝１,・・・,Ｍ
について、ｍにより参照可能な形でｃ_mを記憶する。こ
れをコードブックという。（２）符号化符号化すべき信号から（１）で行った方法と同様の方法
により特徴抽出を行い、特徴ベクトル列ｙ₁,ｙ₂,・・・,ｙ
_Tを得たとする。ｃ_mとｙ_tとの距離をｄ(ｃ_m,ｙ_t)とする
とき、

【０００４】

【数１】

【０００５】を求め、Ｌ_tをｙ_tの符号化出力であるとす
る（Ｌ_t∈｛１,２,・・・,Ｍ｝）。このとき、符号化され
るべき特徴ベクトル列ｙ₁,ｙ₂,・・・,ｙ_Tに対する符号化
出力を、ラベル系列Ｌ₁,Ｌ₂,・・・,Ｌ_Tとする。（３）復号ラベル系列Ｌ₁,Ｌ₂,・・・,Ｌ_Tを各々のラベルに対応する
クラスタのセントロイドの系列ｚ₁,ｚ₂,・・・,ｚ_Tに変換
し、これを復号ベクトル系列とする。

【０００６】以上のように、ＶＱによりベクトル系列を
伝送するときは、送信側、受信側の双方に前記コードブ
ックを持っていれば、伝送はラベルを伝送すれば良いこ
とになり、大幅な帯域圧縮が可能となる。例えば、ｙ_t
が１０次元のベクトルで、各要素が１２ビットで表現さ
れていて、ラベルの個数（クラスタ数）がＭ＝１２８で
あるとする。

【０００７】このとき、特徴ベクトル系列ｙ₁,ｙ₂,・・・,
ｙ_Tをそのまま伝送する場合の必要ビット数は、１２
［ビット／要素］×１０［要素／ベクトル］＝１２０
［ビット／ベクトル］である。他方、ラベル系列Ｌ₁,Ｌ
₂,・・・,Ｌ_Tを伝送する場合の必要ビット数は、それぞれ
のラベルの区別をつけるのに必要な最小限のビット数で
あって、log₂Ｍ＝log₂１２８＝７［ビット／ラベル］で
ある。従って、各ベクトルをＶＱによりラベルに変換し
て伝送するのに必要な伝送ビット数は、ベクトルをその
まま伝送する場合に比べて７／１２８≒１／１８とな
る。

【０００８】前記クラスタリングの方法には、フルサー
チクラスタリング、バイナリーツリークラスタリング等
の方法がある。それぞれについても種々の方法が考えら
れているが、基本的には、例えば、次のようにして行う
ことが出来る。ここで、訓練ベクトル集合をｖ₁,ｖ₂,・・
・,ｖ_Nとする。フルサーチクラスタリング（１）任意にＭ個のベクトルｃ₁,・・・,ｃ_Mを定める。（２）ｍ＝１,・・・,Ｍについて

【０００９】

【数２】Ｓ_m＝{ｖ_n｜ｄ(ｃ_m,ｖ_n)＜ｄ(ｃ_m',ｖ_n),∀ｍ'≠ｍ］を計算する。（３）ｍ＝１,・・・,Ｍについて、クラスタＳ_mのセントロ
イドを求め、各々を各クラスタの新たなセントロイドと
してｃ_mを更新する。即ち、

【００１０】

【数３】

【００１１】ただし、本式において、|Ｓ_m|はＳ_mの要素
数を意味するものとする。（４）収束条件を検査し、それが満たされていれば完了
し、満たされていない場合はステップ（２）に戻る。

【００１２】収束条件としては、ａ）歪の減少率がそれ
に関して設けた閾値ε以下になった場合、ｂ）ステップ
（２）〜（４）の繰り返しの回数がそれに関して設けた
制限Ｉに到達した場合等が採用される。ａ）については
例えば次のように実行され得る。即ち、ステップ（２）
〜ステップ（４）の第ｉ番の繰り返しにおいて得られる
歪量

【００１３】

【数４】

【００１４】を定義し、予め定めた小さな数εに対して ε＞｜Ｄ(ｉ−１)−Ｄ(ｉ)｜／Ｄ(ｉ) となれば、収束したと見なす等である。

【００１５】以上の方法はフルサーチクラスタリング
（以後、ＦＳクラスタリングと略記）と呼ばれる方法で
あるが、より計算量の少ない方法としてバイナリツリー
クラスタリング（以後、ＢＴクラスタリングと略記）と
呼ばれる方法がある。次にＢＴクラスタリングの２種類
の方法（それぞれＢＴクラスタリング１，ＢＴクラスタ
リング２と呼ぶことにする）についてアルゴリズムの一
例を示す。ＢＴクラスタリング１Ｍ＝２^P（Ｐは整数）であるとする（Ｍはクラスタ
数）。（１）ｐ＝０（２）ｐ＝Ｐであれば終了、ｐ≠Ｐであれば以下を実行（３）ｐ＝ｐ＋１（４）ｋ＝１,２,・・・,２^p-1のそれぞれについて、歪が
最小になるようにセントロイドｃ_p,2k，ｃ_p,2k-1を定
め、Ｓ_kをそれぞれのセントロイドに対応した２つのク
ラスタに分け、それぞれをＳ_2k，Ｓ_2k-1と名付ける。（５）ステップ（２）へ戻る。

【００１６】ステップ（４）は具体的には次のようにし
て実行される。（４−１）Ｓ_k内のベクトルの中から適当なベクトル
ｃ₊，ｃ_-を選ぶ。（４−２）Ｓ_kに含まれるベクトルを次式により２つに
分割する。

【００１７】Ｓ₊＝{ｖ_n∈Ｓ_k｜ｄ(ｃ_-,ｖ_n)≧ｄ(ｃ₊,ｖ_n)} Ｓ_-＝{ｖ_n∈Ｓ_k｜ｄ(ｃ_-,ｖ_n)＜ｄ(ｃ₊,ｖ_n)} （４−３）Ｓ₊，Ｓ_-それぞれのセントロイドｃ₊'，ｃ_-'
を算出する。（４−４）ｃ₊＝ｃ₊'，ｃ_-＝ｃ_-' （４−５）収束条件をテストし、満たされればステップ
（４−６）へ、満たされなければステップ（４−１）へ
戻る。（４−６）ｃ_p,2k＝ｃ₊，ｃ_p,2k-1＝ｃ_- 距離ｄ(ｘ,ｙ)の定義としては、種々考えられるが、例
えばユークリッド距離等がある。また、ステップ（４−
５）における収束条件は、

【００１８】

【数１１】

【００１９】とするとき、ステップ（４−１）〜（４−
５）の繰り返し回数ｉに対してＤ(ｉ)＝Ｄ_-＋Ｄ₊ とおけば ε＞｜Ｄ(ｉ−１)−Ｄ(ｉ)｜／Ｄ(ｉ) とすることが出来る。ＢＴクラスタリング２（１）ｍ＝０（２）ｍ＝Ｍであれば終了、ｍ≠Ｍであれば以下を実行（３）Ｓ_k（ｋ∈{１,２,・・・,ｍ}）の中で歪が最大のク
ラスタＳ_k^を探索する。

【００２０】

【数５】

【００２１】（４）歪が最小になるように最適のセント
ロイドｃ_k^，ｃ_m+1を定め、Ｓ_k^をそれぞれのセントロ
イドに対応した２つのクラスタに分け、それぞれを
Ｓ_k^，Ｓ_m+1と名付ける。（５）ｍ＝ｍ＋１としてステップ（２）へ戻る。

【００２２】ＢＴクラスタリング２のステップ（４）の
具体的な方法は、ＢＴクラスタリング１の場合と同様で
あるが、ステップ（４−６）においてｃ_k＝ｃ₊，ｃ_m+1
＝ｃ_-とするものである。

【００２３】前記ＢＴクラスタリング１，２は、それぞ
れ樹状図で表すことが出来る。図３はＢＴクラスタリン
グ１のアルゴリズム、図４はＢＴクラスタリング２のア
ルゴリズムを示す木である。各ノードはクラスタリング
の各段階で得られるクラスタに対応する。ＢＴクラスタ
リング１は、クラスタＳ_kに対応するノードにクラスタ
Ｓ_2kとクラスタＳ_2k-1に対応するノードが連なり、どの
クラスタも木の深さと共に２分され、深さｊにおけるノ
ード数は２^j-1となるものである。一方、ＢＴクラスタ
リング２は、クラスタの分割はどのクラスタも木の深さ
と共に必ず２分割されるのではなく、各段階でのリーフ
ノードに対応するクラスタの中で歪が最大になるものが
２分割されるものであって、クラスタＳ_kに対応するノ
ードにはクラスタＳ_kとクラスタＳ_m+1に対応するノード
が連なる。ここで、ｍはＳ_kを２分割する前の各リーフ
ノードに対応するクラスタ名の添え字の最大値である。

【００２４】コードブック作成に際して必要な計算の大
部分は、セントロイドが更新される度に、各訓練ベクト
ルを各クラスタに割り付けるときに必要な各セントロイ
ドと訓練ベクトルとの距離の計算である。ＦＳクラスタ
リングの場合は、この１回毎の繰り返しにおいて、ＭＮ
回の距離計算が必要である。所定の収束条件を満足する
までに必要な繰り返し数をν回とすれば、コードブック
作成に必要な距離計算の総数は、Ｉ_F＝νＭＮ回とな
る。これに対して、ＢＴクラスタリング１の場合は、前
記各ｋについてＳ_kに含まれるベクトルのみについて繰
り返し距離計算を行えば良く、深さｐに対して、Ｓ
_k（ｋ＝１,２,・・・，２^p-1）の要素ベクトルの数|Ｓ_k|が
均等であるとすれば、|Ｓ_k|＝Ｎ／２^p-1であって、Ｓ_k
内での繰り返し計算の回数を深さｐにおいてはｋに関わ
らずすべて等しくμ_pであるとすれば、Ｓ_kに含まれる各
ベクトルと比較すべきセントロイド数は２であるから、
コードブック作成に必要な距離計算の総数は（数６）で
与えられる。

【００２５】

【数６】

【００２６】これから、要素数が少ないほど収束するま
での繰り返し計算自体も少なくなり、μ_pはｐが大きく
なるほど小さくなると考えられる。μ_pとｐの関係は明
かではないが、ここでは簡単のために、μ_pがｐと無関
係にνに等しい、即ち、収束条件を歪の改善比率ではな
く、繰り返し計算の回数で与えるとして実際の数値を当
てはめてＦＳクラスタリングの場合とＢＴクラスタリン
グ１の場合を比較する。このとき（数６）からＩ_B1＝２
νＮ(１−２^-P)となる。例えば、ν＝１０，Ｎ＝１００
００，Ｐ＝７とすれば、ＦＳクラスタリング、ＢＴクラ
スタリング１各々の距離計算の総数は、Ｉ_F＝１.２８×
１０⁷，Ｉ_B1≒１.９８×１０⁵であるから、Ｉ_B1／Ｉ_F≒
１／１２８となる。このように、コードブック作成に係
る計算量はＦＳクラスタリングに比べてＢＴクラスタリ
ング１とすることによって著しく減少する。

【００２７】ＢＴＣクラスタリングの場合のセントロイ
ドとの照合回数は、Ｓ_mとＳ_m'が同じ深さのクラスタで
あっても、各々に連なるクラスタの数が異なるので、計
算は難しいが平均的にはＢＴクラスタリング１の場合と
同様にクラスタが分割されて行くと仮定すれば、近似的
には、ほぼＢＴクラスタリング１の場合に等しいと考え
られる。

【００２８】以上の計算量の削減は、符号化の場合にも
著しいものがある。

【００２９】あるベクトルｙをベクトル量子化する際に
必要な距離の計算は、原理的には、全てのセントロイド
とｙとを比較すれば良いが(以後、ＦＳコーディングと
呼ぶ)、ＢＴクラスタリングにより作成されたコードブ
ックを用いる場合は、クラスタリングの履歴を辿ること
によって符号化する(以後、ＢＴコーディングと呼ぶ)こ
とが出来る。この場合、クラスタ数（ラベル数）を２^P
とすれば、ＦＳクラスタリングにより作成されたコード
ブックを用いるときは、ＦＳコーディングによらざるを
得ず、２^P個のセントロイドと比較する必要があるが、
ＢＴクラスタリング１により作成されたコードブックを
用いる場合は、勿論ＦＳコーディングも可能であるが、
次のように、ＢＴコーディングによって２Ｐ個のセント
ロイドと比較するのみで符号化することが出来る。（１）ｐ＝１，ｋ＝１（２）ｄ(ｙ,ｃ_p,2k)≧ｄ(ｙ,ｃ_p,2k-1)ならｋ＝２ｋ−
１，ｄ(ｙ,ｃ_p,2k)＜ｄ(ｙ,ｃ_p,2k-1)ならｋ＝２ｋとお
く。（３）２^p＝Ｍなら終了し、最終ＶＱ値はｃ_p,k＝ｃ_P,k
とする。

【００３０】２^p≠Ｍならｐ＝ｐ＋１としてステップ
（２）へｃ_P,kが最終的に得られたｙのベクトル量子化値であ
る。例えば、クラスタ数が４０９６（Ｐ＝１２）の場合
は、ＦＳコーディングでは、セントロイドとの距離計算
は４０９６回必要であるが、ＢＴコーディング１ではこ
れが２４回となり、約１／１７１に減少する。

【００３１】ＢＴコーディング２の場合は、コードブッ
クの作成に際して各クラスタがどのように分割されて行
ったかの履歴を記憶しておけば、その履歴に従って入力
ベクトルと各セントロイドとの比較を行うことにより平
均的にはＢＴコーディング２と同程度の少ない計算量で
符号化が可能である。前記ＢＴコーディング２のコード
ブック作成をクラスタの分割の履歴を記憶しながら実行
する場合のアルゴリズムの一例を次にＢＴクラスタリン
グ２'として示す。ＢＴクラスタリング２' 次の記号を導入する。

【００３２】ｌ(ｊ,ｋ,０)，ｌ(ｊ,ｋ,１)：深さｊ、ク
ラスタＳ_kに対応するノードにつながる２つのノードの
それぞれに対応するクラスタ名（ｌ(ｊ,ｋ,０)＝ｋ，ｌ
(ｊ,ｋ,１)＝ｍ＋１）ｒ(ｋ)：第ｋ番のリーフノード（次に連なるノードがな
いノード）の深さｇ(ｊ,ｋ)：深さｊ、ラベルｋのノードに対応するクラ
スタのセントロイドｃ_k：第ｋ番のリーフノードに対応するセントロイド(ｃ
_k＝ｇ(ｒ(ｋ),ｋ)）Ｍ：最終的に得られるクラスタ数（リーフノード数）Ｆ(ｊ,ｋ)：深さｊラベルｋのノードがリーフノードか
否かを示すフラグＦ(ｊ,ｋ)＝１：リーフノードである。

【００３３】Ｆ(ｊ,ｋ)＝０：リーフノードでない。（１）初期化ｒ（ｋ）＝１ for all k Ｆ（ｊ，ｋ）＝１ for all j and k （２）ｍ＝１（３）ｍ＝Ｍであれば終了、ｍ≠Ｍであれば、ステップ
（４）以下を実行。（４）ｋ＝１,２,・・・,ｍについて歪最大のクラスタを見
出す。

【００３４】

【数７】

【００３５】（５）Ｓ_k^において、歪が最小になるよう
に最適のセントロイドｃ_k^，ｃ_m+1を定め、Ｓ_k^を２つ
のクラスタＳ_k^，Ｓ_m+1に分け、以下を実行。

【００３６】Ｆ(ｒ(ｋ^),ｋ^)＝０，ｌ(ｒ(ｋ^),ｋ^,
０)＝ｋ^，ｌ(ｒ(ｋ^),ｋ^,１)＝ｍ＋１，ｒ(ｋ^)＝ｒ
(ｋ^)＋１，ｒ(ｍ＋１)＝ｒ(ｋ^)＋１，ｇ(ｒ(ｋ^),ｋ
^)＝ｃ_k^，ｇ(ｒ(ｍ＋１),ｍ＋１)＝ｃ_m+1，（６）ｍ＝ｍ＋１としてステップ（３）へ戻る。

【００３７】ＢＴＣ２'のステップ（５）におけるＳ_k^
の分割の具体的な方法は、ＢＴＣ２の場合と同様であ
る。

【００３８】符号化は次のようにして行われる。（１）ｊ＝１，ｋ＝１（２）Ｆ(ｊ,ｋ)＝１ならｙに最も近いセントロイドを
ｃ_k、即ち、ｙのラベルをｋと決定して処理を終了。Ｆ
(ｊ,ｋ)＝０ならステップ(３)以下を実行。（３）ｐ＝ｌ(ｊ,ｋ,０)，ｑ＝ｌ(ｊ,ｋ,１) ｄ(ｙ,ｇ(ｊ＋１,ｐ))＜ｄ(ｙ,ｇ(ｊ＋１,ｑ)) なら
ｋ＝ｐ，ｄ(ｙ,ｇ(ｊ＋１,ｐ))＞ｄ(ｙ,ｇ(ｊ＋１,ｑ))
ならｋ＝ｑ．（４）ｊ＝ｊ＋１とおいて、ステップ（２）へ

【００３９】

【発明が解決しようとする課題】以上のように、ＢＴコ
ーディングによれば、著しく計算量が減少するが、符号
化は必ずしも最適には行われない。なぜならば、ＶＱす
べきベクトルｙに最も近いセントロイドｃ_oがｙのベク
トル量子化されたベクトルとして選ばれるべきであり、
ＦＳコーディングは正にこのことを直接行っているが、
ＢＴコーディングの場合は次のような課題がある。図５
はこの課題を説明するための図である。この例は説明を
簡単にするため、Ｐ＝２の場合である。先ず、ベクトル
空間を２分し、それぞれのセントロイドをｃ_1,1，ｃ_1,2
とし、ｃ_1,1をセントロイドとする空間を２分し、それ
ぞれのセントロイドをｃ_2,1，ｃ_2,2とし、ｃ_1,2をセン
トロイドとする空間を２分し、それぞれのセントロイド
をｃ_2,1，ｃ_2,2とする。このとき、□で表されるベクト
ルｙをＶＱする場合を考える。ｙが最も近いセントロイ
ドはｃ_2,4であって、ＦＳコーディングによる場合はこ
れが選ばれる。ＢＴコーディングの場合は、ｙと
ｃ_1,1，ｃ_1,2のそれぞれと比較し、本例の場合はｙに近
いｃ_1,1が選ばれ、次いで、ｙとｃ_2,1，ｃ_2,2のそれぞ
れと比較し、ｃ_2,1が選ばれることになる。このよう
に、本来、ｃ_2,4が選ばれて欲しいところをｃ_2,1が選ば
れてしまうこととなり、量子化誤差がＦＳＣに比べて大
きくなる。

【００４０】本発明は、この様な従来のＢＴクラスタリ
ングの課題を考慮し、ＦＳＣよりも少ない計算量で、Ｆ
ＳＣに近い精度でＶＱを行うことのできるコードブック
作成装置及びベクトル量子化装置を提供することを目的
とするものである。

【００４１】

【課題を解決するための手段】本発明のコードブック作
成装置は、多数の訓練ベクトル集合を、Ｍ個のクラスタ
に分割するに際し、先ず、Ｍ'＜Ｍのクラスタに分割
し、各々のクラスタにラベル付けする第１のクラスタリ
ング手段と、各々のクラスタのセントロイドを前記ラベ
ルによって検索可能な形で記憶する第１のコードブック
と、Ｍ'に分割された各々のクラスタを更に個別にクラ
スタに分割し、該分割された各々のクラスタにラベル付
けする第２のクラスタリング手段と、それらクラスタの
セントロイドを前記第２のクラスタ分割手段によってラ
ベル付けられたラベルによって検索可能な形で記憶する
第２のコードブックとを少なくとも含み、最終的にＭ個
のクラスタに分割するものである。

【００４２】また、本発明のベクトル量子化装置は、ベ
クトル量子化すべきベクトルｙを、上記本発明コードブ
ック作成装置の第１のコードブックに記憶されている各
セントロイドと比較し、ｙの属すべきクラスタのラベル
に変換する第１のベクトル量子化器と、該選ばれたクラ
スタに対応してそこに含まれる前記第２のコードブック
に記憶されている各セントロイドと比較し、ｙの属すべ
きクラスタのラベルに変換する第２のベクトル量子化器
とを少なくとも含み、最終的にｙをＭ個のラベルの何れ
かに対応付けるものである。

【００４３】

【作用】コードブックの作成は、多数の訓練ベクトル集
合を、Ｍ個のクラスタに分割するに際し、先ず、第１の
クラスタリング手段により、Ｍ'＜Ｍのクラスタに分割
し、各々のクラスタにラベル付けし、第１のコードブッ
クにより、前記各々のクラスタのセントロイドを前記ラ
ベルによって検索可能な形で記憶し、第２のクラスタリ
ング手段により、Ｍ'に分割された各々のクラスタを更
に個別にクラスタに分割し、該分割された各々のクラス
タにラベル付けし、第２のコードブックにより、それら
クラスタのセントロイドを前記第２のクラスタリング手
段によってラベル付けられたラベルによって検索可能な
形で記憶し、最終的にＭ個のクラスタそれぞれに対応し
たセントロイドを得る。

【００４４】符号化は、第１のベクトル量子化器によ
り、ベクトル量子化すべきベクトルｙを、前記第１のコ
ードブックに記憶されている各セントロイドと比較し、
ｙの属すべきクラスタのラベルに変換し、第２のベクト
ル量子化器により、該選ばれたクラスタに対応してそこ
に含まれる前記第２のコードブックに記憶されている各
セントロイドと比較し、ｙの属すべきクラスタのラベル
に変換し、最終的にｙをＭ個のラベルの何れかに対応付
けることによって行われる。

【００４５】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００４６】上述した従来のＢＴコーディングの課題が
生じる原因は、符号化すべきベクトルｙが何れのクラス
タに属するかという可能性を、早いうちから絞り込んで
しまうところにあると考えられる。本発明は、この点に
着目し、前記絞り込みをある程度後にずらすことによっ
て、精度と計算量を満足させたものである。

【００４７】本発明の原理は次のようである。コードブックの作成（１）Ｍを最終のクラスタ数とするとき、先ず、訓練ベ
クトル集合をＭ'＜ＭのクラスタＳ₁,Ｓ₂,・・・,Ｓ_M'に分
ける。Ｓ_m（ｍ＝１,・・・,Ｍ'）のセントロイドをｃ_mとす
る。（２）Ｓ_mに含まれるベクトルをｍ毎に個別にさらに細
かいクラスタＳ_m,1,・・・，Ｓ_m,J(m)にクラスタリング
し、各々のセントロイドをｃ_m,1,・・・,ｃ_m,J(m)とする。
ここに

【００４８】

【数８】

【００４９】である。

【００５０】ステップ（１）、（２）におけるクラスタ
リングは、前記ＦＳクラスタリング、ＢＴクラスタリン
グとして説明した方法に準じて行うことが出来る。符号化（１）ＶＱすべきベクトルｙをｃ₁,・・・,ｃ_M'と比較する
ことにより、ｙが属すべきクラスタＳ_m^を見出す。即
ち、

【００５１】

【数９】

【００５２】（２）Ｓ_m^に含まれるクラスタＳ_m,1,・・・,
Ｓ_m,J(m)のセントロイドｃ_m^,1,・・・,ｃ_m^,k,・・・,ｃ
_m^,J(m^)とｙとを比較することにより最終的にｙの属す
るクラスタＳ_m^,k^を決定する。

【００５３】

【数１０】

【００５４】以上のようにして、セントロイドがｃ_m,k
のクラスタのラベルをＬ_m,kとするとき、ｙはラベルＬ
_m^,k^に符号化される。ここで、Ｊ(ｍ)はｍに関わらず
一定値Ｋであるとした場合、ベクトルｙと照合すべきセ
ントロイドの数はＭ'＋Ｋとなる。例えば、Ｍ＝４０９
６、Ｍ'＝２５６の場合、Ｋ＝４０９６／２５６＝１６
であるから、前記照合回数は２５６＋１６＝２７２とな
り、４０９６のセントロイド全てと照合する場合の約１
／１５の照合回数となる。

【００５５】前記コードブックの作成において、ステッ
プ（１）におけるＭ'個のクラスタの作成、ステップ
（２）におけるＭ個のクラスタの作成のそれぞれにおい
て、ＢＴクラスタリング、ＦＳクラスタリングの何れを
も用いることが出来る。前記数値例においてステップ
（２）のクラスタリングをＢＴクラスタリングで行い、
符号化の時もＢＴクラスタリングで行うとすれば、１６
＝２⁴であるから、前記符号化のステップ（２）におけ
る照合回数は８回となり、全照合回数は２６４となる。

【００５６】図１は前記原理に基づくコードブック作成
装置の一実施例であって、以下にその構成と動作を同時
に説明する。訓練ベクトル記憶部４０１はコードブック
を作成するための訓練ベクトルを記憶する手段である。
中間クラスタリング部４０２は、前記クラスタリングの
ステップ(１)の処理を行うもので、前記クラスタＳ₁,・・
・,Ｓ_M'とそれに対応したセントロイドｃ₁,・・・,ｃ_M'を求
めるものである。中間コードブック４０３には、前記中
間クラスタのセントロイドが記憶される。中間クラスタ
ベクトル記憶部４０４の中間クラスタベクトル記憶部ｍ
には前記中間クラスタＳ_mに属する訓練ベクトルが記憶
されている。最終クラスタリング部４０５は、前記中間
クラスタＳ_mに含まれるベクトルをｍ毎にさらにクラス
タリングし、クラスタＳ_m,1,・・・,Ｓ_m,J(m)（Ｓ_m,k∈
Ｓ_m，ｋ＝１,・・・,Ｊ(ｍ)）とそのセントロイドｃ_m,1,・・
・,ｃ_m,J(m)を算出するものである。最終コードブック４
０６のセントロイド記憶部ｍにはセントロイドｃ_m,1,・・
・,ｃ_m,J(m)が各々に対応するラベルＬ_m,1,・・・,Ｌ_m,J(m)
と関連づけて記憶される。

【００５７】図２は前記原理に基づく符号化装置の一実
施例であって、以下にその構成と動作を同時に説明す
る。図１のコードブック作成装置のブロックと同じ番号
を付したブロックは、図１のものと同様な働きをするも
のである。

【００５８】入力端子５０１には符号化すべきベクトル
ｙが入力される。中間コードブック４０３には、前記セ
ントロイドｃ₁,・・・,ｃ_M'が記憶されている。中間量子化
部５０２は、ｙがｃ₁,・・・,ｃ_M'の何れに最も近いかを計
算し、最も近いセントロイドをｃ_mとするとき、ｍを出
力する手段である。最終コードブック４０６に中間量子
化部５０２からの出力ｍが入力されると、最終セントロ
イド記憶部ｍが選択され、ｃ_m,1,・・・,ｃ_m,J(m)が出力さ
れる。最終量子化部５０３は、ｙとｃ_m,1,・・・,ｃ_m,J(m)
とを比較し、ｙに最も近いセントロイドｃ_m,kを見出
し、それに対応するラベルＬ_m,kを出力端子５０４に出
力する。Ｌ_m,kが符号化出力である。

【００５９】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現してもかまわな
い。

【００６０】

【発明の効果】本発明によれば、符号化すべきベクトル
ｙを全てのクラスタのセントロイドと比較するのではな
く、Ｍ'＜Ｍのクラスタのセントロイドと先ず比較し、
その段階で選ばれたクラスタのみについて更に細分化さ
れたクラスタのセントロイドとｙとを照合するようにし
ているので、ＦＳコーディングに比べて照合回数、従っ
て、計算量を著しく減少させることができるという長所
を有する。

【００６１】また、本発明は、通常のＢＴコーディング
のように最初から２分木に従ってコーディングをするの
ではないから、ＢＴコーディングよりも高い精度の符号
化が行える。その結果、クラスタ数Ｍ'のＦＳコーディ
ング以上の精度を得ることが出来る。

【００６２】また、本発明は、コードブック作成におい
ても、ＦＳクラスタリングを行う場合よりも計算量を大
幅に減少することが出来る。

【図面の簡単な説明】

【図１】本発明によるＶＱコードブック作成装置の一実
施例を示すブロック図である。

【図２】本発明によるＶＱ符号化装置（ベクトル量子化
装置）の一実施例を示すブロック図である。

【図３】ＶＱコードブック作成の従来例の一つを説明す
るための構成図である。

【図４】ＶＱコードブック作成の他の従来例の一つを説
明するための構成図である。

【図５】ＶＱ符号化における従来例の欠点を説明するた
めの構成図である。

【符号の説明】

４０２中間クラスタリング部４０３中間コードブック４０４中間クラスタベクトル記憶部４０５最終クラスタリング部４０６最終コードブック５０２中間量子化部５０３最終量子化部

Claims

【特許請求の範囲】

【請求項１】多数の訓練ベクトル集合を最終的にＭ個の
クラスタに分割するために、Ｍ'＜Ｍのクラスタに分割
し、各々のクラスタにラベル付けする第１のクラスタリ
ング手段と、各々のクラスタのセントロイドを前記ラベ
ルによって検索可能な形で記憶する第１のコードブック
と、Ｍ'に分割された各々のクラスタを更に個別にクラ
スタに分割し、該分割された各々のクラスタにラベル付
けする第２のクラスタリング手段と、それらクラスタの
セントロイドを前記第２のクラスタリング手段によって
ラベル付けられたラベルによって検索可能な形で記憶す
る第２のコードブックとを備え、最終的にＭ個のクラス
タに分割することを特徴とするコードブック作成装置。
【請求項２】ベクトル量子化すべきベクトルｙを、請求
項１記載の第１のコードブックに記憶されている各セン
トロイドと比較し、ｙの属すべきクラスタのラベルに変
換する第１のベクトル量子化手段と、請求項１記載の第
２のコードブックに記憶されている、前記第１のベクト
ル量子化手段で選ばれたクラスタに対応する各セントロ
イドと比較し、より細分されたｙの属すべきクラスタの
ラベルに変換する第２のベクトル量子化手段とを備え、
最終的にｙをＭ個のラベルの何れかに対応付けることを
特徴とするベクトル量子化装置。