JPH02234573A - ニューラルネットを用いた符号化伝送方法およびその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は、例えば、画像信号や音声信号を高能率符号
化（データ圧縮）して伝送する場合等に用いて好適なニ
ューラルネットを用いた符号化伝送方法およびその装置
に関する。

「従来の技術」 従来、アイ・シー・エス　レポート８７０２（Ｇ　．Ｗ
ＣｏｔＬｒｅｌｌ，Ｐ　．Ｍｕｎｒｏ　ａｄｄ　Ｄ　．
Ｚ　ｉｐｓｅｒ．１９ｇ？−．ｌｓａｇｅｃｏｍｐｒｅ
ｓｓｉｏｎ　ｂｙ　ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ
　：　ａｎ　ｅｘａａ＋ｐｌｅｏｒ　　ｅｘｔｅｒｎａ
ｌ　　ｐｒｏｇｒａｍｉｎｇ．Ｉ　　Ｃ　Ｓ　　Ｒｅｐ
．８７０２，Ｕｎｉｖｏｆ　　Ｃａｌｉｆｏｒｎｉａ．
Ｓａｎ　　Ｄｉｅｇｏ，　　　Ｉ　　ｎｓｔｉｔｕｔｅ
　　ｆｏｒＣｏｇｎｉｔｉｖｅ　Ｓｃｉｅｎｃｅ．）に
おいて論じられているように、ニューラルネット（人間
の脳神経系に似たネットワークで、その基本構底素子で
あるユニットは脳神経系のニューロンに対応している）
を用いた変換符号化により画像情報等の圧縮を行う試み
がなされている。その中では、ニューラルネットに対し
て、バックプロパケーション・アルゴリズムによって各
ユニット間の結合の強さを学旨する方法がとられている
。

例えば、入力層と出力層のユニットの個数が同じで、中
間層のユニットの個数が人出力層のユニットの個数より
も少ない３層の階層構造（各ユニットが入力層から出力
層へ向かう方向へのみ結合している構造）のニューラル
ネットを用意し、バックプロバゲーション・アルゴリズ
ムにより、入力層と出力層に、同ｉのパターンを与えて
学習を進め、入力パターンに対して、同一のパターンが
出力されるように各ユニット間の結合の強さを変化させ
る。すなわち、入力層の各ユニットに入力データを与え
ると、その信号は各ユニットで変換され中間層の各ユニ
ットに伝搬され、さらに出力層の各ユニットに伝搬され
て出力されるが、その出力値と、望ましい出力値とを比
較し、その差を減らすように各ユニット間の結合の強さ
を変化させる。バックプロバケーションはこうした多層
のネットワークの学習アルゴリスムである。

このような学習によって、ユニット数の少ない中間層に
おいては、入力パターンを効率良く表現して出力層へ伝
達しようとする機能が自己組織され、この結果、入力層
と中間層の間で情報圧縮が行なわれ、中間層と出力層の
間で情報復元が行なわれるニューラルネットが構築され
る。この学習を終えたニューラルネットを入力層から中
間層に至るコーディング機能都分と中間層から出力層に
至るデコーディング機能部分とに分離し、送信側ではニ
ューラルネットのコーディング機能部分を通して変換係
数（中間層の出力値）を求め、この変換係数を量子化し
て受信側へ送り、受信側ではデコーディング機能部分を
通して変換係数を逆変換して元の信号を復元することに
より、ニューラルネットを用いた符号化伝送が実現され
る。

「発明が解決しようとする課題」 ところで、上述したアイ・シー・エス　レポート８７０
２におけるニューラルネットを用いた変換符号化におい
ては、量子化の際、線形スカラー量子化を行っている。

伝送レートを一定にして量子化する場合、スカラー量子
化よりもベクトル量子化の方が効率が良いことが知られ
ている。

ここで、線形スカラー量子化とは、Ｍ個の各ユニットの
出力値（実数）が区間（ａ，ｂ）の値をとる場合、各ユ
ニットについて、この区間をＬ等分し、（　ｂ−３−ｉ
，　’−”（ｉ＋　１　））にある出力値を、Ｌ　　　
　　　　Ｌ ｂ−ａ（ｔ＋　１　）で代表させる量子化のことである
。

Ｌ２ 但し、ｉ＝ｏ．ｌ，・・・．Ｌ−１． 上記スカラー量子化に対して、ベクトル量子化とは、Ｍ
次元の空間の領域（上記の例では、一辺がｂ−ａの超立
方体）をいくつかの領域に分割し、それぞれの領域内に
ある全ての点を、その領域内のあるひとつの代表点で代
表さける張子化のことである。この代表点のことを代表
ベクトルと呼び、代表ベクトルの集まりをコードブック
と呼ぶ。また、これらの代表ベクトルに付けた番号のこ
とをインデックスと呼ぶ。

そして、伝送レート一定にして量子化する場合、スカラ
ー量子化よりもベクトル量子化の方が効率が良いのは、
以下の理由による。

Ｍ次元空間内のある点（ベクトル）を転送する場合を考
える。スカラー量子化の場合、ｌｏｇＬの符号長をもっ
た成分をＭ個送り、ベクトル量子化の場合１ｏｇＬＭの
符号長をもったインデックスを１個送れば、Ｍ　ｌｏｇ
Ｌ　＝　ｌｏｇＬ　’！であるから、どちらも伝送レー
トは同じになる。このとき再現できるベクトルの種類を
考えると、スカラー量子化の場合Ｌ種類の成分の組み合
わせでできるベクトルに限られてしまうが、ベクトル量
子化の場合しＭ個の異なったベクトルが利用できる。ま
た、このことをＭ次元空間の領域分割で考えると、スカ
ラー量子化では、ＬＭ個の小さな（一辺か甲の）超立方
体に分割される（各ユニット毎に分割数を変えても構わ
ないが、この場合、領域は超直方体になる）が、ベクト
ル量子化では、同じ個数の任意の形の領域に分割できる
ため、より忠実に再現されるように量子化することがで
きる。

このように、スカラー量子化よりも伝送効率の良いベク
トル量子化を実現するためには、コードブックが必要と
なるが、ニューラルネットを用いた変換符号化のように
、非線形の変換に適したコードブックの設計方法は未だ
提案されていなかった。例えば、中間層を絞って学習さ
せた後、変換係数の空間で、ＬＢＧアルゴリズム（アイ
・イー・イー・イー　トランザクションオン　コミュニ
ケーションンズ　（　Ｉ　Ｅ　Ｅ　Ｅ　　Ｔ　ｒａｎｓ
ａｃｔｉｏｎｓ　ｏｎＣ　ｏｍｍｕｎｉｃａｔ　ｉｏｎ
）誌．１９８０年１月号８４〜９５頁に記載された［ア
ン　アルゴリズム　フオーベクトル　クアンタイザー　
デザイン（Ａ　ｎ　Ａ　Ｉｇｏｒｉｔｈｍｆｏｒ　Ｖ　
ｅｃＬｏｒ　Ｑ　ｕａｒｒｔｉｚｅｒ　Ｄ　ｅｓｉｇｎ
）Ｊを参照の事）でコードブックの設計を行う方法も考
えられるが、このようにするとボロノイ領域は中間層に
現れ、それらをマップさせてできる部分空間では一般に
ボロノイ分割にはなっておらず、劣化が生じる。

このＬＢＧアルゴリズムは、ベクトル量子化において、
上述した領域分割と、代表ベクトルを求める（コードブ
ックを設計する）アルゴリズムのひとつであり、与えら
れた入力ベクトルのセットに対して、入力ベクトルと代
表ベクトルとの誤差が小さくなるように決めるわけであ
るが、必要条件として、分割がボロノイ分割になってい
なければならない。ボロノイ分割とは、領域同士の境界
而が代表ベクトルの垂直二等分面上に位置し、代表ベク
トルがその領域内の全てのベクトルの重心に位置するよ
うな分割のことであり、このようにしてできた領域はボ
ロノイ領域と呼ばれる。ＬＢＧアルゴリズムでは、初め
に適当な位置に代表ベクトルを配置し、クラスタリング
（領域分割）と代表ベクトルの重心の移動とを繰り返し
実行することにより、ボロノイ分割を求める。（尚、こ
のようにしてできた分割は、必要条件を満たしていると
いうだけで、誤差が最小になっているという保証はない
。実際、初期条件に依存して良い分割ができたり、でき
なかったりする。）さて、ニューラルネットの中間層に
おいて、このようなボロノイ分割ができたとする。これ
を出力層にマップすると、出力層の空間に埋め込まれた
Ｍ次元の空間である分割ができているわけであるが、こ
れはボロノイ分割になっていない。なぜなら、中間層の
空間で領域同士の境界面が代表ベクトルの垂直二等分面
上に位置していても、マップされた空間では非線形性に
よって、そうはならないからである。これは、非線形の
マッピングをｒ（κ）で表すと、非線形の定義から、 理解されよう。

このように、ＬＢＧアルゴリズム等の従来の方法で変換
係数に対してコードブックの設計を行っても、変換した
後には一般に最適なものにはなっておらず、従って、ニ
ューラルネットを用いた変換符号化のように、非線形の
変換に適したコードブックの設計方法を開発することが
重要な課題となっていた。

この発明は上述した事情に鑑みてなされたもので、変換
係数の空間における量子化の点について配慮し、ニュー
ラルネットによる非線形変換の特性に適したコードブッ
クが設計されるニューラルネットを用いた符号化伝送方
法およびその装置を提供することを目的としている。

「課題を解決するための手段」 この発明は、階層構造であって中間層のユニット数が入
出力層のユニット数よりも少ないニューラルネットに予
めバックプロパケーション・アルゴリズムによって学習
を行った後、該ニューラルネットを入力層から中間層に
至るコーディング機能部分と中間層から出力層に至るデ
コーディング機能部分に分離し、送信側では而記ニュー
ラルネットのコーディング機能部分を通して変換係数を
求め、該変換係数を量子化して受信側へ送り、受信側で
は前記デコーディング機能部分を通して前記変換係数を
逆変換して元の信号を復元するニューラルネットを用い
た符号化伝送方法において、前記学習時に、中間層の出
力値である変換係数が、，ベクトル量子化におけるコー
ドブックの所定個数の代表ベクトルの中のいずれかの値
となるように、所定のコスト関数を用いて、ベクトル量
子化に適した変換係数とコードブックの，学腎を同時に
行うことを特徴としている。

また、この発明によるニューラルネットを用いた符号化
伝送装置においては、而記送信側のニューラルネットの
コーディング機能部分を通して得られる変換係数を入力
とし、ハッシュ関数によりインデックスを出力するベク
トル量子化器を具備することを特徴としている。

「作用」 ニューラルネットの学旨時において、中間層の出力値で
ある変換係数が、ベクトル量子化におけるコードブック
の所定個数の代表ベクトルの中のいずれかの値となるよ
うに、所定のコスト関数を導入することによ・って、ベ
クトル量子化に適した変換係数とコードブックの学習と
が同時に行われ、変換係数に處じた最適なコードブック
が生成される。

「実施例」 以下、図面を参照し、この発明の実施例について説明す
る。

第ｉ図はこの発明の一実施例であるニューラルネットの
学Ｍ時における構成図である。この実施例において、ニ
ューラルネットは５層の階層構造となっており、第１層
（入力層）と第５層（出力層）のユニット（図中Ｏで示
す部分）の個数は同じで、第３層（中間層）のユニット
の個数が人出力層のユニットの個数よりム少なく設定さ
れている。そして、図に矢印で示すように、各ユニット
は入力層から出力層へ向かう方向へのみ結合している。

ここで、第ｎ層における第ｉ番目のユニットの出力値を
　Ｕ″、第ｎ−１層の第ｉ番目のユニットから第ｎＩＲ
の第ｊ番目のユニットへの結合の強さを表す荷重（変換
係数）をＷｒｉｌ−ｌ　とずる。すると、第ｎ層におけ
るユニットの出力値は、第ｎ−１層におけるユニットの
出力値から次式により求まる。但し、各ユニットは複数
のユニットからの入力の総和ｎｅｔを所定の関数ｒ（Ｘ
）に適用して変換するものとする。

Ｕ　ワ　ー　　ｆ　（ｎｅｔ　’Ｆ）　　　　　　　　
　　　　　　　　　　　　　　　　−　・”　（ｌ）！ ｒ（κ）一ｅ−＋１　　　　　　　　　　・・・・・・
（２）ｎｅｔ”＝　）？：　　ｗ”−’ｕ　’−’十ｔ
ｏ’！”−’　　　　−・−（３）』』ＩＩ ｌｓｏ ここで、ｊ〉０であるが、ｕ卜１ミ！として、上記（３
）式を次式のように書き換える。

このように、入力層におけるユニットの値が与えられる
と、各ユニットの荷重ｍｆｉｐ−″′に応じて種々の値
が出力層へ伝搬されていくが、本実施例においては、入
力層に与えられたトレーニングセット（学質用の複数の
入力パターンの組）に対して、後述するコスト関数Ｃ（
第７式参照）の値が小さくなるように、荷重のセット（
ｗ１υ１｝と、中間層のユニットと相互作用する補助的
なベクトルのセット（σ１′）をパックプロパケーンヨ
ンアルゴリズムによって学習させる。この学習が終了し
たと・き、（Ｅｌ＋’｝は、コードブック（ｉｌｌ　＋
）となる。

二こで、従来のニューラルネットによる変換符号化にお
いて用いられるコスト関数Ｃｅｒｒｏｒは、次式のよう
になっていた。

Ｃ　ｅｒｒｏｒ＝　Ｃ　ｅｒｒｏｒ（（ｔａ　冒−’）
）一”　ＩＩ　ｆＮ−ｔ７　’ｌ　ｔ　　　　　　　・
・・・・・（５）上記（５）式において、ｕＮおよびｉ
　′は最終出力層（第Ｎ層）および入力層（第１層）に
おけるユニットの出力値である。

本実施例においては、上記（５）式で示したコスト関数
Ｃ　ｅｒｒｏｒに、中間層（第Ｍ層）におけるユニット
の出力値，７ＭがＬ個の代表ベクトルＵ（からなるコー
ドブック（Ｕ　＋｝（＋・１，２，・・・．Ｌ）の中の
いずれか値に近い値をとるとコストが下がり（ほぼ０）
、それ以外はコストが上がる（ほぼ１）という性質をも
ったコスト関数Ｃ　ｑｕａｎｔｉｚｅを追加している。

このような性質をもつコスト関数には、例えば、次式の
ようなものがある。

Ｃ　ｑｕａｎｔｉｚｅ＝　Ｃ　ｑｕａｎｔｉｚｅ（（ｔ
ａ　’；’，−’｝，　｛ｉ７　＋｝）Ｌ　ｌｌｙ７”
−ｉ７＋ｌｌ’ ・＝．＋＋ｉ・一Ｊ・１１・・・一（Ｌ−　１）＝　Σ ・・・・・・（６） 上記（６）式において、ε（〉０）は適当に小さな値を
もつ正の定数である。

これら二つのコスト関数の例えば一次結合をとＦ）、（
ｔｕｒＰ−１，υｌ｝の空間でグローバルミニマムを求
めれば、自乗誤差が小さく、かつ中間層のユニットの出
力が、常にコードブック｛ｊｊ　＋｝（＋＝　１　．　
２　，・・・．Ｌ）の中のいずれかの代表ベクトルσ１
に極めて近い値をとるようなネットワークが生成される
。

すなわち、歪を最小にするコードブック（Ｌ）を生成す
ることができる。

このような方法を、第１図に示す一実施例に適用する場
合は、入力層に与えられたトレーニングセットに対して
、次に示す（７）式のコスト関数Ｃの値が小さくなるよ
うに荷重のセット（Ｗ；ｊ’）とコードブック【Ｄ１｝
を学習させる。

Ｃ＝λＣ　ｅｒｒｏｒ＋　（　１−λ）Ｃｑｕａｎｔｉ
ｚｅ　　　−（７）Ｃ　ｅｒｒｏｒ＝　Ｃ　ｅｒｒｏｒ
（（Ｗｆｉｐ−’｝）＝　　Ｉｆ　Ｕ　’−　ｕ　’　
ＩＩ　”　　　　　−（８）Ｃ　ｑｕａｎｔｉｚｅ＝　
Ｃ　ｑｕａｎｔｉｚｅｃ（ｗ　’；？−’），　（Ｅ７
　ｌ））Ｌ　ｌｌ［’−Ｕｚｌｌ” 一乙丁ｐ］〒Ｐ］−　（　Ｌ　−　１　）・・・（９）
但し、０〈λく１、０くε《ｌである。

この場合、学習方法は種々考えられるが、例えば山下り
方法では、次の（１０）＆および（１１）式により、荷
重のセット（ｔｕ’；’；””｝およびコードブック｛
０ｌ｝を更新する。

″。　　　　　　　　　　・・・・・（１０）Ｗ０１：
　−７−１ １ｊ σｌ　ｏｃ−　θ０−・−　・−（ｌ　Ｉ）ｔ９Ｕ１ 乱数により（ｗ貿−’｝、（ｉｚ）の初期値を設定し、
コスト関散Ｃの変動δＣが、所定の値Ｃｔより小さくな
るまで上記（１０）および（１１）式を繰り返し適用す
ることにより、最適な荷重（変換係数）とコードブック
の両方が同時に生成されることになる。

以上の学習手順をフローチャートで示せば第２図の通り
である。

次に、信号を伝送するときのニューラルネットの構成図
を第３図に示す。この図に示すネットワークは、第１図
において、入力層（第Ｉｌ！）から中［１（１３層）に
至るコーディング機能部分と、中間層から出力ＮＩ（第
５層）に至るデコーディング機能部分を分離し、これら
コーディング機能部分とデコーディング機能部分を送信
側と受信側に各々設け、中間層を送信側と受信側で共用
するようにしたものである。

まず、送信側の入力層のユニットに送信すべきパターン
νを入力する。但し、このパターンνは学習時に用いた
トレーニングセットと同等の統計性をもった集合の中の
一要素になっているとする。

このパターンνが、ニューラルネットのコーディング機
能部分を通して送信側の出力層（第１図においては中間
層である第３層に相当する）まで伝わっていき、そこに
コードブック（Ｌ）のＬ個の代表ベクトルの中の一つの
ある代表ベクトルＦＪｌｔｔに近いベクトル０１ｐ＋δ
Ｕｔｒｔが出力される。受信側へは、そのインデックス
Ｚがのみを伝送する。

ここで、インデックスＩβの算出は、一般的には、出力
値に最も近い代表ベクトル’０１をコードブック｛Ｄ，
｝の中から探索することによって行われるが、本実施例
によれば、 １１σＪ　ｒｔ　ＩＩ　＞　Ｉｆδｉ７ｚｐｌｌ　　　
　　　　　・・・・・・（１２）となっているので、そ
の必要はない。代表ベクトルＵｌｒｔに近いベクトルＯ
ｌβ＋δＵ，戸からインデックスｌｖを算出するインデ
ックス算出器Ｔ．を用意しておくだけでよい。従来の方
法では、中間層にありとあらゆるベクトル値が出力され
るため、それらがどの代表ベクトルに一番近いか探索す
る必要があった。すなわち、ある一つのベクトル値に対
して、毎回全ての代表ベクトルとの距離を計算し、最小
値を与える代表ベクトルのインデックスを求める必要が
あった。これに対し、本実施例では、中間層に直接代表
ベクトルに近いベクトル値が出力されるので、あとはそ
のベクトル値に対応したインデックスを算出（検索）す
るだけでよい。

但し、代表ベクトルに近いベクトル値が出力されるもの
の、代表ベクトルそのものが（誤差０で）出力されるわ
けではないので、この誤差が大きすぎるとインデックス
が見つからない場合もある。

以下、上記インデックス算出器ＴＨの設計方法について
述べる。代表ベクトルＤ（を以下のように、成分表示す
る。

Ｉ７Ｉ一（υＩ１．υｌｔ＋・・・．υＬＫ）　　　　
　　・・・・・・（１３）但し、Ｋは成分の数（次元数
）で、中間層のユニットの数である。

上記（１３）式において、まず、各成分を整数化して、 σｌ→Ｖ　，一（Ｖ　，，，ｖ　，２，・・・，Ｖ＋Ｋ
）　　　　・・・・・・（ｌ４）とする。但しｖ１は各
成分が整数であり、Ｖｌ≠Ｖｍ（ｌ≠　ｍ）となるベク
トルである。

このような整数化の方法としては種々の方法があるか、
例えば、各成分υ，を定数倍して小数点以下を丸める方
法を用いればよい。これにより中間層の出力Ｊ，に少々
誤差が生じていても、これを吸収することができる。こ
のようにして求めた整数の組（ＶＩＩ．ＶＪ！．・・・
，Ｖ１Ｋ）から、インデックスｌ（整数）を算出するに
は、ハッシュ関数（Ｎｉｋｌａｕｓ１１ｉｒｔｈ著片山
卓也訳「アルゴリズム＋データ構造＝ＰＡＳＣＡＬプロ
グラム」日本コンピュータ協会参照）を用いる。

ここで、ハッシュ関数とはキー値から添え字を求める関
数のことである。キー値とは、例えば、文字列のことで
、文字列中の文字コードを合計してからある数ｎで割っ
た余りをとるなどのことが行われる。一般には、キー値
と添え字は一対多の関係にあるが、配列全体を検索する
かわりに、特定のグループ内だけで検索すればよいので
、検索時間が削減される。各グループ内の要素数が等し
く、全体のｌ／ｎになれば、検索時間らほぼＩ／ｎとな
る。また、それぞれのグループでハブンユ関数を用いて
グループ分けを行い、さらにまたそれらのグループでハ
ッシュ関数を用いてグループ分けを行い、・・・という
具合にハッシュ関数を何段階か実行することによって添
え字を求めることも可能である。本実施例においては、
このようなハッシュ法を用いてインデックスの算出を行
っている。

一般に、ハッシュ法では、文字列などのキーから所要の
要素を見つけだすわけであるが、ここで、文字列に対応
するのが代表ベクトルの成分を並べたらの、要素に対応
するのがインデックスである。

実際、文字列として、文字コードの並び（整数の集まり
）を使うので、このような対応づけかできるが、ここに
一つ問題が生じる。それは、代表ベクトル０．の成分は
実数であり、整数化しないとこの手法が使えないことで
ある。そこで、代表ベクトルｂｌの成分を、定数倍して
、小数点以下を丸めて、整数の組＜Ｖｘ．Ｖｌｔ．・・
・．Ｖｔｇ）を求める。

尚、トレーニングに用いたデータのセットと統計性が著
しく異なり、コードブックの中の代表ベクトルで代表さ
せるのが不適当な場合でも、従来のベクトル量子化では
、強引に一番近い代表ベクトルが選ばれてしまったが、
上述した方法によれば、出力されるインデックスｌの範
囲をチェックし、範囲外の場合には鵠例えば、インデッ
クス１を送らずにベクトルそのものを送るなどの他の方
法に適宜切り替えることらできる。

ここで、範囲外であるか否かのチェックは、以下のよう
な方法で行う。インデックスｌは、コードブック｛Ｏｌ
｝の中の代表ベクトルＤＨの数だけあるので、■からレ
ベル数Ｌまでの整数値をとる。

これらの値が出力されれば範囲内である。一対一のハッ
シュ関数を用いる場合、その値を直接チェックすればよ
いわけだが、一対多のハッシュ関数を用いて検索する場
合は、配列の要素にインデックスｌをいれておくことに
なるので、対応するインデックスｌが見つからないこと
で範囲外ということが判る。

一方、受信側では、インデックスｌと代表ベクトルＯｌ
のルックアップテーブル（対応表）ＴＬを用意しておき
、インデックスｌｐから代表ベクトルｆｐを取り出す。

これを、受信側の入力層（第１図においては中間層の第
３層に相当する）に入力すると、これがニューラルネッ
トのデコーディング機能部分を伝わって受信側の出力層
（第１図においては第５層に相当する）から、送信側で
入力された入力パターンγに極めて近い出力パターンｐ
′が出力される。

なお、上述したー実施例においては、５層のニューラル
ネットワークを例に説明したが、Ｎ（≧３）層の場合も
同様に適用可能である。

「発明の効果」 以上説明したように、この発明によれば、ニューラルネ
ットを用いた符号化伝送方法において、学と時に、中間
層の出力値である変換係数が、ベクトル量子化における
コードブックの所定個数の代表ベクトルの中のいずれか
の値となるように、所定のコスト関数を用いて、ベクト
ル量子化に適した変換係数とコードブックの学習を同時
に行うようにしたので、変換係数に応じた最適なコード
ブックが生成されるという効果が得られ、さらに、送信
側の出力層に、伝送すべき代表ベクトルに極めて近いベ
クトルが出力されるため、コードブックの中から適切な
代表ベクトルを捜し出すための処理が極めて容易になる
という効果ら得られる。

【図面の簡単な説明】

第１図はこの発明の一実施例による学習時のニューラル
ネットの構成図、第２図は同実施例における学習時の処
理手順を示すフａ−チャート、第３図は同実施例による
学習後の伝送時のニューラルネットの構成図である。 Ｕ　　　・・・ ｗ　’！ｎ− Ｊ１ 第ｎ層の第ｉ番目のユニットの出力値、・・・第ｎ−１
層の第ｉ番目のユニットから第ｎ層の第ｊ番目のユニッ
トへの結 合の強さを表す荷重、 代表ベクトル、 コードブック、 インデックス、 ・・従来のコスト関数、 ・・・・・・新たに導入したコスト関数、全体のコスト
関数、 インデックス算出器、 ルックアップテーブル。 Ｕ　ｌ　　′゛゛′ （Ｕ　ｒ）・・・・・・ ｌ　　　・・・ Ｃ　ｅｒｒｏｒ　　　−゛ Ｃ　ｑｕａｎｔｉｚｅ Ｃ　　・・・ ＴＨ　　・・・ ＴＬ　・・・・・・

Claims (2)

【特許請求の範囲】
1. （１）階層構造であって中間層のユニット数が入出力層
   のユニット数よりも少ないニューラルネットに予めバッ
   クプロパケーション・アルゴリズムによって学習を行っ
   た後、該ニューラルネットを入力層から中間層に至るコ
   ーディング機能部分と中間層から出力層に至るデコーデ
   ィング機能部分に分離し、送信側では前記ニューラルネ
   ットのコーディング機能部分を通して変換係数を求め、
   該変換係数を量子化して受信側へ送り、受信側では前記
   デコーディング機能部分を通して前記変換係数を逆変換
   して元の信号を復元するニューラルネットを用いた符号
   化伝送方法において、 前記学習時に、中間層の出力値である変換係数が、ベク
   トル量子化におけるコードブックの所定個数の代表ベク
   トルの中のいずれかの値となるように、所定のコスト関
   数を用いて、ベクトル量子化に適した変換係数とコード
   ブックの学習を同時に行うことを特徴とするニューラル
   ネットを用いた符号化伝送方法。
2. （２）前記送信側のニューラルネットのコーディング機
   能部分を通して得られる変換係数を入力とし、ハッシュ
   関数によりインデックスを出力するベクトル量子化器を
   具備することを特徴とするニューラルネットを用いた符
   号化伝送装置。