JPH02141087A - 動画像圧縮伝送・蓄積方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像圧縮伝送・蓄積方式、待にニューラルネ
ットワーク（模擬神経回路網）を用いた新規な動画像圧
縮伝送・蓄積方式に関する。

（従来の技術） 情報通信分野において視覚情報の占める割合いは今後さ
らに増大することが予想される。特に、動画像情報のも
つ理解し易さは魅力的であり、ＴＶ電話、テレコンフッ
ランス、ＴＶ、ざらに情報提供サービスにおける画像イ
ンターフェースなど広範囲の利用が進むものと考えられ
る。

しかし、動画像は情報量が膨大でおり、その伝送および
蓄積などに大量の物理資源を必要とするので、物理資源
の効率的利用技術として種々の画像圧縮技術が研究され
、その中の一部は実用化されている。

ところで、従来の画像圧縮技術には単一の画像（フレー
ム）内に閉じた静止画圧縮と、複数フレームにまたがる
フレーム間圧縮とがおる。前者にはフレーム内予測、サ
ブサンプリング、直交変換符号化、ベクトル量子化など
が、また後者にはフレーム間予測、動き補償、背景予測
、フレーム落とし、直交変換符号化、ベクトル量子化な
どがおる。

一般に、圧縮率と復元画質とは対立する要件であるので
、−概には言えないが、たとえばベクトル量子化は絵が
モザイク的であり、直交変換符号化は絵に滑らかさがお
るが輪郭がぼけるなど、いずれの画像圧縮技術にもまだ
欠点がある。

（発明が解決しようとする課題） これら従来の画像圧縮技術はいずれもフレーム間の相違
を各画素毎の一つづつの比較を基本とした数値演算的な
手法である。画像はそもそも人間の視覚に認識されるも
のであり、視覚情報の特徴を考慮したより柔軟で効率の
よい新しい画像圧縮技術の開発が望まれている。

本発明は上記事情に対処してなされたもので、その目的
は、動画像伝送において、視覚情報の特徴を巧みに生か
すとともに動画像圧縮における圧縮効率および復元画質
の向上並びに圧縮・復元処理時間の短縮などが可能な動
画像圧縮伝送・蓄積方式を提供することにある。

（課題を解決するための手段） 上記目的を達成するために、本発明の動画像圧縮伝送・
蓄積方式は第１の原画＠（以下現原画像という）とこの
現原画像以前の第２の原画像（以下前原画像という）の
二つの現・前原画像を入力する入力ニューロン層と、前
記二つの現・前原画像の差異情報を抽出する中間ニュー
ロン層と、前記前原画像の復元画像を記録する記録ニュ
ーロン層と、前記中間ニューロン層からの差異情報と前
記記録ニューロン層に記録された前原画像の復元画像か
ら前記現原画像を復元する出力ニューロン層とからなる
階層構造のニューラルネットワークを備え、前記階層構
造のニューラルネットワークがもつ学習機能を用いて動
画像を前記中間ニューロン層上の差異情報に圧縮して伝
送あるいは蓄積した後、現原画像を復元できるように構
成したことを特徴とするものでおる。

（作　用） 本発明の動画像圧縮伝送・蓄積方式によると、階層構造
のニューラルネットワークを用いて圧縮・復元処理して
おり、動画像の効果的な圧縮が可能となり、通信回線や
記憶装置などの物理資源の効率的使用による伝送および
記憶コストの軽減、圧縮・復元処理の高速化によるより
滑らかで時間遅れなどのない自然な動きをもつ画像の再
現、ざらにはより自然な鮮明な高画質の再現が図れる。

（実施例） 本発明の実施例を図面を参照して説明する。

第１図は本発明の一実施例のブロック構成図である。

本実施例は動画像圧縮伝送の例であり、図に示すように
、画像入力装置２または画像記＠装＠３からの画像情報
は、圧縮用ニューラルネットワーク４で圧縮された後、
伝送線５を介して圧縮伝送される。圧縮伝送された画像
情報は復元用ニューラルネットワーク６で復元された後
画像表示装置７に表示される。１は被写体である。

次に、本発明の圧縮および復元用ニューラルネットワー
クの構成を第３図について説明する。

まず、本発明のニューラルネットワークを構成するニュ
ーロン（ユニット）は、原画像及び復元画像の各画素の
一つ一つに対応させている。例えば、白黒の二値画像で
は白の画素に対応するニューロンの値は“Ｏ″とし、黒
の画素に対応するニューロンの値は“′１″とする。こ
こでは白黒画像について説明しているが、濃淡白黒画像
あるいはカラー画像もニューロンで同じように表現でき
ることは勿論でおる。このように画像を構成する各画素
を一つのニューロンに対応させ、さらに差異情報も幾つ
かのニューロンで表現される。

このように、送信側および受信側の各ニューロン層のボ
ックス口内の各点がニューロンを表しているので、各ニ
ューロン層は多数のニューロンから構成されている。

送信側は入力ニューロン層１０．１１と中間ニューロン
層１２とで圧縮用ニューラルネットワーク４を構成し、
中間ニューロン層１／′Ｉ内の各ニューロンは入力ニュ
ーロン層１０．１１のすべてのニューロンからの結線に
よってつながっている。

また、受信側は中間ニューロン層１／１と記録ニューロ
ン層１５と出ツノニューロン層１６とで復元用ニューラ
ルネットワーク６を構成し、出力ニューロン＠１６内の
各ニューロンは中間ニューロン層１４内および記録ニュ
ーロン層１５内のすべてのニューロンからの結線によっ
てつながっている。

そして、送信側の中間ニューロン層１２と受信側の中間
ニューロン層１４は伝送線１３を介して接続されている
。また、送信側の入力ニューロン層１０と受信側の出力
ニューロン＠１６は教師信号を伝送する導線１７を介し
て接続されている。このように、本発明のニューラルネ
ットワークは階層構造を構成している。

しかし、教師信号を伝送する導線１７は学習過程でのみ
利用される。例えば、学習過程において、送信側では、
時間ｔ＝ｉの原画像（現原画＠）とその直前のｔ＝ｉ−
１の原画像（前原画像）の二つの現・前原画像の画像情
報をそれぞれ入力ニューロン層１０．１１に写像する。

中間ニューロン層１２ではこの二つの画像情報の差異情
報を抽出する。このニューロンの値（差異情報）が実際
に伝送される。受信側では、この差異情報が伝送される
中間ニューロン層１４とその直前の前原画像の復元情報
を記録する記録ニューロン層１５の双方から、現原画像
の課元画像を出力ニューロン層１６に出力する。この復
元された画像と現原画像との差を最小にするために、こ
の現原画像情報を教師信号を伝送する導線１７を介して
受信側の出力ニューロン層１６に直接与え、例えばパッ
クプロパゲーションなどの階層構造ニューラルネジ１〜
ワークに対する一般の学習アルゴリズムを適用し、各ニ
ューロン層間のニューロンの結合の重みを修正する。こ
れを多数の訓練例に対して繰り返すことにより、出力ニ
ューロン層１６に現原画像情報が正確に復元されるよう
にする。

この学習は物理的に離れた二つの局で行う必要はない。

そして、−旦、学習が完了すれば、教師信号はもはや必
要ではなく、伝送は差異情報だＧブとなるので、実際の
伝送情報量を減少させることができる。

次に、本発明による動画像圧縮伝送の詳細な処理手順を
第４図および第５図を参照して説明する。

まず、学習フェーズの学習手順を第４図の学習手順を示
すフローを参照して説明する。

図において、送信側では、学習フェーズの開始指令が出
されると、第１ステツプ１００では各結合の重みとして
適当な実数値を設定する。第２ステツプ１０１では「次
の画像は最初の画像か？またはｎ枚の画像を連続して圧
縮伝送したか？」を判別し、これが”　Ｙ　ｅ　ｓ　”
でおると、第３ステツプ１０２ではその画像をそのまま
受信側に送信する。

第４ステツプ１０３では同画像を前原画像入力ニューロ
ン層に取込んだ後第２ステツプ１０１に戻る。

第２ステツプ１０１で１４　Ｎ　ｏ　＄１と判別される
と、第５ステツプ１０４において画像を現原画像人カニ
ューロン層に取り込む。第６ステツプ１０５では前、堺
両原画像入力ニューロン層から中間ニューロン層へ結線
を通って情報が伝わり、中間ニューロン層の各ニューロ
ンｉの値はｆ、　（ΣｊＬｊＶＪ　）となる。

ここで、Ｖｊ　　は両画像入力ニューロン層のニューロ
ンｊの値、Ｔｉｊは両画像入力ニュー１コン層のニュー
ロンｊの値から中間ニューロン層のニューロンｉへの結
合の重み、ｆ、は ｆ−（ｘ　）　＝　１　／（１＋ｅｘｐ（−ｘ／ｘｏ）
）なるシグモイド（Ｓ字型）関数（ＸＯは適当な定数）
でおる。次の第７ステツプ１０６では中間ニューロン層
の値を量子化して受信側に送信する。第８ステツプ１０
７では現原画像入カニューロン層のニューロン値を前原
画像入力ニューロン層にコピーする。

一方、受信側の第１ステツプ１１１では送信側の開始指
令と同時に受信待ち状態となり、第２ステツプ１１２で
はこの受信した画像が原画像か否か？を判別し、これが
ｉｉ　Ｎ　ｏ　ｖｔと判別されると、第３ステツプ１１
３では受信差異情報を中間ニューロン層に取り込む。第
４ステツプ１１４ではこの中間ニューロン層と前復元画
像が記録されている記録ニューロン層から出力ニュラル
ネットワーク層へ結線を通って情報が伝わり、出力ニュ
ーロン層の各ニューロンｉの値はｆｉ　（ΣｊＴｉｊＶ
ｊ）となる。ここで、Ｖｊ　　は中間ニューロン層およ
び記録ニューロン層のニューロンｊの値、Ｔｉｊは中間
ニューロン層及び記録ニューロン層のニューロンｊから
出力ニューロン層のニューロンｉへの結合の重みである
。ｆ、は前記と同様のシグモイド関数である。第５ステ
ツプ１１５ではこの出力ニューロン層を画像として表示
出力する。また、第２ステツプ１１２で”　Ｙ　ｅ　ｓ
　”と判別されると、第６ステツプ１１６では受信画像
をそのまま表示出力する。このように表示出力した後、
第７ステツプ１１７ではこの出力ニューロン層のニュー
ロン値を前復元画像が記録されている記録ニューロン層
のニューロンへコピーする。

そこで、この学習段階では、次の第９ステツプ１０８に
おいて現原画像人カニューロン層と出力ニューロン層の
各ニューロンを比較し、ニューラルネットワークの学習
アルゴリズムを用いて各ニューロンの結合の重みを更新
する。次の第１０ステツプ１０９では全画像の伝送は完
了したか？を判断して″“ｙ　ｅ　ｓ　”でおれば学習
は終了する。１４　Ｎ　ｏＩｆであれば第２ステツプ１
０１に戻り、前記学門が終了するまで繰り返される。

このようにして、各ニューロンの重みが適切な値に更新
された後、動画像伝送の実稼動が行なわれる。

次に、第５図の動画像伝送の実稼動時の伝送手順につい
て説明する。

図において、送信側では、動画像の伝送開始指令か出さ
れると、まず第１ステツプ２００では各結合の重みとし
て学習済みのニュラルネツｉ−ワークの重みを設定する
。第２ステツプ２０１では「次の画像は最初の画像か？
またはｎ枚の画像を連続して圧縮伝送したか′？」を判
別し、これか”　Ｙ　ｅ　Ｓ　”でおると、第３ステツ
プ２０２ではその画像をそのまま受信側に送信する。第
４ステツプ２０３で【、ｌ、同画像を前原画像入力ニュ
ーロン層に取込んだ後第２ステツプ２０１に戻る。第２
ステツプ２０１で′“Ｎｏ”と判別されると、第５ステ
ツプ２０４において画像を現原画像人カニューロン層に
取り込む。

第６ステツプ２０５では前、現両原画像人カニューロン
層から中間ニューロン層へ結線を通って情報が伝わり、
ステップ１０５と同様に中間ニューロン層の各ニューロ
ンｉの値はｆｉ　（ΣｊＴｉｊ　Ｖｊ　）となる。

次の第７ステツプ２０６では中間ニューロン層の値を量
子化して受信側に送信する。第８ステツプ２０７では現
原画像人カニューロン層のニューロン値を前原画像入力
ニューロン層にコピーする。

一方、受信側の第１ステツプ２１１では送信側の開始指
令と同時に受信待ち状態となり、第２ステツプ２１２で
はこの受信した画像が原画像か否か？を判別し、これが
“’Ｎｏ”と判別されると、第３ステツプ２１３では受
信差異情報を中間ニューロン層に取り込む。第４ステツ
プ２１４ではこの中間ニューロン層と前復元画像ニュー
ロン層から出力ニュラルネットワーク層へ結線を通って
情報が伝わり、ステップ１１４と同様に出力ニューロン
層の各ニューロンｉの値はｆ、　（ΣｊＴ；ｊＶｊ）と
なる。第５ステツプ２１５ではこの出力ニューロン層を
画像として表示出力する。また、第２ステツプ２１２で
“’　Ｙ　ｅ　ｓ　”と判別されると、第６ステツプ２
１６では受信画像をそのまま表示、出力する。このよう
に表示出力した後、第７ステツプ２１７ではこの出力ニ
ューロン層のニューロン値を前復元画像ニュロン層のニ
ューロンへコピーする。

このようにして、圧縮率の高い動画像を伝送することが
できる。

第２図は本発明の他の実施例のブロック構成図である。

本実施例は動画像圧縮蓄積の例であり、図に示すように
、画像入力装置２または画像記・臣装賃３からの画像情
報は、圧縮用ニューラルネットワーク４で圧縮された後
、画像記憶装置８に圧縮記憶される。この画像記憶装置
８に圧縮記憶された画像情報は必要により復元用ニュー
ラルネットワーク６で復元された後画像表示装置７に表
示される。

本実施例が第１図の実施例と相違する点は、画像情報が
圧縮用ニューラルネットワーク４で圧縮された後、画像
記憶装置８に圧縮記憶される点のみでおり、その他の構
成は同一である。したがって、動画像圧縮蓄積伝送も蓄
積手順のみ相異し、その他の手順は前記実施例と同一で
おるので、その詳細な説明は省略する。

上述したように、本発明によるニューラルネットワーク
を用いた動画像圧縮伝送・蓄積方式は、現・前原画像の
差異情報の抽出（圧縮）手段とこの差異情報からの復元
手段をニューラルネットワークの学習能力を利用して自
動的に獲得させようというものであり、非常に効率よく
画像情報を処理することができる。

なあ、ステップ１０１及び２０１において、ｎ枚の画像
を連続して圧縮伝送した際、源画像をそのまま伝送して
いるのは、差異情報だけの伝送・蓄積を練り返すと、誤
差の累積により復元画像の質が低下することが予想され
るので、ｎ枚に１枚の割合いで、差異情報ではなく原画
像そのものの情報を伝送・蓄積することにより、復元画
像の質の低下を防止することを意図している。

［発明の効果］ 以上説明したように、本発明の動画像圧縮伝送・蓄積方
式によれば、次のような効果が得られる。

（旬、圧縮率の高い動画像の伝送・蓄積が実現できるの
で、通信回線や記＠装置などの物理資源の効率的使用が
可能となり、伝送および記憶コストの軽減が図れる。

（２）、ニューラルネットワークの処理は並列化が容易
でり、並列処理による圧縮・復元処理の高速化によりリ
アルタイムの圧縮伝送おるいは圧縮蓄積が可能となり、
復元遅れなどによる不自然さが解消される。

（３）、従来と同じ伍の通信回線や記憶哀詩などの物理
資源を用いれば、より多くの画像数おるいは解像度の高
い画像を伝送・蓄積でき、より自然な動画像を再現でき
る。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック構成図、第２図は
本発明の他の実施例のブロック構成図、第３図は第１図
の圧縮および復元用ニューラルネットワークの構成図、
第４図は本発明の学習フェーズの学習手順を示すフロー
図、第５図は本発明の実稼動時の伝送手順を示すフロー
図でおる。 １・・・被写体 ２・・・画像入力装置 ３．８・・・画像入力装置 ４・・・圧縮用ニューラルネットワーク５．１３・・・
伝送線 ６・・・復元用ニューラルネットワーク７・・・画像表
示装置 １０．１１・・・入力ニューロン層 １２．１４・・・中間ニューロン層 １５・・・記録ニューロン層 １６・・・出力ニューロン層 ］７・・・導線

Claims (1)

【特許請求の範囲】
1. （１）第１の原画像とこの原画像以前の第２の原画像の
   二つの原画像を入力する入力ニューロン層と、前記二つ
   の原画像の差異情報を抽出する中間ニューロン層と、前
   記第２の原画像の復元画像を記録する記録ニューロン層
   と、前記中間ニューロン層からの差異情報と前記記録ニ
   ューロン層に記録された第２の原画像の復元画像から前
   記第１の原画像を復元する出力ニューロン層とからなる
   階層構造のニューラルネットワークを備え、前記階層構
   造のニューラルネットワークがもつ学習機能を用いて動
   画像を前記中間ニューロン層上の差異情報に圧縮して伝
   送あるいは蓄積した後、第１の原画造を復元するように
   構成したことを特徴とする動画像圧縮伝送・蓄積方式。