JPH02254837A

JPH02254837A - 画像パケット伝送システム

Info

Publication number: JPH02254837A
Application number: JP1075077A
Authority: JP
Inventors: Shinji Kawaguchi; 川口　伸二; Yutaka Ueda; 豊植田; Kenichiro Hosoda; 細田　賢一郎
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1989-03-29
Filing date: 1989-03-29
Publication date: 1990-10-15

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、符号化された画像信号をパケット単位に多重
化し、パケット交換網で転送する通信形態を利用した画
像パケット伝送システムムに関するものである。

［従来の技術］近年、パケット多重化技術及び高速パケット交換網を利
用したパケット伝送システム（例えば、Ａ’Ｔ”Ｍ、ア
シンクロナス　トランスファー　モード）が着目されて
いる。これは、このシステムによると、多数の情報源か
ら発生するパケットを川内で多重化するのでその大群効
果によって網資源を効率的に利用できるという利点、及
び、ユーザに対して可変レートチャネルを提供できると
いう利点を有するためである。

このようなパケット伝送システム１０の画像信号の伝送
にかかる構成だけを取り出した基本的構成を、第２図の
ブロック図に示す。

第２図において、各画像信号符号化器１２ａ〜１２ｎは
、対応する画像端末装置から入力端子１１ａ〜ｌｌｎを
介して与えられる画像信号を符号化して対応するパケッ
ト組立装置１３ａ〜１３ｎに与える。各パケット組立装
置１３ａ〜１３ｎは、符号化された画像信号を、送信元
や送信先等の情報を含むヘッダと、符号化された画像信
号の所定量を含む情報フィールドとでなる第３図に示す
ようなパケットに分割して多重化装置１４に与える。

多重化装置１４は、複数のパケット組立て装置１３ａ〜
１３ｎからのパケットを多重（ヒして伝送路（高速パケ
ット交換網）１５に送出する。

伝送路１５から送られてきたパケットは、多重分離装置
１６に与えられて多重分離されてヘッダの内容に応じた
パケット分解装置１７ａ〜１７ｎに導えられる。各パケ
ット分解装置１７ａ〜１７ｎは、パケットを分割して符
号化されている画像信号に戻して対応する画像信号復号
化器１８ａ〜１８１１に与える。各画像信号復号化器１
８ａ〜１８ｎは、復号化して再生画像信号を得て出力端
子１９ａ〜１９ｎを介して対応する画像端末装置に出力
する。

このようなパケッＩ・伝送システム１０に用いられる画
像信号符号化器１２　ａ〜・１２ｎとして、最近、動き
補償フレーム間予測、直交変換、可変長符号化を適用し
たものがあり、このようなアルゴリズムで符号化された
画像信号がパケット組立て装置１３ａ〜１３　ｎでパケ
ット化されて伝送される。

ところで、パケット化は伝送路効率に影響を与えるため
、パケット化自体に対する各種の検討がなされている。

最適パケット長に関する検討も既になされている（和田
正裕、山口博久共著、「パケットビデオ符号化における
伝送単位の検討Ｊ、昭和６３年電子情報通信学会春期全
国大会、Ｄ８７）。

Ｅ発明が解決しようとする課、ｆｆｌ］しかしながら、
パケット化を行なう場合、パケット長を考慮するだけで
は不十分である。

すなわち、伝送路内でパケット廃棄が生じることがあり
、このパケット廃棄をも考慮してパゲッｔ・化を考える
必要がある。しかし、従来では、この点の考慮がなされ
ていない。

ところで、伝送するパケットの情報フィールドに挿入す
る情報としては、符号化された画像信号だけでなく、復
号化の際に必要となる動き量情報や、量子化特性情報や
、直交変換単位のブロックの無効有効情報等のサイド情
報がある。従来では、画像信号符号及びサイド情報符号
は同一パケットの情報フィールドにエリアを分けて挿入
されていた。

従って、パケット廃棄に対しては、これら情報が共に失
われ、画像信号符号化器と画像信号復号化器の内部状態
の不一致量が大きくなり、適切に復号することができず
、再生画像品質を大きく劣化させていた。

パケット廃棄に対しては、画像信号復号化器側における
補間処理によって対処する方法が各種提案されているが
、補間処理構成が複雑となり、また、補間処理を通じて
再生画像品質をある程度に保とうとすると直交変換の単
位領域を小さくすることを要して伝送するパケット数が
多大となることは否めない。

本発明は、以上の点を考慮してなされたものであり、新
しいパケット化を通じて、パケット廃棄による符号化器
及び復号化器の内部状態の不一致による再生画像品質の
劣化を、補間処理によらずに軽減することができる画像
パケット伝送システムを提供しようとするものである。

［課題を解決するための手段］かかる課題を解決するなめ、本発明においては、画像パ
ケット符号化器から出力されたパケットを伝送路を介し
て画像パケット復号化器に伝送する画像パケット伝送シ
ステムにおけるパケット化を、以下のように行なうよう
にした。

すなわち、画像信号符号と、画像パケット復号化器の復
号化で必要となるサイド情報符号とを別個にパケット化
するようにした。

ここで、伝送路として、パケットが軸輪したとき、パケ
ットのヘッダに挿入されている廃棄優先度情報に基づい
て廃棄パケットを決定することができる伝送路を用いた
場合には、画像信号符号にかかるパケットのヘッダに高
い廃棄優先度情報を挿入し、サイド情報符号にかかるパ
ケットのヘッダに低い廃棄優先度情報を挿入するように
してパケッ■・廃棄の可能性を異なるようすれば良い。

し作用］画像信号符号がパケット廃棄によって失われても、サイ
ド情報符号が画像パケット復号化器に届いている場合に
は、再生画像品質の劣化をある程度防ぐことができる。

逆に、画像信号符号が画像パケット復号化器に届いても
、対応するサイド情報符号が届かない場合には、再生画
像品質の劣化は大きい。従って、サイド情報符号を画像
信号符号以上に画像パケット復号化器に確実に伝送する
ことが望ましく、従来めように、同一パケットにこれら
符号を挿入することは適切ではない。

そこで、本発明では、画像信号符号とサイド情報符号と
を別個にパケット化して、画像信号符号にかかるパケッ
ト総数がサイド情報符号にかかるパケット総数より多く
なることを利用して、パケットｌｉ［時に、画像信号符
号にかかるパケットが廃棄されるようにし、サイド情報
符号にがかるパケットが画像パケット復号化器に届く確
率を高めた。

また、伝送路として、パケットのヘッダに挿入されてい
る廃棄優先度情報に基づいて、パケット輻淡時に廃棄パ
ケットを決定することができる伝送路を用いた場合には
、サイド情報符号にかかるパケットが一段と高い確率で
画像パケット復号化器に伝送されるように、画像信号符
号にかかるパケットのヘッダに高い廃棄優先度情報を挿
入し、サイド情報符号にかかるパケットのヘッダに低い
廃棄優先度情報を挿入するようにした。

［実施例］以下、本発明の一実施例を図面を参照しながら詳述する
。

バ　ット、昇　− まず、画像パケット符号化器について図面を参照しなが
ら説明する。ここで、画像パケット符号化器とは、画像
信号符号化器及びパケット組立て装置とを合わせた装置
を呼ぶ。

第１図は実施例の画像パケット符号化器の構成を示すブ
ロック図、第４図は組み立てられたパケットのヘッダ内
容を示す説明図である。

第１図において、入力端子２０を介して入力された画像
信号Ｓ１は動き量検出器２１及び減算器２２に与えられ
る。

入力画像信号Ｓ１が与えられる動き量検出器２１には、
また、フレームメモリ２３から１フレーム前（正確には
、過去の複数フレームの影響が入り込んでいるが主とし
て１フレーム前の情報が反映されている）の画像信号Ｓ
２が与えられる。動き量検出器２１は、現フレームの画
像信号Ｓ１の、１フレーム前の画像信号Ｓ２からの動き
量を検出し、動きＪＩＭｖを動き補償回８２４に与える
と共に、サイド情報多重回路２５に与える。

動き補償回路２４には、また、フレームメモリ２３から
１フレーム前の画像信号Ｓ２が与えられており、動き補
償回路２４は、この画像信号Ｓ２を検出された動きｆｔ
ＭＶに応じて動き補償して現フレームの画像信号の予測
画像信号Ｓｐを得て減算器２２に与える。

減算器２２は、現フレームの画像信号Ｓ１から予測画像
信号Ｓｐを減算し、得られた差分信号ｅを直交変換器２
６に与える。直交変換器２６は、例えば、離散コサイン
変換器でなり、差分信号ｅを１画像を複数に区分したブ
ロック単位に直交変換し、直交変換係数Ｑを量子化器２
７に与える。

量子化器２７は、直交変換係数Ｑをブロック単位に量子
化し、得られた量子化符号ｑを可変長符号化器２８、ブ
ロック有効無効判定回路２９及び逆量子化器３０に与え
る。

逆量子化器３０は、量子化器２７の逆処理である逆量子
化処理を実行して局部再生直交変換係数Ｑ　ｋを得て逆
直交変換器３１に与える。逆直交変換器３１は、直交変
換器２６に対応した逆直交変換処理を実行して局部再生
差分信号ｅｋを得て加算器３２に与える。

加算器３２には、動き補償回路２４から予測画像信号Ｓ
ｐも与えられる。加算器３２は、予測画像信号Ｓｐに局
部再生差分信号ｅ　ｋを加算して、入力画像信号Ｓ１に
対応した局部再生画像信号８１ｋを得てその局部再生画
像信号Ｓｌｋをフレームメモリ２３に与えて格納させて
、次の動き量検出及び予測画像信号ｓｐの形成に利用さ
せる。

量子化器２７からの量子化符号ｑが与えられる可変長符
号化器２８は、例えば、ランレングス符号化及び又はハ
フマン符号化を行ない、その可変長符号をパケット組立
て装置３３に与える。

また、量子化器２７からの量子化符号ｑが与えられるブ
ロック有効無効判定回路２９は、与えられた量子化符号
ｑに基づいて、ブロックが過去のフレームの量子化符号
を用いても良い無効ブロックであるか、又は、過去のフ
レームの量子化符号を用いることができない有効ブロッ
クであるかを判定し、ブロック有効無効情報ＢＹをサイ
ド情報多重回路２５に与える。

サイド情報多重回路２５は、動き量検出器２１から与え
られた動きｉＭｖやブロック有効無効判定回路２つから
与えられたブロック有効無効情報ＢＹや図示しない量子
化制御回路から与えられた量子化特性（量子化ステップ
や量子化の線形非線形等）のサイド情報を多重化し、そ
の多重化サイド情報■を可変長符号化器３４に与える。

可変長符号化器３４は、例えば、ランレングス符号化及
び又はハフマン符号化を行ない、その可変長符号をパケ
ット組立て装置３３に与える。

パケット組立て装置３３は、可変長符号化器２８から与
えられる直交変換係数にかかる符号と、可変長符号化器
３４から与えられるサイド情報にかかる符号とを別々に
パケット化する。

このように別々にパケット化するようにしたのは、再生
画像品質に影響する度合いがこれら符号で異なる点に着
目したためである。すなわち、サイド情報の方が、再生
画像品質に対する影響が高いためである。

このように情報フィールドにサイド情報符号又は直交変
換係数符号（画像信号符号）が挿入されたパケットのヘ
ッダには、第４図に示すような各種の情報が挿入される
。

第４図において、第１及び第２のヘッダエリアＨ１及び
Ｈ２には、従来と同様に送信先情報及び送信元情報が挿
入される。

第３のヘッダエリアＨ３には、パケット廃棄に対する廃
棄優先度情報が挿入される。ここで、パケット組立て装
置３３は、情報フィールドに挿入された符号が直交変換
係数符号であるパケットの廃棄優先度を高くし、すなわ
ち、パケット輻稜時に廃棄され易くし、情報フィールド
に挿入された符号がサイド情報符号であるパケットの廃
棄優先度を低くし、すなわち、パケット輻輪時に廃棄さ
れ難くする。パケット組立て装置３３は、これら符号の
入力端子が異なるので、区別してパケット化でき、また
、廃棄優先度情報を挿入することができる。

第４のヘッダエリアＨ４には、情報フィールドに挿入さ
れた符号がサイド情報符号である場合にいかなるサイド
情報であるかを示す情報が挿入される。

第５のヘッダエリアＨ５には、情報フィールドに挿入さ
れた符号が画像上のどの位置に関するものであるかを示
す位置情報が挿入される。第６のヘッダエリアＨ６には
、情報フィールドに挿入された符号が複数パケットに股
がるものであるかを示す分割有無情報が挿入され、第７
のヘッダエリアＨ７には、分割された場合のシーケンス
番号が挿入される。

第８のヘッダエリアＨ８には、画像信号が輝度信号、第
１及び第２の色差信号のいずれにかかるものであるかを
示す画像種類情報が挿入される。

ここで、第１図では、輝度信号、第１又は第２の色差信
号のいずれかの画像信号についての画像信号符号化器を
示しているが、パケット組立て装置３３は各符号化器に
ついて共通のものであり、上述したように、輝度信号、
第１又は第２の色差信号にかかる符号であるかを示す画
像種類情報が挿入される。

このようにしてパケット組立て装置３３によって組み立
てられたパケットが伝送路（高速パケット交換網）３５
に送出される。

この実施例のパケット伝送８３５では、パケットの輻襖
が生じた場合には、パケットのヘッダ内容（Ｈ３）に基
づいて直交変換係数符号にかかるパケットを優先的に廃
棄する。

ローカルエリアネットワーク等では、既に、廃棄優先度
情報に応じて廃棄パケットを決定することがなされてお
り、このような伝送路を利用できる。なお、この従来例
では、画像信号自体の特徴（高周波成分と低周波成分と
）で優先度を定めている。

−パ　ット″″″′　″ 次に、画像パケット復号化器について第５図を参照しな
がら説明する。

第５図は実施例の画像パケット復号化器の構成を示すブ
ロック図である。ここで、画像パケット復号化器とは、
パケット分解装置及び画像信号復号化器をいうものであ
る。

第５図において、パケット伝送路４０を介したパケット
はパケット分解装置４１に与えられる。

パケット分解装置４１は、パケットのヘッダ内容に基づ
いてパケットを分解し、可変長符号化されている直交変
換係数符号を可変長復号化器４２に与え、可変長符号化
されているサイド情報符号を可変長復号化器４３に与え
る。

可変長復号化器４３は、上述した可変長符号化器３４の
処理の逆処理を実行してサイド情報符号Ｉｓを得てサイ
ド情報多重分離回路４４に与える。

サイド情報多重分離回路４４は、サイド情報符号Ｉｓを
分離し、動き量情報Ｍｖｓ、ブロック有効無効情報ＢＹ
ｓ、、ｆｔ子化特性を得て、動き量情報Ｍｖを動き補償
回路４６に与え、ブロック有効無効情報ＢＹをブロック
有効無効判定回路４７に与え、量子化特性を逆量子化器
４８に与える。

他方、可変長復号化器４２は、上述した可変長符号化器
２８の処理の逆処理を実行して直交変換係数符号ｑｓを
得て逆量子化器４８に与える。逆量子化器４８は、上述
した量子化器２３の逆処理を行ない、符号ｑｓを再生直
交変換係数Ｑｓに変換して逆直交変換器４９に与える。

逆直交変換器４つは、再生直交変換係数Ｑｓに対して上
述した直交変換器２６の逆処理を施し、再生差分信号ｅ
Ｓを得て加算器５０に与える。

ここで、逆量子化器４８及び逆直交変換器４９には、ブ
ロック有効無効判定回路４７がブロック有効無効情報Ｂ
Ｙｓに基づいて判定した結果が与えられており、逆量子
化器４８及び逆直交変換器４９は、有効ブロックに対し
て処理を行ない、無効ブロックに対しては出力を送出さ
せない。

また、パケット廃棄が生じて直交変換係数符号ｑｓが入
力されない場合にも、逆量子化器４８及び逆直交変換器
４９は無出力状態となる。

なお、バゲット伝送路４０　（３５）として、パケット
軸輪時にパケットのヘッダ内容に挿入されている優先度
情報（Ｈ３）に応じて廃棄パケットを決定する伝送路が
使用されており、また、上述したように直交変換係数符
号にかかるパケットの廃棄優先度を高めているので、か
かるパケットが廃棄される。実施例から離れるが、パケ
ット廃棄に対する優先処理を実行しない伝送路であって
も、直交変換係数符号にかかるパケットがサイド情報符
号にかかるパケットより多く、廃棄パケットはほとんど
の場合直交変換係数符号にかかるパケットとなる。

加算器５０には、再生差分信号ｅｓに加えて、過去フレ
ームの再生画像信号から予測された現フレームの予測画
像信号Ｓｐｓも与えられる。この予測画像信号Ｓｐｓは
、過去数フレームの再生画像信号を積分してなる過去の
再生画像信号Ｓ２ｓが格納されている後述するフレーム
メモリ５１から読み出された画像信号Ｓ２ｓを、動き補
償回路４６を経ることで上述した動きｆｉｔＭＶｓだけ
移動して形成される。かくして、加算器５０によって再
生画像信号Ｓｓが得られ、これが出力端子５２を介して
出力される。

ここで、無効ブロックである場合には、逆直交変換器４
９からの出力がないので、加算器５０からは動き補償さ
れた過去の再生画像信号がそのまま出力される。無効ブ
ロックは、過去の再生画像信号を用いても画像品質が低
下しないブロックであるので、このようにしても十分な
品質の再生画像信号Ｓｓを出力できる。

他方、直交変換係数符号にかかるパケット廃棄によって
逆直交変換器４９からの再生差分信号ｅＳが出力されな
い場合にも、加算器５０からは動き補償された過去の再
生画像信号がそのまま出力される。この場合、本来は、
再生差分信号と再生予測画像信号とを加算して得た再生
画像信号を出力する有効ブロックであるので、再生画像
品質は低下するが、過去の再生画像信号を単に出力する
のではなく、サイド情報に基づく処理、例えば、動き補
償して出力しているので、その低下は小さいこのように、直交変換係数符号にかかるパケットが廃棄
されてもある程度の品質の再生画像信号を確保できるの
は、上述したように、画像品質に画像信号符号以上に影
響を与えるサイド情報符号にかかるパケットが廃棄され
ることを少なくしているなめである。

丈旌倒凶匁逮上述した第１図に示す画像パケット符号化器及び第５図
に示す画像パケット復号化器を用いると、入力画像信号
の符号にかかるパケットと、サイド情報符号にかかるパ
ケットとを別個に組立てて、サイド情報符号にかかるパ
ケットがパケット幅稜時に廃棄される可能性を低めてい
るので、再生画像品質に画像信号符号以上に影響を与え
るサイド情報パケットが廃棄されることを防止でき、パ
ケット廃棄による影響が広範囲に及ぶことを防止でき、
パケット廃棄に伴う再生画像品質の劣化を従来に比して
抑えることができる。

ロム実施例（１）上述の実施例においては、画像信号を、動き補償
フレーム間予測、直交変換、可変長符号化によって符号
化するものを示したが、他の符号化処理を適用しても良
い。例えば、フレーム間予測ではなく、フィールド間予
測やライン間予測を適用しても良く、また、可変長符号
化を省略するようにしても良い。

（２）上述の実施例においては、サイド情報として、動
き量、ブロック有効無効情報、量子化特性を示したが、
他の情報であっても良い。要は、画像情報符号を復号化
する際に必要となる情報であって、画像パケット符号化
器から画像パケット復号化器に伝送することを要する情
報であれば良い。

（３）上述の実施例においては、全てのサイド情報につ
いてパケット廃棄に対する優先度を同一としたものを示
したが、サイド情報同士でも優先度を異なるようにして
も良い。

（４）上述の実施例においては、パケットのヘッダに廃
棄優先度情報を挿入したものを示したが、この廃棄優先
度情報を挿入しなくても良い。例えば、伝送路が優先的
な廃棄パケットの決定をできないものであれば、挿入す
ることの意味はない。しかし、上述したように、直交変
換係数符号にかかるパケットの総数がサイド情報符号に
かかるパケットの総数より遥かに大きく、高い確率で直
交変換係数符号にかかるパケットが廃棄され、サイド情
報符号にかかるパケットがほとんど廃棄されることがな
いので、上述の実施例と同様な効果を奏することができ
る。

［発明の効果］以上のように、本発明によれば、サイド情報符号と、画
像信号符号とを別個にパケット化して伝送するようにし
たので、パケット軸輪時において画像信号符号にかかる
パケットが廃棄され、他方、サイド情報符号にかかるパ
ケットは伝送され、パケット廃棄による再生画像信号の
劣化を従来に比して・軽減することができる。

【図面の簡単な説明】

第１図は本発明による画像パケット伝送システムの一実
施例における画像パケット符号化器を示すブロック図、
第２図は画像パケット伝送システムの基本的構成を示す
ブロック図、第３図はパケットフォーマットを示す説明
図、第４図は上記実施例によるパケットのヘッダ内容を
示す説明図、第５図は上記実施例における画像パケット
復号化器を示すブロック図である。２１・・・動き量検出器、２２・・・減算器、２３．５
１・・・フレームメモリ、２４．４６・・・動き補償回
路、２５・・・サイド情報多重回路、２６・・・直交変
換器、２７・・・量子化器、２８．３４・・・可変長符
号化器、２つ、４７・・・ブロック有効無効判定回路、
３０．４８・・・逆量子化器、３１．４９・・・逆直交
変換器、３２．５２・・・加算器、３３・・・パケット
組立て装置、４１・・・パケット分解装置、４２．４３
・・・可変長復号化器。手続ネ甫正書（自発）平成元年　７月特許庁長官　吉　１）文　毅　殿１、事件の表示平成１年特許願第０７５０７７号２、発明の名称画像パケット伝送システム３、補正をする者事件との関係　　特許出願人住所（〒１０５）東京都港区虎ノ門１丁目７番１２号名
称（０２９）　　　沖電気工業株式会社代表者小杉信光４、代理人住所（〒１０８）東京都港区芝浦４丁目１０番３号４日６、補正の内容（１）明細書の特許請求の範囲を別紙の通り訂正する。（２）明細書、第６頁第１８行〜第１９行の「伝送路と
して、パケットが輻稜したとき、」を「網輻輪によりパ
ケット廃棄が生じる状態に伝送路がなったとき、Ｊと訂
正する。（３）明細書、第８頁第６行〜第７行、第１７頁第１２
行〜第１３行の各「パケット輻稜時」をそれぞれ「網軸
輪時」と訂正する。以上５、補正の対象明細書の「特許請求の範囲」及び「発明の詳細な説明」
特許請求の範囲（１）画像パケット符号化器から出力されたパケットを
伝送路を介して画像パケット復号化器に伝送する画像パ
ケット伝送システムにおいて、画像信号符号と、上記画
像パケット復号化器の復号化で必要となるサイド情報符
号とを別個にパケット化するようにしたことを特徴とす
る画像パケット伝送システム。（２）上記伝送路とじて　　　　に　　パケット（され
る　　にｔっか　　に　パケットのヘッダに挿入されて
いる廃棄優先度情報に基づいて廃棄パケットを決定する
ことができる伝送路を用いると共に、画像信号符号にか
かるパケットのヘッダに高い廃棄優先度情報を挿入し、
サイド情報符号にかかるパケットのヘッダに低い廃棄優
先度情報を挿入したことを特徴とする請求項第１項に記
載の画像パケット伝送システム。

Claims

【特許請求の範囲】

（１）画像パケット符号化器から出力されたパケットを
伝送路を介して画像パケット復号化器に伝送する画像パ
ケット伝送システムにおいて、画像信号符号と、上記画像パケット復号化器の復号化で
必要となるサイド情報符号とを別個にパケット化するよ
うにしたことを特徴とする画像パケット伝送システム。
（２）上記伝送路として、パケットが輻輳したときに、
パケットのヘッダに挿入されている廃棄優先度情報に基
づいて廃棄パケットを決定することができる伝送路を用
いると共に、画像信号符号にかかるパケットのヘッダに
高い廃棄優先度情報を挿入し、サイド情報符号にかかる
パケットのヘッダに低い廃棄優先度情報を挿入したこと
を特徴とする請求項第１項に記載の画像パケット伝送シ
ステム。