JPH01137892A - 動画像信号復号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はパケットを用いた動画像信号伝送方式に関し、
特に動画像信号復号化方式に関する。

（従来の技術及びその問題点） フレーム間予測符号化方式は動画像信号を高能率で符号
化・伝送する方式である。第２図にフレーム間予測符号
化方式の符号器と復号器を示す。

符号器と復号器はそれぞれ１フレーム前の画像をフレー
ムメモリに蓄えている。符号器においては入力信号に対
してフレームメモリから読み出される１フレーム前の信
号との差分が計算され伝送される。復号器においてはフ
レームメモリから読み出される１フレーム前の信号に伝
送されて来た予測誤差信号を加えあわせて画像を復号す
る。テレビ電話やテレビ会議においてフレーム毎に変化
する画像領域は広くなくその変化も大きくないから、上
記の手続きで生成される予測誤差信号はゼロレベルに非
常に集中した分布をもつので適当な符号化を、例えばハ
フマン符号化や、ゼロ信号に対するランレングス符号を
用いれば低ビツトレートでの符号化が可能になる。

この方式で符号化を行い、データをまとめてパケット化
し伝送を行う、所謂パケット伝送を行った場合問題とな
るのはパケットの欠落時の処理である。すなわちこのフ
レーム間予測符号化方式においては復号器側で１フレー
ム前の信号が完全に復号されていることが前提となって
いるのでパケットが欠落した時にそれに続くフレームの
復号が不可能になる。こうした欠落パケットはパケット
に付けられたパケット番号から検出され受信側から送信
側にその欠落したパケットに関して再送要求が行われる
のが普通である。しかしながらこの再送要求に対して欠
落したパケットが再送されてくるには普通数１００ｍ秒
の時間が必要となる。動画信号は例えばＮＴＳＣ信号の
場合１フレームあたり３３１秒で表示されるなめにパケ
ットの再送を持って復号化を停止させるわけにはいかな
い。またパケットの欠落によって生じた誤差はフレーム
間予測符号化方式では時間方向に持続してしまいパケッ
トの欠落によって生じた劣化がいつまでも回復できない
という欠点があった。

そこで、本発明の目的は、動画信号にフレーム間予測符
号化を行い、伝送にパケット伝送方式を用いる動画像信
号伝送方式に適用して、パケット欠落によって生じる復
号画像の劣化を゛修正する動画像信号復号化方式を与え
ることにある。

（問題点を解決するための手段） 本発明では、伝送されて来たパケット化されたデータよ
りまずそのパケット番号を識別し、その識別されたパケ
ット番号より欠落パケットを検出し、その欠落パケット
の再送を送信側に対して要求する。また本発明は、パケ
ットにより伝送されたデータを予測誤差信号に変換する
手段を有するが、パケットの欠落によって生成不可能な
予測誤差信号に関してはゼロ信号とする手段を有してい
る。これらの予測誤差信号はフレームメモリーに蓄えら
れた１フレーム前の画像信号と加え合わされて新しい画
像を生成する。また本発明は、再送されてきたパケット
のデータに関しては予測誤差信号に変換した後に前記の
手続きとは別に記憶しておく手段を有しており、その記
憶された予測誤差信号を前記の加算器に入力する本来の
タイミングからちょうど整数倍フレーム遅延させて出力
し、前記の加算器の結果に更に加算する手段を有してい
る。

（発明の原理） 本発明の詳細な説明する。フレーム間予測符号化方式は
連続する画像フレームの差分信号を順次に伝送し、順次
それを加えあわせることで画像を再生する方式である。

Ｆｉｋ、＋で第１番目のフレームの（ｋ、Ｉ）画素デー
タを表すことにするとフレームの差分信号は Ｆ２．、、　　＝Ｆ２に、ｌ　　−Ｆｌｋ、。

Ｆ３．．１　　＝Ｆ３に、ｌ　　−Ｆ２に、。

Ｆ４　ｋ、ｌ　＝Ｆ４−．ｌ　　　Ｆ３　ｋ、＋２５ｍ
、＋　　＝Ｆ　５−．１　　　Ｆ４に、ＩＥ　　ｉ　　
ｋ、＋　　＝Ｆ　　ｆ　　＊、＋　　　　Ｆ　　ｉ−Ｌ
、＋となる。初期画像フレームＦｉ＋＋、Ｉをフレーム
間予測符号化方式とは異なる方式、例えばフレーム内予
測符号化方式で伝送しておけばこれらの画像データは Ｆ２ｈ、＋　＝Ｆ１に１＋Ｅ２に、＋ Ｆ３に、＋　　＝Ｆ２ｍ、＋　　＋Ｅ３に、＋Ｆ４に、
＋　　＝Ｆ３＊、＋　　＋Ｅ４ｈ、＋Ｆ５ｍ、＋　＝Ｆ
４ｍ、＋　十８５に、＋Ｆ　ｔ　＊、＋　　＝Ｆ　ｉ−
１に、＋　　＋Ｅ　ｉ　ｋ、＋のように順次生成される
。

パケットが欠落したかどうかは受信されたパケットのパ
ケット番号を観測していれば判定できる。

もしパケット内のデータがフレーム内でのどの領域の予
測誤差信号を表すデータであるかを示すデータが同じパ
ケット内に含まれていればパケットが欠落してもその他
のデータについて復号化を続行することができる。また
ひとつのパケットが伝送して来る予測誤差信号の画素数
が一定で常に同じ順序で１フレーム内の予測誤差信号が
伝送されて来るならばパケットが欠落してもその他のデ
ータについて復号化を続行することができる。

もし、パケットの欠落によって例えばＥ３ｈ、＋が生成
できない時はＦ３に、＋以降の画像フレームデータを完
全に生成することができない０本発明の場合はＥ３に、
、がゼロとされるのでＦｉう、１（ｉ≧３）に対して−
Ｅ　３　、、　、の歪みが生じることになる。本発明に
従えば欠落パケットに対しては再送要求が受信側から送
信側に送られ数１００ｍ５ｅｃ後にパケットが再送され
て来るのでその時点でＥ３，１を加えることによってそ
れ以降の画像フレームの歪みを打消すことができる。こ
のときＥ　３　ｋ、　ｌは（ｋ、ｌ）画素に対して加え
る必要があるのでパケットのデータを予測誤差信号に変
換した後いっなんメモリに蓄えておき（ｋ、Ｉ）画素の
予測誤差信号とフレームメモリーの画像信号とが加えあ
わされる時に同時にこのＥ３ｈ、＋　も加えあわすよう
になっている。よって本発明によればパケットの欠落に
よって生じた歪みは何フレームか後に補償される。もし
予測誤差信号がフレーム内の位置について同じ順序で伝
送されて来るとすると本来フレームメモリーの（ｋ、ｌ
）画素の画像信号に加算されるべ゛きタイミングに対し
て丁度フレーム周期の整数倍遅延させて加算を行うこと
にすれば、やはり（ｋ、１）画素に対して加算が行われ
ることになる。

（実施例） 本発明に従って構成しな復号器の例を第１図に示す、伝
送路よりパケット化されたデータが線１００１から予測
誤差生成回路１０とパケット番号抽出回路４０に供給さ
れる。予測誤差信号生成回路１０はパケットのデータか
ら予測誤差信号を生成して線１００２を通してメモリ２
０と再送データメモリ３０へ供給する。パケット番号抽
出回路４０は各パケットのパケット番号を読取り線１０
０３を通して再送パケット検出回路５０と欠落パケット
検出回路７０に供給する。欠落パケット検出回路７０は
欠落したパケットを検出し線１０１６を通して送信側に
再送要求を行うと共に線１００５を通して欠落データ制
御回路８０に欠落パケット番号を供給する。欠落データ
制御回路８０は線１００９を通して欠落データ制御信号
をゲート１００へ供給する。再送パケット検出回路５０
は再送されて来たパケットを検出し線１００４を通して
再送データ制御回路６０に再送パケット番号を供給する
。

再送データ制御回路６０は、ａｉｏｏｓ及び線１０１７
を通して再送データ制御信号をゲート９０及び再送デー
タメモリ３０へ供給する。また線１００６を通してメモ
リ２０と再送データメモリ３０を制御する信号を供給す
る。メモリ２０は線１００６から供給される制御信号に
従って線１００２から供給される予測誤差信号のうち再
送データでないものだけをメモリに読み込み、線１０１
１を通してゲート１００に供給する。ゲート１００は線
１００９から供給される欠落データ制御信号に従って欠
落信号部分は信号レベルをゼロとして線１０１３を通し
て加算器２００へ供給する。再送データメモリ３０は線
１００６から供給される制御信号に従って線１００２か
ら供給される予測誤差信号のうち再送データだけをメモ
リに読み込み、線１０１７から供給される制御信号に従
って再送データでなければメモリ２０から線１０１１を
通して出力されるであろうタイミングからちょうどフレ
ーム周期の整数倍だけ遅延させて線１０１０を通してゲ
ート９０に供給する。ゲート９０は線１００８から供給
される再送データ制御信号に従って再送データ信号以外
は信号レベルをゼロとし、線１０１２を通して加算器２
００へ供給する。加算器２００は線１０１３から供給さ
れる予測誤差信号と線１０１２から供給される再送デー
タによる予測誤差信号と線１０１５から供給される１フ
レーム前の復号画像を加え合わせて新しい画像フレーム
信号を生成し線１０１４を通して復号画像として出力す
ると共にフレームメモリ３００に供給する。フレームメ
モリ３００は線１０１４から供給された復号画像を１フ
レ一ム周期遅延させた接線１０１５を通して加算器２０
０へ供給する。

（発明の効果） 本発明に従えばパケットが欠落することで生じる画像の
歪みをパケットが再送されて来た時点で解消することが
できる。

【図面の簡単な説明】

第１図は本発明に従って構成した復号器の例を示すブロ
ック図、第２図は符号器と復号器を有するフレーム間予
測符号化方式を示す概念図である。 １０は予測誤差信号生成回路、２０はメモリ、３０は再
送データメモリ、４０はパケット番号抽出回路、５０は
再送パケット検出回路、６０は再送データ制御回路、７
０は欠落パケット検出回路、８０は欠落データ制御回路
、９０，１００はゲート、２００は加算器、３００はフ
レームメモリをそれぞれ示している。

Claims (1)

【特許請求の範囲】
1. 復号化の結果得られた画像データを１フレーム記憶する
   手段を持ち、伝送された信号より得られるフレーム間予
   測誤差信号と前記１フレーム記憶手段から読み出された
   １フレーム前の画像データとの加算によって新たな画像
   フレームを生成するフレーム間予測符号化方式の動画信
   号復号化方式において、伝送されて来たパケット化され
   たデータよりパケット番号を識別する手段と、このパケ
   ット番号識別手段により識別されたパケット番号より欠
   落パケットを検出する手段と、その欠落パケットの再送
   を送信側に対して要求する手段と、その再送要求に応じ
   て前記送信側から再送されてきたパケットを前記のパケ
   ット番号より識別する手段と、パケットにより伝送され
   たデータを予測誤差信号に変換する手段と、前記予測誤
   差信号を受けその予測誤差信号のうちで前記欠落パケッ
   ト番号で示される欠落パケットに相当する部分にゼロ信
   号を供与する手段と、前記再送パケットのデータを前記
   変換手段で変換して得た予測誤差信号を記憶しておく手
   段と、この記憶手段で記憶された予測誤差信号を前記加
   算をすべき本来のタイミングからちようど１フレームの
   整数倍だけ遅延させる手段と、この遅延手段の出力およ
   び前記ゼロ信号供与手段の出力とを前記フレーム間予測
   誤差信号として前記１フレーム前の画像データとの前記
   加算をする加算器とを備えることを特徴とする動画像信
   号復号化方式。