JP2750717B2 - 画像伝送誤り訂正方式 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビ会議、テレビ電話など動画像信号をフ
レーム間符号化を用いて伝送する方式に係わり、特に画
像信号をパケット、セルなどのブロックに分割して伝送
する方式に関する。

（従来の技術） テレビ会議、テレビ電話など動画像信号をフレーム間
符号化を用いて伝送する双方向画像通信サービスは多
い。このような通信では、伝送する符号化画像信号を、
一定の長さを持つブロックに分割したり、または一定の
画像部分単位に伝送することが多く、前者の例としては
「動画像信号伝送方式」（特願昭61-33782）および非同
期転送モード（ATM）による通信などがある。

このような伝送においては、ブロックの宛先誤りやブ
ロックの統計的多重による輻輳処理などによって、ブロ
ックの紛失が発生するが、動画像信号をフレーム間符号
化を用いて伝送する場合には、ブロック紛失以後の復号
化を正しく行うことができないため、これを訂正する方
式が要求される。

従来の技術では、一旦伝送ブロック紛失が起きると、
それ以後の受信データを破棄して復号化画像を凍結し、
送信側にリセット要求を行い、符号化モードを強制フレ
ーム内符号化モードに切り替える方式や、符号化信号
を、失うことにより復号化ができなくなる重要な信号
と、失っても復号化が可能な非重要信号に分離し、これ
を優先順位を付加して独立に伝送する方式などが用いら
れていた。

（発明が解決しようとする課題） 然るに従来技術では、伝送ブロック紛失が発生する
と、復号化動画像がかなり長い時間停止するため、非常
に不自然に画像となってしまったり、符号化効率が従来
方式よりも低下してしまう、従来の符号化方式と組み合
わせて用いることができないなどの問題点があった。

本発明は、従来のフレーム間符号化方式と組み合わせ
て用いることができ、符号化効率が高く、かつ伝送ブロ
ックの紛失が発生しても復号化動画像が停止することな
く、速やかに効率よく訂正を行う方式を実現することを
目的とする。

（課題を解決するための手段） 本発明によれば、フレーム間符号化された動画像信号
を、複数のブロックに分割して伝送する画像伝送方式に
おける伝送誤り訂正方式であって、受信側では、伝送に
おいて紛失したブロックを検出し、該紛失ブロックに含
まれる紛失画像部分を計算し、該計算した紛失画像部分
の内容を捕集データによって補充し、かつ該紛失画像部
分の位置を送信側に通知し、送信側では、受信側からの
伝送ブロック紛失通知により、該ブロック紛失の生じた
過去の復号化画像フレームにおける前記紛失画像部分を
特定し、該復号化画像フレームを用いて順次フレーム間
符号化した場合の前記特定した画像部分の符号化におけ
る影響の伝播を計算し、次のフレーム間符号化において
は影響を受けたと計算された画像部分を除く画像部分を
参照してフレーム間符号化を行う画像伝送誤り訂正方式
が提供される。

送信側において、ある復号化画像フレームの各画像部
分が、該復号化画像フレームを用いてフレーム間符号化
した場合の次の画像フレームのどの画像部分に影響して
いるかを記述した影響伝播表を各画像フレームについて
作成し、前記特定した画像部分の符号化における影響の
伝播の計算は該影響伝播表を用いて行うことが好まし
い。

（発明の原理） 第５図、第６図、第１図及び第２図を用いて本発明の
原理を説明する。第５図はフレーム間符号化された画像
信号が、ブロックに分割されて伝送される場合の、伝送
ブロックの構成例を示す。ＡからＦは各伝送ブロックに
含まれる画像部分番号であり、第６図の復号化画像フレ
ームにおける画像部分ＡからＦに対応する。

今、伝送ブロックｉが紛失したとすると、受信側で
は、このブロックｉの紛失を（例えばブロックに付与さ
れた通番管理によって）検出し、復号化画像フレームｊ
における画像部分ＢとＣが失われたことを、前後の画像
部分との関係から算出する。

画像部分ＢとＣは、通常の方法では再生できないか
ら、次に受信側では、この画像部分を補修データによっ
て補充する。補充データとしては、例えば前復号化画像
フレームの同位置の画像部分のデータが考えられる。

同時に受信側では、この画像部分ＢとＣが紛失したこ
とを、紛失が発生した画像フレーム番号および画像部分
の位置と共に送信側に通知し、復号化処理を継続する。

送信側では、受信側からの紛失通知を受信すると、訂
正処理を開始する。第１図は送信側での訂正処理の原理
を示す。今、復号化画像フレームｊでブロック紛失が発
生したとすると、時間的に過去の復号化画像フレームｊ
での紛失画像部分ＢとＣを特定し、この画像部分を用い
て符号化された次画像フレームの画像部分を、符号化画
像フレーム毎に順次特定して行く。即ち、この画像部分
が符号化処理において以後の画像フレームにどの様に影
響して行ったかを計算する。第１図においては、画像フ
レームｊ＋１、ｊ＋２、ｊ＋３と進むに従って、画像部
分ＢとＣの影響が網点を施した画像部分に広がってゆく
様子を示している。

送信側でこれから符号化しようとする画像フレームが
ｊ＋４であった場合、この影響伝播の計算は画像フレー
ムｊ＋３まで行い、画像フレームｊ＋３における影響さ
れた画像部分を特定する。そして画像フレームｊ＋４の
符号化においては、この復号化画像フレームｊ＋３の影
響部分を用いずに符号化処理を行う。この方法として
は、例えばフレームｊ＋３の影響画像部分を用いて符号
化を行うと判定された画像部分は、フレーム間符号化を
行わずにフレーム内符号化に切り替える等の方法が考え
られる。

このような各画像フレームについての画像部分の符号
化における影響伝播を速やかに計算するために、第２図
に示すような画像部分の影響伝播表を各画像フレーム毎
に用意する。周知のように、フレーム間符号化において
は、符号化した予測誤差を復号化し再合成した復号化画
像フレームを次の符号化における参照フレームとして用
いるが、第２図に示す影響伝播表は、ある復号化画像フ
レームｉの各画像部分が、この復号化画像フレームｉを
用いてフレーム間符号化した場合の次の符号化画像フレ
ームｉ＋１のどの画像部分に影響しているかを記述した
ものである。１画像フレームに含まれる画像部分の数を
ｎとすると、この復号化画像フレームｉ用の影響伝播表
はアドレス１〜ｎ分の大きさとなる。例えば、アドレス
２における影響伝播表の内容は、復号化画像フレームｉ
のこの画像部分２を参照してフレーム間符号化して得た
次の符号化画像フレームｉ＋１の画像部分の番号であ
る。ただし、画像部分２を参照して符号化されたものが
符号化画像フレームｉ＋１でただ１つの場合には単一の
番号であり、複数の場合は複数の各番号であり、画像部
分２が全く参照されなかった場合と空となる。

今、復号化画像フレームｊに対応する画像フレームで
画像部分の紛失が生じたとすると、紛失画像部分の番号
をアドレスとして、画像フレームｊに対応する影響伝播
表ｊが引かれる。これによって復号化画像フレームｊの
紛失画像部分の影響を受けた符号化画像フレームｊ＋１
の画像部分の番号が求められる。紛失画像部分が複数あ
るときには、求めた画像部分の番号が重複する場合があ
るがこのようになときは一方のみを保持する。次いで、
この求めた番号（単一、複数又は無し）をアドレスとし
て、画像フレームｊ＋１に対応する影響伝播表ｊ＋１が
引かれ、復号化画像フレームｊ＋１の上述した画像部分
の影響を受けた符号化画像フレームｊ＋２の画像部分の
番号が求められる。同様の処理を現在符号化しようとす
る画像フレームの直前の復号化フレームまで繰り返して
行うことにより、この符号化時に参照しない画像部分が
特定される。

以上のような方法により、従来のフレーム間符号化方
式と組み合わせて用いることができ、符号化効率が高
く、かつ伝送ブロックの紛失が発生しても復号化動画像
が停止することなく、速やかに効率よく訂正が行われる
方式を、簡単な装置で実現することができる。

（実施例） 第３図は本発明による受信側の実施例、第４図は本発
明による送信側の実施例である。受信された伝送ブロッ
クrbはまず順序検査器OCによって紛失があるかどうかを
検査される。紛失が無い場合には、受信された伝送ブロ
ックrbは、伝送時に付加された伝送ヘッダ、通番等を取
り外され、その内容データifがそのまま復号器DCへ入力
される。紛失が検知された場合には、メモリM1に蓄えら
れていた画像補充データcdがゲートGTからifの紛失箇所
に挿入され、復号器DCへ送られる。また、紛失箇所の画
像部分番号pnと画像フレーム番号fnが順序検査器OCによ
り計算されて、データ編集器DOから伝送ブロック紛失通
知b1として送信側へ返送される。なお、メモリM1の内容
は復号化画像信号にちよって逐次更新される。

送信側では、伝送ブロック紛失通知b1を受信すると、
その内容から紛失箇所の画像部分番号pnと画像フレーム
番号fnを検知し、表検索器TSに送る。表検索器TSは、メ
モリM2に蓄えられている画像部分影響伝播表のうち、紛
失の発生した画像フレームfnに相当する表を紛失画像部
分番号pnをアドレスとして検索し、紛失画像部分が影響
を与えた次画像フレームの画像部分番号pn′を検出す
る。この操作を現在符号化しようとする画像フレームの
直前の復号化フレームまで繰り返し、紛失の影響を受け
た画像部分番号pn″を符号器ECに通知する。符号器ECは
紛失の影響を受けた画像部分を用いることなく符号化を
継続する。なお、メモリM2の内容である画像部分影響伝
播表は、画像フレームの符号化毎に符号器ECによって更
新される。

（発明の効果） 以上説明したように本発明によれば、受信側では、伝
送において紛失したブロックを検出し、紛失ブロックに
含まれる紛失画像部分を計算し、計算した紛失画像部分
の内容を補修データによって補充し、かつ紛失画像部分
の位置を送信側に通知し、送信側では、受信側からの伝
送ブロック紛失通知により、ブロック紛失の生じた過去
の復号化画像フレームにおける紛失画像部分を特定し、
この復号化画像フレームを用いて順次フレーム間符号化
した場合の上述した特定した画像部分の符号化における
影響の伝播を計算し、次のフレーム間符号化においては
影響を受けたと計算された画像部分を除く画像部分を参
照してフレーム間符号化を行うようにしているため、伝
送ブロックの紛失が発生しても復号化動画像が停止する
ことなく、速やかに効率よく訂正を行うことができる。
しかも通常のフレーム間符号化方式と組み合わせて用い
ることができるので設計が容易であるという利点も有す
る。特に本発明によれば、影響のあった画像部分の符号
化におけるフレーム間での伝播を計算しているため、伝
送における遅延時間が大きい場合や画像符号化に伴う処
理による遅延時間が大きい場合にも全く問題なく動作
し、しかも過去の復号化画像フレームを多数記憶せずに
影響伝播表を記憶していればよいため、記憶容量の低減
化を図ることができる。さらに、影響のあった画像部分
のみを切り替えているため、符号化効率の劣化が極めて
少ないという格別の効果が得られる。

従って、テレビ会議、テレビ電話などの動画像信号を
フレーム間符号化を用いてブロックに分割して伝送する
方式において、符号化伝送効率が高く、かつ伝送誤りに
対し強力な訂正能力を持つ通信を実現することができ、
その効果は大である。

【図面の簡単な説明】

第１図は本発明による送信側の処理の原理を示す図、第
２図は送信側の画像部分の伝播を示す図、第３図は受信
側の実施例、第４図は送信側の実施例、第５図は伝送ブ
ロックの構成例、第６図は復号化画像フレームの例であ
る。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】フレーム間符号化された動画像信号を、複
   数のブロックに分割して伝送する画像伝送方式における
   伝送誤り訂正方式であって、 受信側では、伝送において紛失したブロックを検出し、
   該紛失ブロックに含まれる紛失画像部分を計算し、該計
   算した紛失画像部分の内容を補修データによって補充
   し、かつ該紛失画像部分の位置を送信側に通知し、 送信側では、ある復号化画像フレームの各画像部分が、
   該復号化画像フレームを用いてフレーム間符号化した場
   合の次の画像フレームのどの画像部分に影響しているか
   を記述した影響伝播表を各画像フレームについて作成し
   ておき、受信側からの伝送ブロック紛失通知により、該
   ブロック紛失の生じた過去の復号化画像フレームにおけ
   る前記紛失画像部分を特定し、該復号化画像フレームを
   用いて順次フレーム間符号化した場合の前記特定した画
   像部分の符号化における影響の伝播を前記影響伝播表を
   用いて計算し、次のフレーム間符号化においては影響を
   受けたと計算された画像部分を除く画像部分を参照して
   フレーム間符号化を行うことを特徴とする画像伝送誤り
   訂正方式。