JP3267307B2 - 画像情報符号化送信装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像情報を高能率符
号化処理して送信する画像情報符号化送信装置に関す
る。

【０００２】

【従来の技術】例えば、ISDN（サービス統合ディジタル
通信網）において標準化が検討されている。非同期転送
モード（ＡＴＭ）では、情報の固定長パケット化（セル
化）による動画像転送が可能とされる。一般に、画像情
報は情報量が多く、ファクシミリ装置等においては、ラ
ングレス符号化等の圧縮処理を行なって情報を伝送する
ようにしている。動画像の場合には、画像の時間的変化
の特徴をも捕らえ、これを圧縮処理してデータ量の増大
を防止する方法等も用いる。

【０００３】図２に、高能率符号化例の説明図を示す。
図のように、先ず、１画面を構成するフレーム画像情報
１は、多数の所定の大きさのブロックに空間的に区分さ
れる。そして、各ブロックの画像情報を、前出信号との
相関関係を利用して高能率符号化処理する。

【０００４】即ち、図のフレーム画像情報１の最初に送
信されるブロック２の画像情報を、通常のラングレス符
号化等の圧縮処理により送信した後、次のブロックの画
像情報については、直前に送信した画像情報との差分信
号を用いて圧縮処理する。又図のフレーム画像情報につ
いては前フレームの画像情報との差分を、又動き補償に
ついては前フレームの相関の最も強い位置の画像情報と
の差分を用いる。これにより、類似の内容の画像情報に
ついて、より高い圧縮率で情報伝送を行なうことができ
る。この種の高能率符号化処理方法については、各種文
献に紹介されている。

【０００５】また、このように、高能率符号化処理され
た符号化画像信号を受信した側で、万一、基になる画像
情報を含むフレームの、即ち、図２でハッチングを付し
たブロックの符号化画像信号が欠損すると、その信号を
基に、符号化処理された一連のブロックの画像信号が劣
化する。

【０００６】図３に、そのような連鎖的欠損の説明図を
示す。図のように、フレーム２の画像信号に、何等かの
原因でハッチングを付したような欠損が生じると、それ
に続くブロックの画像信号も連鎖的に欠損を生じる。こ
のような場合、従来、受信側で画像信号の欠損の評価を
行ない、必要に応じて、送信側に対し欠損の無い信号の
再送要求を行なう方法があった。これをデマンドリフレ
ッシュと呼んでいる。また、受信側からの要求無しにリ
フレッシュを行なう方式とし、発生情報量の統計値に基
づいて、情報量の多いブロックから優先的にリフレッシ
ュを行なう方式も開発されている（特開昭63−267080号
公報）。

【０００７】

【発明が解決しようとする課題】ところで、広帯域ISDN
に適用される非同期転送モードにおいては、パケット長
を一定にして伝送する固定長パケット（セル）方式が採
用されている。しかも、不特定多数の受信端末に対する
放送型の画像通信も期待されるサービスである。従っ
て、端末側のリフレッシュ要求を受けず、効率良くリフ
レッシュを行なうことができる方式の開発が望まれてい
る。本発明は以上の点に着目してなされたもので、たと
え、パケットの欠損が生じても、受信側において大きな
画質劣化を生じることがなく能率の良い符号化画像信号
を送信する画像情報符号化送信装置を提供することを目
的とするものである。

【０００８】

【課題を解決するための手段】本発明の画像情報符号化
送信装置は、動画像情報をフレーム毎に空間的にブロッ
ク単位で区分し、各ブロックの画像情報を前フレームの
対応する部分の再生画像情報との差分信号を符号化する
高能率符号化処理した符号化画像信号を生成し、当該符
号化画像信号をパケット化した送信信号を送信する送信
部と、この送信信号をモニタして、注目する特定のブロ
ックに対応したパケットの欠損が生じたとき受信側で、
この特定のブロックに対応したパケット以外の送信信号
を用いた補間処理によって再生されるべき画像情報を、
モニタした送信信号を用いて生成する補償再生部と、こ
の補償再生部によって再生された特定のブロックに対応
した画像情報と、上記パケットを用いて生成した特定の
ブロックに対応した画像情報との差分値を求め、この差
分値が所定の基準値を越えたとき、この特定のブロック
の画像情報を前フレームの対応する部分の再生画像情報
との差分信号を用いずに、この特定のブロックの画像情
報のまま符号化する高能率符号化処理し、パケット化し
て再送するように制御するリフレッシュ制御部とを備え
たことを特徴とするものである。さらに、本発明の別の
画像情報符号化送信装置は、動画像情報をフレーム毎に
空間的にブロック単位で区分し、各ブロックの画像情報
を前フレームの対応する部分の再生画像情報との差分信
号を符号化する高能率符号化処理した符号化画像信号を
生成し、当該符号化画像信号をパケット化した送信信号
を送信する送信部と、この送信信号をモニタして、フレ
ームを構成するブロック単位毎に、注目する特定のブロ
ックに対応したパケットの欠損が生じたとき受信側で、
この特定のブロックに対応したパケット以外の送信信号
を用いた補間処理によって再生されるべき画像情報を、
モニタした送信信号を用いて生成する補償再生部と、こ
の補償再生部によって生成された特定のブロックに対応
した画像情報と、上記パケットを用いて生成した特定ブ
ロックに対応した画像情報との差分値を、フレームを構
成するブロック単位毎に累積した累積値を求める累積部
と、この累積値が所定の基準値を越えたとき、この特定
ブロックに対応した画像情報を前フレームの対応する部
分の再生画像情報との差分信号を用いずに、この特定の
ブロックの画像情報のまま符号化する高能率符号化処理
し、パケット化して再送するように制御するリフレッシ
ュ制御部とを備えたことを特徴とするものである。

【０００９】

【作用】本発明の装置は、送信装置側で送信信号をモニ
タし、各パケット毎に、そのパケットの欠損が受信側で
生じた場合に得られるであろう符号化画像信号（補償再
生信号）を得る。その再生画像情報を評価し、劣化が著
しい場合に、リフレッシュを動作を行なう。その画像劣
化の評価のために、正常な画像情報と比較して、例えば
その差分信号を累積演算する。リフレッシュ制御部は、
その結果を基準値と比較し、自動的にリフレッシュ動作
指示を行なう。

【００１０】

【実施例】以下、本発明を図の実施例を用いて詳細に説
明する。図１は、本発明の画像情報符号化送信装置実施
例を示すブロック図である。図の装置は、画像情報源１
１、遅延回路１２、減算器１３、ＤＣＴ変換部１４、量
子化部１５、ランレングス符号化可変長符号化部１６及
びチャンネル符号化セル化部１７により、送信部１０を
構成している。また、フレーム内符号化及びフレーム間
符号化のために、量子化部１５の出力側に、逆量子化部
２２、ＤＣＴ逆変換部２３、加算器２８、再生画像情報
バッファ５１，フレームメモリＡ２１、動き位置画像情
報バッファ２４、動き位置検出部２７、フィルタ２５及
びセレクタ２６を備えている。

【００１１】更に、チャンネル符号化セル化部１７の出
力をモニタする位置に、補償再生部３０が設けられる。
この補償再生部３０は、ランレングス逆符号化可変長逆
符号化／セルロス処理部３２、補間処理部３３、フレー
ムメモリＢ３４及びブロック情報補償再生部３５とから
構成されている。また、ブロック情報補償再生部３５の
出力は、リフレッシュ制御部４０に入力するよう結線さ
れている。リフレッシュ制御部４０は、減算器４１、累
積部４２及び評価部４３から構成されている。

【００１２】以上の構成の回路は、次のように動作す
る。先ず、画像情報源１１からは、１フレーム分の画像
情報が、先に説明したブロック単位で順次出力される。
遅延回路１２は、その信号を所定時間遅延し、減算器１
３に向けて出力する。ＤＣＴ変換部１４は減算器１３の
出力である差分画像信号を離散コサイン変換し、量子化
部１５はこれを量子化する。量子化部１５の出力は、ラ
ンレングス符号化可変長符号化部１６において符号化処
理され、チャンネル符号化セル化部１７においてセル化
されて、通信回線に出力される。尚、ISDNにおいては、
パケットを一般のパケット通信と区別するために、セル
と呼んでいる。従って、以下、パケットのことをセルと
呼んで説明を続ける。

【００１３】量子化部１５の出力は、逆量子化部２２及
びＤＣＴ逆変換部２３において逆変換されて、加算器２
８に入力する。この加算器２８で、動き位置画像情報バ
ッファ２４の出力に基づいて、フレーム内，フレーム間
符号化に対応した加算を行ない、再生画像が得られる。
この再生画像は再生画像情報バッファ５１に入力された
後、フレームメモリＡ２１に入力し、フレーム間動き補
償のための参照画像となる。一方、画像情報源１１の出
力は、フレーム内動き補償の場合、フィルタ２５に入力
し、画像ブロック内の平均値等を求めた上で、セレクタ
２６に入力する。フレームメモリＡ２１から、動き位置
画像情報バッファ２４を介して読出された画像信号とフ
ィルタ２５の出力のいずれか一方がセレクタ２６に選択
されて差分演算を取られ、減算器１３に入力する。

【００１４】以上のような処理によって、画像情報源１
１から入力する各ブロックの画像信号が、前出信号との
相関関係を利用して高能率符号化処理され、通信回線に
向けて送信される。これらの回路構成及び動作は、従来
装置と全く同様であり、更に詳細な説明は省略する。

【００１５】ここで、本発明の装置には、チャンネル符
号化セル化部１７の出力を受入れて、モニタする補償再
生部３０が設けられている。この補償再生部の構成は、
従来、受信回路に設けられてセルロス補償を行なってい
る回路とほぼ同様の回路を用いる。この補償再生部３０
のランレングス逆符号化可変長逆符号化／セルロス処理
部３２は、チャンネル符号化セル化部１７から出力され
る各パケット（セル）を受取る。各セル毎その１セルの
欠落が生じたものと仮定して、後続回路を動作させる。
フレームメモリＢ３４には、予め再生画像情報バッファ
５１から前回の１フレーム分の画像情報が転送され、格
納されている。

【００１６】ランレングス逆符号化可変長逆符号化／セ
ルロス処理部３２は、注目するセルが欠損した場合の所
定の再生方法による符号を再生する。補間処理部３３
は、そのブロックの符号化画像信号について内部に保持
した前フレームでの情報等を用い補間処理を行なう。こ
の補間された再生符号によりブロック情報補償再生部で
は逆量子化ＤＣＴ逆変換をほどこす。同時にフレーム間
符号化の場合フレームメモリＢ３４を参照し、ブロック
毎の画像情報を再生する。即ちブロック情報補償再生部
３５の出力には、注目するセルの欠損が生じたときの受
信側で再生されるべき画像情報が生成される。この画像
情報は、フレームメモリＡ２１から読出される正常な画
像情報と比較するために、減算器４１に入力する。

【００１７】リフレッシュ制御部４０においては、上記
のように、本来送信すべきであった画像情報と、補償再
生部３０において補間処理され再生された画像情報との
差分値を、減算器４１から受入れてブロック毎累積部４
２に格納する。チャンネル符号化セル化部１７からセル
が１個送信される単位で、補償再生部３０における上記
のような画像情報の再生と、累積部４２における累積演
算が繰返される。この実施例では、累積部４２における
ブロック毎の累積結果が一定値を越えた場合に、評価部
４３からリフレッシュモード信号４３ａが出力される。
このリフレッシュモード信号４３ａは、セレクタ２６の
出力をフレーム間符号化のための動き位置画像情報バッ
ファ２４からの入力からフィルタ２５を通した現フレー
ムの画像情報源１１の入力に切替え実質的なリフレッシ
ュ信号を、減算器１３、ＤＣＴ変換部１４等を経て送信
するよう制御する。

【００１８】即ち、リフレッシュ信号が出力されると、
該当するブロックの符号化画像信号を、前出フレームの
信号との相関関係を利用しないで生成して再送する。
尚、上記補償再生部３０の動作は、実質的に、受信器に
おける信号再生と全く同様のものである。従って、補償
再生部３０から出力される信号は、所定のセルが欠損を
生じた場合の受信側での再生画像情報に等しい。これと
フレームメモリＡ２１中の画像情報との差分値を取れ
ば、受信側でのセル欠損に基づく画像劣化の度合が数値
として予測できる。

【００１９】その差分値を、一定の基準値（スレショル
ドレベル）と比較して、直ちにリフレッシュ信号を出力
することも考えられる。これは、特に、１つのセルの欠
損によって、該当するブロックの符号化画像信号、及
び、それに連なるブロックの符号化画像信号の劣化が極
めて著しい場合に有効である。しかしながら、１のセル
の欠損によっては、著しい画像劣化を生じなくても、該
当するブロックの符号化画像信号が一部劣化しているた
めに、これに続くブロックの符号化画像信号が連鎖的に
劣化する。

【００２０】図１の実施例では、そのような累積値が一
定量を越えた場合にリフレッシュ動作を実行させる構成
とされている。一方、極めて劣化の程度が小さい場合で
も、それが繰返されて累積されていくと、累積部４２に
大きな累積値が蓄積され、リフレッシュモード信号の出
力に及ぶ。このような場合には、必ずしも符号化方式が
予め持つ耐雑音性のためのリーク等によりリフレッシュ
動作を必要としないため、累積部４２において累積回数
に応じた累積値の軽減を行なうか、あるいは、一定回数
以上累積演算を行なった後、累積部４２の内容をクリア
するようにすることが好ましい。

【００２１】また、リフレッシュブロックは、前出信号
との相関関係を取らないために、情報量が極めて大きく
なる。従って、通信回線の容量によっては、リフレッシ
ュブロックの送出回数に制限のある場合がある。この場
合には、累積部４２の累積値を、各リフレッシュブロッ
ク毎に比較し、最も累積値の大きい順に、リフレッシュ
ブロックの送出優先順位を決定するとよい。

【００２２】図４に、高能率符号化画像信号の受信器ブ
ロック図を示す。この受信器は、本発明の実施に適する
ものであるが、受信器自体の構成は従来のものと変わる
ところはない。図の回路は、セル分解セルロス検出部５
１、チャンネル復号化部５２、ランレングス逆符号化可
変長逆符号化／セルロス処理部５３、加算器５４、逆量
子化部５５、ＤＣＴ逆変換部５６、加算器５７、フレー
ムメモリ５９、補間処理部６２及びリフレッシュモード
信号出力部６３から構成されている。

【００２３】セル分解セルロス検出部５１は、通信回線
より受信したセルを分解し、チャンネル復号化部５２に
向け出力する回路で、セルロスを検出すると、その結果
をチャンネル復号化部５２へ伝える。チャンネル復号化
部５２は、セル中の信号を復号化し、ランレングス逆符
号化可変長逆符号化／セルロス処理部５３は、圧縮され
た符号を基の信号に逆変換する。逆量子化部５５は、量
子化された信号を逆変換し、ＤＣＴ逆変換部５６は、画
像情報再生のための信号を出力する。

【００２４】ここで、セルロスの無い場合の通常の信号
は、ＤＣＴ逆変換部５６を出力した後、フレームメモリ
５９に格納された前出信号の対応動き位置の情報と加算
器５７において、加算され出力される。その出力は、フ
レームメモリ５９に再格納され、次の信号の処理に使用
される。

【００２５】一方、セルロスを検出した旨の報告を受け
ると、補間処理部６２を動作させ、ランレングス逆符号
化可変長逆符号化／セルロス処理部５３の出力を元に補
間信号を生成する。この補間信号は、加算器５４におい
て、ランレングス逆符号化可変長逆符号化／セルロス処
理部５３の出力と加算される。

【００２６】また、先に説明した要領で、送信装置から
リフレッシュブロックが送信されると、ランレングス逆
符号化可変調逆符号化／セルロス処理部５３によってこ
れが検出され、リフレッシュモード信号出力部６３が起
動される。これによって、加算器５７の動作が停止さ
れ、ＤＣＴ逆変換部５６の出力がそのまま出力側に取出
されることになる。

【００２７】以上のようにして、送信側において自発的
にリフレッシュ動作を行ない、該当するブロックの符号
化画像信号を、前出信号との相関関係を利用しないで生
成して再送した場合に、受信側では、自動的にその旨を
検出して、画像再生を行なうことができる。

【００２８】本発明は以上の実施例に限定されない。送
信装置において、補償再生部は、送信信号をモニタし、
各セルの欠損によって、画像情報が如何なる影響を受け
るかを判断し、その結果をリフレッシュ制御部４０に出
力する構成であればよく、同様の機能は、種々の他の構
成の回路によって達成することが可能である。また、リ
フレッシュモード信号の出力、その処理方法について
も、既知の種々の回路構成に置換えて差し支えない。

【００２９】

【発明の効果】以上説明した本発明の画像情報符号化送
信装置は、送信信号をモニタして、パケット毎にそのパ
ケットの欠損が生じたと仮定して、元の画像情報と比較
し、リフレッシュ動作を制御するようにしたので、受信
側のリフレッシュ要求無しに、適切なリフレッシュ動作
を行なうことができる。また、受信側においては、上記
のような評価を行なった画像信号を受信するため、たと
え一部のセルに欠損が生じても、画質を常に一定以上に
保持することが可能である。

【図面の簡単な説明】

【図１】本発明の画像情報符号化送信装置実施例ブロッ
ク図である。

【図２】高能率符号化例の説明図である。

【図３】連鎖的欠損の説明図である。

【図４】高能率符号化画像信号の受信器ブロック図であ
る。

【符号の説明】

１０ 送信部 ３０ 補償再生部 ４０ リフレッシュ制御部 ４２ 累積部 ４３ 評価部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−137488（ＪＰ，Ａ) 特開 平２−162887（ＪＰ，Ａ) 特開 平２−244888（ＪＰ，Ａ) 特開 平２−58938（ＪＰ，Ａ) 和田、滝嶋，ビデオパケット紛失の選 択的訂正方式，電子情報通信学会技術研 究報告，日本，1988年12月16日，Ｖｏ ｌ．88，Ｎｏ．336，ｐ．45−52 滝嶋、和田，パケットビデオ符号化の パッキング効率，電子情報通信学会春季 全国大会講演論文集，日本，1989年 ３ 月28日，分冊７，ｐ．109 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04L 12/56

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 動画像情報をフレーム毎に空間的にブロ
   ック単位で区分し、各ブロックの画像情報を前フレーム
   の対応する部分の再生画像情報との差分信号を符号化す
   る高能率符号化処理した符号化画像信号を生成し、当該
   符号化画像信号をパケット化した送信信号を送信する送
   信部と、前記送信信号をモニタして、注目する特定のブロックに
   対応したパケットの欠損が生じたとき受信側で前記特定
   のブロックに対応したパケット以外の前記送信信号を用
   いた補間処理によって再生されるべき画像情報を、前記
   モニタした送信信号を用いて生成する補償再生部と、 前記補償再生部によって再生された前記特定のブロック
   に対応した画像情報と、前記パケットを用いて生成した
   前記特定のブロックに対応した画像情報との差分値を求
   め、この差分値が所定の基準値を越えたとき、前記特定
   のブロックの画像情報を前フレームの対応する部分の再
   生画像情報との差分信号を用いずに該特定のブロックの
   画像情報のまま符号化する高能率符号化処理し、パケッ
   ト化して再送するように制御するリフレッシュ制御部と
   を備えたことを特徴とする画像情報符号化送信装置。
2. 【請求項２】 動画像情報をフレーム毎に空間的にブロ
   ック単位で区分し、各ブロックの画像情報を前フレーム
   の対応する部分の再生画像情報との差分信号を符号化す
   る高能率符号化処理した符号化画像信号を生成し、当該
   符号化画像信号をパケット化した送信信号を送信する送
   信部と、前記 送信信号をモニタして、前記フレームを構成するブ
   ロック単位毎に、注目する特定のブロックに対応したパ
   ケットの欠損が生じたとき受信側で前記特定のブロック
   に対応したパケット以外の前記送信信号を用いた補間処
   理によって再生されるべき画像情報を、前記モニタした
   送信信号を用いて生成する補償再生部と、前記補償再生
   部によって生成された前記特定のブロックに対応した画
   像情報と前記パケットを用いて生成した前記特定ブロッ
   クに対応した画像情報との差分値を、前記フレームを構
   成するブロック単位毎に累積した累積値を求める累積部
   と、前記累積値が所定の基準値を越えたとき、前記特定
   ブロックに対応した画像情報を前フレームの対応する部
   分の再生画像情報との差分信号を用いずに該特定のブ ロ
   ックの画像情報のまま符号化する高能率符号化処理し、
   パケット化して再送するように制御するリフレッシュ制
   御部とを備えたことを特徴とする画像情報符号化送信装
   置。