JPH04239894A - 画像情報符号化送信装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像情報を高能率符
号化処理して送信する画像情報符号化送信装置に関する
。

【０００２】

【従来の技術】例えば、ＩＳＤＮ（サービス統合ディジ
タル通信網）において標準化が検討されている。非同期
転送モード（ＡＴＭ）では、情報の固定長パケット化（
セル化）による動画像転送が可能とされる。一般に、画
像情報は情報量が多く、ファクシミリ装置等においては
、ラングレス符号化等の圧縮処理を行なって情報を伝送
するようにしている。動画像の場合には、画像の時間的
変化の特徴をも捕らえ、これを圧縮処理してデータ量の
増大を防止する方法等も用いる。

【０００３】図２に、高能率符号化例の説明図を示す。 図のように、先ず、１画面を構成するフレーム画像情報
１は、多数の所定の大きさのブロックに空間的に区分さ
れる。そして、各ブロックの画像情報を、前出信号との
相関関係を利用して高能率符号化処理する。

【０００４】即ち、図のフレーム画像情報１の最初に送
信されるブロック２の画像情報を、通常のラングレス符
号化等の圧縮処理により送信した後、次のブロックの画
像情報については、直前に送信した画像情報との差分信
号を用いて圧縮処理する。又図のフレーム画像情報につ
いては前フレームの画像情報との差分を、又動き補償に
ついては前フレームの相関の最も強い位置の画像情報と
の差分を用いる。これにより、類似の内容の画像情報に
ついて、より高い圧縮率で情報伝送を行なうことができ
る。この種の高能率符号化処理方法については、各種文
献に紹介されている。

【０００５】また、このように、高能率符号化処理され
た符号化画像信号を受信した側で、万一、基になる画像
情報を含むフレームの、即ち、図２でハッチングを付し
たブロックの符号化画像信号が欠損すると、その信号を
基に、符号化処理された一連のブロックの画像信号が劣
化する。

【０００６】図３に、そのような連鎖的欠損の説明図を
示す。図のように、フレーム２の画像信号に、何等かの
原因でハッチングを付したような欠損が生じると、それ
に続くブロックの画像信号も連鎖的に欠損を生じる。こ
のような場合、従来、受信側で画像信号の欠損の評価を
行ない、必要に応じて、送信側に対し欠損の無い信号の
再送要求を行なう方法があった。これをデマンドリフレ
ッシュと呼んでいる。また、受信側からの要求無しにリ
フレッシュを行なう方式とし、発生情報量の統計値に基
づいて、情報量の多いブロックから優先的にリフレッシ
ュを行なう方式も開発されている（特開昭６３−２６７
０８０号公報）。

【０００７】

【発明が解決しようとする課題】ところで、広帯域ＩＳ
ＤＮに適用される非同期転送モードにおいては、パケッ
ト長を一定にして伝送する固定長パケット（セル）方式
が採用されている。しかも、不特定多数の受信端末に対
する放送型の画像通信も期待されるサービスである。従
って、端末側のリフレッシュ要求を受けず、効率良くリ
フレッシュを行なうことができる方式の開発が望まれて
いる。本発明は以上の点に着目してなされたもので、た
とえ、パケットの欠損が生じても、受信側において大き
な画質劣化を生じることがなく能率の良い符号化画像信
号を送信する画像情報符号化送信装置を提供することを
目的とするものである。

【０００８】

【課題を解決するための手段】本発明の画像情報符号化
送信装置は、動画像情報をフレーム毎に空間的にブロッ
ク単位で区分し、各ブロックの画像情報を前出信号との
相関関係を利用して高能率符号化処理した符号化画像信
号を生成し、これら符号化画像信号群をパケット化して
送信する送信部と、この送信部の送信信号をモニタして
、前記各パケット毎に、そのパケットの欠損が生じたと
仮定して、符号化画像信号を補間処理し、局部補償再生
画像情報を生成する再生部と、前記局部補償再生画像情
報と、局部再生画像情報とを比較して、その差分値が所
定の基準値を越えたとき、該当するブロックの符号化画
像信号を、前出信号との相関関係を利用しないで符号化
して再送するリフレッシュ制御部とを備えたことを特徴
とするものである。

【０００９】

【作用】本発明の装置は、送信装置側で送信信号をモニ
タし、各パケット毎に、そのパケットの欠損が受信側で
生じた場合に得られるであろう符号化画像信号（補償再
生信号）を得る。その局部補償再生画像情報を評価し、
劣化が著しい場合に、リフレッシュを動作を行なう。そ
の画像劣化の評価のために、局部補償再生画像情報と局
部再生画像情報を比較して、例えばその差分信号を累積
演算する。リフレッシュ制御部は、その評価結果を基準
値と比較し、これに達した場合その領域に対して自動的
にリフレッシュ動作指示を行なう。この指示を出した後
その領域に対する累積値をクリアする。

【００１０】

【実施例】以下、本発明を図の実施例を用いて詳細に説
明する。図１は、本発明の画像情報符号化送信装置実施
例を示すブロック図である。図の装置は、画像情報源１
１、遅延回路１２、減算器１３、ＤＣＴ変換部１４、量
子化部１５、ランレングス符号化可変長符号化部１６及
びチャンネル符号化セル化部１７により、送信部１０を
構成している。また、フレーム内符号化及びフレーム間
符号化のために、量子化部１５の出力側に、逆量子化部
２２、ＤＣＴ逆変換部２３、加算器２８、再生画像情報
バッファ５１，フレームメモリＡ２１、動き位置画像情
報バッファ２４、動き位置検出部２７、フィルタ２５及
びセレクタ２６を備えている。

【００１１】更に、チャンネル符号化セル化部１７の出
力をモニタする位置に、補償再生部３０が設けられる。 この補償再生部３０は、ランレングス逆符号化可変長逆
符号化／セルロス処理部３２、補間処理部３３、フレー
ムメモリＢ３４及びブロック情報補償再生部３５とから
構成されている。また、ブロック画像情報補償再生部３
５の出力は、リフレッシュ制御部４０に入力するよう結
線されている。リフレッシュ制御部４０は、減算器４１
、累積部４２及び評価部４３から構成されている。

【００１２】以上の構成の回路は、次のように動作する
。先ず、画像情報源１１からは、１フレーム分の画像情
報が、先に説明したブロック単位で順次出力される。 遅延回路１２は、その信号を所定時間遅延し、減算器１
３に向けて出力する。ＤＣＴ変換部１４は減算器１３の
出力である差分画像信号を離散コサイン変換し、量子化
部１５はこれを量子化する。量子化部１５の出力は、ラ
ンレングス符号化可変長符号化部１６において符号化処
理され、チャンネル符号化セル化部１７においてセル化
されて、通信回線に出力される。尚、ＩＳＤＮにおいて
は、パケットを一般のパケット通信と区別するために、
セルと呼んでいる。従って、以下、パケットのことをセ
ルと呼んで説明を続ける。

【００１３】量子化部１５の出力は、逆量子化部２２及
びＤＣＴ逆変換部２３において逆変換されて、加算器２
８に入力する。この加算器２８で、動き位置設定部２７
の出力に基づいて、フレーム内，フレーム間符号化に対
応した加算を行ない、再生画像が得られる。この再生画
像は再生画像情報バッファ５１に入力された後、フレー
ムメモリＡ２１に入力し、フレーム間動き補償のための
参照画像となる。一方、画像情報源１１の出力は、フレ
ーム内動き補償の場合、フィルタ２５に入力し、画像ブ
ロック内の平均値等を求めた上で、セレクタ２６に入力
する。フレームメモリ２１Ａから、動き位置画像情報バ
ッファ２４を介して読出された画像信号は、フィルタ２
５の出力と差分演算を取られ、減算器１３に入力する。

【００１４】以上のような処理によって、画像情報源１
１から入力する各ブロックの画像信号が、前出信号との
相関関係を利用して高能率符号化処理され、通信回線に
向けて送信される。これらの回路構成及び動作は、従来
装置と全く同様であり、更に詳細な説明は省略する。

【００１５】ここで、本発明の装置には、チャンネル符
号化セル化部１７の出力を受入れて、モニタする補償再
生部３０が設けられている。この補償再生部の構成は、
従来、受信回路に設けられてセルロス補償を行なってい
る回路とほぼ同様の回路を用いる。この補償再生部３０
のランレングス逆符号化可変長逆符号化／セルロス処理
部３２は、チャンネル符号化セル化部１７から出力され
る各パケット（セル）を受取る。各セル毎その１セルの
欠落が生じたものと仮定して、後続回路を動作させる。 フレームメモリＢ３４には、予め再生画像情報バッファ
５１から前回の１フレーム分の画像情報が転送され、格
納されている。

【００１６】ランレングス逆符号化可変長逆符号化／セ
ルロス処理部３２は、注目するセルが欠損した場合の所
定の再生方法による符号を再生する。補間処理部３３は
、そのブロックの符号化画像信号について内部に保持し
た前フレームでの情報等を用い補間処理を行なう。この
補間された再生符号によりブロック情報補償再生部では
逆量子化ＤＣＴ逆変換をほどこす。同時にフレーム間符
号化の場合フレームメモリＢ３４を参照し、ブロック毎
の画像情報を再生する。即ちブロック情報補償再生部３
５の出力には、注目するセルの欠損が生じたときの受信
側で再生されるべき画像情報が生成される。この画像情
報は、フレームメモリ２１から読出される正常な画像情
報と比較するために、減算器４１に入力する。

【００１７】リフレッシュ制御部４０においては、上記
のように、本来送信すべきであった画像情報と、補償再
生部３０において補間処理され再生された画像情報との
差分値を、減算器４１から受入れてブロック毎累積部４
２に格納する。チャンネル符号化セル化部１７からセル
が１個送信される単位で、補償再生部３０における上記
のような画像情報の再生と、累積部４２における累積演
算が繰返される。この実施例では、累積部４２における
ブロック毎の累積結果が一定値を越えた場合に、評価部
４３からリフレッシュモード信号４３ａが出力される。 このリフレッシュモード信号４３ａは、セレクタ２６の
出力をフレーム間符号化のための動き位置画像情報２４
入力からフィルタ２５を通した現フレームの画像情報源
符号１１の入力に切替え実質的なリフレッシュ信号を、
減算器１３、ＤＣＴ変換部１４等を経て送信するよう制
御する。

【００１８】即ち、リフレッシュ信号が出力されると、
該当するブロックの符号化画像信号を、前出フレームの
信号との相関関係を利用しないで生成して再送する。 尚、上記補償再生部３０の動作は、実質的に、受信器に
おける信号再生と全く同様のものである。従って、補償
再生部３０から出力される信号は、所定のセルが欠損を
生じた場合の受信側での再生画像情報に等しい。これと
フレームメモリ２１中の画像情報との差分値を取れば、
受信側でのセル欠損に基づく画像劣化の度合が数値とし
て予測できる。

【００１９】その差分値を、一定の基準値（スレショル
ドレベル）と比較して、直ちにリフレッシュ信号を出力
することも考えられる。これは、特に、１つのセルの欠
損によって、該当するブロックの符号化画像信号、及び
、それに連なるブロックの符号化画像信号の劣化が極め
て著しい場合に有効である。しかしながら、１のセルの
欠損によっては、著しい画像劣化を生じなくても、該当
するブロックの符号化画像信号が一部劣化しているため
に、これに続くブロックの符号化画像信号が連鎖的に劣
化する。

【００２０】図１の実施例では、そのような累積値が一
定量を越えた場合にリフレッシュ動作を実行させる構成
とされている。一方、極めて劣化の程度が小さい場合で
も、それが繰返されて累積されていくと、累積部４２に
大きな累積値が蓄積され、リフレッシュモード信号の出
力に及ぶ。このような場合には、必ずしも符号化方式が
予め持つ耐雑音性のためのリーク等によりリフレッシュ
動作を必要としないため、累積部４２において累積回数
に応じた累積値の軽減を行なうか、あるいは、一定回数
以上累積演算を行なった後、累積部４２の内容をクリア
するようにすることが好ましい。

【００２１】また、リフレッシュブロックは、前出信号
との相関関係を取らないために、情報量が極めて大きく
なる。従って、通信回線の容量によっては、リフレッシ
ュブロックの送出回数に制限のある場合がある。この場
合には、累積部４２の累積値を、各リフレッシュブロッ
ク毎に比較し、最も累積値の大きい順に、リフレッシュ
ブロックの送出優先順位を決定するとよい。

【００２２】図４に、高能率符号化画像信号の受信器ブ
ロック図を示す。この受信器は、本発明の実施に適する
ものであるが、受信器自体の構成は従来のものと変わる
ところはない。図の回路は、セル分解セルロス検出部５
１、チャンネル復号化部５２、ランレングス逆符号化可
変長逆符号化／セルロス処理部５３、加算器５４、逆量
子化部５５、ＤＣＴ逆変換部５６、加算器５７、フレー
ムメモリ５９、補間処理部６２及びリフレッシュモード
信号出力部６３から構成されている。

【００２３】セル分解セルロス検出部５１は、通信回線
より受信したセルを分解し、チャンネル復号化部５２に
向け出力する回路で、セルロスを検出すると、その結果
をチャンネル復号化部５２へ伝える。チャンネル復号化
部５２は、セル中の信号を復号化し、ランレングス逆符
号化可変長逆符号化／セルロス処理部５３は、圧縮され
た符号を基の信号に逆変換する。逆量子化部５５は、量
子化された信号を逆変換し、ＤＣＴ逆変換部５６は、画
像情報再生のための信号を出力する。

【００２４】ここで、セルロスの無い場合の通常の信号
は、ＤＣＴ逆変換部５６を出力した後、フレームメモリ
５９に格納された前出信号の対応動き位置の情報と加算
器５７において、加算され出力される。その出力は、フ
レームメモリ５９に再格納され、次の信号の処理に使用
される。

【００２５】一方、セルロスを検出した旨の報告を受け
ると、補間処理部６２を動作させ、ランレングス逆符号
化可変長逆符号化／セルロス処理部５３の出力を元に補
間信号を生成する。この補間信号は、加算器５４におい
て、ランレングス符号化可変長符号化逆処理部の出力と
加算される。更に、補間処理部６２の出力は、欠損ブロ
ック情報補償再生部６４に入力し、フレームメモリ５９
から読出された画像信号を利用して、補間信号が生成さ
れ、加算器５８において補間のための画像情報が生成さ
れる。

【００２６】また、先に説明した要領で、送信器からリ
フレッシュブロックが送信されると、ランレングス符号
化化変調符号化逆処理部５３によってこれが検出され、
リフレッシュモード信号出力部１３が起動される。これ
によって、加算器５７の動作が停止され、ＤＣＴ逆変換
部５６の出力がそのまま出力側に取出されることになる
。

【００２７】以上のようにして、送信側において自発的
にリフレッシュ動作を行ない、該当するブロックの符号
化画像信号を、前出信号との相関関係を利用しないで生
成して再送した場合に、受信側では、自動的にその旨を
検出して、画像再生を行なうことができる。

【００２８】本発明は以上の実施例に限定されない。送
信装置において、再生部は、送信信号をモニタし、各セ
ルの欠損によって、画像情報が如何なる影響を受けるか
を判断し、その結果をリフレッシュ制御部４０に出力す
る構成であればよく、同様の機能は、種々の他の構成の
回路によって達成することが可能である。また、リフレ
ッシュモード信号の出力、その処理方法についても、既
知の種々の回路構成に置換えて差し支えない。

【００２９】

【発明の効果】以上説明した本発明の画像情報符号化送
信装置は、送信信号をモニタして、パケット毎にそのパ
ケットの欠損が生じたと仮定して、元の画像情報と比較
し、リフレッシュ動作を制御するようにしたので、受信
側のリフレッシュ要求無しに、適切なリフレッシュ動作
を行なうことができる。また、受信側においては、上記
のような評価を行なった画像信号を受信するため、たと
え一部のセルに欠損が生じても、画質を常に一定以上に
保持することが可能である。

【図面の簡単な説明】

【図１】本発明の画像情報符号化送信装置実施例ブロッ
ク図である。

【図２】高能率符号化例の説明図である。

【図３】連鎖的欠損の説明図である。

【図４】高能率符号化画像信号の受信器ブロック図であ
る。

【符号の説明】

１０　　送信部 ３０　　補償再生部 ４０　　リフレッシュ制御部 ４２　　累積部 ４３　　評価部

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　動画像情報をフレーム毎に空間的にブ
   ロック単位で区分し、各ブロックの画像情報を前出信号
   との相関関係を利用して高能率符号化処理した符号化画
   像信号を生成し、当該符号化画像信号をパケット化して
   送信する送信部と、この送信部の送信信号をモニタして
   、前記各パケット毎に、そのパケットの欠損が生じたと
   仮定して、該当するパケットの符号化画像信号を補間処
   理し、再生画像情報を生成する局部補償再生部と、前記
   局部補償再生画像情報と、局部再生画像情報とを比較し
   て、ブロック毎の差分値が所定の基準値を越えたとき、
   該当するブロックの符号化画像信号を、前出信号との相
   関関係を利用しないで生成して再送するリフレッシュ制
   御部とを備えたことを特徴とする画像情報符号化送信装
   置。
2. 【請求項２】　　動画像情報をフレーム毎に空間的にブ
   ロック単位で区分し、各ブロックの画像情報を前出信号
   との相関関係を利用して高能率符号化処理した符号化画
   像信号を生成し、当該符号化画像信号をパケット化して
   送信する送信部と、この送信部の送信信号をモニタして
   、前記各パケット毎にそのパケットの欠損が生じたと仮
   定して、該当するブロックの符号化画像信号を補間処理
   し、再生画像情報を生成する局部補償再生部と、前記局
   部補償再生画像情報と、局部再生画像情報とを比較して
   、その差分値をブロック毎累積する累積部と、この累積
   部の累積値が所定の基準値を越えたとき、この累積値を
   初期化し又該当するブロックの符号化画像信号を、前出
   信号との相関関係を利用しないで生成して再送する指示
   を行なうリフレッシュ制御部とを備えたことを特徴とす
   る画像情報符号化送信装置。