JPH08256333A

JPH08256333A - 画像符号化復号方法及び装置

Info

Publication number: JPH08256333A
Application number: JP8351895A
Authority: JP
Inventors: Koji Imura; 康治井村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-03-16
Filing date: 1995-03-16
Publication date: 1996-10-01

Abstract

(57)【要約】【目的】伝送誤りが発生した場合でも画質劣化を抑え
ることができる画像符号化復号方法を提供する。【構成】入力画像の画像データを符号化ブロックの単
位に分けて符号化し、この符号化ブロックの複数個を纏
めて符号化グループを形成し、この符号化グループに識
別し得る符号を付与して復号側に供給する画像符号化復
号方法において、符号化側のメモリ101と読出し制御手
段103で、空間的に隣接しない符号化ブロックを纏めて
符号化グループが形成されるようにし、復号側のメモリ
106と読出し制御手段107で、符号化側と逆の手順で符号
化ブロックを本来の位置に戻して、復号する。伝送誤り
が発生し、１つの符号化グループの情報が失われた場合
でも、画像内での欠落は、全体的に細かく分散され、視
覚的に目立たない。失われた符号化ブロックの周辺の符
号化ブロックは存在するので、その情報を用いた精度の
高い補間が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル化された画
像信号を圧縮・伸張する動画像符号化復号方法及びその
方法を実施する装置に関し、特に、伝送時やデータ蓄積
時での誤りの発生に対して耐性を持つように構成したも
のである。

【０００２】

【従来の技術】画像の伝送や蓄積を行なう場合には、膨
大な情報量をもつ画像データを少ない符号で表現するた
めの画像符号化復号方法が用いられる。この方法では、
画像のもつ空間的・時間的、統計的な冗長性に着目して
符号量の削減が行なわれる。

【０００３】時間的な冗長性を削減するためには、動き
補償を用いたフレーム間予測符号化方式が用いられる。
これは、画像内の動きは、局所的に見れば被写体の平行
移動とみなせる（電子情報通信学会全大1974年 p.p.12
60 羽鳥他）という考えに基づいている。つまり、現在
注目している符号化ブロックと前フレームの同位置及び
その近傍の画素とを比較し、最も類似度の高い位置の画
素を現符号化ブロックの予測値とし、この予測値と現符
号化ブロックとの差分値を符号化する。注目符号化ブロ
ックの位置と類似度の高かった前フレーム内の画素の位
置との差が、前記の局所的な被写体の平行移動量とな
り、これを動きベクトルと呼ぶ。

【０００４】空間的な冗長性を削減するためには、前記
予測値との差分を周波数領域に変換する離散コサイン変
換（ＤＣＴ）が用いられる。ＤＣＴは、周波数領域にお
いてエネルギーの集約度が原理的に最も高いといわれる
カルーネン・レーブ変換に近似した特性を持ち、かつハ
ードウエアへの実現も容易なことから、現在最も頻繁に
使われている（アイ・イー・イープロシーディング1981
年11月 No.6 Vol.128359頁から360頁(IEE PROC,Vol.12
8,Pt,F,No.6,Nov 1981))。

【０００５】統計的な冗長度を削減するためには、ＤＣ
Ｔで変換された周波数成分の係数を適当な量子化ステッ
プ値で量子化し、これに２次元の可変長符号化を施す。
２次元の可変長符号化とは、ブロックにおける量子化後
の係数をジグザグに走査してゆく場合、先行する０係数
の数（Ｒｕｎ）とその後の非０である係数（Ｌｅｖｅ
ｌ）の２つの数字の組合わせの内、最も出現頻度の高い
組合わせには短い符号を割り当て、頻度の低い組合わせ
には長い符号を割り当てて、平均として発生する符号量
を減少させる手法である（電信電話技術委員会：高位プ
ロトコルレイヤ・符号化方式ＪＴ−Ｈ２６１第Ｖ巻
第３分冊 1993年 pp.594~597）。

【０００６】また、伝送エラーに対応するために、符号
化された複数の空間的に連続する符号化ブロックの情報
を１つのグループにまとめ、これを符号化グループと
し、その符号化グループの先頭に、ある特定の符号を割
り当てることが行なわれる。こうすることにより、伝送
エラーによってその符号化グループが欠落しても、次の
符号化グループの先頭からは再生が可能となる。この符
号化グループの単位は、国際標準化機構（ＩＳＯ）と国
際電気通信連合（ＩＴＵ−Ｔ）で標準化されたＭＰＥＧ
２（Ｈ．２６２）ではスライスといい、国際電気通信連
合（ＩＴＵ−Ｔ）で標準化されたＨ．２６１では、ＧＯ
Ｂ（グループ・オブ・ブロック）と呼ばれている（文献
「ＭＰＥＧ技術」トリケップス出版1993年 pp.39〜4
0）。

【０００７】これらの技術を用いて画像符号化と復号と
を行なう従来の装置は、図７に示すように、符号化側に
は、前フレーム画像を記憶するフレームメモリ404と、
入力画像416のブロックを前フレームの画像と比較して
動きベクトル418を検出する動きベクトル検出部401と、
フレームメモリ404から予測画像419を読出すためのアド
レスを制御するアドレス制御部405と、フレーム内符号
化を行なうかフレーム間符号化を行なうかを判定するフ
レーム内／フレーム間符号化判定部402と、この判定結
果417に従ってフレーム内符号化のときはａと接続しフ
レーム間符号化のときはｂと接続するスイッチ403と、
入力画像と予測画像との差分を出力する減算部406と、
差分信号を周波数領域に変換するＤＣＴ407と、ＤＣＴ
係数を量子化する量子化部408と、現フレームの画像を
復号するために逆量子化によりＤＣＴ係数を再生する逆
量子化部409と、逆ＤＣＴ変換を施してＤＣＴ係数を差
分値に変換する逆ＤＣＴ410と、予測画像と差分値とを
加算してフレームメモリ404に蓄積する再生画像を生成
する加算部411と、ＤＣＴ量子化係数を可変長符号化す
る可変長符号化部412と、同期用の特定符号を発生する
符号発生部413と、可変長符号化したＤＣＴ量子化係数
と同期用符号と動きベクトルとを多重化する多重化部41
4と、伝送する信号に誤り訂正符号を付与する誤り訂正
符号付与部415とを備えている。

【０００８】また、復号側には、伝送路より入力したデ
ータに誤り訂正を施す誤り訂正部420と、多重化されて
いるＤＣＴ係数と動きベクトルと同期用特定符号とを分
離する分離部421と、可変長復号化してＤＣＴ量子化係
数426と動きベクトル425とを再生する可変長復号部422
と、逆量子化によりＤＣＴ係数を再生する逆量子化部40
9と、逆ＤＣＴ変換によりＤＣＴ係数を差分値に変換す
る逆ＤＣＴ410と、動きベクトル425に従ってフレームメ
モリ424から読出す予測画像を制御するアドレス制御部4
23と、フレームメモリ424から読出された予測画像と逆
ＤＣＴ410から出力された差分値とを加算して出力画像
を再生する加算部411とを備えている。

【０００９】この装置の符号化側では、画像が入力する
と、動きベクトル検出部401は、入力画像416とフレーム
メモリ404に書込まれている前フレーム画像とを比較し
て、動きベクトル信号418を出力する。アドレス制御部4
05は、入力画像の現ブロックの位置から動きベクトル41
8分だけ平行移動したアドレスを指定してフレームメモ
リ404から予測画像419を出力させる。フレーム内／フレ
ーム間符号化判定部402は、入力画像416と予測画像419
とを比較して、フレーム内符号化を行なうかフレーム間
符号化を行なうかを判定し、その判定結果417を出力す
る。

【００１０】スイッチ403は、判定結果417に従い、フレ
ーム内符号化の場合はスイッチをａに繋ぎ、また、フレ
ーム間符号化の場合はスイッチをｂに繋いで、予測画像
を減算部406に出力する。減算部406は、こうして得られ
たスイッチ403の出力と入力画像416との差分を計算し、
ＤＣＴ407は、差分信号を周波数領域に変換し、量子化
部408は、このＤＣＴ係数を適当な量子化ステップ値で
量子化する。

【００１１】このＤＣＴ量子化係数は、可変長符号化部
412と逆量子化部409とに入力し、可変長符号化部412
は、このＤＣＴ量子化係数に可変長符号化を施して多重
化部414に出力する。多重化部414には、さらに、可変長
符号化された動きベクトル418が入力し、同期用符号発
生部413からは、符号化グループごとに発生される符号
化グループの開始を示す同期用符号などが入力する。多
重化部414は、これらの信号を多重化し、多重化された
信号は、誤り訂正符号付与部415で誤り訂正符号が付加
された後、伝送路に出力される。

【００１２】また、逆量子化部409に入力したＤＣＴ量
子化係数は、逆量子化でＤＣＴ係数に再生され、逆ＤＣ
Ｔ410において差分値に変換され、加算部411によりスイ
ッチ403の出力と加算され、再生画像としてフレームメ
モリ404に書き込まれ、次のフレームの予測画像に利用
される。

【００１３】一方、復号側では、伝送路から入力したデ
ータに対して、誤り訂正部420が誤り訂正を行ない、分
離部421が多重化されているＤＣＴ量子化係数と動きベ
クトルと同期用符号とを分離する。可変長復号部422
は、可変長符号化されているＤＣＴ量子化係数と動きベ
クトルとを復号し、復号されたＤＣＴ量子化係数は、逆
量子化部409で逆量子化され、次いで、逆ＤＣＴ410で逆
ＤＣＴ変換されて、差分値に再生される。

【００１４】アドレス制御部423は、フレームメモリ424
から動きベクトル425の分だけ平行移動した位置の画像
を予測画像として出力させ、加算部411は、フレームメ
モリ424から出力された予測画像と逆ＤＣＴ410から出力
された差分値とを加算して画像を再生する。この画像
は、出力画像427として出力されるとともに、フレーム
メモリ424に書き込まれて、次のフレームの予測画像に
用いられる。

【００１５】符号化グループは、複数の連続する符号化
ブロックにより構成される。Ｈ．２６１では、画像デー
タの階層構造における最小単位を縦８画素×横８画素の
小ブロックとし、入力画像の輝度信号を表す小ブロック
の４つを集めた縦１６画素×横１６画素と、色差信号
（Ｕ，Ｖ）を表す２つの小ブロックとを１まとめにした
ものをマクロブロックと規定し、このマクロブロックの
横１１×縦３の集合を符号化グループ（ＧＯＢ）と規定
している。同期用符号発生部413からは、このＧＯＢの
開始位置を示すデータが発生され、符号化グループのデ
ータに多重されて伝送される。また、フレーム内符号化
とフレーム間符号化との切換え、動きベクトル、ＤＣＴ
係数の量子化ステップなどはマクロブロック単位で設定
され、これらの情報は、マクロブロックのデータの前に
付されて伝送される。

【００１６】

【発明が解決しようとする課題】前述のように複数の符
号化ブロックで符号化グループを構成し、符号化データ
を伝送した場合、伝送路の品質が悪い環境下では、誤り
訂正符号でも誤りを訂正しきれない伝送誤りが発生する
可能性がある。このようなとき、復号側での正常な復号
が不可能となり、次の符号化グループが入力するまでは
正常な復号を開始することができない。

【００１７】つまり、誤りの発生により、符号化グルー
プ単位で画像情報が欠落することになる。符号化グルー
プは、複数の連続する符号化ブロックによって構成され
るために、空間的に大きな領域の画像が乱れ、その部分
に何が映っているのか認識できなくなる。

【００１８】また、復号側で欠落部分の補間をする場合
に、空間的に隣接した符号化ブロックも同様に欠落して
いるために、近傍の少ない情報で補間せねばならず、精
度の高い補間ができない。

【００１９】また、符号化グループ内には、１つの符号
化ブロックの持つすべての情報が含まれているために、
その符号化グループが欠落するとその符号化ブロックの
情報の全てが失われ、これが復号側での欠落部の補間を
さらに困難にする。

【００２０】これらが原因して、再生画像の画質は大幅
に劣化してしまう。

【００２１】本発明は、こうした従来の問題点を解決す
るものであり、伝送誤りなどが発生した場合でも、画像
の全体像を容易に把握することができ、画質劣化を視覚
的に目立たないものとすることができ、また、復号側に
おいて欠落部を精度良く補間することができる画像符号
化復号方法及びそれを実施する装置を提供することを目
的としている。

【００２２】

【課題を解決するための手段】そこで、本発明では、入
力画像の画像データを符号化ブロックの単位に分けて符
号化し、この符号化ブロックの複数個を纏めて符号化グ
ループを形成し、この符号化グループに識別し得る符号
を付与して復号側に供給する画像符号化復号方法におい
て、符号化側で、空間的に隣接しない符号化ブロックを
纏めて符号化グループを形成し、復号側で、符号化側と
逆の手順で符号化ブロックを本来の位置に戻して復号し
ている。

【００２３】また、復号側で、失われた符号化ブロック
の情報を、空間的に隣接する符号化ブロックの情報を用
いて補間している。

【００２４】また、符号化側で、符号化ブロックの構成
要素である小ブロックの空間的に隣接しないものを組合
せて、符号化グループを構成する符号化ブロックを形成
し、復号側で、符号化側と逆の手順で小ブロックを本来
の位置に戻し、復号を行なっている。

【００２５】また、符号化側で、符号化ブロックの各々
がもつ複数の情報を分離して、それらの情報を異なる符
号化グループに配属し、復号側で、これらの複数の情報
を本来の組合せに戻して符号化ブロックの情報を復号し
ている。

【００２６】また、このとき、符号化側で、符号化ブロ
ックがもつ周波数成分に関する情報と、それ以外の情報
とを分離している。

【００２７】また、符号化側に、入力画像の画像データ
を符号化ブロックの単位に分けて符号化する符号化手段
と、この符号化ブロックの複数個から成る符号化グルー
プに対応して符号化グループを特定する符号を発生する
符号発生手段と、符号化グループの符号化データとこれ
を特定する符号とを多重化する多重化手段とを備え、復
号側に、符号化ブロック単位で符号化されたデータを順
次復号する復号手段を備える画像符号化復号装置におい
て、符号化側に、符号化手段から出力される符号化デー
タの出力順序を入れ替える入替手段を設け、復号側に、
入力した符号化データの入力順序を符号化側と逆の手順
で入れ替える入替手段を設けている。

【００２８】また、この入替手段を、符号化データを書
込むメモリと、メモリへのデータ書込み順序及びデータ
読出し順序を制御する制御手段とで構成している。

【００２９】さらに、符号化側に、符号化ブロックのも
つ複数の情報がそれぞれ異なる符号化グループに属する
ように、それらの情報の多重化手段への入力時期を調整
する遅延手段を設け、復号側に、これらの複数の情報が
復号手段に同時期に入力するように調整する調整手段を
設けている。

【００３０】

【作用】そのため、画像内の空間的に離れた符号化ブロ
ックデータで１つの符号化グループが構成され、復号側
で、元の配置に戻されて復号される。伝送誤りなどが発
生し、１つの符号化グループの情報が失われた場合で
も、画像内での欠落は、全体的に細かく分散され、視覚
的に目立たなくなる。また、失われた符号化ブロックの
周辺の符号化ブロックは存在するので、その情報を用い
た精度の高い補間が可能となる。

【００３１】また、このブロックの組替えを小ブロック
の単位で行ない、符号化ブロックにおける小ブロックが
それぞれ異なる符号化グループに含まれるように配置す
ることにより、伝送誤りなどで符号化グループの情報が
失われた場合の画像欠落の個々の領域を狭めることがで
き、欠落の影響をさらに薄めることができる。この場
合、１つの符号化ブロックの情報がすべて失われること
が回避できるため、再生画像の画質劣化を低く抑えるこ
とができる。

【００３２】また、符号化ブロックにおけるＤＣＴ量子
化係数の情報と動きベクトルの情報とを別の符号化グル
ープに含めることにより、符号化グループが失われた場
合でも、１つの符号化ブロックの情報全てが失われるこ
とを避けることができ、復号側で欠落部を補間する場合
に、それが容易になる。

【００３３】こうした符号化ブロックの組替えは、符号
化されたデータを一旦メモリに記憶し、メモリからデー
タを読出す時に、その読出し順を制御することにより実
現することができる。復号側では、入力データをメモリ
に記憶し、符号化側と逆の順序で読出すことにより、元
の配置に戻すことができる。

【００３４】また、符号化ブロックのＤＣＴ量子化係数
データと動きベクトルデータとの組合せを変更する場合
は、一方のデータの多重化手段への入力時間を遅延させ
ることにより実現することができる。

【００３５】

【実施例】

（第１実施例）実施例で用いる画像符号化方法は、国際
電気通信連合（ＩＴＵ−Ｔ）において標準化されたＨ．
２６１を基本としている。画像フォ―マットも同様に
Ｈ．２６１で用いられる世界共通の画像フォ―マットＱ
ＣＩＦ（クオ―タ―・コモン・インプット・フォ―マッ
ト横１７６画素×縦１４４画素）とする。また、符号
化ブロックとして、Ｈ．２６１で規定されたマクロブロ
ック、つまり、入力画像の輝度信号を表す小ブロックの
４つを集めた縦１６画素×横１６画素と、色差信号
（Ｕ，Ｖ）を表す２つの８×８画素の小ブロックとを１
まとめにしたものを用いる。

【００３６】従って、ＱＣＩＦは１フレームの構成が横
１１マクロブロック×縦９マクロブロックである。誤り
耐性を図るための符号化グループ（スライスまたはＧＯ
Ｂに相当）は横１１マクロブロックとする（以下、横１
１マクロブロックの帯状の画素ブロックをブロックライ
ンという）。

【００３７】第１実施例の画像符号化復号方法では、図
３に示す方法で符号化グループを構成する。

【００３８】図３では、入力画像の１フレームを構成す
る９列のブロックラインの各マクロブロックが、変更後
の符号化ブロックにおいてどのように組合されるかを示
している。ここでは各マクロブロックの持つ情報を走査
方向にＡ１〜Ａ11、Ｂ１〜Ｂ11、‥のように表現してお
り、一つのマクロブロックの持つ情報（例えばＡ１）
は、輝度信号の４つのブロック及び色差信号の２つのブ
ロックのＤＣＴ量子化係数並びにそのマクロブロックの
動きベクトル等である。

【００３９】第１実施例では、２つのブロックラインか
ら取り出した、空間的に離れたマクロブロックにより１
符号化グループを構成している。つまり、図３の第１ブ
ロックラインの奇数番目のマクロブロック（Ａ１，Ａ
３，Ａ５，Ａ７，Ａ９，Ａ11）と第２ブロックラインの
偶数番目のマクロブロック（Ｂ２，Ｂ４，Ｂ６，Ｂ８，
Ｂ10）との計１１マクロブロックで１符号化グループを
構成する。２番目以降の符号化グループも同様に構成す
る。フレーム内の最後の符号化グループは、最終ブロッ
クラインの奇数番目のマクロブロックと第１ブロックラ
インの偶数番目のマクロブロックとで構成する。

【００４０】この画像符号化復号方法を実施する装置
は、図１に示すように、符号化側には、各マクロブロッ
クの情報を記憶する２つのバンクを備えたメモリ101
と、メモリ101への情報の書込みを制御する書き込み制
御部102と、メモリ101からの情報の読出しを制御する読
み出し制御部103とを備えており、復号側には、誤りよ
って欠落した符号化グループの位置を検出する欠落グル
ープ位置検出部104と、欠落した符号化グループの位置
情報108を記憶するメモリ105と、復号された各マクロブ
ロックの情報を記憶する２つのバンクを備えたメモリ10
6と、メモリ106への情報の書込みを制御する書き込み制
御部102と、メモリ106からの情報の読出しを制御する読
み出し制御部107とを備えている。その他の構成は従来
の装置（図７）と変わりがない。

【００４１】この装置の符号化側では、量子化部408で
量子化されたＤＣＴ量子化係数と動きベクトル418と
が、走査方向順にメモリ101に出力され、書き込み制御
部102は、これらのデータを片方のメモリに順番に書き
込む。一方、読み出し制御部103は、その前の時点でそ
れらのデータが走査方向順に書込まれているもう片方の
メモリから、図３に示したように奇数番目のマクロブロ
ックと次のブロックラインの偶数番目のマクロブロック
のデータとを読みだす制御を行なう。つまり、読み出し
制御部103は、マクロブロックのデータが格納されてい
る先頭のアドレスの変換を行なう。読み出し前のマクロ
ブロックの位置を第Ｎ符号化グループ内の第Ｍ番目と
し、読み出し後のマクロブロックの位置を第Ｐ符号化グ
ループの第Ｑ番目とすると、Ｑ≦ｉｎｔ［（１１＋１）／２］の場合（注目している
符号化グループ内の奇数番目のマクロブロック）Ｎ＝ＰＭ＝２×Ｑ−１Ｑ＞ｉｎｔ［（１１＋１）／２］の場合（注目している
符号化グループの次の符号化グループの偶数番目のマク
ロブロック）Ｎ＝Ｐ＋１Ｍ＝２×（Ｑ−ｉｎｔ［（１１＋１）／２］）式（１）となる（なお、ｉｎｔ（ａ）はａ以下の直近の整数を表
す）。

【００４２】メモリ101の各バンクへの書き込みと読み
出しとが終了すると、バンクを切り替え、今まで書き込
まれていたメモリを読み出し側へ、読み出されていたメ
モリを書き込み側へと制御を切り替える。読出されたマ
クロブロックは、従来と同様、可変長符号化部412にお
いて可変長符号化が施され、同期用の符号と多重化さ
れ、誤り訂正符号が付与されて、伝送路へ出力される。

【００４３】復号側では、可変長復号部422が、誤り訂
正部420でも訂正できず、復号不可能な信号を検出した
場合に、その旨を欠落グループ位置検出104へ知らせ
る。欠落グループ位置検出部104は、欠落した符号化グ
ループの位置を検出し、その位置情報をメモリ105へ書
き込む。書き込み制御部102は、入力された順にデータ
をメモリ106の一方のバンクへ書き込む。読み出し制御
部107は、メモリ106のもう片方のバンクから、その前の
時点で書込まれたデータを、符号化側での順序の入れ替
えを元に戻す順番で、マクロブロック単位での読出しを
行なう。但し、メモリ105より送られた欠落グループ位
置情報108で、メモリ106から現在読み出している符号化
グループが欠落していると判明した場合には、読み出し
制御部107は、欠落グループ内のマクロブロックの周辺
ブロックの持つ動きベクトル情報で補間するように読み
出し制御を行なう。符号化側と同様に、メモリ106への
書き込みと読み出しとが終了すると、今まで書き込まれ
ていたメモリを読み出し側へ、読み出されていたメモリ
を書き込み側へ切り替える。

【００４４】このように第１実施例の装置では、符号化
側と復号側とに新たにメモリ及び読み出し制御／書き込
み制御部を追加することにより、伝送時の符号化グルー
プを空間的に離れたマクロブロックの組合せで構成する
ことが可能となり、また、復号側に欠落グループ位置検
出部を追加することにより、欠落グループ内のマクロブ
ロックの補間が可能となる。

【００４５】また、伝送時の符号化グループを空間的に
離れたマクロブロックで構成しているため、伝送誤りに
よって１つの符号化グループが失われた場合でも、その
画像の欠落の個々の広がりは再生画像内のマクロブロッ
クの範囲内に収まり、また、その欠落の影響は画像全体
に分散されて希釈される。そのため、画像の欠落があっ
ても、画像を全体的に認識することは可能となり、ま
た、画質の劣化は視覚的に目立たなくなる。

【００４６】また、欠落したマクロブロックの周辺のマ
クロブロックは存在しているので、欠落部分の精度の良
い補間が可能となる。

【００４７】なお、この実施例では、１符号化グループ
を１１マクロブロックで構成し、また、空間的に１つ置
きに位置するマクロブロックを取出して伝送時の符号化
グループを形成しているが、符号化グループ内のマクロ
ブロックの数や、取出すマクロブロックの空間的な離間
間隔などについては用途に応じて適宜切り替えることが
できる。

【００４８】（第２実施例）第２実施例の画像符号化復
号方法では、図４に示すように、伝送時の符号化グルー
プを再構成するに当たって、マクロブロック内の小ブロ
ックの組替えを行なっている。

【００４９】図４では、入力画像のブロックラインにお
ける走査方向順の各マクロブロックをＡ１〜Ａ11、Ｂ１
〜Ｂ11、‥のように表現し、１つのマクロブロック（例
えばＡ１）に含まれる情報の内、４つの小ブロック（ｎ
×ｍ画素）における輝度信号のＤＣＴ量子化係数をＡ１
−Ｙ１、Ａ１−Ｙ２、Ａ１−Ｙ３、Ａ１−Ｙ４で表し、
２つの小ブロックにおける色差信号のＤＣＴ量子化係数
をＡ１−Ｕ、Ａ１−Ｖで表し、このマクロブロックにお
ける動きベクトル等のオーバーヘッド情報をＡ１−ＯＨ
で表している。

【００５０】第２実施例では、マクロブロックに含まれ
る情報の内、輝度信号の情報についてだけ小ブロック単
位に分離し、Ｙ１が付いた情報、Ｙ２が付いた情報、Ｙ
３が付いた情報、Ｙ４が付いた情報の順（Ａ１−Ｙ１〜
Ｉ11−Ｙ１、Ａ１−Ｙ２〜Ｉ11−Ｙ２、Ａ１−Ｙ３〜Ｉ
11−Ｙ３、Ａ１−Ｙ４〜Ｉ11−Ｙ４）に並べ替えて、こ
の順序で各マクロブロックに４つずつの輝度信号の情報
を割り当てている。

【００５１】この画像符号化復号方法の実施は、基本的
には第１実施例の装置（図１）と同じ装置で行なわれ、
符号化側の量子化部408で量子化されたＤＣＴ量子化係
数は、書き込み制御部102によって、メモリ101の片方の
バンクに走査方向順に書き込まれる。読み出し制御部10
3は、データが書込まれているメモリ101のもう片方のバ
ンクから、図４に示すように、輝度信号の情報に関し
て、小ブロック単位でＡ１−Ｙ１、Ａ２−Ｙ１、‥Ｉ11
−Ｙ１、Ａ１−Ｙ２、Ａ２−Ｙ２、‥、Ｉ11−Ｙ２、Ａ
１−Ｙ３、‥、Ｉ11−Ｙ３、Ａ１−Ｙ４、‥、Ｉ11−Ｙ
４の順に読み出しを行なう。いま、第Ｐ符号化グループ
の第Ｑ番目のマクロブロック内の第Ｒ番目として読みだ
される小ブロックのデータが、メモリ上の第Ｍ符号化グ
ループの第Ｎ番目のマクロブロック内の第Ｌ番目である
とすると、Ａ＝（Ｐ−１）＊４４＋（Ｑ−１）＊４＋Ｒ（式２）Ｌ＝ｉｎｔ｛（Ａ−１）／９９｝＋１Ｍ＝ｉｎｔ［｛Ａ−１−（Ｌ−１）＊９９｝／１１］＋１Ｎ＝Ａ−（Ｌ−１）＊９９−（Ｍ−１）＊１１（式３）という変換になる。読み出し制御部103は、上式に従っ
て読み出すべき小ブロックの先頭アドレスの変換を行な
い図４の配置変換を実現する。メモリ101への書き込み
と読み出しとが終了すると、バンクを切り替える。読み
出し後の小ブロックデータは、従来と同様、可変長符号
化部412において可変長符号化が施され、同期用の符号
と多重化され、誤り訂正符号が付与されて、伝送路へ出
力される。

【００５２】復号側では、誤り訂正を行ない、同期用の
符号と輝度・色差信号のＤＣＴ量子化係数とオーバーヘ
ッド情報とに分離し、可変長復号を行なう。可変長復号
部422では誤り訂正できなかった符号が発生した場合、
欠落した符号化グループの位置を検出し、メモリ105に
その位置を保存する。可変長復号されたＤＣＴ量子化係
数とオーバーヘッド情報とは、入力された順にメモリ10
6へ書き込まれ、読み出し制御部107は、メモリからＤＣ
Ｔ量子化係数とオーバーヘッド情報とを読み出す。この
とき読み出し制御部107は、ＤＣＴ量子化係数につい
て、式２及び式３と同様の変換式を用いて、元の配置に
戻す。

【００５３】このように第２実施例の画像符号化復号方
法では、ｎ×ｍ画素からなる小ブロック単位の情報を別
の符号化グループに分散させて伝送することができるの
で、伝送誤りが発生し、１つの符号化グループが欠落し
た場合でも、他の符号化グループに配置されたｎ×ｍ画
素の小ブロックは再生することができ、欠落の広がりは
小ブロックの範囲に抑えられ、かつこれらが全体に分散
されて希釈されるので、視覚的に目立たなくなる。ま
た、小ブロックを別の符号化グループに分散させてある
ので、１つの符号化グループが欠落してもマクロブロッ
クすべての情報が欠落することがなくなり、そのため、
復号側で欠落部の補間を行なう場合にも、精度の良い補
間が可能になる。

【００５４】（第３実施例）第３実施例の画像符号化復
号方法は、図５に示すように、伝送時の符号化グループ
を再構成するに当たって、マクロブロックのＤＣＴ量子
化係数とオーバーヘッド情報との組合せを入替えてい
る。

【００５５】図５では、入力画像のブロックラインにお
ける走査方向順の各マクロブロックをＡ１〜Ａ11、Ｂ１
〜Ｂ11、‥のように表現し、１つのマクロブロック（例
えばＡ１）に含まれる情報の内、輝度信号のＤＣＴ量子
化係数をＡ１−Ｙで表し、色差信号のＤＣＴ量子化係数
をＡ１−Ｃで表し、このマクロブロックにおける動きベ
クトル等のオーバーヘッド情報をＡ１−ＯＨで表してい
る。

【００５６】この実施例では、図５のように、第１番目
の符号化グループは、第１符号化グループのＤＣＴ量子
化係数（Ａ１−Ｙ，Ａ１−Ｃ）と第２符号化グループの
オーバーヘッド情報（Ｂ１−ＯＨ）とで構成し、第２番
目以降の符号化グループも同様に、第ｉ番目の符号化グ
ループは、第ｉ番目の符号化グループのＤＣＴ量子化係
数と第ｉ＋１番目の符号化グループのオーバーヘッド情
報とで構成する。但し、第ｉ番目の符号化グループがフ
レーム内最後の符号化グループである場合は、第ｉ＋１
番目の符号化グループとして第１番目の符号化グループ
を用いる。

【００５７】この画像符号化復号方法を実施する装置
は、図２に示すように、符号化側には、ＤＣＴ量子化係
数を１ブロックライン分遅延させる遅延器300と、第１
ブロックラインの動きベクトルだけを遅延させる遅延器
301と、第１ブロックラインの動きベクトルだけを遅延
器301に入力するように切り替えを行なう切り替えスイ
ッチ302、303とを備え、復号側には、輝度信号及び色差
信号を記憶する２バンク構成のメモリ305と、メモリ305
への書込みを制御する書き込み制御部304と、メモリ305
からの輝度信号及び色差信号の読み出しを制御する読み
出し制御部306と、オーバーヘッド情報を記憶する２バ
ンク構成のメモリ308と、メモリ308への書き込みを制御
する書き込み制御部307と、メモリ308からのオーバーヘ
ッド情報の読出しを制御する読み出し制御部309とを備
えている。その他の構成は従来の装置（図７）と変わり
がない。

【００５８】この装置では、量子化部408で量子化され
たＤＣＴ量子化係数は、遅延器300に入力し、１ブロッ
クライン分だけ遅延されて可変長符号化部412に出力さ
れる。また、動きベクトル検出部401で検出された動き
ベクトルはスイッチ302へ入力する。このスイッチ302
は、スイッチ303とともに、フレーム内の第１ブロック
ライン処理時にのみ端子ａに接続し、それ以外の場合は
端子ｂに接続する。２つのスイッチに挾まれた遅延器30
1は、スイッチ302、303が端子ａに接続している期間の
み動作して、入力した動きベクトルを１フレーム期間に
渡って遅延させ、スイッチ302、303が端子ｂに接続して
いる期間は動作を停止する。

【００５９】このタイミングの様子を図６に示してい
る。ＤＣＴ量子化係数を１ブロックライン遅延した信号
とスイッチ303から出力された動きベクトルとは、可変
長符号化部412に入力し、ここで可変長符号化が行なわ
れる。このように遅延器とスイッチとを用いて、図５で
示したマクロブロック情報の配置が実現される。

【００６０】復号側では、分離部421で分離された輝度
信号及び色差信号のＤＣＴ量子化係数310が、可変長復
号部422で可変長復号された後、メモリ305に入力され、
書き込み制御部304は、入力したデータを入力順にメモ
リ305の一方のバンクに書き込むように制御する。ま
た、読み出し制御部306は、メモリ305の他方のバンクに
書込まれたデータを、書込まれた順序で順次読み出すよ
うに制御する。

【００６１】分離部421で分離されたオーバーヘッド情
報311は可変長復号部422で可変長復号された後、メモリ
308に入力する。オーバーヘッド情報は、図６を見て分
かる通り、第１ブロックラインがフレームの最後に入力
される。そのため、書き込み制御部307は、メモリ308上
の第２ブロックラインの位置より書き込みを始め、最後
に入力される第１ブロックラインをメモリ308上の先頭
の位置に書き込むように制御を行なう。読み出し制御部
309は、メモリ308に書込まれたデータを順次第１ブロッ
クラインから読み出すように制御を行なう。こうして得
られたＤＣＴ量子化係数から差分情報が再生され、ま
た、オーバーヘッド情報から予測画像が読出され、それ
らが加算されて画像の再生が行なわれる。

【００６２】このように第３実施例の画像符号化復号方
法では、１つのマクロブロックが持つ、ＤＣＴ量子化係
数とオーバーヘッド情報とを分離し、別々の符号化グル
ープで伝送することができるため、伝送誤りが発生して
もマクロブロックのすべての情報が失われてしまう事態
を避けることができ、復号側で欠落の補間を行なう場合
に、その処理が容易になる。

【００６３】なお、実施例では、伝送誤りへの対応につ
いて説明してきたが、本発明の画像符号化復号方法は、
データ蓄積時に発生する誤りに対しても、同様に、耐性
を備えている。

【００６４】

【発明の効果】以上の実施例の説明から明らかなよう
に、本発明の画像符号化復号方法は、入力画像を符号化
する複数の画素ブロックの空間的に隣接していないブロ
ックを組合せて伝送時または蓄積時の符号化グループを
構成しているため、伝送誤りなどの発生で符号化グルー
プが欠落した場合でも、その欠落の個々の広がりを小さ
な領域に抑え、また、欠落の影響を画像全体に拡散させ
て薄めることができる。従って、誤りの発生によって
も、画像の全体像は容易に把握することができ、また、
画像の劣化は視覚的に目立たない。また、欠落したブロ
ックを周辺のブロックの情報を用いて高い精度で補間す
ることができるため、誤りのある伝送路においても画質
劣化を抑えることができる。

【００６５】また、マクロブロックの小ブロックを単位
として、空間的に隣接していないブロックの組合せを行
なうことにより、符号化グループが欠落したときの影響
をさらに目立たなくさせ、画質劣化を小さく抑えること
ができる。

【００６６】また、１つのマクロブロックの持つＤＣＴ
量子化係数の情報とオーバーヘッド情報とを分離して異
なる符号化グループで伝送することにより、１つの符号
化グループが欠落したときでも、１つのマクロブロック
の持つ情報のすべてが失われることを回避することがで
き、復号側における補間を容易にし、再生画像の画質劣
化を抑えることができる。

【００６７】また、本発明の画像符号化復号装置は、従
来の装置に、メモリとその書込み／読出し制御手段等、
簡単な構成を追加するだけで、これらの画像符号化復号
方法を実施することができる。

【図面の簡単な説明】

【図１】第１実施例の画像符号化復号方法を実施する装
置の説明図、

【図２】第３実施例の画像符号化復号方法を実施する装
置の説明図、

【図３】第１実施例の画像符号化復号方法における符号
化グループの組合せを示す図、

【図４】第２実施例の画像符号化復号方法における符号
化グループの組合せを示す図、

【図５】第３実施例の画像符号化復号方法における符号
化グループの組合せを示す図、

【図６】第３実施例の画像符号化復号方法におけるのデ
ータのタイミングチャート、

【図７】従来の画像符号化復号方法を実施する装置の説
明図である。

【符号の説明】

101、106、105、305、308 メモリ 102、304、307 書き込み制御部 103、107、306、309 読み出し制御部 104 欠落グループ位置検出部 108 欠落位置情報 300、301 遅延器 302、303、403 スイッチ 401 動きベクトル検出部 402 フレーム内／フレーム間符号化判定部 404、424 フレームメモリ 405、423 アドレス制御部 406 減算部 407 ＤＣＴ 408 量子化部 409 逆量子化部 410 逆ＤＣＴ 411 加算部 412 可変長符号化部 413 同期用符号発生部 414 多重化部 415 誤り訂正符号付与部 416 入力画像信号 417 フレーム内／フレーム間符号化判定結果 418、425 動きベクトル 419 予測画像信号 420 誤り訂正部 421 分離部 422 可変長復号部 426 係数情報 427 出力画像信号

Claims

【特許請求の範囲】

【請求項１】入力画像の画像データを符号化ブロック
の単位に分けて符号化し、前記符号化ブロックの複数個
を纏めて符号化グループを形成し、前記符号化グループ
に識別し得る符号を付与して復号側に供給する画像符号
化復号方法において、符号化側で、空間的に隣接しない前記符号化ブロックを
纏めて前記符号化グループを形成し、復号側で、符号化
側と逆の手順により前記符号化ブロックを本来の位置に
戻して復号することを特徴とする画像符号化復号方法。
【請求項２】復号側で、失われた前記符号化ブロック
の情報を、空間的に隣接する符号化ブロックの情報を用
いて補間することを特徴とする請求項１に記載の画像符
号化復号方法。
【請求項３】入力画像の画像データを符号化ブロック
の単位に分けて符号化し、前記符号化ブロックの複数個
を纏めて符号化グループを形成し、前記符号化グループ
に識別し得る符号を付与して復号側に供給する画像符号
化復号方法において、符号化側で、前記符号化ブロックの構成要素である小ブ
ロックの空間的に隣接しないものを組合せて、前記符号
化グループを構成する符号化ブロックを形成し、復号側
で、符号化側と逆の手順により前記小ブロックを本来の
位置に戻して復号することを特徴とする画像符号化復号
方法。
【請求項４】入力画像の画像データを符号化ブロック
の単位に分けて符号化し、前記符号化ブロックの複数個
を纏めて符号化グループを形成し、前記符号化グループ
に識別し得る符号を付与して復号側に供給する画像符号
化復号方法において、符号化側で、前記符号化ブロックの各々がもつ複数の情
報を分離して、それらの情報を異なる前記符号化グルー
プに配属し、復号側で、前記複数の情報を本来の組合せ
に戻して前記符号化ブロックの情報を復号することを特
徴とする画像符号化復号方法。
【請求項５】前記符号化側で、前記符号化ブロックが
もつ周波数成分に関する情報と、それ以外の情報とを分
離することを特徴とする請求項４に記載の画像符号化復
号方法。
【請求項６】符号化側に、入力画像の画像データを符
号化ブロックの単位に分けて符号化する符号化手段と、
前記符号化ブロックの複数個から成る符号化グループに
対応して前記符号化グループを特定する符号を発生する
符号発生手段と、前記符号化グループの符号化データと
前記特定する符号とを多重化する多重化手段とを備え、
復号側に、符号化ブロック単位で符号化されたデータを
順次復号する復号手段を備える画像符号化復号装置にお
いて、符号化側に、前記符号化手段から出力される符号化デー
タの出力順序を入れ替える入替手段を設け、復号側に、入力した符号化データの入力順序を符号化側
と逆の手順で入れ替える入替手段を設けたことを特徴と
する画像符号化復号装置。
【請求項７】前記入替手段を、前記符号化データを書
込むメモリと、前記メモリへのデータ書込み順序及びデ
ータ読出し順序を制御する制御手段とで構成したことを
特徴とする請求項６に記載の画像符号化復号装置。
【請求項８】符号化側に、入力画像の画像データを符
号化ブロックの単位に分けて符号化する符号化手段と、
前記符号化ブロックの複数個から成る符号化グループに
対応して前記符号化グループを特定する符号を発生する
符号発生手段と、前記符号化グループの符号化データと
前記特定する符号とを多重化する多重化手段とを備え、
復号側に、符号化ブロック単位で符号化されたデータを
順次復号する復号手段を備える画像符号化復号装置にお
いて、符号化側に、前記符号化ブロックのもつ複数の情報がそ
れぞれ異なる前記符号化グループに属するように、それ
らの情報の前記多重化手段への入力時期を調整する遅延
手段を設け、復号側に、前記複数の情報が前記復号手段に同時期に入
力するように調整する調整手段を設けたことを特徴とす
る画像符号化復号装置。