JP3264320B2 - 画像符号化装置および方法、並びに画像復号装置および方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび方法、並びに画像復号装置および方法に関し、特
に、画像信号を、アナログまたはデジタルの電話回線、
専用のデータ伝送回線などの種々の転送レートを持った
伝送装置を使って伝送したり、また、光ディスク、磁気
ディスク、ＲＡＭなどの種々の記憶容量を持った蓄積メ
ディアに記録する場合に用いて好適な画像符号化装置お
よび方法、並びに画像復号装置および方法に関する。

【０００２】

【従来の技術】画像の符号化方式の１つに、オブジェク
ト・スケーラビリティの機能を持った画像の符号化方式
がある。オブジェクト・スケーラビリティを用いた符号
化では、図９に示すように、画像中のオブジェクトを他
の背景部分から切り出して符号化する。オブジェクトを
切り出す範囲を示すのがシェイプで、切り出されたオブ
ジェクトの輝度、色差の情報を示すのがテクスチャであ
る。符号化装置では、背景画像を符号化するとともに、
オブジェクト毎にそのテクスチャとシェイプを符号化す
る。そして、復号装置では、符号化された背景画像を復
号するとともに、オブジェクト毎に符号化されたテクス
チャとシェイプを復号した後、復号したテクスチャをシ
ェイプの示す位置に基づいて、背景画像に合成する。な
お、シェイプの情報はキー画像とも呼ばれ、２値画像も
しくは多値画像で表現される。シェイプで切り取られる
テクスチャはフィル画像とも呼ばれる。

【０００３】このオブジェクト・スケーラビリティを用
いると、オブジェクト毎の操作と、オブジェクト毎の画
質の調節が可能になる。オブジェクト毎の操作では、興
味のあるオブジェクトのみのダウンロードを行うこと
や、任意のオブジェクトを他の画像に合成することなど
が出来る。オブジェクト毎の画質の調整では、画像を、
重要な物体と背景とに分け、重要な物体は細かく、背景
は粗く量子化して、符号化することができる。このと
き、背景を粗く量子化したことによる符号の減少分を、
重要な物体を細かく量子化するために用いれば、同じ符
号発生量で主観的な画質を向上できるのである。

【０００４】これらの利点を利用するために、シェイプ
の情報自体の符号化が重要となる。シェイプの情報の符
号化方法のもつ望ましい性質として、他の符号化の場合
と同様に、発生する符号の量が少ないこと、記憶媒体や
伝送路におけるエラーに強いこと、符号化または復号に
かかる遅延が少ないことなどがある。

【０００５】画像の符号化において、一般的に動き補償
の行いやすさ、ＤＣＴ（離散コサイン変換）との親和性
などのため、図１０に示すように、１フレーム（１画
面）が１６×１６画素のブロックに分割され、このブロ
ックが処理の単位とされる。この１６×１６画素のブロ
ックはマクロブロックと呼ばれる。符号化する画像（フ
レーム）はマクロブロックに分割され、上の行から下の
行への順で、かつ、同じ行の中では左から右への順で、
処理が行われる。この順で任意の数のマクロブロックを
まとめたものはスライスと呼ばれる。通常、図１１に示
すように、各スライスが２つ以上の行にわたることがな
いようにスライスが規定されるが、一般的には、図１２
に示すように、任意の区切り方のスライスも考えられ
る。

【０００６】図１３にオブジェクト・スケーラビリティ
を用いた符号化装置を示す。図１３の装置による処理の
流れは次のとおりである。なお、説明を簡単にするため
に、ここでは、１つのオブジェクトに対するシェイプと
テクスチャの符号化について説明する。

【０００７】シェイプ入力端子１から入力されたシェイ
プは、シェイプ入力バッファ２に蓄えられる。シェイプ
フレーム符号化器３では、シェイプ入力バッファ２に蓄
えられたシェイプを１フレーム毎に符号化し、切り替え
器１２に送る。

【０００８】シェイプフレーム符号化器３における符号
化方法としては、次にあげるいくつかの方法が考えられ
ている。すなわち、ファクシミリにおける符号化方式で
あるＭＭＲ（Modified Modified READ）に基づく方法、
ＪＢＩＧ（JointBi-level Image Expert Group：その詳
細は、テレビジョン学会誌 Vol.48, No.1, pp.65-68(1
994)に記述されている）に基づく方法、物体の内側と外
側との境界線を、その始点と続く向きによって符号化す
るチェーンコーディングに基づく方法、すべての葉が同
一の場合を省略した４分木に基づく方法などである。

【０００９】テクスチャ入力端子４から入力されたテク
スチャはテクスチャ入力バッファ５に蓄えられる。テク
スチャフレーム符号化器６では、テクスチャ入力バッフ
ァ５に蓄えられたテクスチャを１フレーム毎に符号化
し、切り替え器１２に送る。

【００１０】テクスチャフレーム符号化器６における符
号化は、図１３の点線の枠の中に示される装置で行われ
る。すなわち、テクスチャ入力端子４に対する入力はラ
スタスキャン順なので、テクスチャ入力バッファ５にお
いて複数のマクロブロックからなるスライス毎に分割し
てテクスチャスライスバッファ７に蓄えられる。このと
きスライスの区切りの信号はスライス制御器１１からテ
クスチャスライスバッファ７に伝えられる。テクスチャ
スライス符号化器８では、テクスチャスライスバッファ
７から供給されるテクスチャを符号化し、生成された符
号を切り替え器１０に送る。テクスチャスライス符号化
器８の内部では、通常、マクロブロックを単位として符
号化が行われる。符号化を行う際に、１枚のテクスチャ
内で符号化するイントラ符号化や時間内に前後するテク
スチャを利用して符号化するインター符号化が適宜選択
されるような動き補償およびＤＣＴ(Discrete Cosign T
ransform)から、さらにインター符号化における動き補
償で用いるための動き量の符号化や、ＤＣＴにおける直
流成分の符号化などでは、マクロブロック間の相関も利
用されている。このマクロブロック間の相関は異なるス
ライスのマクロブロック間では利用されず、各スライス
内で閉じた符号化になっている。

【００１１】切り替え器１０では、同期コード生成器９
で生成された同期コードと、テクスチャスライス符号化
器８で作られた１スライス分のテクスチャの符号とを交
互に切り替えて出力する。このとき、スライス制御器１
１から送られるスライスの区切り信号をもとに、切り替
え器１０が制御される。

【００１２】切り替え器１２ではシェイプフレーム符号
化器３で作られた１フレーム分のシェイプの符号と、テ
クスチャフレーム符号化器６で作られ、切り替え器１０
より出力された１フレーム分のテクスチャの符号とを、
交互に切り替えて符号出力端子１３に出力する。この切
り替え器１２の制御は、１フレーム分の符号化が終わっ
たことを示す信号が、シェイプフレーム符号化器３およ
びテクスチャスライス符号化器８から切り替え器１２へ
送られることによって行われる。

【００１３】図１３の符号化装置によって符号化された
符号は、図１４の復号装置で復号される。図１４の復号
装置では、符号入力端子２１から入力された符号は、切
り替え器２２において、シェイプの符号、テクスチャの
符号の順で分離され、１フレーム毎にシェイプフレーム
復号器２３とテクスチャフレーム復号器２６に送られ
る。シェイプフレーム復号器２３およびテクスチャフレ
ーム復号器２６のテクスチャスライス復号器２８から、
１フレーム分の符号を復号し終わったことを示す信号を
受け取ることによって切り替え器２２の制御が行われ
る。

【００１４】シェイプフレーム復号器２３では、入力さ
れた１フレーム分のシェイプの符号を復号する。復号さ
れた１フレーム分のシェイプは、シェイプ出力バッファ
２４を介してシェイプ出力端子２５から出力される。

【００１５】テクスチャフレーム復号器２６では入力さ
れた１フレーム分のテクスチャの符号を復号する。テク
スチャフレーム復号器２６における復号は、図１４の点
線の枠の中に示される装置で行われる。つまり、テクス
チャフレーム復号器２６に対する入力は、同期コード検
出器２７とテクスチャスライス復号器２８に供給され
る。同期コード検出器２７は、入力される符号に同期コ
ードが現れたときこれを検出し、リセット信号をテクス
チャスライス復号器２８に送る。テクスチャスライス復
号器２８は、同期コード検出器２７からリセット信号が
送られたとき、それ以降の１スライス分の符号を復号
し、復号されたテクスチャをテクスチャスライスバッフ
ァ２９に送る。テクスチャスライスバッファ２９の復号
されたテクスチャは、テクスチャ出力バッファ３０に送
られ、テクスチャ出力バッファ３０に記憶される。テク
スチャ出力バッファ３０に記憶された１フレーム分のテ
クスチャは、テクスチャ出力バッファ３０からテクスチ
ャ出力端子３１を介して出力される。

【００１６】図示していないが、テクスチャ出力端子３
１に出力されたテクスチャから、シェイプ出力端子２５
に出力されたシェイプによって指定された部分を切り出
して、他の画像に合成し、表示する。

【００１７】テクスチャを表す符号に含まれる同期コー
ドには、続くスライスの復号画像上での位置が含まれて
いるので、テクスチャの符号の部分においてエラーが起
こっても、次のスライスからは復号出来るという意味で
エラーに対する耐性がある。

【００１８】

【発明が解決しようとする課題】以上述べたように、従
来の復号装置では、符号にエラーが起きたとき、テクス
チャの符号の部分でのエラーなら、スライス単位で同期
コードが付加されているため、次のスライスで回復でき
るものの、シェイプの符号の部分でのエラーは、同じフ
レームの中では回復できないという問題があった。シェ
イプが復号できない場合、テクスチャが復号できたとし
ても、その画像を復号画像上のどこに表示すべきか分か
らないため、シェイプのエラーが起こると、そのフレー
ムの終りまでは表示することができず、同期コードを使
用していながら、シェイプの符号の部分で起こるエラー
に弱いという問題があった。

【００１９】また、上述した符号化装置では、１フレー
ム分のシェイプをすべて符号化してから、対応するテク
スチャを符号化するため、１フレーム分の符号化遅延が
発生する。また、１フレーム分のシェイプをすべて復号
してから、対応するテクスチャを復号するので、１フレ
ーム分の復号遅延が発生する。このように、符号化およ
び復号時の遅延が長いという問題があった。

【００２０】そこで本発明は、符号化効率を保ったま
ま、エラー耐性を強化し、符号化および復号時の遅延を
減少させることを目的とする。これにより、符号化効率
が高く、エラー耐性が強く、符号化および復号時の遅延
が少ないオブジェクト・スケーラブルな符号化が実現さ
れる。

【００２１】

【課題を解決するための手段】本発明の画像符号化装置
は、シェイプおよびテクスチャを所定単位毎に分割する
分割手段と、分割手段により分割されたシェイプを符号
化し、シェイプ符号を発生する第１の符号化手段と、分
割手段により分割されたテクスチャを符号化し、テクス
チャ符号を発生する第２の符号化手段と、所定単位毎の
シェイプ符号と所定単位毎のテクスチャ符号に対して同
期コードを発生する発生手段と、所定単位毎のシェイプ
符号、または対応する所定単位毎のテクスチャ符号の、
いずれか一方を他方の前に配置すると共に、さらにその
前に発生手段により発生した同期コードを配置する配置
手段とを備えることを特徴とする。

【００２２】本発明の画像符号化装置においては、前記
所定単位はスライス単位であるようにすることができ
る。

【００２３】本発明の画像符号化装置においては、前記
第１の符号化手段により符号化された前記シェイプ符号
に対応する前記シェイプを記憶する第１の記憶手段と、
前記第２の符号化手段により符号化された前記テクスチ
ャ符号に対応する前記テクスチャを記憶する第２の記憶
手段とをさらに設け、前記第１の符号化手段には、第１
の記憶手段により記憶された、前記シェイプを参照し
て、次の前記シェイプを符号化するようにさせ、前記第
２の符号化手段には、第２の記憶手段により記憶され
た、前記テクスチャを参照して、次の前記テクスチャを
符号化するようにさせることができる。

【００２４】

【００２５】本発明の画像復号装置は、符号化された画
像情報に含まれている同期コードを検出する検出手段
と、画像情報に含まれ、かつ、検出手段により検出され
た同期コードの後部に配置されている符号化されたシェ
イプ符号を復号して、復号されたシェイプを発生する第
１の復号手段と、画像情報に含まれ、かつ、検出手段に
より検出された同期コードの後部に配置されている符号
化されたテクスチャを復号して、復号されたテクスチャ
を発生する第２の復号手段とを備えることを特徴とす
る。

【００２６】本発明の画像復号装置においては、前記所
定単位はスライス単位であるようにすることができる。

【００２７】本発明の画像復号装置においては、前記第
１の復号手段により復号された前記シェイプを記憶する
第１の記憶手段と、前記第２の復号手段により復号され
た前記テクスチャを記憶する第２の記憶手段とをさらに
設け、前記第１の復号手段には、第１の記憶手段により
記憶された前記シェイプを参照して、次の前記シェイプ
を復号するようにさせ、前記第２の復号手段には、第２
の記憶手段により記憶された前記テクスチャを参照し
て、次の前記テクスチャを復号するようにさせることが
できる。

【００２８】本発明の画像符号化方法は、シェイプおよ
びテクスチャを所定単位毎に分割する分割ステップと、
分割ステップの処理により分割されたシェイプを符号化
し、シェイプ符号を発生する第１の符号化ステップと、
分割ステップの処理により分割されたテクスチャを符号
化し、テクスチャ符号を発生する第２の符号化ステップ
と、所定単位毎のシェイプ符号と所定単位毎のテクスチ
ャ符号に対して同期コードを発生する発生ステップと、
所定単位毎のシェイプ符号、または対応する所定単位毎
のテクスチャ符号の、いずれか一方を他方の前に配置す
ると共に、さらにその前に発生ステップの処理により発
生した前記同期コードを配置する配置ステップとを含む
ことを特徴とする。

【００２９】

【００３０】本発明の画像符号化方法においては、前記
所定単位はスライス単位であるようにすることができ
る。 本発明の画像復号方法は、符号化された画像情報に
含まれている同期コードを検出する検出ステップと、画
像情報に含まれ、かつ、検出ステップの処理により検出
された同期コードの後部に配置されている符号化された
シェイプ符号を復号して、復号されたシェイプを発生す
る第１の復号ステップと、画像情報に含まれ、かつ、検
出ステップの処理により検出された同期コードの後部に
配置されている符号化されたテクスチャを復号して、復
号されたテクスチャを発生する第２の復号ステップとを
含むことを特徴とする。 本発明の画像復号方法において
は、前記所定単位はスライス単位であるようにすること
ができる。 本発明の画像符号化装置および方法において
は、シェイプおよびテクスチャが所定単位毎に分割さ
れ、分割されたシェイプが符号化され、シェイプ符号が
発生し、分割されたテクスチャが符号化され、テクスチ
ャ符号が発生し、所定単位毎のシェイプ符号と所定単位
毎のテクスチャ符号に対して同期コードが発生し、所定
単位毎のシェイプ符号、または対応する所定単位毎のテ
クスチャ符号の、いずれか一方が他方の前に配置される
と共に、さらにその前に同期コードが配置される。 本発
明の画像復号装置および方法においては、符号化された
画像情報に含まれている同期コードが検出され、画像情
報に含まれ、かつ、検出された同期コードの後部に配置
されている符号化されたシェイプ符号が復号され、復号
されたシェイプが発生し、画像情報に含まれ、かつ、検
出された同期コードの後部に配置されている符号化され
たテクスチャが復号され、復号されたテクスチャが発生
する。

【００３１】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００３２】請求項１に記載の画像符号化装置は、シェ
イプを、所定単位毎に符号化し、シェイプ符号を発生す
る第１の符号化手段（例えば図１のシェイプスライス符
号化器４２）と、テクスチャを、所定単位毎に符号化
し、テクスチャ符号を発生する第２の符号化手段（例え
ば図１のテクスチャスライス符号化器８）と、所定単位
毎のシェイプ符号と所定単位毎のテクスチャ符号に対し
て同期コードを発生する発生手段（例えば図１の同期コ
ード生成器９）と、発生された同期コードを所定単位毎
のシェイプ符号と所定単位毎のテクスチャ符号に対して
所定の位置に配置する配置手段（例えば図１の切り替え
器１２）とを備えることを特徴とする。

【００３３】

【００３４】請求項３に記載の画像復号装置は、符号化
された画像情報に含まれている同期コードを検出する検
出手段（例えば図３の同期コード検出器２７）と、検出
手段からの検出信号に応じて、符号化された画像情報に
含まれる所定単位毎に符号化されているシェイプ符号を
復号して、復号されたシェイプを発生する第１の復号手
段（例えば図３のシェイプスライス復号器５１）と、検
出手段からの検出信号に応じて、符号化された画像情報
に含まれる所定単位毎に符号化されているテクスチャを
復号して、復号されたテクスチャを発生する第２の復号
手段（例えば図３のテクスチャスライス復号器２８）と
を備えることを特徴とする。

【００３５】

【００３６】以下に、本発明の実施の形態を説明する
が、本発明の主旨を逸脱しない範囲において、様々な変
形や応用例が考え得る。従って、本発明の要旨は、本実
施の形態に限定されるものではない。

【００３７】図１は、本発明の画像符号化装置の構成を
示すブロック図であり、図１３における場合と対応する
部分には同一の符号を付してあり、その説明は適宜省略
する。

【００３８】図１の実施の形態においては、シェイプ入
力バッファ２の出力が、シェイプスライスバッファ４１
に供給され、記憶されるようになされている。そして、
シェイプスライスバッファ４１の出力が、シェイプスラ
イス符号化器４２に入力されている。スライス制御器４
３は、シェイプスライスバッファ４１、テクスチャスラ
イスバッファ７、および切り替え器１２に制御信号を出
力している。切り替え器１２は、同期コード生成器９、
シェイプスライス符号化器４２、またはテクスチャスラ
イス符号化器８の出力を順次選択し、符号出力端子１３
を介してディスク４４に供給し、記録させたり、あるい
は、所定の伝送路４５に伝送するようになされている。
その他の構成は、図１３における場合と同様である。

【００３９】シェイプ入力端子１から入力されたシェイ
プはシェイプ入力バッファ２に蓄えられる。なお、この
シェイプは、２値もしくは多値画像である。シェイプ入
力バッファ２のデータはラスタスキャン順であるのでス
ライス毎にまとめられ、シェイプスライスバッファ４１
に送られる。このとき、スライスの区切りについての情
報はスライス制御器４３からシェイプスライスバッファ
４１に供給される。スライスの区切り方は、図１２に示
すように、複数の行のマクロブロックが、１つのスライ
ス内に存在する場合を含む任意の区切り方とすることが
できる。シェイプスライス符号化器４２ではシェイプス
ライスバッファ４１にある、１スライス分のデータを、
スライス内の相関を用いて符号化し、生成した符号を切
り替え器１２に送る。

【００４０】テクスチャ入力端子４から入力されたテク
スチャは、テクスチャ入力バッファ５に蓄えられる。テ
クスチャ入力バッファ５のデータはラスタスキャン順で
あるので、テクスチャ入力バッファ５において、スライ
ス毎にまとめられ、テクスチャスライスバッファ７に送
られる。このとき、スライスの区切りについての情報は
スライス制御器４３からテクスチャスライスバッファ７
に送られる。そのため、シェイプのスライスの区切り
と、テクスチャのスライスの区切りは一致する。テクス
チャスライス符号化器８では、テクスチャスライスバッ
ファ７にある、１スライス分のデータをスライス内の相
関を用いて符号化し、生成した符号を切り替え器１２に
送る。

【００４１】切り替え器１２では、同期コード生成器９
で生成された同期コード、シェイプスライス符号化器４
２から出力された１スライス分のシェイプの符号、テク
スチャスライス符号化器８から出力された１スライス分
のテクスチャの符号を、順に切り替えて、符号出力端子
１３に出力する。従って、符号出力端子１３より出力さ
れる符号は、図２に示すように、同期コード、１スライ
ス分のシェイプ符号、１スライス分のテクスチャ符号の
順になる。切り替え器１２は、スライス制御器４３から
得られるスライスの区切り情報をもとに制御される。

【００４２】符号出力端子１３より出力された符号は、
図示せぬ変調回路により変調されるなどして、ディスク
４４に記録されたり、あるいは、伝送路４５に伝送され
る。

【００４３】この図１の符号化装置では、１スライス分
のシェイプの符号と１スライス分のテクスチャの符号の
組に対して、同期コード生成器９で生成した１個の同期
コードが付加されている。

【００４４】また、この装置では、シェイプおよびテク
スチャをスライス単位で扱うため、１スライス分のデー
タが入力されるまでの時間が符号化遅延となる。図１１
に示すように、１つのスライスに異なる行のマクロブロ
ックが入ることがない場合には、この符号化遅延は１６
ライン分となる。つまり、ラスタスキャンで入力された
画像をマクロブロック単位で符号化するだけでも、１６
ライン分の遅延が必要であるから、この図１の符号化装
置の遅延は非常に短いといえる。

【００４５】図３は、図１の符号化装置により符号化さ
れ、ディスク４４に記録されるか、伝送路４５を介して
伝送された符号を復号する復号装置の構成例を示してお
り、図１４に示す場合と対応する部分には同一の符号を
付してあり、その説明は適宜省略する。

【００４６】すなわち、この復号装置においては、ディ
スク４４より再生されるか、伝送路４５を介して伝送さ
れてきた符号が、図示せぬ復調回路により復調された
後、符号入力端子２１から、同期コード検出器２７に供
給されるようになされている。また、符号入力端子２１
より供給された符号は、切り替え器２２を介して、シェ
イプスライス復号器５１と、テクスチャスライス復号器
２８に供給されるようになされている。同期コード検出
器２７は、入力された符号から、同期コードを検出し、
同期コードを検出したとき、リセット信号を切り替え器
２２、シェイプスライス符号化器５１、およびテクスチ
ャスライス復号器２８に出力するようになされている。

【００４７】シェイプスライス復号器５１は、切り替え
器２２より供給されたシェイプを復号し、復号されたシ
ェイプを、シェイプスライスバッファ５２に出力するよ
うになされている。そして、シェイプスライスバッファ
５２の出力が、シェイプ出力バッファ２４に供給されて
いる。その他の構成は、図１４における場合と同様であ
る。

【００４８】符号入力端子２１から入力された符号は、
同期コード検出器２７と切り替え器２２に送られる。同
期コード検出器２７は、入力された符号から同期コード
を検出し、切り替え器２２、シェイプスライス復号器５
１、テクスチャスライス復号器２８にリセット信号を送
る。切り替え器２２は、同期コード検出器２７からリセ
ット信号が送られた時点からの入力符号を、シェイプの
符号と、続くテクスチャの符号とに分け、それぞれをシ
ェイプスライス復号器５１とテクスチャスライス復号器
２８に送る。

【００４９】シェイプスライス復号器５１が１スライス
分の符号の復号を終了したことを示す信号が、切り替え
器２２に伝えられ、切り替え器２２は、この信号を、テ
クスチャスライス復号器２８に送る符号のはじまりとし
て認識する。シェイプスライス復号器５１は同期コード
検出器２７からリセット信号が送られた時点からの入力
符号を１スライス分のシェイプとして復号し、復号され
たシェイプをシェイプスライスバッファ５２に送る。シ
ェイプスライスバッファ５２のシェイプは、シェイプ出
力バッファ２４に送られ、シェイプ出力バッファ２４に
記憶される。シェイプ出力バッファ２４は、スライス順
で供給されたシェイプをラスタスキャン順に変換してシ
ェイプ出力端子２５を介して出力する。

【００５０】テクスチャスライス復号器２８は切り替え
器２２からの入力符号を１スライス分のテクスチャとし
て復号し、復号されたテクスチャをテクスチャスライス
バッファ２９に送る。テクスチャスライスバッファ２９
のテクスチャは、テクスチャ出力バッファ３０に送ら
れ、テクスチャ出力バッファ３０に記憶される。テクス
チャ出力バッファ３０は、スライス順で供給されたシェ
イプをラスタスキャン順に変換してテクスチャ出力端子
３１を介して出力する。

【００５１】図１の符号化装置から出力される符号は、
図２に示すように、各スライスについて、同期コードに
続いて、１スライス分のシェイプの符号と、１スライス
分のテクスチャの符号が順番に並んだものである。その
ため、エラーが、シェイプの符号の部分で発生しても、
テクスチャの符号の部分で発生しても、更に同期コード
の部分で発生しても、その１つのスライスのデータが復
号できないだけで、次のスライス（エラーのないスライ
ス）からは正しく復号することができる。このように、
図１の符号化装置で符号化し、図３の復号装置によって
復号するならば、符号を記憶させる媒体上、または符号
を伝送する伝送路上でエラーがあったとしても、そのエ
ラーの影響はそのスライスのみにとどまるという強いエ
ラー耐性を発揮することができる。

【００５２】また、シェイプおよびテクスチャをスライ
ス単位で扱うため、１スライス分のデータが出力バッフ
ァ２４，３０にたまるまでの時間が復号遅延となる。図
１１に示すように、１つのスライスに異なる行のマクロ
ブロックが入ることがない場合には、この復号遅延は１
６ライン分となる。一方、マクロブロック単位で復号し
た画像をラスタスキャンで出力させるためにも、１６ラ
イン分の遅延が必要であるから、この図３の復号装置の
遅延は非常に短いといえる。

【００５３】図４は、本発明の符号化装置の他の構成例
を表している。この構成例においては、シェイプスライ
スバッファ４１からのシェイプが、シェイプ参照バッフ
ァ６１に供給され、そのシェイプが記憶されるととも
に、シェイプスライス符号化器４２に供給され、そのシ
ェイプが符号化される。また、テクスチャスライスバッ
ファからのテクスチャが、テクスチャ参照バッファ６２
に供給され、そのテクスチャが記憶されるとともに、テ
クスチャスライス符号化器８に供給され、そのテクスチ
ャが符号化される。その際、シェイプスライス符号化器
４２とテクスチャスライス符号化器８は、それぞれシェ
イプ参照バッファ６１またはテクスチャ参照バッファ６
２に記憶されたデータを参照して、符号化処理を行うよ
うになされている。また、図１における同期コード生成
器９は省略されている。その他の構成は、図１における
場合と同様である。

【００５４】シェイプ参照バッファ６１は、シェイプス
ライスバッファ４１から供給されるシェイプの画素値を
記憶する。シェイプスライス符号化器４２は、シェイプ
スライスバッファ４１からスライス単位で供給されるシ
ェイプの各画素値を、シェイプ参照バッファ６１に保持
されている、すでに符号化が終了した位置に存在するシ
ェイプの近傍の複数の画素値を参照しながら、符号化す
る。例えば、いま、図１２に示すスライス４のシェイプ
を符号化する場合であれば、シェイプ参照バッファ６１
のシェイプ（スライス１乃至スライス３の画素値）とシ
ェイプスライスバッファ４１に保持されているシェイプ
（スライス４のデータ）は、図５に示されるような関係
になり、シェイプ参照バッファ６１のシェイプ（スライ
ス１乃至スライス３の画素値）が参照される。ただし、
スライス４のシェイプを符号化している場合、すでに符
号化が終了した位置に存在するスライス４のシェイプの
画素値が、シェイプ参照バッファ６１に保持され、参照
画素として使用される。

【００５５】また、テクスチャ参照バッファ６２は、テ
クスチャスライスバッファ７から供給されるテクスチャ
の画素値を記憶する。テクスチャスライス符号化器８
は、テクスチャスライスバッファ７からスライス単位で
供給されるテクスチャをマクロブロック毎に、テクスチ
ャ参照バッファ６２に保持されている、すでに符号化が
終了した位置に存在するテクスチャの近傍のマクロブロ
ックを参照しながら、符号化する。この場合において
も、データの関係は図５に示されるようになる。ただ
し、スライス４のテクスチャを符号化している場合、す
でに符号化が終了した位置に存在するスライス４のテク
スチャのマクロブロックがテクスチャ参照バッファ７に
保持され、参照マクロブロックとして使用される。

【００５６】図４の符号化装置では、シェイプスライス
符号化器４２およびテクスチャスライス符号化器８で、
近傍のデータとの相関を用いて符号化することができる
ため、符号化効率が高くなる。また、この符号化装置で
は、スライス毎に同期コードを入れないため、図１の実
施の形態よりも符号化効率が高くなる。

【００５７】勿論、図４の符号化装置においても、図１
の装置と同様に、同期コード生成器を用い、１フレーム
（オブジェクト単位）毎に同期コードを挿入するように
してもよい。この場合、あるフレームにおいてエラーが
起きたとしても、エラーの影響はそのフレームだけで完
結するため、従って、エラー耐性が得られる。

【００５８】図６は、図４の符号化装置により符号化さ
れた符号を復号する復号装置の構成例を表している。こ
の復号装置においては、図３における同期コード検出器
２７が省略され、シェイプ参照バッファ７１とテクスチ
ャ参照バッファ７２が設けられている。そして、シェイ
プ参照バッファ７１には、シェイプスライス復号器５１
で復号されたシェイプが記憶され、テクスチャ参照バッ
ファ７２には、テクスチャスライス復号器２８で復号さ
れたテクスチャが記憶されるようになされている。その
他の構成は、図３における場合と同様である。

【００５９】シェイプ参照バッファ７１は、すでに復号
されたスライスのシェイプを記憶する。シェイプスライ
ス復号器５１は、入力されたシェイプの符号を、シェイ
プ参照バッファ７１に保持されている、すでに復号され
たスライスのシェイプの画素値を参照して復号し、復号
されたシェイプをシェイプスライスバッファ５２とシェ
イプ参照バッファ７１に送る。この場合も、データの関
係は、図５に示されるようになる。ただし、スライス４
のシェイプを復号している場合、すでに復号が終了した
位置に存在するスライス４のシェイプの復号画素値が、
シェイプ参照バッファ７１に保持され、参照画素として
使用される。

【００６０】また、テクスチャ参照バッファ７２は、す
でに復号されたスライスのテクスチャを記憶する。テク
スチャスライス復号器２８は、入力されたテクスチャの
符号を、マクロブロック単位でテクスチャ参照バッファ
７２に保持されている、すでに復号されたスライスを構
成するマクロブロックを参照して復号し、復号されたテ
クスチャをテクスチャスライスバッファ２９とテクスチ
ャ参照バッファ７２に送る。この場合も、データの関係
は、図５に示されるようになる。ただし、スライス４の
テクスチャを復号している場合、すでに復号が終了した
位置に存在するスライス４のテクスチャの復号画素値
が、テクスチャ参照バッファに保持され、参照マクロブ
ロックとして使用される。

【００６１】シェイプスライス復号器５１およびテクス
チャスライス復号器２８では、すでに復号した近傍のデ
ータとの相関を用いて復号することができるため、符号
化効率が高い符号を復号することができる。また、スラ
イス毎に同期コードは挿入されていないため、図３の装
置よりも符号化効率が高い符号を復号することが出来る
ようになる。

【００６２】勿論、図４の符号化装置で１フレーム毎に
同期コードを入れた場合の符号を復号するには、この図
６の復号装置でも、同期コード検出器を用い、１フレー
ム毎に同期コードを検出するようにする。同期コードを
検出したら、次のフレームのはじめであるとして復号す
ることにより、エラーが起きたとしてもエラーの影響は
そのフレームだけであるというエラー耐性が得られる。

【００６３】以上においては、符号化装置で、各スライ
スにおいて、最初にシェイプの符号、続いてテクスチャ
の符号が送られるようにしたが、図７に示すように、逆
の順序で送るようにしてもよいし、図８に示すように、
１／ｎに区分したシェイプの符号の一部と、テクスチャ
の符号の一部を交互に送るようにしてもよい。その場合
には、復号装置において、符号化装置で符号化した順序
と同じ順序で復号する。

【００６４】図１の実施の形態および図４の実施の形態
において、フレーム間の相関を用いて符号化した場合に
は、そのスライスでエラーがない場合でも、フレーム予
測のために参照するフレームにエラーがあると正しく復
号できない。そこで、まったくフレーム間予測を用いな
いで符号化するフレームをつくることはエラー耐性を高
めるためで有効である。そのため、テクスチャの符号化
においてすべてのマクロブロックがイントラ符号化され
ている場合には、シェイプの符号化においてもすべての
マクロブロックをイントラ符号化するとエラー耐性が高
くなる。このとき、復号装置はテクスチャのすべてのマ
クロブロックがイントラ符号化されていた場合には、シ
ェイプもすべてのマクロブロックをイントラとして復号
する。

【００６５】また、本発明の他の実施の形態において、
テクスチャをマクロブロック単位で符号化する際に、近
傍のマクロブロックを参照したが、この符号化におい
て、ＤＣＴおよび量子化を用いた符号化が行われている
場合、ＤＣＴおよび量子化後のマクロブロックの状態で
相関関係を参照して、符号化してもよい。

【００６６】

【発明の効果】本発明の画像符号化装置および方法によ
れば、シェイプおよびテクスチャを所定単位毎に分割
し、分割されたシェイプを符号化し、シェイプ符号を発
生し、分割されたテクスチャを符号化し、テクスチャ符
号を発生し、所定単位毎のシェイプ符号と所定単位毎の
テクスチャ符号に対して同期コードを発生し、所定単位
毎のシェイプ符号、または対応する所定単位毎のテクス
チャ符号の、いずれか一方を他方の前に配置すると共
に、さらにその前に同期コードを配置するようにしたの
で、所定単位毎にエラーから回復することができる符号
が出力されるようになる。また、エラー耐性の要求が強
くないときには、復号遅延はそのままに、符号化効率の
更に高い符号を復号することができる。

【００６７】本発明の画像復号装置および方法によれ
ば、符号化された画像情報に含まれている同期コードを
検出し、画像情報に含まれ、かつ、検出された同期コー
ドの後部に配置されている符号化されたシェイプ符号を
復号し、復号されたシェイプを発生し、画像情報に含ま
れ、かつ、検出された同期コードの後部に配置されてい
る符号化されたテクスチャを復号し、復号されたテクス
チャが発生するようにしたので、所定単位毎にエラーか
ら回復できるようになる。また、エラー耐性の要求が強
くないときには、復号遅延はそのままに、符号化効率の
更に高い符号を復号することができる。

【００６８】

【図面の簡単な説明】

【図１】本発明の画像符号化装置の構成例を示すブロッ
ク図である。

【図２】図１の切り替え器１２の動作を説明する図であ
る。

【図３】図１の画像符号化装置の出力を復号する画像復
号装置の構成例を示すブロック図である。

【図４】本発明の画像符号化装置の他の構成例を示すブ
ロック図である。

【図５】参照バッファとスライスバッファの記憶データ
の関係を説明する図である。

【図６】図４の画像符号化装置の出力を復号する画像復
号装置の構成例を示すブロック図である。

【図７】図１の切り替え器１２の動作を説明する図であ
る。

【図８】図１の切り替え器１２の動作を説明する図であ
る。

【図９】シェイプとテクスチャを説明する図である。

【図１０】マクロブロックを説明する図である。

【図１１】スライスを説明する図である。

【図１２】スライスを説明する図である。

【図１３】従来の画像符号化装置の構成例を示すブロッ
ク図である。

【図１４】従来の画像復号装置の構成例を示すブロック
図である。

【符号の説明】

７ テクスチャスライスバッファ， ８ テクスチャス
ライス符号化器， ９同期コード生成器， １２，２２
切り替え器， ２４ シェイプ出力バッファ， ２７
同期コード検出器， ２８ テクスチャスライス復号
器， ２９テクスチャスライスバッファ， ３０ テク
スチャ出力バッファ， ４１ シェイプスライスバッフ
ァ， ４２ シェイプスライス符号化器， ４３ スラ
イス制御器

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 5/91 - 5/95

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 オブジェクト画像をそのオブジェクト画
   像の形状を表すシェイプとそのオブジェクト画像の画素
   値を表すテクスチャとに分離して符号化する画像符号化
   装置において、 前記シェイプおよび前記テクスチャを所定単位毎に分割
   する分割手段と、 前記分割手段により分割された前記シェイプを符号化
   し、シェイプ符号を発生する第１の符号化手段と、 前記分割手段により分割された前記テクスチャを符号化
   し、テクスチャ符号を発生する第２の符号化手段と、 前記所定単位毎のシェイプ符号と前記所定単位毎のテク
   スチャ符号に対して同期コードを発生する発生手段と、 前記所定単位毎の前記シェイプ符号、または対応する前
   記所定単位毎の前記テクスチャ符号の、いずれか一方を
   他方の前に配置すると共に、さらにその前に前記発生手
   段により発生した前記同期コードを配置する配置手段と
   を備えることを特徴とする画像符号化装置。
2. 【請求項２】 前記所定単位はスライス単位であること
   を特徴とする請求項１に記載の画像符号化装置。
3. 【請求項３】 前記第１の符号化手段により符号化され
   た前記シェイプ符号に対応する前記シェイプを記憶する
   第１の記憶手段と、 前記第２の符号化手段により符号化された前記テクスチ
   ャ符号に対応する前記テクスチャを記憶する第２の記憶
   手段とをさらに備え、 前記第１の符号化手段は、前記第１の記憶手段により記
   憶された、前記シェイプを参照して、次の前記シェイプ
   を符号化し、 前記第２の符号化手段は、前記第２の記憶手段により記
   憶された、前記テクスチャを参照して、次の前記テクス
   チャを符号化することを特徴とする請求項１に記載の画
   像符号化装置。
4. 【請求項４】 オブジェクト画像が、そのオブジェクト
   画像の形状を表すシェイプとそのオブジェクト画像の画
   素値を表すテクスチャとに分離して、所定単位毎に分割
   され、符号化された画像情報を復号する画像復号装置に
   おいて、 前記符号化された画像情報に含まれている同期コードを
   検出する検出手段と、 前記画像情報に含まれ、かつ、前記検出手段により検出
   された前記同期コードの後部に配置されている前記符号
   化されたシェイプ符号を復号して、復号されたシェイプ
   を発生する第１の復号手段と、 前記画像情報に含まれ、かつ、前記検出手段により検出
   された前記同期コードの後部に配置されている前記符号
   化されたテクスチャを復号して、復号されたテクスチャ
   を発生する第２の復号手段とを備えることを特徴とする
   画像復号装置。
5. 【請求項５】 前記所定単位はスライス単位であること
   を特徴とする請求項４に記載の画像復号装置。
6. 【請求項６】 前記第１の復号手段により復号された前
   記シェイプを記憶する第１の記憶手段と、 前記第２の復号手段により復号された前記テクスチャを
   記憶する第２の記憶手段とをさらに備え、 前記第１の復号手段は、前記第１の記憶手段により記憶
   された前記シェイプを参照して、次の前記シェイプを復
   号し、 前記第２の復号手段は、前記第２の記憶手段により記憶
   された前記テクスチャを参照して、次の前記テクスチャ
   を復号することを特徴とする請求項４に記載の画像復号
   装置。
7. 【請求項７】 オブジェクト画像をそのオブジェクト画
   像の形状を表すシェイプとそのオブジェクト画像の画素
   値を表すテクスチャとに分離して符号化する画像符号化
   方法において、 前記シェイプおよび前記テクスチャを所定単位毎に分割
   する分割ステップと、 前記分割ステップの処理により分割された前記シェイプ
   を符号化し、シェイプ符号を発生する第１の符号化ステ
   ップと、 前記分割ステップの処理により分割された前記テクスチ
   ャを符号化し、テクスチャ符号を発生する第２の符号化
   ステップと、 前記所定単位毎のシェイプ符号と前記所定単位毎のテク
   スチャ符号に対して同期コードを発生する発生ステップ
   と、 前記所定単位毎の前記シェイプ符号、または対応する前
   記所定単位毎の前記テクスチャ符号の、いずれか一方を
   他方の前に配置すると共に、さらにその前に前記発生ス
   テップの処理により発生した前記同期コードを配置する
   配置ステップとを含むことを特徴とする画像符号化方
   法。
8. 【請求項８】 前記所定単位はスライス単位であること
   を特徴とする請求項７に記載の画像符号化方法。
9. 【請求項９】 オブジェクト画像が、そのオブジェクト
   画像の形状を表すシェイプとそのオブジェクト画像の画
   素値を表すテクスチャとに分離して、所定単位毎に分割
   され、符号化された画像情報を復号する画像復号方法に
   おいて、 前記符号化された画像情報に含まれている同期コードを
   検出する検出ステップと、 前記画像情報に含まれ、かつ、前記検出ステップの処理
   により検出された前記同期コードの後部に配置されてい
   る前記符号化されたシェイプ符号を復号して、復号され
   たシェイプを発生する第１の復号ステップと、 前記画像情報に含まれ、かつ、前記検出ステップの処理
   により検出された前記同期コードの後部に配置されてい
   る前記符号化されたテクスチャを復号して、復号された
   テクスチャを発生する第２の復号ステップとを含むこと
   を特徴とする画像復号方法。
10. 【請求項１０】 前記所定単位はスライス単位であるこ
    とを特徴とする請求項９に記載の画像復号方法。