JPH10276437A - 階層的動画像信号符号化／復号化方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 復号装置の処理能力に応じて復号画面サイズ
を選択可能な、画像圧縮符号化方法／手段、及び、復号
方法／手段を提供する。 【解決手段】 画像圧縮符号化時に、原画像を複数の部
分画面に分割し、かつ該画面領域の符号化においては、
スライス構造が複数部分画面にまたがらないように、ま
た、該画面領域内のみの動きベクトルを使用して圧縮符
号ストリームを生成し、処理能力に余裕のある復号装置
では全画面を、処理能力が限られた復号装置では処理能
力に応じて部分画像のみを復号する構成とすることによ
り、符号化効率を大きく落とすことなく、復号装置の処
理能力に応じた復号画像が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像信号の高能率
符号化方式において、復号装置の処理能力に応じた復号
画像を提供する階層符号化方式に関するものである。

【０００２】

【従来の技術】デジタル画像信号は膨大な情報量を有
し、伝送、記録のためには高能率符号化が不可欠であ
る。近年、様々な画像圧縮符号化技術が提案され、一部
はスケーラビリティの機能を有する符号化方法も開発さ
れている。スケーラビリティとは、利用者が所望の空
間、時間解像度あるいは画質で画像を利用できる機能で
あり、例えば１つの伝送路からHDTVと標準TVを利用者の
要求に応じて受信できることを示す。

【０００３】以下図面を参考にしながら、上述したスケ
ーラビリティ機能を有する従来の画像符号化方法の一例
であるMPEG方式の画像符号化装置について説明する。

【０００４】図７は従来のMPEG方式の画像符号化装置の
ブロック図である。図７において、7は第１の画像符号
化部で、71は動き検出回路、72はDCTモード判定回路、7
3はDCT回路、74は量子化回路、75は可変長符号化回路、
76は逆量子化回路、77は逆DCT回路、78はフレームバッ
ファ、79は動き補償回路である。また、8は第２の画像
符号化部で、81〜89はそれぞれ71〜79と同様の機能を有
する回路であるが、処理できる画像のサイズが異なって
いる。91は、第１の解像度変換回路、92は第2の解像度
変換回路、93はマルチプレクサである。

【０００５】以上のように構成された従来の画像符号化
装置について、以下その動作を説明する。

【０００６】映像信号は、インターレース走査されてお
り、フレーム単位に区切って入力するものとする。入力
画像は、まず第１の解像度変換回路91で水平垂直とも半
分の解像度の画像に変換する。符号化の最初のフレーム
は、差分を取ることなく、フレーム内符号化する。ま
ず、入力画像データは、２次元ブロック単位でライン間
の差分をとるなどして動きの大小をDCTモード判定回路8
2で検出し、フレーム単位あるいはフィールド単位でDCT
を行うかの判定を行い、その結果をDCTモード情報とし
て出力する。DCT回路83は前記DCTモード情報を入力し、
フレーム単位あるいはフィールド単位でDCTを行い画像
データを変換係数に変換する。変換係数は量子化器84で
量子化した後、可変長符号化回路85で可変長符号化し伝
送路に送出する。量子化後の変換係数は、同時に逆量子
化器86、逆ＤＣＴ変換回路87を経て実時間データに戻
し、フレームバッファ88に蓄える。

【０００７】一般的に画像は相関が高いため、DCTを行
なうと、低い周波数成分に対応する変換係数にエネルギ
ーが集中する。従って、視覚的に目立たない高い周波数
成分をあらく、重要な成分である低い周波数成分を細か
く量子化を行なうことで、画質劣化を最小限にとどめ、
かつデータ量を減らすことが可能となる。また、インタ
ーレース走査した画像は、動きが小さい時は、フレーム
内の相関が強く、動きが大きいときはフレーム間の相関
は小さく、逆にフィールド内の相関が高い。前記したイ
ンターレース走査の特性を利用し、フレーム単位あるい
はフィールド単位でDCTを切り換えることにより、イン
ターレース画像も効率良く符号化することが可能とな
る。

【０００８】一方、フレーム内符号化フレーム以降の画
像は、フレームごとに予測値を計算し、前記予測値との
差分、すなわち予測誤差を符号化する。符号化装置とし
ては、まず予測に用いる動きベクトルを動き検出回路81
において例えば良く知られた、全探索方法を用いて、前
記２次元ブロック単位に求める。次に、フレームバッフ
ァ88及び動き補償回路89は前記検出した動きベクトルを
用いて、次のフレームの動き補償した予測値を前記２次
元ブロック単位で生成する。生成した予測値と入力画像
データの差分を計算して予測誤差を得て、予測誤差をフ
レーム内符号化と同様の方法で符号化する。動き補償に
用いた動きベクトル、ブロック単位の動き補償の状態を
表す動き補償情報、DCTモード情報などは符号化された
係数と共に復号器に送る。

【０００９】以上の符号化装置によれば、予測誤差を最
適に符号化することになるので、フレーム内符号化のよ
うに、画像データを直接符号化する場合に比べ、エネル
ギーが減少し、さらに高効率な符号化が可能となる。

【００１０】また、解像度を変換しない画像も、基本的
に解像度を落とした画像と同様に符号化するが、予測値
生成に解像度の低い画像を使うことができる点が異な
る。予測値生成は動き補償回路79で行うが、その際、フ
レームバッファ88に記憶した解像度の低い前フレームの
画像を解像度変換回路92で解像度を水平垂直とも２倍に
拡大し、予測値の候補の一つとして用いる。動き補償回
路79は、フレームバッファ78から読み出した予測値と、
解像度変換回路92の出力のどちらかを、原画と差分を計
算して小さい方を選択して符号化に用いる。以上の方法
で高解像度の画像を符号化することにより、低解像度と
類似の部分は符号化の必要がなくなり、符号化効率を上
げることができる。

【００１１】上述した低解像度及び高解像度の符号化画
像データは、マルチプレクサ93で多重化し伝送路に送出
する。復号器では、１種類の符号化画像データから、低
解像度の符号化画像データを取り出して復号することで
低解像度の画像が、低解像度と高解像度、両方の符号化
画像データを取り出して復号することで高解像度の画像
を得ることができる。従って、利用者は状況に応じて低
解像度と高解像度の画像を切り替えて受信可能となる
（例えば、ISO/IEC JTC1/SC29 N659, "ISO/IEC CD 1381
8-2: Information technology - Generic coding of mo
ving pictures and associated audio information - P
art 2: Video", 1993.12）。

【００１２】

【発明が解決しようとする課題】上記した従来技術は、
一つの動画像信号符号化方式により、解像度の異なる符
号化データを得ることができる優れた方式であるが、処
理量が大きな割には符号化効率が高くないことが知られ
ている。すなわち、低解像度の画像を解像度変換した画
像から高解像度の画像を予測するモードが選択される可
能性が非常に低く、結果として、低解像度、高解像度の
２つの符号化ストリームを独立に伝送した場合に比べ、
同じ伝送レートでは画質の差はほとんど現れない。

【００１３】

【課題を解決するための手段】本発明では、画像圧縮符
号化時に、原画像を複数の部分画面に分割し、かつ該画
面領域の符号化においては、スライス構造が複数部分画
面にまたがらないように、また、該画面領域内のみの動
きベクトルを使用して圧縮符号ストリームを生成し、処
理能力に余裕のある復号装置では全画面を、処理能力が
限られた復号装置では処理能力に応じて部分画像のみを
復号する構成とする。

【００１４】

【発明の実施の形態】

（実施の形態１）図２に本発明の実施の形態１の符号化
装置のブロック図を示す。同図中72〜74, 76〜79の構成
要素については、図７の従来技術例の高解像度用の符号
化装置の構成要素と同一であり、ここでは説明を省略す
る。

【００１５】例えば、図１に示すスライス＃３、＃６、
＃９、・・・、＃ｎ−６、＃ｎ−３からなる部分画面を
一つの部分画面１００、それ以外の部分をもう一つの部
分画面１０１とした場合を考える。画面分割決定回路２
００には、各マクロブロック（符号化の最小単位：以
降、ＭＢと表現する。）がどの部分画面に含まれている
かという情報が設定されており、この情報を動き検出回
路２７１と可変長符号化回路２７５に供給する。

【００１６】動き検出回路２７１では、部分画面１００
に含まれているＭＢの動きベクトルを検出する際には、
部分画面１００に含まれる画像のみを参照画像として使
用する。通常、動きベクトルの検出は、現時点の画像に
おける注目するＭＢの周辺に関して、参照画像上の同じ
大きさの画像領域と現時点の画像の注目しているＭＢと
の各画素同士の差分の絶対値誤差あるいは二乗誤差の和
を計算し、この参照画像上の画像領域を探索範囲内で動
かして、前期誤差の和が最小になる参照画像上の画像領
域を求め、現時点の画像での注目ＭＢと、参照画像上の
誤差和最小となる画像領域の位置のずれを動きベクトル
として検出している。この際、部分画面１００に含まれ
るＭＢの動きベクトルの検出においては、上記説明にお
ける探索範囲を部分画面１００に限定することにより、
部分画面１００内のＭＢの参照画像を部分画面１００内
に限定する。

【００１７】逆に、部分画面１０１に含まれているＭＢ
の動きベクトルを検出する際には、特に特別な処理は行
わず、部分画面１００と部分画面１０１をあわせた全画
面を参照画像として使用し、動きベクトルを検出する。
これにより、部分画面１００の復号における動き補償
は、部分画面１００の部分の画像のみを参照画像とする
事になり、復号においてそれより外側の部分画面１０１
の画像は必要なくなる。

【００１８】また、可変長符号化回路２７５は画面分割
決定回路２００からの情報に基づき、部分画面１００及
び１０１を構成する各スライスの先頭にスライスヘッダ
を挿入し、各スライスの中身を可変長符号化していく。

【００１９】可変長符号化においては、符号途中で伝送
エラーが発生した場合に以降の符号を復号することが不
可能になる。これを防ぐためある程度まとまった可変長
符号単位毎に固定長符号で構成されるヘッダを挿入し、
伝送エラーが発生してもこのヘッダ以降は再び可変長符
号の復号が可能なように符号を構成するのが一般的であ
る。

【００２０】図６に動画像符号化における一般的なスラ
イス構成を示す。ＭＰＥＧにおける動画像符号化では、
最小の符号化単位であるＭＢを複数個集めてスライスと
言う単位を構成し、このスライス毎に固定長のヘッダが
挿入されており、スライス内部の個々のＭＢは可変長符
号化がなされている。従って、スライスの途中から復号
を行うことは出来ないが、スライスの先頭から復号を行
うことは可能である。

【００２１】以上の符号化操作により生成される符号化
ストリームは、処理能力に余裕のある復号装置において
は、部分画面１００と１０１の両方を含めた全画面の復
号を行い、処理能力に余裕のない復号装置においては部
分画面１００のみの復号を行い、部分画面１００のみの
表示を行うことが可能である。

【００２２】（実施の形態２）図３は本発明の別の実施
の形態の符号化装置のブロック図である。図２の実施の
形態に比較して、マルチプレクサ３９３が追加され、画
面分割決定回路２００から画面分割情報がマルチプレク
サ３９３に送られている点が異なる。この画面分割情報
は、符号化ストリームに多重化されて復号装置に伝送さ
れ、復号装置によって分離される。処理能力に余裕のな
い復号装置は、この情報により復号しようとしている符
号化ストリームのどのスライス部分を読めば他の部分を
参照しなくとも復号が可能であるかがわかる。従って、
図１に示すような部分画面への分割において、部分画面
１００の全画面に対する位置が時間と共に変化するよう
な使用方法も可能となる。

【００２３】図４は部分画面への分割の別の例である。
スライス＃１、４、７、１０から構成される部分画面４
００、スライス＃１３、１６、１９、・・・、ｎ−１３
から構成される部分画面４０１、スライス＃ｎ−１０、
ｎ−７、ｎ−４、ｎ−１で構成される部分画面４０２、
スライス＃０、３、・・・ｎ−２で構成される部分画面
４０３、及びスライス＃２、５、・・・ｎで構成される
部分画面４０４に全画面が分割されている。

【００２４】この例では、処理能力に余裕のない復号装
置では、部分画面４００及び部分画面４０１からなる画
像を復号処理するか、部分画面４０１および部分画面４
０２からなる画像を処理するかを、復号装置側で選択可
能である。

【００２５】図４の例では、復号装置側での復号画像の
縦方向での選択が可能な例を示したが、本特許の適用は
これに限定されるものではなく、横方向、あるいは縦横
両方向の選択が可能なスライス構造も構成可能である。

【００２６】（実施の形態３）図５は、本発明の復号装
置側の実施の形態のブロック図である。同図（ａ）の処
理能力に余裕のある復号装置５００では、符号化ストリ
ームは可変長符号復号回路５０２で可変長符号を解か
れ、逆量子化回路５０３で逆量子化され、結果のＤＣＴ
係数は逆ＤＣＴ回路５０４にて画素値に変換される。フ
レームバッファ５０７には、過去に復号した参照画像が
蓄えられており、動き補償回路５０６にて符号化ストリ
ーム中の動きベクトルから各ＭＢの参照画像をフレーム
バッファから読み出し、逆ＤＣＴ回路５０４の出力と加
算器５０５にて加算し、最終的に復号画像が得られる。
復号画像はフレームバッファ５０７に蓄えられ、これか
ら復号する画像の参照画像として使用される。この、可
変長復号回路５０２、逆量子化回路５０３、逆ＤＣＴ回
路５０４、加算器５０５，動き補償回路５０６、フレー
ムバッファ５０７からなる復号装置５００は、通常の復
号装置の構成そのものである。復号装置５００では、例
えば図１に示すスライス構造をもった符号化ストリーム
が入力した場合に、部分画面１００及び、部分画面１０
１のいずれのスライスも復号処理がなされ、全画面の復
号、表示がなされる。

【００２７】同図（ｂ）の処理能力に余裕の無い復号装
置５５０では、通常の復号装置５０１の前にスライス選
択回路５５１がもうけられている。このスライス選択回
路により、例えば、図１のスライス構造を持った符号化
ストリームであれば、部分画面１００を構成するスライ
スのみが選択されて復号装置５０１に入力し、部分画面
１００の部分の画像のみが復号、表示される。スライス
選択回路５５１に、例えば図３の画面分割決定回路２０
０にて生成されマルチプレクサ３９３にて符号化ストリ
ームに多重化される画面分割位置情報を分離する機能を
含めて、これに応じてスライスを選択するようにすれ
ば、画面分割の構成が時間と共に変化するような場合に
も、本発明が応用可能である。

【００２８】また、図４に示すような画面分割がなされ
ている場合には、スライス選択回路５５１へ外部より復
号する部分画面を選択する機能をもうければ、復号装置
を操作している情報の受け手側が見たい画面を選択する
ことが可能になる。

【００２９】

【発明の効果】上記のように本発明では、画像圧縮符号
化時に、原画像を複数の部分画面に分割し、かつ該画面
領域の符号化においては、スライス構造が複数部分画面
にまたがらないように、また、該画面領域内のみの動き
ベクトルを使用して圧縮符号ストリームを生成し、処理
能力に余裕のある復号装置では全画面を、処理能力が限
られた復号装置では処理能力に応じて部分画像のみを復
号する構成とする。

【００３０】上記のような構成により、処理能力が限ら
れた復号装置用の符号化ストリームは、処理能力に余裕
のある復号装置用の全画面の符号化ストリームの一部分
となり、かつ、この階層構造を実現するために生じる符
号化効率の低下は、最小限に押されられる。

【図面の簡単な説明】

【図１】本発明の実施の形態１におけるスライス構造図

【図２】本発明の実施の形態１の符号化装置のブロック
図

【図３】本発明の実施の形態２の符号化装置のブロック
図

【図４】本発明の実施の形態２におけるスライス構造図

【図５】本発明の実施の形態３の復号装置のブロック図

【図６】従来技術におけるスライス構造図

【図７】従来技術における符号化装置のブロック図

【符号の説明】

７ 高解像度用符号化回路 ８ 低解像度用符号化回路 ７１ 高解像度用動き検出回路 ７２ 高解像度用ＤＣＴ、モード判定回路 ７３ 高解像度用ＤＣＴ回路 ７４ 高解像度用量子化回路 ７５ 高解像度用可変長符号化回路 ７６ 高解像度用逆量子化回路 ７７ 高解像度用逆ＤＣＴ回路 ７８ 高解像度用フレームバッファ ７９ 高解像度用動き補償回路 ８１ 低解像度用動き検出回路 ８２ 低解像度用ＤＣＴ、モード判定回路 ８３ 低解像度用ＤＣＴ回路 ８４ 低解像度用量子化回路 ８５ 低解像度用可変長符号化回路 ８６ 低解像度用逆量子化回路 ８７ 低解像度用逆ＤＣＴ回路 ８８ 低解像度用フレームバッファ ８９ 低解像度用動き補償回路 ９１ 第一の解像度変換回路 ９２ 第二の解像度変換回路 ９５ マルチプレクサ １００ 本発明の実施の形態における部分画面 １０１ 本発明の実施の形態における部分画面 ２００ 画面分割決定回路 ２７１ 動き検出回路 ２７５ 可変長符号化回路 ３９３ マルチプレクサ ４００ 部分画面 ４０１ 部分画面 ４０２ 部分画面 ４０３ 部分画面 ４０４ 部分画面 ５００ 復号装置 ５０１ 復号回路 ５０２ 可変長符号復号回路 ５０３ 逆量子化回路 ５０４ 逆ＤＣＴ回路 ５０５ 加算器 ５０６ 動き補償回路 ５０７ フレームバッファ ５５１ スライス選択回路

Claims (11)

【特許請求の範囲】
1. 【請求項１】 可変長符号化方法、及び、動き補償予測
   符号化方法を用いた動画像の圧縮符号化方法において、
   原画像を複数の部分画面に分割し、可変長符号化を行う
   単位が複数の部分画面にまたがらずに部分画面毎に独立
   し、また、前記分割された複数の部分画面の一部の部分
   画面については、予測符号化において他の部分画面を参
   照しないよう動きベクトルに制限を加えて符号化する事
   を特徴とする動画像圧縮符号化方法。
2. 【請求項２】 可変長符号化方法、及び、動き補償予測
   符号化方法を用いた動画像の圧縮符号化装置において、
   原画像を複数の部分画面に分割し、可変長符号化を行う
   単位が複数の部分画面にまたがらずに部分画面毎に独立
   するよう可変長符号化を行う可変長符号化器と、前記分
   割された複数の部分画面の一部の部分画面については、
   予測符号化において他の部分画面を参照しないよう動き
   ベクトルに制限を加える動きベクトル検出器と、を持つ
   ことを特徴とする動画像圧縮符号化装置。
3. 【請求項３】 予測符号化において他の部分画面を参照
   しないよう動きベクトルを制限して符号化された前記部
   分画面の位置情報を、符号化情報とともに伝送すること
   を特徴とする、前記請求項１記載の動画像圧縮符号化方
   法。
4. 【請求項４】 予測符号化において他の部分画面を参照
   しないよう動きベクトルを制限して符号化された前記部
   分画面の位置情報を符号化情報に多重化する手段を持
   ち、符号化情報とともに該位置情報を伝送することを特
   徴とする、請求項２記載の動画像圧縮符号化装置。
5. 【請求項５】 前記原画像の複数の部分画面への分割に
   際し、時間とともに分割位置を変化させることを特徴と
   する、請求項１または３記載の動画像圧縮符号化方法。
6. 【請求項６】 前記原画像の複数の部分画面への分割に
   際し、時間とともに分割位置を変化させる手段を有する
   ことを特徴とする、請求項２または４記載の動画像圧縮
   符号化装置。
7. 【請求項７】 可変長符号化方法、及び、動き補償予測
   符号化方法を用いた動画像の圧縮符号化ストリームの復
   号において、原画像を複数の部分画面に分割し、可変長
   符号化を行う単位が複数の部分画面にまたがらずに部分
   画面毎に独立し、また、前記分割された複数の部分画面
   の一部の部分画面については、予測符号化において他の
   部分画面を参照しないよう動きベクトルに制限を加えて
   符号化された圧縮符号化ストリームを、処理能力に余裕
   のある復号装置では、すべての部分画面を復号して全画
   面を復号表示し、処理能力に余裕のない復号装置では、
   前記分割された複数の部分画面のうち、予測符号化にお
   いて他の部分画面を参照しないように動きベクトルを制
   限して符号化された前記部分画面のみを復号表示するこ
   とを特徴とする、動画像復号方法。
8. 【請求項８】 前記圧縮符号化ストリームの各部分画面
   の処理に要する復号処理能力と、自らの復号処理能力を
   比較する手段をもち、自らの復号処理能力に応じた部分
   画面を自動選択して復号処理能力に応じた部分画面の復
   号表示を行うことを特徴とする、請求項５記載の動画像
   復号方法。
9. 【請求項９】 可変長符号化方法、及び、動き補償予測
   符号化方法を用いた動画像の圧縮符号化ストリームの復
   号装置において、原画像を複数の部分画面に分割し、可
   変長符号化を行う単位が複数の部分画面にまたがらずに
   部分画面毎に独立し、また、前記分割された複数の部分
   画面の一部の部分画面については、予測符号化において
   他の部分画面を参照しないよう動きベクトルに制限を加
   えて符号化された圧縮符号化ストリームを、この圧縮符
   号化ストリームの各部分画面の処理に要する復号処理能
   力と、自らの復号処理能力を比較する手段をもち、自ら
   の復号処理能力に応じた部分画面を自動選択して復号処
   理能力に応じた部分画面の復号表示を行うことを特徴と
   する、動画像復号装置。
10. 【請求項１０】 前記分割された複数の部分画面のう
    ち、復号表示する部分画面の全画面における位置を指定
    する手段を有し、復号表示する部分画面位置を選択可能
    な前記請求項７記載の動画像復号方法。
11. 【請求項１１】 前記分割された複数の部分画面のう
    ち、復号表示する部分画面の全画面における位置を指定
    する手段を有し、復号表示する部分画面位置を選択可能
    な請求項９記載の動画像復号装置。