JP4330040B2 - 階層化圧縮ビデオ・データを符号化し復号化するためのシステム - Google Patents

Description

本発明はデジタル画像信号処理の分野に関し、さらに詳しくは階層化ビデオ・データを処理するためのシステムに関する。
デジタル・ビデオの符号化および復号化フォーマット開発の目的は、異なったビデオ送受信システムを対応させる標準を提供することであった。更なる目的は、異なる世代および種類のビデオ符号化および復号化機器の間の相互運用性と上位互換性（backward compatibility）を促進することであった。このような相互運用性と互換性を促進するためには、異なる種類のビデオ画像スキャン（たとえばインタレース走査方式／順次走査方式）、フレーム・レート、ピクチャ解像度、フレーム・サイズ、クロミナンス符号化、送信バンド幅に対応できる符号化／復号化方式を定義することが望ましい。
相互運用性を実現するために用いられる方式の１つとしては、符号化および送信用に順序付けたビットストリームのセットとして構成されたデータ階層（レイヤ）の１つまたは２つ以上のレベルに、ビデオ・データを分割することが挙げられる。ビットストリームは、ベース・レイヤ、即ちもっとも簡単な（たとえば最低解像度の）ビデオ表現を表わすデータ・ストリームから、ビデオ・ピクチャのインクリメンタルな改善を表わす連続的拡張レイヤまでに及ぶ。ビデオ・データは、受信器内のデコーダにより順序付けたビットストリームから再構成される。この方式では、所望するビデオ・ピクチャの画質を達成するようにデコーダの複雑さを調節できる。デコーダは、拡張レイヤ全部であるビットストリームの全部を完全に復号化するもっとも高度な構成から、ベース・レイヤだけを復号化するもっとも簡単なものまでに及ぶ。
このようなデータ階層を用い、広く受け入れられている標準がＭＰＥＧ（Moving Pictures Expert Group）画像符号化標準（ＩＳＯ／ＩＥＣ１３８１８−２、１９９４年５月１０日）で、以下これを「ＭＰＥＧ標準」と称する。ＭＰＥＧ標準は、ベースおよび拡張レイヤのデータをどのように取り出せるか、またはデコーダによりレイヤからビデオ・データをどのように再構成するかを詳細に記述している。ここでは、各種レイヤ間で合理的にデータを分割するためと、この目的に供するシステムを動的に設定するための、エンコーダおよびデコーダ・アーキテクチャを含むシステムを提供することが望ましいことが分かっている。
本発明の原理によれば、動的に設定可能なビデオ信号処理システムでは、階層化レイヤ間の割り当て（allocation：アロケーション）を変化させることができる。動的に設定可能なシステムではまた、所望の通りに階層化レイヤ間でデータを分割でき、使用するレイヤ数の変更が可能である。
開示した本発明によるデジタル信号処理システムは、入力データを表わす画像のデータ・ストリームを適応的に処理する。データ・プロセッサは、入力データを、利用可能なシステム・バンド幅、入力データ・レート、出力信号の品質から選択した１つまたは２つ以上のパラメータの関数として１つまたは２つ以上の階層化レイヤに自動分割する。
１つまたは２つ以上の階層化レイヤへ分割した入力データを表わす画像のデータ・ストリームを適応的に復号化するためのデジタル信号処理システムも開示する。デコード・システムは、入力データから同期および設定情報を取り出しローカルに生成したコントロール信号に応答して入力データの階層化レイヤ数を復号化するように適応的に設定される。
本発明の特徴によれば、画像解像度とこれに対応する画像当たり画素数は、システム・パラメータの関数として変化する。
【図面の簡単な説明】
図面において、
図１は本発明による動的に設定可能な代表的なビデオ信号符号化および復号化アーキテクチャを示す。
図２は異なる符号化方式の領域を表わすビット・レートに対してプロットしたピーク信号対雑音比（ＰＳＮＲ）の代表的なグラフを示す。
図３は本発明による図１のアーキテクチャを決定するために使用される制御関数のフローチャートである。
図４はＭＰＥＧ互換符号化／復号化システムのコンテキスト（context）での図１の符号化および復号化システムを示す。
図５はＡ型符号化および復号化領域で本発明によるエンコーダおよびデコーダのアーキテクチャを示す。
図６はＢ型符号化および復号化領域で本発明によるエンコーダおよびデコーダのアーキテクチャを示す。
図７はＣ型符号化および復号化領域で本発明によるエンコーダおよびデコーダのアーキテクチャを示す。
図８は本発明による領域Ａ復号化のための更なるアーキテクチャ構成による図１の変形を示す。
図９は本発明による領域Ｃ復号化のための更なるアーキテクチャ構成による図１の変形を示す。
図１０は本発明による入力データの領域タイプを識別するための方法のフローチャートを示す。
ＭＰＥＧ標準では、階層化配列（orderd）ビットストリーム・レイヤの処理を「スケーラビリティ」として表わしている。ＭＰＥＧのスケーラビリティの１つのかたちで「空間スケーラビリティ」と呼ばれるものは、異なるレイヤにあるデータが異なるフレームサイズ、フレーム・レート、クロミナンス符号化を持つことができる。ＭＰＥＧスケーラビリティの別のかたちは「時間スケーラビリティ」と呼ばれ、異なるレイヤにあるデータが異なるフレーム・レートを持つことができるが、同一のフレームサイズおよびクロミナンス符号化を必要とする。さらに、「時間スケーラビリティ」では拡張レイヤが動きに依存する予測で形成されたデータを含むが、一方の「空間スケーラビリティ」では含まない。このような種類のスケーラビリティ、および「ＳＮＲスケーラビリティ（ＳＮＲは信号対雑音比を表わす）」と呼ばれる別の種類のスケーラビリティがＭＰＥＧ標準の第３章にさらに定義されている。
本発明の実施例は、２レイヤ階層（ベース・レイヤと１つの拡張レイヤ）でＭＰＥＧの「空間」および「時間」スケーラビリティを使用する。拡張レイヤのデータは異なるフレームサイズに対応するが、単一のフレーム・レートと単一のクロミナンス符号化フォーマットには対応しない。２種類の代表的なフレームサイズは、たとえば米国のグランド・アライアンスＨＤＴＶ仕様で提案されている、ＨＤＴＶ（高品位テレビ）とＳＤＴＶ（標準品位テレビ）信号のフォーマットに対応する。ＨＤＴＶのフレームサイズは、１０８０ラインでライン当たり１９２０サンプル（したがって、画像当たり１０８０×１９２０画素）となり、ＳＤＴＶのフレームサイズは７２０ラインでライン当たり１２８０サンプル（したがって、画像当たり７２０×１２８０画素）となる。ＨＤＴＶおよびＳＤＴＶ信号は、どちらも３０Ｈｚのインタレース・フレーム・レートと同じクロミナンス符号化フォーマットを使用する。
開示のシステムはＭＰＥＧ互換で、２レイヤの、ＨＤＴＶおよびＳＤＴＶ空間、時間スケーラブル用途のコンテキストで説明するが、これは単なる例示である。開示のシステムは２レイヤよりも多くのビデオ・データ・レイヤおよび他のビデオ・データ解像度（７２０および１０８０ラインの解像度以外）へ当業者により簡単に拡張し得るものである。さらに、本発明の原理は他のスケーラビリティのかたち、たとえばＳＮＲスケーラビリティに応用でき、固定最適化エンコーダおよびデコーダ・アーキテクチャを決定するためにも使用できる。本発明の原理は、所望の通信バンド幅でエンコーダ装置およびデコーダ装置を最適化するために、ＴＶ符号化（ＨＤＴＶまたはＳＤＴＶ）、超低ビット・レート符号化（たとえばビデオ会議）、デジタル地上放送波において特に用途を有している。
図１は本発明による動的に設定可能なビデオ信号符号化／復号化アーキテクチャを示す。概要として、入力ビデオ・データ・ストリームは圧縮（コンプレス）されており、ベース（ＳＤＴＶ）データ・レイヤと拡張（ＨＤＴＶ）データ・レイヤの間にエンコーダ１００によって割り当てられている。割り当ては、本発明の原理にしたがってバンド幅およびアーキテクチャ・コントロール・ユニット１２０の制御により行なわれる。シングルまたはデュアル・ビットストリームのかたちでエンコーダ１００から得られた圧縮データは、フォーマッタ１１０により識別ヘッダを含むデータ・パケットへ構成される。ユニット１１０からのフォーマットされたデータ出力は、データ・チャンネル上への送信後、トランスポート・プロセッサ１１５により受信される。送受信処理については、図４に図示した符号化および復号化システムに関連して後で説明する。
トランスポート・プロセッサ１１５（図１）は、フォーマットされた圧縮ビットストリーム・データをレイヤ形式にしたがって分離、即ちヘッダ情報の分析に基づいてベースまたは拡張レイヤ・データに分離する。トランスポート・プロセッサ１１５からのデータ出力は、デコーダ１０５によってデコンプレス（decompress）される。デコーダ１０５のアーキテクチャは、本発明の原理にしたがってバンド幅およびアーキテクチャ・コントロール・ユニット１４５の制御により決定される。シングルまたはデュアルのデコンプレスしたビットストリームのかたちでデコーダ１０５から得られたデコンプレスしたデータ出力は、ＮＴＳＣフォーマット信号として符号化するためと、後で表示するために適したものである。
図１の動的に設定可能なアーキテクチャを詳細に考えると、入力ビデオ・データ・ストリームはエンコーダ１００により圧縮され、ベースＳＤＴＶデータ・レイヤと拡張ＨＤＴＶレイヤの間に割り当てられている。バンド幅およびアーキテクチャ・コントロール・ユニット１２０は、ユニット１２５および１３５各々からのＨＤＴＶとＳＤＴＶ出力レイヤの間にデータを適切に割り当てられるようにエンコーダ１００のアーキテクチャを設定する。適切なデータ・アロケーションは、バンド幅、システム出力データ・レート制限、入力ビデオ・データのデータ・レートおよびピクチャ解像度（画像当たりの画素数）、各レイヤで要求されるピクチャ画質および解像度（画像当たりの画素数）を含む多数のシステム・ファクタに依存する。前述のシステムにおいて、エンコーダ１００とデコーダ１０５双方の入出力間の画像解像度は、さらに詳細には後で説明するように、画像当たりの画素数を変更することにより変化する。
データ・アロケーションならびに符号化方式は、エンコーダ１００の出力における指定された歪みでのビデオ入力シーケンスを表わすのに必要とされる単位時間当たりの最小ビット数を求めることにより導き出される。これがエンコーダ１００についてのレート歪み関数（Rate Distortion Function）である。レート歪み関数は、入力シーケンスが平均μと標準偏差σのガウス分布ソース信号であると仮定して評価される。さらに、Ｔ．Ｍ．カバーおよびＪ．Ａ．トーマス著、１９９１年Ｊ．ワイリー・アンド・サンズ発行の「情報理論の要素」（“Elements of Information Theory”by T.M. Cover and J. A. Thomas, published by J. Wiley & Sons, 1991）１３．３．２節に示されている理論にしたがって、このようなガウス入力シーケンスのレート歪み関数Ｒに平方誤差基準を適用すると、

したがって、歪みレート関数Ｄは、
Ｄ＝σ²２^-2R
で与えられ、ピーク信号対雑音比（ＰＳＮＲ）として表わした場合には、

となる。
図２は歪みピーク信号対雑音比Ｄ_PSNRをデシベルで表わしたグラフ表現で、２レイヤ空間符号化システムでの拡張レイヤのビット・レート（ビット／秒）に対してプロットしてある。カーブは、ベース・レイヤ歪み関数、拡張レイヤ歪み関数、７２０ラインのピクチャの１０８０ライン補間（interpolation）で代表的なアップサンプリングしたベース・レイヤでの歪み関数についてプロットしてある。ベース・レイヤとアップサンプリングしたベース・レイヤのカーブは、拡張レイヤのビット・レートが増加するとベース・レイヤのビット・レートが減少するため、負の傾きを有している。２レイヤ・システムでの複合歪みのカーブが、図２の太い黒線で表わしてある。この複合歪みカーブは、アップサンプリングしたベース・レイヤを使用する２レイヤ・システムで得られる最小歪みに対する線形近似である。
符号化および復号化の方式が、図２に図示してある２レイヤ・システムの結果から導かれる。さらに詳しくは、異なる符号化および復号化アプローチを採用することによる利点が得られるような、３つの領域Ａ、Ｂ、Ｃが識別される。領域の境界は、システムのバンド幅、システム出力データレート制限、入力ビデオ・データのデータ・レートとピクチャ解像度、各レイヤで要求されるピクチャ画質と解像度によって変化し得る。領域は次のように識別される。
領域Ａ
領域Ａでは、２レイヤ符号化または単一の高解像度レイヤ符号化のどちらかを用いて要求される画質を達成するには不十分な割り当て可能バンド幅しかない。この領域で、復号化したサンプリングしていないベース・レイヤのビデオ画質は、ベース・レイヤと拡張レイヤからの合成データから導かれる復号化したピクチャのビデオ画質に等しいかこれを超える。この領域は拡張レイヤ・カーブ上の点Ｘが上端に接しており、ゼロ・ビット・レート拡張レイヤの点Ｙでサンプリングしていないベース・レイヤ・カーブの画質に等しいピクチャ画質（Ｄ_PSNR値）を得られる。
領域Ａでは、画像当たり画素数が減少している減少空間解像度で単一レイヤ（ベース・レイヤ）の符号化および圧縮に利用可能なシステム・バンド幅全部を割り当てる際に利点がある。この方式は各種の方法で実施できる。たとえば１つの方法として、入力データ・ストリームをダウンサンプリングして送信用に単一のベース・レイヤ（ＳＤＴＶ）を提供し、さらに対応する受信したベース・レイヤを復号化して、受信時に復号化ＳＤＴＶ出力を提供する。もっと解像度の高い復号化ＨＤＴＶ出力は、復号化ＳＤＴＶ出力をアップサンプリング（オーバサンプリング）することにより復号化ＳＤＴＶ出力に加えて受信器で作成できる。この方法の利点は、２レイヤまたは単一の高解像度レイヤのどちらかを符号化するために使用する場合より低解像度の単一レイヤ・ビットストリームを符号化するように割り当てられた場合に乏しいバンド幅が一層有効に使用されることによっている。これは、後者のアプローチがたとえば必要とされる追加のエラー保護およびデータ管理コードに付随する大きな符号化時オーバヘッドを受けることが多いためである。領域Ａタイプの状況は、たとえば全解像度符号化をサポートするには利用できる全システム・バンド幅が不十分な場合に発生することがある。領域Ａ符号化方式の利点は、たとえば符号化しようとする入力データ・ストリームが顕著な非平衡移動（non-translational motion）を含む場合など、他の状況でも発生することがある。さらに領域Ａ空間ダウンサンプリングおよびアップサンプリングは、バンド幅が制限されたシステムで動き補償予測符号化により提供し得る以上に良好なピクチャ画質を提供できる。これは、このような動き補償に関連したオーバヘッドのためである。領域Ａの動作については、図５との関連でさらに詳細に説明する。
領域Ｂ
領域Ｂでは、２レイヤ符号化方式を用いて要求された出力ピクチャ画質に適合するのに十分なシステム・バンド幅がある。この領域では、利用できるシステム・バンド幅がレイヤ間に割り当てられるので、復号化された高解像度および低解像度両方の出力の画質要件に適合する。この領域は領域Ａと領域Ｃの間にある。
領域Ｂでは、システム・バンド幅が高解像度および低解像度信号出力レイヤ間でピクチャ画質要件にしたがって割り当てられる。２つの出力レイヤは様々な方法で送信用に符号化できる。たとえば１つの方法は、高解像度入力データ・ストリームをダウンサンプリングし符号化して送信用低解像度（ＳＤＴＶ）レイヤを提供し、また受信時にこの低解像度レイヤを復号化して低解像度ＳＤＴＶ信号を提供する。送信すべき高解像度（ＨＤＴＶ）拡張レイヤは、符号化したＳＤＴＶレイヤのアップサンプリングしたバージョンと符号化ＨＤＴＶレイヤの直前のフレームの組み合せから導出する。復号化ＨＤＴＶ出力は、復号化ＳＤＴＶ出力のアップサンプリングしたバージョンと受信した符号化ＨＤＴＶレイヤの組み合せから導出できる。この動作については、図６との関連でさらに詳細に説明する。
領域Ｃ
領域Ｃでは、２レイヤを符号化するかまたは単一の（低解像度）レイヤを符号化するかのどちらかにシステム・バンド幅を割り当てることでは、要求されるピクチャ画質を実現できない。この領域では、所定のシステム・バンド幅の制約が与えられると、単一の高解像度レイヤを符号化することにより、高品位出力ビデオ信号を実現できる。この領域は、ベース・レイヤ単独で最小値として要求されるピクチャ画質のレベルを提供する拡張レイヤ・カーブ上の点Ｖ（図２のＤ_PSNR値Ｗに等しい）で隔てられている。
領域Ｃでは、画像当たり全画素数で全空間解像度における単一レイヤ（拡張レイヤ）の符号化および圧縮に全システム・バンド幅を割り当てる際に利点がある。この方式は各種の方法で実施できる。たとえば１つの方法として、送信用に単一の高解像度拡張（ＨＤＴＶ）レイヤとして全空間解像度で入力データ・ストリームを符号化し、これに対応する受信拡張レイヤを復号化して高解像度ＨＤＴＶ出力を提供する。受信器では、受信した高解像度信号から、後述するように圧縮またはデコンプレス・ドメインでダウンサンプリングすることにより、低解像度（ＳＤＴＶ）出力を取り出すことができる。この領域Ｃの方法の利点は、要求される出力ピクチャ画質レベルが与えられると、送信用に２レイヤを符号化するために使用する場合よりも単一の高解像度レイヤを符号化するように割り当てられた場合に利用可能なバンド幅が一層効率的に使用されるためである。これは、２レイヤ符号化では追加のエラー保護およびデータ管理オーバヘッド情報を必要とするためである。この領域Ｃの動作については、図７との関連でさらに詳細に説明する。
図２の２レイヤ・システムに識別される３つの領域（Ａ、Ｂ、Ｃ）は、全ての２レイヤ・システムに全て揃っていなくとも良い。たとえば、システム・バンド幅、システムのデータ・レート制限、各レイヤで要求されるピクチャ画質および解像度によっては、１つまたは２つの領域だけが識別されることがある。逆に、２つよりも多くのレイヤを備えるシステムでは、本発明の原理にしたがって３つよりも多くの領域が識別されることがある。しかし、システム内で識別可能なデータ領域の個数と無関係に、識別可能な領域の限られた個数だけで設定可能な符号化および復号化アーキテクチャを用い、充分な復号化ピクチャ画質を実現できる。
図１の動的に設定できるアーキテクチャにおいて、領域Ａ、Ｂ、Ｃに関連して異なる符号化および復号方式を実施する。エンコーダ１００では、ＨＤＴＶとＳＤＴＶ出力レイヤ間でデータを割り当てるために適当な方式およびアーキテクチャが、コントロール・ユニット１２０によって決定される。コントロール・ユニット１２０は、たとえばマイクロプロセッサを含み、図３のフローチャートに図示した処理を用いてエンコーダ１００のアーキテクチャを設定する。コントロール・ユニット１２０は初めに、図３のステップ３１０の開始に続くステップ３１５において入力データの領域タイプを識別する。領域タイプは、すでに説明した原理にしたがって、利用可能なシステム・バンド幅、入力データ・ストリームのデータ・レート、およびデコンプレスされた出力レイヤの要求されるピクチャ画質を含むファクタに基づいて決定する。これらのファクタはあらかじめプログラムしてコントロール・ユニット１２０内のメモリの保持されるデータで示されるか、またはコントロール・ユニット１２０への入力からファクタを決定できる。たとえば、データ・レートは入力データ・ストリームから直接検出できる。また、外部ソース入力はたとえばオペレータの選択で起動し、たとえばコンピュータ・インタフェース経由でコントロール・ユニット１２０へ入力できる。１つの実施においてコントロール・ユニット１２０は、たとえば、システム・バンド幅とデコンプレスした各出力レイヤの要求されるピクチャ画質を表わすあらかじめプログラムされている値に基づいて、領域Ａ、Ｂ、Ｃの間の境界を設定する入力データ・レート閾値を導き出すことができる。次に、コントロール・ユニット１２０は、特定の閾値に達する入力データ・ストリームのデータ・レートに基づいて適当な領域Ａ、Ｂ、またはＣの符号化方式を採用する。これとは別に、入力データ・レート閾値は、コントロール・ユニット１２０内部にそれ自体をあらかじめプログラムしておくこともできる。
入力データの領域タイプは図１０の流れ図に示してある方法を用いて図３のステップ３１５で識別される。ステップ５１０の開始に続く図１０のステップ５１５において、単一の階層化レイヤと１０８０ライン画像解像度が符号化領域におけるデータの符号化のために最初に選択される。１０８０ライン解像度での送信用に単一レイヤとして符号化される場合の入力データで予測される歪み率が、ステップ５２５で計算される。ステップ５３０では、ステップ５１５とステップ５２５を繰り返して７２０ライン解像度での単一レイヤ符号化実施のための歪み率を計算するように指示する。またステップ５３０では、ステップ５１５とステップ５２５をさらに繰り返して、７２０および１０８０ライン解像度の両方での２レイヤ符号化実施のための歪み率を計算するように指示する。得られた歪み率を比較して、符号化に使用される画像解像度と階層化レイヤ数をステップ５４０で決定する。選択処理はステップ５５０で終了する。レイヤの個数と画像解像度はステップ５４０で選択されて、最少歪み率を提供する。このレイヤと解像度の選択処理は、ステップ３１５（図３）の符号化領域識別機能を実施するものである。データを送信用に準備する必要があり、画像処理に制限されない各種の用途でも、符号化した入力データを分割する本方法を利用できることに注意すべきである。たとえば、電話通信、マイクロ波および光ファイバ通信を含む衛星または地上波通信で本発明の処理を使用できる。さらに、本発明の処理は他の種類のデータと、符号化データの階層化レイヤだけでなく他の種類のデータ・セグメントやデータ・パケットへのデータの分割を包含することができる。本発明の処理は、好適実施例に関連して説明した２レイヤおよび２データ解像度に限らず、異なる個数のデータ・セグメントおよびデータ解像度を包含することもできる。
領域Ａが選択された場合、ステップ３２０（図３）では、ステップ３２５を実行してエンコーダ１００をタイプＡアーキテクチャに設定するように指示する。さらに、フォーマッタ１１０がデータの領域タイプと適当な復号化アーキテクチャを表わすようにコントロール・ユニット１２０から提供された情報を用いて送信ビットストリームを符号化する。デコーダ１０５は、符号化されたアーキテクチャ情報に応じて送信された領域Ａタイプデータを復号化するように、互換性のある設定がなされる。データが領域Ｃタイプの場合、ステップ３３０では、ステップ３３５を実行するように指示する。ステップ３３５では、エンコーダ１００を領域Ｃのアーキテクチャに合わせて設定するように指示し、領域Ａについて説明した方法でデータと復号化アーキテクチャを表わすように送信ビットストリームを更新する。データが領域Ｃタイプでない場合、ステップ３３０ではステップ３４０を実行するように指示する。ステップ３４０では、エンコーダ１００を領域タイプＢアーキテクチャに設定するように指示し、領域Ａについて説明した方法でデータおよび復号化アーキテクチャを表わすように送信ビットストリームを更新する。
コントロール・ユニット１２０は、エンコーダ１００の構成要素の各々に提供される設定信号（Configuration signal）Ｃ１を介してエンコーダ１００を設定する。コントロール・ユニット１２０は、個々の入力データ・パケットについてエンコーダ１００の設定を更新する。ここで、各データ・パケットは符号語のシーケンスから構成されており、ピクチャのグループ、たとえばＭＰＥＧ標準に準拠するグループ・オブ・ピクチャ（Goupe of Picture）などを表わす。しかし、コントロール・ユニット１２０は特定のシステムに適するように、別のデータ・パケット長でエンコーダ１００の設定を更新することもできる。たとえば、設定は電源投入時に、各ピクチャで、各ピクチャ・ストリーム（たとえばプログラム）について、各画素ブロック（たとえばマクロブロック）について、または可変時間間隔で実行できる。
領域Ａ動作モードでは、コントロール・ユニット１２０が、設定信号によりＨＤＴＶコンプレッサ１２５と２：３アップサンプラ１３０の両方をディスエーブルにする。得られたエンコーダ１００の設定では、エンコーダ１００のユニット１３５からフォーマッタ１１０へ送信用に単一のＳＤＴＶ出力レイヤが提供される。この設定については、図５との関連で図示して説明する。図１について続けると、ＳＤＴＶレイヤ出力を作成するため、３：２ダウンサンプラ１４０が２／３の倍率で１０８０ライン解像度入力データ・ストリームの空間解像度を減少させて、７２０ライン出力を提供する。これは、たとえば単純に３つ目のラインを全て破棄するか、望ましくは補間および平均化処理を実行してもとの３ラインに対して２本の補間ラインを提供することを含め、各種の周知の方法により実現できる。３：２ダウンサンプラ１４０からの７２０ライン出力はＳＤＴＶコンプレッサ１３５で圧縮されて、フォーマッタ１１０へＳＤＴＶレイヤ圧縮データを提供する。ユニット１３５によって実行される圧縮には、エンコーダ１３５内部に記憶してある先行のＳＤＴＶレイヤ・フレームを用いる時間予測処理を使用する。このような時間予測とディスクリート・コサイン変換（ＤＣＴ）の関連する圧縮処理は公知であり、たとえば米国放送協会（ＮＡＢ）科学技術局１９９４年第４８回年次総会予稿集で発表されているグランド・アライアンスＨＤＴＶシステム仕様、１９９４年４月１４日、第３章（Grand Alliance HDTV System Specification of April 14, 1994, published by the National Association of Broadcasters（NAB）Office of Science and Technology in their 1994 Proceedings of the 48th annual conference）に記載されている。
得られたＳＤＴＶビットストリームは、フォーマッタ１１０で識別ヘッダとアーキテクチャ情報を含むデータ・パケットに形成される。アーキテクチャ情報はコントロール・ユニット１２０により提供され、フォーマッタ１１０によって、ＭＰＥＧ画像符号化システム標準（ＩＳＯ／ＩＥＣ１３８１８−１、１９９４年６月１０日）２．６．６節および２．６．７節に説明されている「階層化記述子（Hierarchy Descriptor）」を用いて送信ビットストリームへ符号化される。アーキテクチャ情報をこの後でデコーダ１０５が用いて、適当な復号化モード（たとえば領域Ａ、Ｂ、またはＣモード）にデコーダ１０５を互換設定する。デコーダ１０５の設定は、エンコーダ１００と同様に、各送信データ・パケットについて更新される。データ・パケットは、本好適実施例ではグループ・オブ・ピクチャ（a groupe of pictures）を含む。
ＭＰＥＧ「階層化記述子（Hierarchy Descriptor）」を用いるのがエンコーダ１００とデコーダ１０５が互換設定されるように補償する好適な方法であるが、他の方法も可能である。たとえばアーキテクチャ記述子は、ＭＰＥＧ標準の６．２．２．２．２節に定義されている「ユーザ・データ」フィールドにＭＰＥＧシンタックスで符号化できる。これとは別に、デコーダ１０５は、符号化されている受信データ・ストリームのビット・レートから、ＭＰＥＧ標準の６．２．２．１節でシーケンス・ヘッダのビット・レート・フィールドから決定される適当な復号化モードを推定できる。デコーダは、復号化出力のバンド幅およびビデオ画質要件が記述されあらかじめプログラムしてあるデータと併せてこのビット・レート情報を用い、本発明の上記で説明した原理にしたがい適当な復号化モードを推定する。復号化モードは、たとえば受信ビット・レートがあらかじめプログラムされている閾値に達した時点で変更することができる。
ユニット１１０からのフォーマットされ圧縮されたデータ・ストリーム出力は、トランスポート・プロセッサ１１５へ入力される前に送信チャンネル上に伝送される。図４は図１の要素ならびに送受信要素４１０〜４３５を含むシステム全体を示す。これらの送信および受信要素は公知であり、たとえば参考文献のリー、メッサーシュミット共著「デジタル通信（Digital Communication）」（クルーワー・アカデミック出版、米国マサチューセッツ州ボストン、１９８８年）に記述されている。送信エンコーダ４１０は、ユニット１１０（図１および図４）からのフォーマットされた出力を送信用に符号化する。エンコーダ４１０は代表的にはフォーマットされたデータを順次、スクランブル、エラー符号化、インタリーブして変調器４１５での変調前に送信のためにデータを調整する。変調器４１５はキャリア周波数をエンコーダ４１０の出力で特定の変調フォーマットにより、たとえば直交振幅変調（ＱＡＭ）により変調する。変調器４１５から得られた変調キャリア出力が周波数シフトされて、たとえばローカル・エリア放送用送信器などであるアップコンバータおよび送信器４２０から送信される。単一チャンネルの送信システムとして説明しているが、たとえばチャンネルを各ビットストリーム・レイヤに割り当てているような複数チャンネル送信システムでビットストリーム情報を送信することも等しく可能であることに注意すべきである。
送信信号は、受信器でアンテナと入力プロセッサ４２５により受信され処理される。ユニット４２５は、代表的には、高周波（ＲＦ）チューナと、受信した入力信号を他の処理に適したもっと低い周波数帯にダウンコンバートするための中間周波数（ＩＦ）ミキサーと増幅段を含む。ユニット４２５からの出力はユニット４３０で復調され、キャリア周波数をトラッキングして送信データならびに付随するタイミング・データ（たとえばクロック周波数）を復元する。送信デコーダ４３５は、エンコーダ４１０で行なった演算の逆を実行する。デコーダ４３５は次に、ユニット４３０で取り出したタイミング・データを用いて、ユニット４３０からの復調データ出力をデインタリーブ、復号化、スクランブル解除する。これらの機能に関連する追加情報は、たとえば前述のリーとメッサーシュミットによる文献に見ることができる。
トランスポート・プロセッサ１１５（図１および図４）は、ユニット４３５からの圧縮データ出力から同期およびエラー表示情報を抽出する。この情報は、プロセッサ１１５からの圧縮ビデオデータ出力のデコーダ１０５によって行なわれる後続のデコンプレスで使用する。プロセッサ１１５は、ユニット４３５からの圧縮データ内のＭＰＥＧ階層化記述子フィールドから復号化アーキテクチャ情報も抽出する。このアーキテクチャ情報は、デコーダ・バンド幅およびアーキテクチャ・コントロール・ユニット１４５（図１）へ提供される。ユニット１４５はこの情報を用い、デコーダ１０５を適当な復号化モード（たとえば領域Ａ、Ｂ、またはＣモード）に互換設定する。コントロール・ユニット１４５は、デコーダ１０５の各構成要素に提供される第２の設定信号Ｃ２によりデコーダ１０５を設定する。
領域Ａモードでは、図１のコントロール・ユニット１４５が第２の設定信号によりＨＤＴＶデコンプレッサ１５０と適応ユニット１６５の両方をディスエーブルにする。得られたデコーダ１０５の設定では、プロセッサ１１５からのＳＤＴＶレイヤ圧縮ビデオ出力がＳＤＴＶデコンプレッサ１６０でデコンプレスされて、デコンプレスした７２０ライン解像度ＳＤＴＶ出力シーケンスを提供する。デコンプレス処理は公知であり、前述のＭＰＥＧ標準に定義されている。さらに、アップサンプラ１５５が３／２倍で７２０ライン解像度ＳＤＴＶ出力をオーバサンプリングし、１０８０ライン解像度ＨＤＴＶデコンプレス出力を提供する。これは、もとの２ラインに対して補間３ラインを提供するたとえば補間および平均化を含む、各種の周知の方法で実現できる。アップサンプラ１６０からの１０８０ライン解像度のデコンプレス出力は、ＨＤＴＶデコンプレス出力シーケンスとして、第２の設定信号に応答してマルチプレクサ１８０経由で選択される。デコーダ１０５から得られたデコンプレスしたＨＤＴＶおよびＳＤＴＶデータ出力は、たとえば図４のユニット４４０でＮＴＳＣフォーマット信号として符号化するためや、後続の表示のために適当である。
図５は領域Ａタイプ符号化および復号化に設定した図１のエンコーダおよびデコーダ装置を示す。図示した要素の機能はすでに説明した通りである。図１のエンコーダ１００に図示してあるアップサンプラ１３０とＨＤＴＶコンプレッサ１２５は、前述のように領域Ａモードでディスエーブルとされるので、これらの要素は図５には現れない。同様に、図１のデコーダ１０５に図示してあるＨＤＴＶデコンプレッサ１５０と適応ユニット１６５は、これも前述したように領域Ａモードでディスエーブルとされるので、これらの要素は図５には現れない。
図１の入力データが領域Ｂタイプの場合、コントロール・ユニット１２０は領域Ｂアーキテクチャに併せてエンコーダ１００を設定する。これは、領域Ａについて前述したのと同様の方法で設定信号を用いて行なう。しかし、領域Ｂでは、領域Ａで単一低解像度出力が圧縮されたのと対照的に、エンコーダ１００は送信用高解像度および低解像度出力レイヤを両方とも圧縮する。この設定については、図６との関連で図示して説明する。図１について続けると、コントロール・ユニット１２０は、低解像度ＳＤＴＶ出力に加えて高解像度ＨＤＴＶ出力レイヤとして拡張データを圧縮するようにエンコーダ１００を設定することで、高解像度および低解像度出力レイヤ間にシステム・バンド幅を割り当てる。このＨＤＴＶレイヤはピクチャ・リファイン・データを提供し、７２０ライン解像度ＳＤＴＶレイヤから１０８０ライン解像度ピクチャ出力をデコーダ１０５で作成できるようにする。
領域ＢのＳＤＴＶレイヤ出力は、領域Ａで説明したのと同じ方法で作成する。ダウンサンプラ１４０からの７２０ライン出力はＳＤＴＶコンプレッサ１３５で圧縮され、フォーマッタ１１０へＳＤＴＶレイヤ圧縮データを提供する。しかし、領域Ｂでは、送信用の高解像度ＨＤＴＶ拡張レイヤがＨＤＴＶコンプレッサ１２５により取り出される。コンプレッサ１２５は、アップサンプラ／デコンプレッサ１３０で作成したＳＤＴＶレイヤのアップサンプリングしデコンプレスされたバージョンと、コンプレッサ１２５内部に記憶されているＨＤＴＶレイヤの直前のフレームとを組み合せて圧縮することによって、ＨＤＴＶ出力を取り出す。コンプレッサ１２５で実行する時間予測が関係するこのような組み合せおよび圧縮処理は公知であり、たとえばＭＰＥＧ標準の空間スケーラビリティの章（７．７節）に記載されている。エンコーダ１００から得られたＨＤＴＶおよびＳＤＴＶ圧縮出力はフォーマッタ１１０へ提供される。
エンコーダ１００からのＨＤＴＶおよびＳＤＴＶビットストリームは、識別ヘッダおよびアーキテクチャ情報を含むデータ・パケットへと、「階層化記述子」フィールド内でフォーマッタ１１０により形成される。領域Ａで説明したように、ユニット１１０からのフォーマット・データはトランスポート・プロセッサ１１５へ伝送され、ここでデコーダ１０５（この場合には領域Ｂについて）を設定するためデコンプレッサコントロール・ユニット１４５へアーキテクチャ情報を提供する。
受信器では、領域Ｂモードにおいて、コントロール・ユニット１４５が第２の設定信号を用いて適応ユニット１６５をディスエーブルにする。デコーダ１０５の得られた設定では、プロセッサ１１５からの圧縮ＳＤＴＶ出力がユニット１６０でデコンプレスされて、領域Ａの場合と同様に７２０ライン解像度ＳＤＴＶ出力を提供する。ＨＤＴＶデコンプレッサ１５０は、アップサンプラ１５５で作成したこの復号化ＳＤＴＶ出力のアップサンプリングしたバージョンとＨＤＴＶデコンプレッサ１５０内部に記憶している直前のＨＤＴＶレイヤのフレームを組み合せてデコンプレスすることにより、デコンプレスした１０８０ライン解像度ＨＤＴＶ出力を取り出す。アップサンプリングしたデータと記憶してあるデータを組み合せてＨＤＴＶデコンプレッサ１５０で実行するようなデコンプレス出力を形成する処理は公知であり、たとえばＭＰＥＧ標準の空間スケーラビリティの章（７．７節）に記載されている。デコンプレッサ１５０からの１０８０ラインの高解像度のデコンプレス出力は、ＨＤＴＶデコンプレス出力として、マルチプレクサ１８０経由で第２の設定信号に応答して選択される。デコーダ１０５から得られたデコンプレスしたＨＤＴＶおよびＳＤＴＶデータ出力は、すでに説明したようにさらに処理するためとそれに続けて表示するために好適なものである。
図６は領域Ｂタイプの符号化〜復号化のために設定された図１のエンコーダおよびデコーダ装置を示す。図示してある要素の機能はすでに説明した通りである。図１のデコーダ１０５に図示してある適応ユニット１６５は、これもすでに説明したように領域Ｂモードでディスエーブルとされることから、図６には現れない。
図１の入力データが領域Ｃタイプの場合、コントロール・ユニット１２０は領域Ｃアーキテクチャに併せてエンコーダ１００を設定する。これは、領域Ａについてすでに説明したのと同様の方法で設定信号を用いて行なう。しかし、領域Ｃでは、領域Ａのような低解像度出力または領域Ｂのような２つの出力を符号化するのではなく、高解像度出力だけを符号化する。コントロール・ユニット１２０は、必要なら高解像度出力を符号化するように全システム・バンド幅を割り当て、全空間（１０８０ライン）ＨＤＴＶ解像度で拡張レイヤを符号化するように設定信号によりエンコーダ・ユニット１００を設定する。
領域Ｃモードでは、コントロール・ユニット１２０は設定信号により、ダウンサンプラ１４０、ＳＤＴＶコンプレッサ１３５、およびアップサンプラ１３０をディスエーブルにする。このようにして得られたエンコーダ１００の設定では、フォーマッタ１１０へ１０８０ライン解像度ＨＤＴＶ出力を提供するのに必要とされるように、全システム・バンド幅を用いてＨＤＴＶコンプレッサ１２５で入力シーケンスを圧縮する。この設定については、図７との関連で図示して説明する。図１について続けると、ＨＤＴＶコンプレッサ１２５は、コンプレッサ１２５内部に記憶されているＨＤＴＶレイヤの直前のフレームを用いてＨＤＴＶ出力を取り出す。領域Ｃにおいてコンプレッサ１２５により実行される圧縮処理は、領域Ａならびに領域Ｂについて説明したのと同様であり、これも公知となっている。
ユニット１００からのＨＤＴＶビットストリームは、識別ヘッダおよびアーキテクチャ情報を含むデータ・パケットへと、「階層化記述子」フィールド内でフォーマッタ１１０により形成される。領域Ａで説明したように、ユニット１１０からのフォーマットされたデータはトランスポート・プロセッサ１１５へ伝送され、ここで、デコーダ１０５を設定するため（この場合には領域Ｃについて）デコーダ・コントロール・ユニット１４５へアーキテクチャ情報を提供する。
受信器において、領域Ｃモードでは、コントロール・ユニット１４５が第２の設定信号を用いてアップサンプラ１５５をディスエーブルにする。このようにして得られるデコーダ１０５の設定では、プロセッサ１１５からの圧縮ＨＤＴＶ出力がユニット１５０でデコンプレスされて、１０８０ライン高解像度ＨＤＴＶ出力を提供する。この、デコンプレッサ１５０からの１０８０ラインのデコンプレスした出力は、第２の設定信号に応答してマルチプレクサ１８０経由で、デコーダ１０５の復号化ＨＤＴＶ出力として選択される。さらに、プロセッサ１１５からの圧縮ＨＤＴＶ出力は適応ユニット１６５でＳＤＴＶデコンプレッサ１６０の入力要件に合致させるのに適している。これは、圧縮（周波数）ドメインで、プロセッサ１１５からの圧縮ＨＤＴＶ出力の空間解像度を実効７２０ライン解像度へ減少することにより行なわれる。これはたとえば、プロセッサ１１５からの圧縮ＨＤＴＶ出力のビデオ情報を表わすディスクリート・コサイン変換（ＤＣＴ）係数のうちで、高い周波数の係数を破棄することにより行なえる。この処理は公知であり、たとえば、Ｓ．チャンらによる「ＭＣ−ＤＣＴ圧縮ビデオの操作と複合」、ＩＥＥＥ通信選択分野ジャーナル（ＪＳＡＣ）１９９５年１月（“Manipulation and Compositing of MC-DCT Compressed Video”by S. Chang et al, published in the I.E.E.E. Journal of Selected Area in Communications（JSAC）, January 1995）に記載されている。適応ユニット１６５からの空間的に減少させた圧縮出力は、ユニット１６０でデコンプレスされて７２０ライン解像度ＳＤＴＶ出力を提供する。ユニット１６０および１５０で実行するデコンプレス処理は領域Ａについて説明した処理と同様で、これもまた公知である。デコーダ１０５から得られた復号化ＨＤＴＶおよびＳＤＴＶデータ出力は、すでに説明したようにさらに処理するためとその後で表示するために適したものである。
図７は領域Ｃタイプ符号化および復号化に設定した図１のエンコーダおよびデコーダ装置を示す。図示した要素の機能はすでに説明した通りである。図１のエンコーダ１００に図示してあるダウンサンプラ１４０、ＳＤＴＶコンプレッサ１３５およびアップサンプラ１３０は、すでに説明したように領域Ｃモードではディスエーブルとされるので、図７ではこれらの要素が現れない。同様に、図１のデコーダ１０５に図示してあるアップサンプラ１５５は領域Ｃモードでディスエーブルとされるので、この要素は図７に図示していない。
図８は図１の変形であり、領域Ａ復号化のための追加アーキテクチャ設定を示す。図８のエンコーダ１００、フォーマッタ１１０およびトランスポート・プロセッサ１１５は、図１で説明した通りである。さらに、図８のデコーダ１０９の機能は、領域Ａ復号化において１０８０ライン解像度ＨＤＴＶデコンプレス出力が別の方法で提供されることを除けば、図１のデコーダ１０５の機能と同一である。
領域Ａモードでは、図８のデコーダ・コントロール・ユニット１４９はアップサンプラ１５５と適応ユニット１６５の双方を第２の設定信号によりディスエーブルにする。デコーダ１０９のこうして得られた設定では、プロセッサ１１５からのＳＤＴＶレイヤ圧縮ビデオ出力がＳＤＴＶデコンプレッサ１６０でデコンプレスされて、デコーダ１０９のＳＤＴＶ出力を提供する。これは、図１で説明したのと同じ方法で実行される。しかし、デコーダ１０９からのＨＤＴＶデコンプレス出力は、図１のデコーダ１０５で時間ドメインのサンプリングを行なっているのと対照的に、周波数ドメインでＳＤＴＶレイヤをアップサンプリングすることによって作成する。図８のプロセッサ１１５からの圧縮出力は、適応ユニット１６８（図１には現れない）によって圧縮（周波数）ドメインでアップサンプリングされる。これは、たとえばプロセッサ１１５からの圧縮ＳＤＴＶ出力においてビデオ情報を表わす高次ディスクリート・コサイン変換（ＤＣＴ）周波数係数を「ゼロ・パディング（zero padding）」することによって行なえる。実際に、選択した高次ＤＣＴ係数はゼロ値を割り当てられる。この処理の裏付けとなる理論は公知であり、たとえば、Ｓ．チャンらによる「ＭＣ−ＤＣＴ圧縮ビデオの操作と合成」、ＩＥＥＥ通信選択分野ジャーナル（ＪＳＡＣ）１９９５年１月（“Manipulation and Compositing of MC-DCT Compressed Video”by S. Chang et al, published in the I.E.E.E. Journal of Selected Area in Communications（JSAC）, January 1995）に記載されている。適応ユニット１６８から得られたアップサンプリングした出力がＨＤＴＶデコンプレッサ１５２によってデコンプレスされ、デコーダ１０９からＨＤＴＶ出力を提供する。デコーダ１０９から得られたデコンプレスしたＨＤＴＶおよびＳＤＴＶデータ出力は、図１に関連して説明したように処理とそれに続く表示に適している。
図９は図１の変形であり、領域Ｃ復号化のための追加アーキテクチャ設定を示す。図９のエンコーダ１００、フォーマッタ１１０およびトランスポート・プロセッサ１１５で行なわれる機能は、図１で説明した通りである。さらに、図９のデコーダ１０７の機能は、領域Ｃ復号化において、７２０ライン解像度ＳＤＴＶデコンプレス出力が別の方法で提供されることを除けば、図１のデコーダ１０５の機能と同一である。
領域Ｃモードでは、第２の設定信号により、図９のコントロール・ユニット１４７がアップサンプラ１５５とＳＤＴＶデコンプレッサ１６２の両方をディスエーブルにする。デコーダ１０７のこうして得られた設定では、プロセッサ１１５からのＨＤＴＶレイヤ圧縮ビデオ出力がＨＤＴＶデコンプレッサ１５０によりデコンプレスされ、デコーダ１０７のＨＤＴＶ出力を提供する。これは、図１で説明したのと同じ方法で行なわれる。しかし、デコーダ１０７からのＳＤＴＶデコンプレス出力は、図１のデコーダ１０５で実行される周波数ドメインのサンプリングとは対照的に、時間ドメインにおいてＨＤＴＶレイヤをダウンサンプリングすることにより作成する。図９のマルチプレクサ１８０からのデコンプレスしたＨＤＴＶ出力は２／３倍でダウンサンプラ１７０（図１には現れない）によりダウンサンプリングされ、７２０ライン出力を提供する。これは、図１のエンコーダ１００のダウンサンプラ１４０に関連して説明したように、各種の公知の方法で実行できる。ダウンサンプラ１７０からの７２０ライン解像度のデコンプレス出力は、第２の設定信号に応答してマルチプレクサ１７５（図１には現れない）経由でデコーダ１０７の復号化ＳＤＴＶ出力として選択される。デコーダ１０７から得られたデコンプレスしたＨＤＴＶおよびＳＤＴＶデータ出力は、図１との関連で説明したように、処理とそれに続く表示に適したものである。
図１から図９に関連して説明したエンコーダおよびデコーダのアーキテクチャは排他的なものではない。同じ目的を実現し得る他のアーキテクチャが個々の領域（Ａ、Ｂ、Ｃ）について工夫し得る。さらに、各種アーキテクチャの要素の機能は、その全体でまたは部分で、マイクロプロセッサのプログラム命令内部で実現できるものである。

Claims (8)

1. 画素データを含む入力データを符号化して、符号化データの１つまたはそれよりも多い階層化レイヤに分割した、圧縮イメージを表すデータを提供するためのデジタル信号処理装置において、
   周期的に、次式に従ったレート歪関数を用いる制御手段、
   

   

   前記入力データを処理して、符号化データの可変数の階層化レイヤに分割した、出力の圧縮イメージを表すデータを提供するための圧縮手段であって、該分割数を、バンド幅が所望のピクチャ画質をサポートできない場合は減少して該バンド幅が該画質をサポートできる場合は増加するように、周期的に用いられる前記レート歪関数に応じて動的に可変する圧縮手段、及び、
   前記出力の圧縮イメージを表すデータをフォーマットして出力送信チャンネルの要件と互換性をとるための出力プロセッサ
   を備えたことを特徴とするデジタル信号処理装置。
2. 前記圧縮手段は前記出力の圧縮イメージを表すデータを、
   （ａ）プログラムストリームの持続時間の間隔、
   （ｂ）グループオブピクチャ（ＧＯＰ）の持続時間の間隔、
   のうち少なくとも１つの間隔で用いられる前記レート歪関数に応じて分割することを特徴とする請求項１に記載の装置。
3. 前記レート歪関数により、単位時間あたり特定のビット数で符号化されたイメージの歪量を提供することを特徴とする請求項１に記載の装置。
4. 前記圧縮手段は前記入力データを処理して、可変空間解像度の、出力の圧縮イメージを表すデータを、前記レート歪関数に応じて提供することを特徴とする請求項１に記載の装置。
5. 画素データを含む入力データを符号化して、可変空間解像度の、圧縮イメージを表すデータを提供するためのデジタル信号処理方法において、
   周期的に、次式に従ったレート歪関数を用いるステップ、
   

   

   前記入力データを処理して、可変空間解像度の、出力の圧縮イメージを表すデータを提供するステップであって、該空間解像度を、バンド幅が所望のピクチャ画質をサポートできない場合は減少して該バンド幅が該画質をサポートできる場合は増加するように、周期的に用いられる前記レート歪関数に応じて動的に可変するステップ、及び、
   前記可変空間解像度の、出力の圧縮イメージを表すデータをフォーマットして出力送信チャンネルの要件と互換性をとるステップ
   を含むことを特徴とする方法。
6. デコーダを構成し、所定の閾値に到達する入力データストリームのビットレートがあれば、該構成を可変することで、前記可変空間解像度の、出力の圧縮イメージを表すデータを提供することを特徴とする請求項５に記載の方法。
7. 前記レート歪関数は、
   （ａ）プログラムストリームの持続時間の間隔、
   （ｂ）グループオブピクチャ（ＧＯＰ）の持続時間の間隔、
   のうち少なくとも１つの間隔で用いられることを特徴とする請求項５に記載の方法。
8. 前記レート歪関数により、単位時間あたり特定のビット数で符号化されたイメージの歪量を提供することを特徴とする請求項５に記載の方法。

Images