JPH11508738A - 可変セグメントで可変データ解像度によりデータを処理するための方法 - Google Patents

可変セグメントで可変データ解像度によりデータを処理するための方法

Info

Publication number
JPH11508738A
JPH11508738A JP9504284A JP50428497A JPH11508738A JP H11508738 A JPH11508738 A JP H11508738A JP 9504284 A JP9504284 A JP 9504284A JP 50428497 A JP50428497 A JP 50428497A JP H11508738 A JPH11508738 A JP H11508738A
Authority
JP
Japan
Prior art keywords
data
resolution
rate
segments
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9504284A
Other languages
English (en)
Other versions
JP4001914B2 (ja
Inventor
チアン,ティハオ
ソェン,ホゥエイファン
ツデプスキー,ジョエル,ウォルター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of JPH11508738A publication Critical patent/JPH11508738A/ja
Application granted granted Critical
Publication of JP4001914B2 publication Critical patent/JP4001914B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

(57)【要約】 動的に設定可能なビデオ信号処理システムは、可変数のデータ・セグメントと可変データ解像度を用いてデータを分割し符号化する。本システムは、データ・レートの関数として、第1および第2の歪み率を第1および第2のデータ・セグメント数に分割されたデータについて予測することにより、可変数のデータ・セグメントへデータを分割する(515〜530)。第1および第2の歪み率を互いに比較して、より低い歪み率値を示すデータ・セグメント数にデータが分割される。第1および第2のデータ解像度で符号化されたデータの第1および第2の歪み率も予測する(515〜530)。第1および第2の歪み率が同様に比較され(540)、より低い歪み率値を示す解像度でデータが符号化される。

Description

【発明の詳細な説明】 可変セグメントで可変データ解像度によりデータを処理するための方法 本発明はデジタル画像信号処理の分野に関し、さらに詳しくは階層化ビデオ・ データを処理するためのシステムに関する。 デジタル・ビデオの符号化および復号化フォーマット開発の目的は、異なった ビデオ送受信システムを対応させる標準を提供することであった。更なる目的は 、異なる世代および種類のビデオ符号化および復号化機器の間の相互運用性と上 位互換性(backward compatibility)を促進することであった。このような相互運 用性と互換性を促進するためには、異なる種類のビデオ画像スキャン(たとえば インタレース走査方式/順次走査方式)、フレーム・レート、ピクチャ解像度、 フレーム・サイズ、クロミナンス符号化、送信バンド幅に対応できる符号化/復 号化方式を定義することが望ましい。 相互運用性を実現するために用いられる方式の1つとしては、符号化および送 信用に順序付けたビットストリームのセットとして構成されたデータ階層(レイ ヤ)の1つまたは2つ以上のレベルに、ビデオ・データを分割することが挙げら れる。ビットストリームは、ベース・レイヤ、即ちもっとも簡単な(たとえば最 低解像度の)ビデオ表現を表わすデータ・ストリームから、ビデオ・ピクチャの インクリメンタルな改善を表わす連続的拡張レイヤまでに及ぶ。ビデオ・データ は、受信器内のデコーダにより順序付けたビットストリームから再構成される。 この方式では、所望するビデオ・ピクチャの画質を達成するようにデコーダの複 雑さを調節できる。デコーダは、拡張レイヤ全部であるビットストリームの全部 を完全に復号化するもっとも高度な構成から、ベース・レイヤだけを復号化する もっとも簡単なものまでに及ぶ。 このようなデータ階層を用い、広く受け入れられている標準がMPEG(Movin g Pictures Expert Group)画像符号化標準(ISO/IEC13818−2、1 994年5月10日)で、以下これを「MPEG標準」と称する。MPEG標準 は、ベースおよび拡張レイヤのデータをどのように取り出せるか、 またはデコーダによりレイヤからビデオ・データをどのように再構成するかを詳 細に記述している。ここでは、各種レイヤ間で合理的にデータを分割するためと 、この目的に供するシステムを動的に設定するための、エンコーダおよびデコー ダ・アーキテクチャを含むシステムを提供することが望ましいことが分かってい る。 本発明の原理によれば、動的に設定可能なビデオ信号処理システムは可変数の データ・セグメントと可変データ解像度を用いてデータを分割し符号化する。 本発明による開示の方法は、可変数のデータ・セグメントにデータを分割する ものである。本方法は、データ・レートの関数として、第1および第2の歪み率 を第1および第2のデータ・セグメント数に分割されたデータについて予測する ことに係る。第1および第2の歪み率を互いに比較し、より低い歪み率値を示す データ・セグメント数にデータを分割する。 本発明の特徴によれば、入力データが符号化されるデータ解像度を決定する方 法も開示される。本方法は、データ・レートの関数として、第1および第2の歪 み率を第1および第2のデータ解像度により符号化したデータについて予測する ことに係る。第1および第2の歪み率を互いに比較して、より低い歪み率値を示 す解像度でデータを符号化する。 図面の簡単な説明 図面において、 図1は本発明による動的に設定可能な代表的なビデオ信号符号化および復号化 アーキテクチャを示す。 図2は異なる符号化方式の領域を表わすビット・レートに対してプロットした ピーク信号対雑音比(PSNR)の代表的なグラフを示す。 図3は本発明による図1のアーキテクチャを決定するために使用される制御関 数のフローチャートである。 図4はMPEG互換符号化/復号化システムのコンテキスト(context)での図 1の符号化および復号化システムを示す。 図5はA型符号化および復号化領域で本発明によるエンコーダおよびデコーダ のアーキテクチャを示す。 図6はB型符号化および復号化領域で本発明によるエンコーダおよびデコーダ のアーキテクチャを示す。 図7はC型符号化および復号化領域で本発明によるエンコーダおよびデコーダ のアーキテクチャを示す。 図8は本発明による領域A復号化のための更なるアーキテクチャ構成による図 1の変形を示す。 図9は本発明による領域C復号化のための更なるアーキテクチャ構成による図 1の変形を示す。 図10は本発明による入力データの領域タイプを識別するための方法のフロー チャートを示す。 MPEG標準では、階層化配列(orderd)ビットストリーム・レイヤの処理を「 スケーラビリティ」として表わしている。MPEGのスケーラビリティの1つの かたちで「空間スケーラビリティ」と呼ばれるものは、異なるレイヤにあるデー タが異なるフレームサイズ、フレーム・レート、クロミナンス符号化を持つこと ができる。MPEGスケーラビリティの別のかたちは「時間スケーラビリティ」 と呼ばれ、異なるレイヤにあるデータが異なるフレーム・レートを持つことがで きるが、同一のフレームサイズおよびクロミナンス符号化を必要とする。さらに 、「時間スケーラビリティ」では拡張レイヤが動きに依存する予測で形成された データを含むが、一方の「空間スケーラビリティ」では含まない。このような種 類のスケーラビリティ、および「SNRスケーラビリティ(SNRは信号対雑音 比を表わす)」と呼ばれる別の種類のスケーラビリティがMPEG標準の第3章 にさらに定義されている。 本発明の実施例は、2レイヤ階層(ベース・レイヤと1つの拡張レイヤ)でM PEGの「空間」および「時間」スケーラビリティを使用する。拡張レイヤのデ ータは異なるフレームサイズに対応するが、単一のフレーム・レートと単一のク ロミナンス符号化フォーマットには対応しない。2種類の代表的なフレームサ イズは、たとえば米国のグランド・アライアンスHDTV仕様で提案されている 、HDTV(高品位テレビ)とSDTV(標準品位テレビ)信号のフォーマット に対応する。HDTVのフレームサイズは、1080ラインでライン当たり19 20サンプル(したがって、画像当たり1080×1920画素)となり、SD TVのフレームサイズは720ラインでライン当たり1280サンプル(したが って、画像当たり720×1280画素)となる。HDTVおよびSDTV信号 は、どちらも30Hzのインタレース・フレーム・レートと同じクロミナンス符 号化フォーマットを使用する。 開示のシステムはMPEG互換で、2レイヤの、HDTVおよびSDTV空間 、時間スケーラブル用途のコンテキストで説明するが、これは単なる例示である 。開示のシステムは2レイヤよりも多くのビデオ・データ・レイヤおよび他のビ デオ・データ解像度(720および1080ラインの解像度以外)へ当業者によ り簡単に拡張し得るものである。さらに、本発明の原理は他のスケーラビリティ のかたち、たとえばSNRスケーラビリティに応用でき、固定最適化エンコーダ およびデコーダ・アーキテクチャを決定するためにも使用できる。本発明の原理 は、所望の通信バンド幅でエンコーダ装置およびデコーダ装置を最適化するため に、TV符号化(HDTVまたはSDTV)、超低ビット・レート符号化(たと えばビデオ会議)、デジタル地上放送波において特に用途を有している。 図1は本発明による動的に設定可能なビデオ信号符号化/復号化アーキテクチ ャを示す。概要として、入力ビデオ・データ・ストリームは圧縮(コンプレス) されており、ベース(SDTV)データ・レイヤと拡張(HDTV)データ・レ イヤの間にエンコーダ100によって割り当てられている。割り当ては、本発明 の原理にしたがってバンド幅およびアーキテクチャ・コントロール・ユニット1 20の制御により行なわれる。シングルまたはデュアル・ビットストリームのか たちでエンコーダ100から得られた圧縮データは、フォーマッタ110により 識別ヘッダを含むデータ・パケットへ構成される。ユニット110からのフォー マットされたデータ出力は、データ・チャンネル上への送信後、トランスポート ・プロセッサ115により受信される。送受信処理については、図 4に図示した符号化および復号化システムに関連して後で説明する。 トランスポート・プロセッサ115(図1)は、フォーマットされた圧縮ビッ トストリーム・データをレイヤ形式にしたがって分離、即ちヘッダ情報の分析に 基づいてベースまたは拡張レイヤ・データに分離する。トランスポート・プロセ ッサ115からのデータ出力は、デコーダ105によってデコンプレス(decompr ess)される。デコーダ105のアーキテクチャは、本発明の原理にしたがってバ ンド幅およびアーキテクチャ・コントロール・ユニット145の制御により決定 される。シングルまたはデュアルのデコンプレスしたビットストリームのかたち でデコーダ105から得られたデコンプレスしたデータ出力は、NTSCフォー マット信号として符号化するためと、後で表示するために適したものである。 図1の動的に設定可能なアーキテクチャを詳細に考えると、入力ビデオ・デー タ・ストリームはエンコーダ100により圧縮され、ベースSDTVデータ・レ イヤと拡張HDTVレイヤの間に割り当てられている。バンド幅およびアーキテ クチャ・コントロール・ユニット120は、ユニット125および135各々か らのHDTVとSDTV出力レイヤの間にデータを適切に割り当てられるように エンコーダ100のアーキテクチャを設定する。適切なデータ・アロケーション は、バンド幅、システム出力データ・レート制限、入力ビデオ・データのデータ ・レートおよびピクチャ解像度(画像当たりの画素数)、各レイヤで要求される ピクチャ画質および解像度(画像当たりの画素数)を含む多数のシステム・ファ クタに依存する。前述のシステムにおいて、エンコーダ100とデコーダ105 双方の入出力間の画像解像度は、さらに詳細には後で説明するように、画像当た りの画素数を変更することにより変化する。 データ・アロケーションならびに符号化方式は、エンコーダ100の出力にお ける指定された歪みでのビデオ入力シーケンスを表わすのに必要とされる単位時 間当たりの最小ビット数を求めることにより導き出される。これがエンコーダ1 00についてのレート歪み関数(Rate Distortion Function)である。レート歪 み関数は、人力シーケンスが平均μと標準偏差σのガウス分布ソース信号である と仮定して評価される。さらに、T.M.カバーおよびJ.A.トー マス著、1991年J.ワイリー・アンド・サンズ発行の「情報理論の要素」( "Elements of Information Theory"by T.M.Cover and J.A.Thomas,publishe d by J.Wiley & Sons,1991)13.3.2節に示されている理論にしたがって 、このようなガウス入力シーケンスのレート歪み関数Rに平方誤差基準を適用す ると、 D>σ2であれば、 =0となる。 したがって、歪みレート関数Dは、 D=σ2-2R で与えられ、ピーク信号対雑音比(PSNR)として表わした場合には、 となる。 図2は歪みピーク信号対雑音比DPSNRをデシベルで表わしたグラフ表現で、2 レイヤ空間符号化システムでの拡張レイヤのビット・レート(ビット/秒)に対 してプロットしてある。カーブは、ベース・レイヤ歪み関数、拡張レイヤ歪み関 数、720ラインのピクチャの1080ライン補間(interpolation)で代表的な サンプリングしていないベース・レイヤでの歪み関数についてプロットしてある 。ベース・レイヤとサンプリングしていないベース・レイヤのカーブは、拡張レ イヤのビット・レートが増加するとベース・レイヤのビット・レートが減少する ため、負の傾きを有している。2レイヤ・システムでの複合歪みのカーブが、図 2の太い黒線で表わしてある。この複合歪みカーブは、サンプリングしていない ベース・レイヤを使用する2レイヤ・システムで得られる最小歪みに対する線形 近似である。 符号化および復号化の方式が、図2に図示してある2レイヤ・システムの結果 から導かれる。さらに詳しくは、異なる符号化および復号化アプローチを採用す ることによる利点が得られるような、3つの領域A、B、Cが識別される。領域 の境界は、システムのバンド幅、システム出力データレート制限、入力ビデオ・ データのデータ・レートとピクチャ解像度、各レイヤで要求されるピクチャ画質 と解像度によって変化し得る。領域は次のように識別される。領域A 領域Aでは、2レイヤ符号化または単一の高解像度レイヤ符号化のどちらかを 用いて要求される画質を達成するには不十分な割り当て可能バンド幅しかない。 この領域で、復号化したサンプリングしていないベース・レイヤのビデオ画質は 、ベース・レイヤと拡張レイヤからの合成データから導かれる復号化したピクチ ャのビデオ画質に等しいかこれを超える。この領域は拡張レイヤ・カーブ上の点 Xが上端に接しており、ゼロ・ビット・レート拡張レイヤの点Yでサンプリング していないベース・レイヤ・カーブの画質に等しいピクチャ画質(DPSNR値)を 得られる。 領域Aでは、画像当たり画素数が減少している減少空間解像度で単一レイヤ( ベース・レイヤ)の符号化および圧縮に利用可能なシステム・バンド幅全部を割 り当てる際に利点がある。この方式は各種の方法で実施できる。たとえば1つの 方法として、入力データ・ストリームをダウンサンプリングして送信用に単一の ベース・レイヤ(SDTV)を提供し、さらに対応する受信したベース・レイヤ を復号化して、受信時に復号化SDTV出力を提供する。もっと解像度の高い 復号化HDTV出力は、復号化SDTV出力をアップサンプリング(オーバサン プリング)することにより復号化SDTV出力に加えて受信器で作成できる。こ の方法の利点は、2レイヤまたは単一の高解像度レイヤのどちらかを符号化する ために使用する場合より低解像度の単一レイヤ・ビットストリームを符号化する ように割り当てられた場合に乏しいバンド幅が一層有効に使用されることによっ ている。これは、後者のアプローチがたとえば必要とされる追加のエラー保護お よびデータ管理コードに付随する大きな符号化時オーバヘッドを受けることが多 いためである。領域Aタイプの状況は、たとえば全解像度符号化をサポートする には利用できる全システム・バンド幅が不十分な場合に発生することがある。領 域A符号化方式の利点は、たとえば符号化しようとする入力データ・ストリーム が顕著な非平衡移動(non-translational motion)を含む場合など、他の状況でも 発生することがある。さらに領域A空間ダウンサンプリングおよびアップサンプ リングは、バンド幅が制限されたシステムで動き補償予測符号化により提供し得 る以上に良好なピクチャ画質を提供できる。これは、このような動き補償に関連 したオーバヘッドのためである。領域Aの動作については、図5との関連でさら に詳細に説明する。領域B 領域Bでは、2レイヤ符号化方式を用いて要求された出力ピクチャ画質に適合 するのに十分なシステム・バンド幅がある。この領域では、利用できるシステム ・バンド幅がレイヤ間に割り当てられるので、復号化された高解像度および低解 像度両方の出力の画質要件に適合する。この領域は領域Aと領域Cの間にある。 領域Bでは、システム・バンド幅が高解像度および低解像度信号出力レイヤ間 でピクチャ画質要件にしたがって割り当てられる。2つの出力レイヤは様々な方 法で送信用に符号化できる。たとえば1つの方法は、高解像度入力データ・スト リームをダウンサンプリングし符号化して送信用低解像度(SDTV)レイヤを 提供し、また受信時にこの低解像度レイヤを復号化して低解像度SDTV信号を 提供する。送信すべき高解像度(HDTV)拡張レイヤは、符号化したSDTV レイヤのアップサンプリングしたバージョンと符号化HDTVレイヤの直前のフ レームの組み合せから導出する。復号化HDTV出力は、復号化SDTV出力の アップサンプリングしたバージョンと受信した符号化HDTVレイヤの組み合せ から導出できる。この動作については、図6との関連でさらに詳細に説明する。領域C 領域Cでは、2レイヤを符号化するかまたは単一の(低解像度)レイヤを符号 化するかのどちらかにシステム・バンド幅を割り当てることでは、要求されるピ クチャ画質を実現できない。この領域では、所定のシステム・バンド幅の制約が 与えられると、単一の高解像度レイヤを符号化することにより、高品位出力ビデ オ信号を実現できる。この領域は、ベース・レイヤ単独で最小値として要求され るピクチャ画質のレベルを提供する拡張レイヤ・カーブ上の点V(図2のDPSNR 値Wに等しい)で隔てられている。 領域Cでは、画像当たり全画素数で全空間解像度における単一レイヤ(拡張レ イヤ)の符号化および圧縮に全システム・バンド幅を割り当てる際に利点がある 。この方式は各種の方法で実施できる。たとえば1つの方法として、送信用に単 一の高解像度拡張(HDTV)レイヤとして全空間解像度で入力データ・ストリ ームを符号化し、これに対応する受信拡張レイヤを復号化して高解像度HDTV 出力を提供する。受信器では、受信した高解像度信号から、後述するように圧縮 またはデコンプレス・ドメインでダウンサンプリングすることにより、低解像度 (SDTV)出力を取り出すことができる。この領域Cの方法の利点は、要求さ れる出力ピクチャ画質レベルが与えられると、送信用に2レイヤを符号化するた めに使用する場合よりも単一の高解像度レイヤを符号化するように割り当てられ た場合に利用可能なバンド幅が一層効率的に使用されるためである。これは、2 レイヤ符号化では追加のエラー保護およびデータ管理オーバヘッド情報を必要と するためである。この領域Cの動作については、図7との関連でさらに詳細に説 明する。 図2の2レイヤ・システムに識別される3つの領域(A、B、C)は、全ての 2レイヤ・システムに全て揃っていなくとも良い。たとえば、システム・バンド 幅、システムのデータ・レート制限、各レイヤで要求されるピクチャ画質および 解像度によっては、1つまたは2つの領域だけが識別されることがある。逆に、 2つよりも多くのレイヤを備えるシステムでは、本発明の原理にしたがって3つ よりも多くの領域が識別されることがある。しかし、システム内で識別可能なデ ータ領域の個数と無関係に、識別可能な領域の限られた個数だけで設定可能な符 号化および復号化アーキテクチャを用い、充分な復号化ピクチャ画質を実現でき る。 図1の動的に設定できるアーキテクチャにおいて、領域A、B、Cに関連して 異なる符号化および復号方式を実施する。エンコーダ100では、HDTVとS DTV出力レイヤ間でデータを割り当てるために適当な方式およびアーキテクチ ャが、コントロール・ユニット120によって決定される。コントロール・ユニ ット120は、たとえばマイクロプロセッサを含み、図3のフローチャートに図 示した処理を用いてエンコーダ100のアーキテクチャを設定する。コントロー ル・ユニット120は初めに、図3のステップ310の開始に続くステップ31 5において入力データの領域タイプを識別する。領域タイプは、すでに説明した 原理にしたがって、利用可能なシステム・バンド幅、入力データ・ストリームの データ・レート、およびデコンプレスされた出力レイヤの要求されるピクチャ画 質を含むファクタに基づいて決定する。これらのファクタはあらかじめプログラ ムしてコントロール・ユニット120内のメモリの保持されるデータで示される か、またはコントロール・ユニット120への入力からファクタを決定できる。 たとえば、データ・レートは入力データ・ストリームから直接検出できる。また 、外部ソース入力はたとえばオペレータの選択で起動し、たとえばコンピュータ ・インタフェース経由でコントロール・ユニット120へ入力できる。1つの実 施においてコントロール・ユニット120は、たとえば、システム・バンド幅と デコンプレスした各出力レイヤの要求されるピクチャ画質を表わすあらかじめプ ログラムされている値に基づいて、領域A、B、Cの間の境界を設定する入力デ ータ・レート閾値を導き出すことができる。次に、コントロール・ユニット12 0は、特定の閾値に達する入力データ・ストリームのデータ・レート に基づいて適当な領域A、B、またはCの符号化方式を採用する。これとは別に 、入力データ・レート閾値は、コントロール・ユニット120内部にそれ自体を あらかじめプログラムしておくこともできる。 入力データの領域タイプは図10の流れ図に示してある方法を用いて図3のス テップ315で識別される。ステップ510の開始に続く図10のステップ51 5において、単一の階層化レイヤと1080ライン画像解像度が符号化領域にお けるデータの符号化のために最初に選択される。1080ライン解像度での送信 用に単一レイヤとして符号化される場合の入力データで予測される歪み率が、ス テップ525で計算される。ステップ530では、ステップ515とステップ5 25を繰り返して720ライン解像度での単一レイヤ符号化実施のための歪み率 を計算するように指示する。またステップ530では、ステップ515とステッ プ525をさらに繰り返して、720および1080ライン解像度の両方での2 レイヤ符号化実施のための歪み率を計算するように指示する。得られた歪み率を 比較して、符号化に使用される画像解像度と階層化レイヤ数をステップ540で 決定する。選択処理はステップ550で終了する。レイヤの個数と画像解像度は ステップ540で選択されて、最少歪み率を提供する。このレイヤと解像度の選 択処理は、ステップ315(図3)の符号化領域識別機能を実施するものである 。データを送信用に準備する必要があり、画像処理に制限されない各種の用途で も、符号化した入力データを分割する本方法を利用できることに注意すべきであ る。たとえば、電話通信、マイクロ波および光ファイバ通信を含む衛星または地 上波通信で本発明の処理を使用できる。さらに、本発明の処理は他の種類のデー タと、符号化データの階層化レイヤだけでなく他の種類のデータ・セグメントや データ・パケットへのデータの分割を包含することができる。本発明の処理は、 好適実施例に関連して説明した2レイヤおよび2データ解像度に限らず、異なる 個数のデータ・セグメントおよびデータ解像度を包含することもできる。 領域Aが選択された場合、ステップ320(図3)では、ステップ325を実 行してエンコーダ100をタイプAアーキテクチャに設定するように指示する。 さらに、フォーマッタ110がデータの領域タイプと適当な復号化アーキテク チャを表わすようにコントロール・ユニット120から提供された情報を用いて 送信ビットストリームを符号化する。デコーダ105は、符号化されたアーキテ クチャ情報に応じて送信された領域Aタイプデータを復号化するように、互換性 のある設定がなされる。データが領域Cタイプの場合、ステップ330では、ス テップ335を実行するように指示する。ステップ335では、エンコーダ10 0を領域Cのアーキテクチャに合わせて設定するように指示し、領域Aについて 説明した方法でデータと復号化アーキテクチャを表わすように送信ビットストリ ームを更新する。データが領域Cタイプでない場合、ステップ330ではステッ プ340を実行するように指示する。ステップ340では、エンコーダ100を 領域タイプBアーキテクチャに設定するように指示し、領域Aについて説明した 方法でデータおよび復号化アーキテクチャを表わすように送信ビットストリーム を更新する。 コントロール・ユニット120は、エンコーダ100の構成要素の各々に提供 される設定信号(Configuration signal)C1を介してエンコーダ100を設定す る。コントロール・ユニット120は、個々の入力データ・パケットについてエ ンコーダ100の設定を更新する。ここで、各データ・パケットは符号語のシー ケンスから構成されており、ピクチャのグループ、たとえばMPEG標準に準拠 するグループ・オブ・ピクチャ(Goupe of Picture)などを表わす。しかし、コン トロール・ユニット120は特定のシステムに適するように、別のデータ・パケ ット長でエンコーダ100の設定を更新することもできる。たとえば、設定は電 源投入時に、各ピクチャで、各ピクチャ・ストリーム(たとえばプログラム)に ついて、各画素ブロック(たとえばマクロブロック)について、または可変時間 間隔で実行できる。 領域A動作モードでは、コントロール・ユニット120が、設定信号によりH DTVコンプレッサ125と2:3アップサンプラ130の両方をディスエーブ ルにする。得られたエンコーダ100の設定では、エンコーダ100のユニット 135からフォーマッタ110へ送信用に単一のSDTV出力レイヤが提供され る。この設定については、図5との関連で図示して説明する。図1について続け ると、SDTVレイヤ出力を作成するため、3:2ダウンサンプラ140が 2/3の倍率で1080ライン解像度入力データ・ストリームの空間解像度を減 少させて、720ライン出力を提供する。これは、たとえば単純に3つ目のライ ンを全て破棄するか、望ましくは補間および平均化処理を実行してもとの3ライ ンに対して2本の補間ラインを提供することを含め、各種の周知の方法により実 現できる。3:2ダウンサンプラ140からの720ライン出力はSDTVコン プレッサ135で圧縮されて、フォーマッタ110へSDTVレイヤ圧縮データ を提供する。ユニット135によって実行される圧縮には、エンコーダ135内 部に記憶してある先行のSDTVレイヤ・フレームを用いる時間予測処理を使用 する。このような時間予測とディスクリート・コサイン変換(DCT)の関連す る圧縮処理は公知であり、たとえば米国放送協会(NAB)科学技術局1994 年第48回年次総会予稿集で発表されているグランド・アライアンスHDTVシ ステム仕様、1994年4月14日、第3章(Grand Alliance HDTV System Spec ification of April 14,1994,published by the National Association of Br oadcasters(NAB)Office of Science and Technology in their 1994 Proceedi ngs of the 48th annual conference)に記載されている。 得られたSDTVビットストリームは、フォーマッタ110で識別ヘッダとア ーキテクチャ情報を含むデータ・パケットに形成される。アーキテクチャ情報は コントロール・ユニット120により提供され、フォーマッタ110によって、 MPEG画像符号化システム標準(ISO/IEC13818−1、1994年 6月10日)2.6.6節および2.6.7節に説明されている「階層化記述子 (Hierarchy Descriptor)」を用いて送信ビットストリームへ符号化される。アー キテクチャ情報をこの後でデコーダ105が用いて、適当な復号化モード(たと えば領域A、B、またはCモード)にデコーダ105を互換設定する。デコーダ 105の設定は、エンコーダ100と同様に、各送信データ・パケットについて 更新される。データ・パケットは、本好適実施例ではグループ・オブ・ピクチャ (a groupe of pictures)を含む。 MPEG「階層化記述子(Hierarchy Descriptor)」を用いるのがエンコーダ1 00とデコーダ105が互換設定されるように補償する好適な方法であるが、他 の方法も可能である。たとえばアーキテクチャ記述子は、MPEG標 準の6.2.2.2.2節に定義されている「ユーザ・データ」フィールドにM PEGシンタックスで符号化できる。これとは別に、デコーダ105は、符号化 されている受信データ・ストリームのビット・レートから、MPEG標準の6. 2.2.1節でシーケンス・ヘッダのビット・レート・フィールドから決定され る適当な復号化モードを推定できる。デコーダは、復号化出力のバンド幅および ビデオ画質要件が記述されあらかじめプログラムしてあるデータと併せてこのビ ット・レート情報を用い、本発明の上記で説明した原理にしたがい適当な復号化 モードを推定する。復号化モードは、たとえば受信ビット・レートがあらかじめ プログラムされている閾値に達した時点で変更することができる。 ユニット110からのフォーマットされ圧縮されたデータ・ストリーム出力は 、トランスポート・プロセッサ115へ入力される前に送信チャンネル上に伝送 される。図4は図1の要素ならびに送受信要素410〜435を含むシステム全 体を示す。これらの送信および受信要素は公知であり、たとえば参考文献のリー 、メッサーシュミット共著「デジタル通信(Digital Communication)」(クルー ワー・アカデミック出版、米国マサチューセッツ州ボストン、1988年)に記 述されている。送信エンコーダ410は、ユニット110(図1および図4)か らのフォーマットされた出力を送信用に符号化する。エンコーダ410は代表的 にはフォーマットされたデータを順次、スクランブル、エラー符号化、インタリ ーブして変調器415での変調前に送信のためにデータを調整する。変調器41 5はキャリア周波数をエンコーダ410の出力で特定の変調フォーマットにより 、たとえば直交振幅変調(QAM)により変調する。変調器415から得られた 変調キャリア出力が周波数シフトされて、たとえばローカル・エリア放送用送信 器などであるアップコンバータおよび送信器420から送信される。単一チャン ネルの送信システムとして説明しているが、たとえばチャンネルを各ビットスト リーム・レイヤに割り当てているような複数チャンネル送信システムでビットス トリーム情報を送信することも等しく可能であることに注意すべきである。 送信信号は、受信器でアンテナと入力プロセッサ425により受信され処理さ れる。ユニット425は、代表的には、高周波(RF)チューナと、受信した入 力信号を他の処理に適したもっと低い周波数帯にダウンコンバートするための中 間周波数(IF)ミキサーと増幅段を含む。ユニット425からの出力はユニッ ト430で復調され、キャリア周波数をトラッキングして送信データならびに付 随するタイミング・データ(たとえばクロック周波数)を復元する。送信デコー ダ435は、エンコーダ410で行なった演算の逆を実行する。デコーダ435 は次に、ユニット430で取り出したタイミング・データを用いて、ユニット4 30からの復調データ出力をデインタリーブ、復号化、スクランブル解除する。 これらの機能に関連する追加情報は、たとえば前述のリーとメッサーシュミット による文献に見ることができる。 トランスポート・プロセッサ115(図1および図4)は、ユニット435か らの圧縮データ出力から同期およびエラー表示情報を抽出する。この情報は、プ ロセッサ115からの圧縮ビデオデータ出力のデコーダ105によって行なわれ る後続のデコンプレスで使用する。プロセッサ115は、ユニット435からの 圧縮データ内のMPEG階層化記述子フィールドから復号化アーキテクチャ情報 も抽出する。このアーキテクチャ情報は、デコーダ・バンド幅およびアーキテク チャ・コントロール・ユニット145(図1)へ提供される。ユニット145は この情報を用い、デコーダ105を適当な復号化モード(たとえば領域A、B、 またはCモード)に互換設定する。コントロール・ユニット145は、デコーダ 105の各構成要素に提供される第2の設定信号C2によりデコーダ105を設 定する。 領域Aモードでは、図1のコントロール・ユニット145が第2の設定信号に よりHDTVデコンプレッサ150と適応ユニット165の両方をディスエーブ ルにする。得られたデコーダ105の設定では、プロセッサ115からのSDT Vレイヤ圧縮ビデオ出力がSDTVデコンプレッサ160でデコンプレスされて 、デコンプレスした720ライン解像度SDTV出力シーケンスを提供する。デ コンプレス処理は公知であり、前述のMPEG標準に定義されている。さらに、 アップサンプラ155が3/2倍で720ライン解像度SDTV出力をオーバサ ンプリングし、1080ライン解像度HDTVデコンプレス出力を提供する。こ れは、もとの2ラインに対して補間3ラインを提供するたとえば補間お よび平均化を含む、各種の周知の方法で実現できる。アップサンプラ160から の1080ライン解像度のデコンプレス出力は、HDTVデコンプレス出力シー ケンスとして、第2の設定信号に応答してマルチプレクサ180経由で選択され る。デコーダ105から得られたデコンプレスしたHDTVおよびSDTVデー タ出力は、たとえば図4のユニット440でNTSCフォーマット信号として符 号化するためや、後続の表示のために適当である。 図5は領域Aタイプ符号化および復号化に設定した図1のエンコーダおよびデ コーダ装置を示す。図示した要素の機能はすでに説明した通りである。図1のエ ンコーダ100に図示してあるアップサンプラ130とHDTVコンプレッサ1 25は、前述のように領域Aモードでディスエーブルとされるので、これらの要 素は図5には現れない。同様に、図1のデコーダ105に図示してあるHDTV デコンプレッサ150と適応ユニット165は、これも前述したように領域Aモ ードでディスエーブルとされるので、これらの要素は図5には現れない。 図1の入力データが領域Bタイプの場合、コントロール・ユニット120は領 域Bアーキテクチャに併せてエンコーダ100を設定する。これは、領域Aにつ いて前述したのと同様の方法で設定信号を用いて行なう。しかし、領域Bでは、 領域Aで単一低解像度出力が圧縮されたのと対照的に、エンコーダ100は送信 用高解像度および低解像度出力レイヤを両方とも圧縮する。この設定については 、図6との関連で図示して説明する。図1について続けると、コントロール・ユ ニット120は、低解像度SDTV出力に加えて高解像度HDTV出力レイヤと して拡張データを圧縮するようにエンコーダ100を設定することで、高解像度 および低解像度出力レイヤ間にシステム・バンド幅を割り当てる。このHDTV レイヤはピクチャ・リファイン・データを提供し、720ライン解像度SDTV レイヤから1080ライン解像度ピクチャ出力をデコーダ105で作成できるよ うにする。 領域BのSDTVレイヤ出力は、領域Aで説明したのと同じ方法で作成する。 ダウンサンプラ140からの720ライン出力はSDTVコンプレッサ135で 圧縮され、フォーマッタ110へSDTVレイヤ圧縮データを提供する。しか し、領域Bでは、送信用の高解像度HDTV拡張レイヤがHDTVコンプレッサ 125により取り出される。コンプレッサ125は、アップサンプラ/デコンプ レッサ130で作成したSDTVレイヤのアップサンプリングしデコンプレスさ れたバージョンと、コンプレッサ125内部に記憶されているHDTVレイヤの 直前のフレームとを組み合せて圧縮することによって、HDTV出力を取り出す 。コンプレッサ125で実行する時間予測が関係するこのような組み合せおよび 圧縮処理は公知であり、たとえばMPEG標準の空間スケーラビリティの章(7 .7節)に記載されている。エンコーダ100から得られたHDTVおよびSD TV圧縮出力はフォーマッタ110へ提供される。 エンコーダ100からのHDTVおよびSDTVビットストリームは、識別ヘ ッダおよびアーキテクチャ情報を含むデータ・パケットへと、「階層化記述子」 フィールド内でフォーマッタ110により形成される。領域Aで説明したように 、ユニット110からのフォーマット・データはトランスポート・プロセッサ1 15へ伝送され、ここでデコーダ105(この場合には領域Bについて)を設定 するためデコンプレッサコントロール・ユニット145へアーキテクチャ情報を 提供する。 受信器では、領域Bモードにおいて、コントロール・ユニット145が第2の 設定信号を用いて適応ユニット165をディスエーブルにする。デコーダ105 の得られた設定では、プロセッサ115からの圧縮SDTV出力がユニット16 0でデコンプレスされて、領域Aの場合と同様に720ライン解像度SDTV出 力を提供する。HDTVデコンプレッサ150は、アップサンプラ155で作成 したこの復号化SDTV出力のアップサンプリングしたバージョンとHDTVデ コンプレッサ150内部に記憶している直前のHDTVレイヤのフレームを組み 合せてデコンプレスすることにより、デコンプレスした1080ライン解像度H DTV出力を取り出す。アップサンプリングしたデータと記憶してあるデータを 組み合せてHDTVデコンプレッサ150で実行するようなデコンプレス出力を 形成する処理は公知であり、たとえばMPEG標準の空間スケーラビリティの章 (7.7節)に記載されている。デコンプレッサ150からの1080ラインの 高解像度のデコンプレス出力は、HDTVデコンプレス出力として、マルチプレ クサ180経由で第2の設定信号に応答して選択される。デコーダ105から得 られたデコンプレスしたHDTVおよびSDTVデータ出力は、すでに説明した ようにさらに処理するためとそれに続けて表示するために好適なものである。 図6は領域Bタイプの符号化〜復号化のために設定された図1のエンコーダお よびデコーダ装置を示す。図示してある要素の機能はすでに説明した通りである 。図1のデコーダ105に図示してある適応ユニット165は、これもすでに説 明したように領域Bモードでディスエーブルとされることから、図6には現れな い。 図1の入力データが領域Cタイプの場合、コントロール・ユニット120は領 域Cアーキテクチャに併せてエンコーダ100を設定する。これは、領域Aにつ いてすでに説明したのと同様の方法で設定信号を用いて行なう。しかし、領域C では、領域Aのような低解像度出力または領域Bのような2つの出力を符号化す るのではなく、高解像度出力だけを符号化する。コントロール・ユニット120 は、必要なら高解像度出力を符号化するように全システム・バンド幅を割り当て 、全空間(1080ライン)HDTV解像度で拡張レイヤを符号化するように 設定信号によりエンコーダ・ユニット100を設定する。 領域Cモードでは、コントロール・ユニット120は設定信号により、ダウン サンプラ140、SDTVコンプレッサ135、およびアップサンプラ130を ディスエーブルにする。このようにして得られたエンコーダ100の設定では、 フォーマッタ110へ1080ライン解像度HDTV出力を提供するのに必要と されるように、全システム・バンド幅を用いてHDTVコンプレッサ125で入 力シーケンスを圧縮する。この設定については、図7との関連で図示して説明す る。図1について続けると、HDTVコンプレッサ125は、コンプレッサ12 5内部に記憶されているHDTVレイヤの直前のフレームを用いてHDTV出力 を取り出す。領域Cにおいてコンプレッサ125により実行される圧縮処理は、 領域Aならびに領域Bについて説明したのと同様であり、これも公知となってい る。 ユニット100からのHDTVビットストリームは、識別ヘッダおよびアーキ テクチャ情報を含むデータ・パケットへと、「階層化記述子」フィールド内でフ ォーマッタ110により形成される。領域Aで説明したように、ユニット110 からのフォーマットされたデータはトランスポート・プロセッサ115へ伝送さ れ、ここで、デコーダ105を設定するため(この場合には領域Cについて)デ コーダ・コントロール・ユニット145へアーキテクチャ情報を提供する。 受信器において、領域Cモードでは、コントロール・ユニット145が第2の 設定信号を用いてアップサンプラ155をディスエーブルにする。このようにし て得られるデコーダ105の設定では、プロセッサ115からの圧縮HDTV出 力がユニット150でデコンプレスされて、1080ライン高解像度HDTV出 力を提供する。この、デコンプレッサ150からの1080ラインのデコンプレ スした出力は、第2の設定信号に応答してマルチプレクサ180経由で、デコー ダ105の復号化HDTV出力として選択される。さらに、プロセッサ115か らの圧縮HDTV出力は適応ユニット165でSDTVデコンプレッサ160の 入力要件に合致させるのに適している。これは、圧縮(周波数)ドメインで、プ ロセッサ115からの圧縮HDTV出力の空間解像度を実効720ライン 解像度へ減少することにより行なわれる。これはたとえば、プロセッサ115か らの圧縮HDTV出力のビデオ情報を表わすディスクリート・コサイン変換(D CT)係数のうちで、高い周波数の係数を破棄することにより行なえる。この処 理は公知であり、たとえば、S.チャンらによる「MC−DCT圧縮ビデオの操 作と複合」、IEEE通信選択分野ジャーナル(JSAC)1995年1月("Ma nipulation and Compositing of MC-DCT Compressed Video"by S.Chang et al ,published in the I.E.E.E.Journal of Selected Area in Communications(J SAC),January 1995)に記載されている。適応ユニット165からの空間的に減 少させた圧縮出力は、ユニット160でデコンプレスされて720ライン解像度 SDTV出力を提供する。ユニット160および150で実行するデコンプレス 処理は領域Aについて説明した処理と同様で、これもまた公知である。デコーダ 105から得られた復号化HDTVおよびSDTVデータ出力は、すでに説明し たようにさらに処理するためとその後で表示するために適したものである。 図7は領域Cタイプ符号化および復号化に設定した図1のエンコーダおよびデ コーダ装置を示す。図示した要素の機能はすでに説明した通りである。図1のエ ンコーダ100に図示してあるダウンサンプラ140、SDTVコンプレッサ1 35およびアップサンプラ130は、すでに説明したように領域Cモードではデ ィスエーブルとされるので、図7ではこれらの要素が現れない。同様に、図1の デコーダ105に図示してあるアップサンプラ155は領域Cモードでディスエ ーブルとされるので、この要素は図7に図示していない。 図8は図1の変形であり、領域A復号化のための追加アーキテクチャ設定を示 す。図8のエンコーダ100、フォーマッタ110およびトランスポート・プロ セッサ115は、図1で説明した通りである。さらに、図8のデコーダ109の 機能は、領域A復号化において1080ライン解像度HDTVデコンプレス出力 が別の方法で提供されることを除けば、図1のデコーダ105の機能と同一であ る。 領域Aモードでは、図8のデコーダ・コントロール・ユニット149はアップ サンプラ155と適応ユニット165の双方を第2の設定信号によりディスエー ブルにする。デコーダ109のこうして得られた設定では、プロセッサ115か らのSDTVレイヤ圧縮ビデオ出力がSDTVデコンプレッサ160でデコンプ レスされて、デコーダ109のSDTV出力を提供する。これは、図1で説明し たのと同じ方法で実行される。しかし、デコーダ109からのHDTVデコンプ レス出力は、図1のデコーダ105で時間ドメインのサンプリングを行なってい るのと対照的に、周波数ドメインでSDTVレイヤをアップサンプリングするこ とによって作成する。図8のプロセッサ115からの圧縮出力は、適応ユニット 168(図1には現れない)によって圧縮(周波数)ドメインでアップサンプリ ングされる。これは、たとえばプロセッサ115からの圧縮SDTV出力におい てビデオ情報を表わす高次ディスクリート・コサイン変換(DCT)周波数係数 を「ゼロ・パディング(zero padding)」することによって行なえる。実際に、 選択した高次DCT係数はゼロ値を割り当てられる。この処理の裏付けとなる理 論は公知であり、たとえば、S.チャンらによる「MC−DCT圧縮ビデオの操 作と合成」、IEEE通信選択分野ジャーナル(JSAC)1995年1月("Ma nipulation and Compositing of MC-DCT Compressed Video"by S.Chang et al, published in the I.E.E.E.Journal of Selected Area in Communications(JSA C),January 1995)に記載されている。適応ユニット168から得られたアップ サンプリングした出力がHDTVデコンプレッサ152によってデコンプレスさ れ、デコーダ109からHDTV出力を提供する。デコーダ109から得られた デコンプレスしたHDTVおよびSDTVデータ出力は、図1に関連して説明し たように処理とそれに続く表示に適している。 図9は図1の変形であり、領域C復号化のための追加アーキテクチャ設定を示 す。図9のエンコーダ100、フォーマッタ110およびトランスポート・プロ セッサ115で行なわれる機能は、図1で説明した通りである。さらに、図9の デコーダ107の機能は、領域C復号化において、720ライン解像度SDTV デコンプレス出力が別の方法で提供されることを除けば、図1のデコーダ105 の機能と同一である。 領域Cモードでは、第2の設定信号により、図9のコントロール・ユニット1 47がアップサンプラ155とSDTVデコンプレッサ162の両方をディ スエーブルにする。デコーダ107のこうして得られた設定では、プロセッサ1 15からのHDTVレイヤ圧縮ビデオ出力がHDTVデコンプレッサ150によ りデコンプレスされ、デコーダ107のHDTV出力を提供する。これは、図1 で説明したのと同じ方法で行なわれる。しかし、デコーダ107からのSDTV デコンプレス出力は、図1のデコーダ105で実行される周波数ドメインのサン プリングとは対照的に、時間ドメインにおいてHDTVレイヤをダウンサンプリ ングすることにより作成する。図9のマルチプレクサ180からのデコンプレス したHDTV出力は2/3倍でダウンサンプラ170(図1には現れない)によ りダウンサンプリングされ、720ライン出力を提供する。これは、図1のエン コーダ100のダウンサンプラ140に関連して説明したように、各種の公知の 方法で実行できる。ダウンサンプラ170からの720ライン解像度のデコンプ レス出力は、第2の設定信号に応答してマルチプレクサ175(図1には現れな い)経由でデコーダ107の復号化SDTV出力として選択される。デコーダ1 07から得られたデコンプレスしたHDTVおよびSDTVデータ出力は、図1 との関連で説明したように、処理とそれに続く表示に適したものである。 図1から図9に関連して説明したエンコーダおよびデコーダのアーキテクチャ は排他的なものではない。同じ目的を実現し得る他のアーキテクチャが個々の領 域(A、B、C)について工夫し得る。さらに、各種アーキテクチャの要素の機 能は、その全体でまたは部分で、マイクロプロセッサのプログラム命令内部で実 現できるものである。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(KE,LS,MW,SD,S Z,UG),UA(AM,AZ,BY,KG,KZ,MD ,RU,TJ,TM),AL,AM,AT,AU,AZ ,BB,BG,BR,BY,CA,CH,CN,CZ, DE,DK,EE,ES,FI,GB,GE,HU,I L,IS,JP,KE,KG,KP,KR,KZ,LK ,LR,LS,LT,LU,LV,MD,MG,MK, MN,MW,MX,NO,NZ,PL,PT,RO,R U,SD,SE,SG,SI,SK,TJ,TM,TR ,TT,UA,UG,UZ,VN (72)発明者 ツデプスキー,ジョエル,ウォルター アメリカ合衆国 94040 カリフォルニア 州 マウンテン ビュー レヴィン アヴ ェニュ 470

Claims (1)

  1. 【特許請求の範囲】 1.データを分割するための方法であって、 (a)前記データの第1のセグメント数について第1の歪み率を予測し、前記 予測は前記データのデータ・レートの関数として実行されるステップと、 (b)前記データの第2のセグメント数について第2の歪み率を予測し、前記 予測は前記データのデータ・レートの関数として実行されるステップと、 (c)前記第1と第2の歪み率を相互に比較するステップと、 (d)前記第1および第2のセグメント数のどちらがより低い歪み率の値を示 すかを、前記相互比較に基づいて決定するステップと、 (e)前記データを前記決定したデータ・セグメント数に分割するステップと 、 を含むことを特徴とする方法。 2.前記予測ステップ(a)は前記第1のセグメント数のかたちで前記データを 予測構成するステップを含み、 前記予測ステップ(b)は前記第2のセグメント数のかたちで前記データを予 測構成するステップを含む ことを特徴とする請求項1に記載の方法。 3.(f)分割したデータを圧縮するステップ をさらに含むことを特徴とする請求項2に記載の方法。 4.前記予測ステップ(a)は、 第1のデータ・セグメント数を選択するステップと、 前記データを前記第1の数の階層化配列データ・セグメントに予測形成するス テップと、 前記データのデータ・レートの関数として階層化配列したデータ・セグメント の前記第1の数のかたちで前記データについての第1の歪み率を計算するステッ プとを含み、 前記予測ステップ(b)は、 第2のデータ・セグメント数を選択するステップと、 前記データを前記第2の数の階層化配列したデータ・セグメントに予測形成す るステップと、 前記データのデータ・レートの関数として階層化配列したデータ・セグメント の前記第2の数のかたちで前記データについての第2の歪み率を計算するステッ プとを含む、 ことを特徴とする請求項1に記載の方法。 5.前記データは画像データである ことを特徴とする請求項4に記載の方法。 6.前記形成ステップでは、圧縮データの1つまたは2つ以上の階層化レイヤへ 前記画像データを予測形成する ことを特徴とする請求項5に記載の方法。 7.前記計算ステップでは、圧縮データのデコンプレスされた階層化レイヤにつ いて歪み率を予測計算する ことを特徴とする請求項5に記載の方法。 8.入力データを符号化する方法であって、 (a)第1のデータ解像度を有する前記入力データについて第1の歪み率を予 測し、前記予測は前記入力データのデータ・レートの関数として実行されるステ ップと、 (b)第2のデータ解像度を有する前記人力データについて第2の歪み率を予 測し、前記予測は前記入力データのデータ・レートの関数として実行されるステ ップと、 (c)前記第1と第2の歪み率を相互に比較するステップと、 (d)前記第1および第2のデータ解像度のどちらが低い歪み率を示すか前記 相互比較に基づいて決定するステップと、 (e)前記入力データを前記決定したデータ解像度で符号化するステップと を含むことを特徴とする方法。 9.前記予測ステップ(a)は、 前記第1のデータ解像度を選択するステップと、 前記入力データを前記第1のデータ解像度へ予測変換するステップと、 前記入力データのデータ・レートの関数として前記第1のデータ解像度を有す る前記データについて第1の歪み率を計算するステップとを含み、 前記予測ステップ(b)は、 第2のデータ解像度を選択するステップと、 前記入力データを前記第2のデータ解像度へ予測変換するステップと、 前記入力データのデータ・レートの関数として前記第2のデータ解像度を有す る前記データについて第2の歪み率を計算するステップとを含む、 ことを特徴とする請求項8に記載の方法。 10.前記入力データは画像データである ことを特徴とする請求項1または請求項9に記載の方法。 11.前記符号化ステップでは、前記決定したデータ解像度で前記画像データを 圧縮する ことを特徴とする請求項10に記載の方法。 12.ステップ(a)と(b)において、 前記予測は符号化した画像データの所定の画質要件の関数である ことを特徴とする請求項10に記載の方法。
JP50428497A 1995-06-29 1996-06-04 可変セグメントで可変データ解像度によりデータを処理するための方法 Expired - Fee Related JP4001914B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US67595P 1995-06-29 1995-06-29
US60/000,675 1995-06-29
US08/572,844 US5828788A (en) 1995-06-29 1995-12-14 System for processing data in variable segments and with variable data resolution
US08/572,844 1995-12-14
PCT/IB1996/000722 WO1997001935A1 (en) 1995-06-29 1996-06-04 Method for partioning and encoding data

Publications (2)

Publication Number Publication Date
JPH11508738A true JPH11508738A (ja) 1999-07-27
JP4001914B2 JP4001914B2 (ja) 2007-10-31

Family

ID=26667973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50428497A Expired - Fee Related JP4001914B2 (ja) 1995-06-29 1996-06-04 可変セグメントで可変データ解像度によりデータを処理するための方法

Country Status (9)

Country Link
US (1) US5828788A (ja)
EP (1) EP0835590B1 (ja)
JP (1) JP4001914B2 (ja)
KR (1) KR100471583B1 (ja)
CN (1) CN1144468C (ja)
AU (1) AU6315396A (ja)
DE (1) DE69605117T2 (ja)
HK (1) HK1015590A1 (ja)
WO (1) WO1997001935A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274773A (ja) * 2003-03-10 2004-09-30 Microsoft Corp Fgs/pfgsビデオビットストリームのパケット化

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381126B2 (en) 1992-12-14 2013-02-19 Monkeymedia, Inc. Computer user interface with non-salience deemphasis
US20080158261A1 (en) 1992-12-14 2008-07-03 Eric Justin Gould Computer user interface for audio and/or video auto-summarization
US5623588A (en) 1992-12-14 1997-04-22 New York University Computer user interface with non-salience deemphasis
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3210862B2 (ja) * 1996-06-27 2001-09-25 シャープ株式会社 画像符号化装置及び画像復号装置
JPH10257502A (ja) * 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
DE69835388T2 (de) * 1997-03-17 2007-07-19 Sony Corp. Bildkodiergerät und Bilddekodiergerät
CN100579230C (zh) * 1997-04-01 2010-01-06 索尼公司 图像编码器及其方法、图像译码器及其方法
JPH10304334A (ja) * 1997-04-25 1998-11-13 Canon Inc 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体
US6175944B1 (en) * 1997-07-15 2001-01-16 Lucent Technologies Inc. Methods and apparatus for packetizing data for transmission through an erasure broadcast channel
JP3564961B2 (ja) * 1997-08-21 2004-09-15 株式会社日立製作所 ディジタル放送受信装置
US6275616B1 (en) * 1997-09-12 2001-08-14 Samsung Electronics Co., Ltd. Method and apparatus for converting a high definition image to a relatively lower definition image using wavelet transforms
JP3376878B2 (ja) * 1997-09-19 2003-02-10 ミノルタ株式会社 デジタル複写機
US6061400A (en) * 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6243846B1 (en) * 1997-12-12 2001-06-05 3Com Corporation Forward error correction system for packet based data and real time media, using cross-wise parity calculation
US5870412A (en) * 1997-12-12 1999-02-09 3Com Corporation Forward error correction system for packet based real time media
US6170075B1 (en) 1997-12-18 2001-01-02 3Com Corporation Data and real-time media communication over a lossy network
US6145109A (en) * 1997-12-12 2000-11-07 3Com Corporation Forward error correction system for packet based real time media
AU3062899A (en) 1997-12-12 1999-06-28 3Com Corporation A forward error correction system for packet based real-time media
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
JPH11252550A (ja) * 1998-03-02 1999-09-17 Sony Corp デイジタル信号符号化装置、デイジタル信号復号化装置、デイジタル信号伝送装置及び方法
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
WO2000060872A1 (fr) * 1999-03-31 2000-10-12 Matsushita Electric Industrial Co., Ltd. Procede et dispositif de decodage continu de flux video comprenant des sequences de donnees ayant des frequences de trame differentes
US10051298B2 (en) 1999-04-23 2018-08-14 Monkeymedia, Inc. Wireless seamless expansion and video advertising player
US6621980B1 (en) 1999-04-23 2003-09-16 Monkeymedia, Inc. Method and apparatus for seamless expansion of media
US6393158B1 (en) * 1999-04-23 2002-05-21 Monkeymedia, Inc. Method and storage device for expanding and contracting continuous play media seamlessly
US7095782B1 (en) * 2000-03-01 2006-08-22 Koninklijke Philips Electronics N.V. Method and apparatus for streaming scalable video
US6507347B1 (en) * 2000-03-24 2003-01-14 Lighthouse Technologies Ltd. Selected data compression for digital pictorial information
US6810446B1 (en) * 2000-03-31 2004-10-26 Sony Corporation System and method for navigating and deleting descriptors
AU2001251386A1 (en) * 2000-04-07 2001-10-23 Demografx Enhanced temporal and resolution layering in advanced television
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US7237032B2 (en) * 2001-02-16 2007-06-26 Microsoft Corporation Progressive streaming media rendering
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP3620521B2 (ja) * 2001-09-14 2005-02-16 日本電気株式会社 画像処理装置、画像伝送装置、画像受信装置及び画像処理方法
JP4547151B2 (ja) * 2001-10-26 2010-09-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的鮮明度拡張技術を用いた空間スケーラブル圧縮の機構
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US20030156649A1 (en) * 2002-01-28 2003-08-21 Abrams Thomas Algie Video and/or audio processing
US10277656B2 (en) * 2002-01-29 2019-04-30 FiveOpenBooks, LLC Method and system for delivering media data
US7584475B1 (en) * 2003-11-20 2009-09-01 Nvidia Corporation Managing a video encoder to facilitate loading and executing another program
JP4185011B2 (ja) * 2004-03-30 2008-11-19 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
US8385427B2 (en) * 2005-04-15 2013-02-26 Apple Inc. Reduced resolution video decode
KR100746005B1 (ko) * 2005-10-17 2007-08-06 삼성전자주식회사 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
US7957309B1 (en) * 2007-04-16 2011-06-07 Hewlett-Packard Development Company, L.P. Utilizing multiple distortion measures
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
US8892594B1 (en) * 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
EP2429192A1 (en) * 2010-08-17 2012-03-14 Streamworks International S.A. Video signal processing
CN104718706B (zh) * 2012-08-21 2019-11-05 Emc 公司 用于分段图像数据的格式识别的方法和系统
US9489387B2 (en) 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
WO2016068921A1 (en) 2014-10-30 2016-05-06 Hewlett-Packard Development Company, L.P. Fluid ejection device
US11582494B2 (en) * 2018-07-18 2023-02-14 Pixellot Ltd. System and method for content-layer based video compression

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3854846T2 (de) * 1987-06-25 1996-11-14 Nec Corp Kodierung eines Bildsignals mit Berücksichtigung des Kontrasts in jedem Bild und Dekodierung analog zur Kodierung
US5235420A (en) * 1991-03-22 1993-08-10 Bell Communications Research, Inc. Multilayer universal video coder
US5144425A (en) * 1991-08-26 1992-09-01 General Electric Company Apparatus for hierarchically dividing video signals
US5253058A (en) * 1992-04-01 1993-10-12 Bell Communications Research, Inc. Efficient coding scheme for multilevel video transmission
DE4240226C2 (de) * 1992-11-30 1996-12-12 Deutsche Forsch Luft Raumfahrt Verfahren zum digitalen Übertragen von hierarchischen HDTV-, EDTV- und SDTV-Fernsehsignalen
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5446806A (en) * 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274773A (ja) * 2003-03-10 2004-09-30 Microsoft Corp Fgs/pfgsビデオビットストリームのパケット化
JP4482350B2 (ja) * 2003-03-10 2010-06-16 マイクロソフト コーポレーション Fgs/pfgsビデオビットストリームのパケット化

Also Published As

Publication number Publication date
WO1997001935A1 (en) 1997-01-16
AU6315396A (en) 1997-01-30
KR19990028545A (ko) 1999-04-15
CN1189954A (zh) 1998-08-05
CN1144468C (zh) 2004-03-31
EP0835590A1 (en) 1998-04-15
KR100471583B1 (ko) 2005-07-12
DE69605117D1 (de) 1999-12-16
EP0835590B1 (en) 1999-11-10
DE69605117T2 (de) 2000-05-25
US5828788A (en) 1998-10-27
JP4001914B2 (ja) 2007-10-31
HK1015590A1 (en) 1999-10-15
MX9800246A (es) 1998-07-31

Similar Documents

Publication Publication Date Title
JPH11508738A (ja) 可変セグメントで可変データ解像度によりデータを処理するための方法
JP4330040B2 (ja) 階層化圧縮ビデオ・データを符号化し復号化するためのシステム
EP0782345B1 (en) Memory management for a video decoder
US5825424A (en) MPEG system which decompresses and recompresses image data before storing image data in a memory and in accordance with a resolution of a display device
US5818530A (en) MPEG compatible decoder including a dual stage data reduction network
EP0671102B1 (en) Picture-in-picture tv with insertion of a mean only frame into a full size frame
JP2002510177A (ja) デジタル画像の領域ベース情報短縮
US5459514A (en) Video-signal transmitting and receiving apparatus and method for transmitting and receiving high-resolution and low-resolution television signals
JP2542025B2 (ja) 埋設コ―ドとしての送信を可能にする放送品質のテレビジョン信号を符号化する装置とその符号化信号を復号化する装置を含むシステム
Paik DigiCipher-all digital, channel compatible, HDTV broadcast system
WO1988010048A1 (en) Dpcm system with interframe motion indicator signal
JP2009182776A (ja) 符号化装置、復号化装置、および、動画像符号化方法、動画像復号化方法
MXPA98000246A (en) Method for dividing and coding da
EP0762773B1 (en) Hierarchial video encoder and decoder
JP3598159B2 (ja) 情報信号伝送装置および情報信号伝送方法
KR20050032102A (ko) 복호화 디바이스와 방법 및 디지털 방송 수신 장치
JP3033702B2 (ja) 送信装置
JP4058578B2 (ja) 符号化装置及び符号化方法
TW309690B (ja)
KR100192778B1 (ko) Ptsvq를 이용한 호환 부호기 및 복호기
Nasiopoulos et al. A hybrid coding method for digital HDTV signals
Coppisetti et al. Performance analysis of the advanced digital HDTV video coding system
Zou Digital HDTV compression techniques for terrestrial broadcasting
Ramon et al. An adaptive systematic lossy error protection scheme for broadcast applications based on frequency filtering and unequal picture protection
JPH07336685A (ja) 画像復号化方法および装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070816

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees