JPH1118085A - ビデオオブジェクト平面のための時間的及び空間的スケーラブル符号化 - Google Patents

ビデオオブジェクト平面のための時間的及び空間的スケーラブル符号化

Info

Publication number
JPH1118085A
JPH1118085A JP10157181A JP15718198A JPH1118085A JP H1118085 A JPH1118085 A JP H1118085A JP 10157181 A JP10157181 A JP 10157181A JP 15718198 A JP15718198 A JP 15718198A JP H1118085 A JPH1118085 A JP H1118085A
Authority
JP
Japan
Prior art keywords
vop
base layer
vops
video sequence
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10157181A
Other languages
English (en)
Inventor
Xuemin Chen
スーミン・チェン
Ajay Luthra
アジャイ・ルスラ
Ganesh Rajan
ガネッシュ・ラジャン
Mandayam Narasimhan
マンダヤム・ナラシムハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
Arris Technology Inc
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arris Technology Inc, General Instrument Corp filed Critical Arris Technology Inc
Publication of JPH1118085A publication Critical patent/JPH1118085A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 （修正有） 【課題】MPEG-4規格で使用されるようなビデオオブジェ
クト平面(VOPs)を含むビデオ信号の符号化の効果的機能
を与える。 【解決手段】入力ビデオシーケンス内にビデオオブジェ
クト平面を含むスケーリングされたフィールドモードビ
デオを適宜圧縮することによって符号化効率が改善され
る。強化レイヤー内のアップサンプリングされたVOPは
線形基準に基づいた入力ビデオシーケンスに対しより大
きな相関関係を与えるべく並べ替えられる。生成された
残差はDCTのような空間変換を使って符号化される。ベ
ースレイヤーVOPに対してすでに決定された移動ベクト
ルをスケーリングすることによって強化レイヤーVOPを
符号化するために，移動補償手法を用いる。。その中心
がスケーリングされた移動ベクトルによって定義される
ところの縮小した調査範囲が与えられる。移動補償手法
はスケーリングされたフレームモード若しくはフィール
ドモードビデオとともに使用するのに適している。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は，デジタルビデオシ
ーケンス内のビデオオブジェクト平面を含むビデオイメ
ージの空間的及び時間的スケーリングを与える方法及び
装置に関する。特に，スケーリングされたフレームモー
ド若しくはフィールドモードビデオとともに使用するの
に適した移動補償手法が与えられる。また，離散コサイ
ン変換(DCT)のような空間的変換を使用するフィールド
モードビデオを適宜圧縮するための手法も与えられる。
【０００２】
【従来の技術】本発明は特にさまざまなマルチメディア
アプリケーションとともに使用するのに適しており，ま
たここに参考文献として組み込む書類「ISO/IEC/JTC1/S
C29/WG11 N1642，題名"MPEG-4 Video Verification Mod
el Version 7.0"1997年4月発行」に記載されたMPEG-4 V
erification Model (VM) 7.0 規格と互換性がある。さ
らに本発明は，立体ビデオ符号化，ピクチャー・イン・
ピクチャー，プレビュー・アクセス・チャネル，及び非
同期転送モード(ATM)通信をもたらす。
【０００３】MPEG-4は，デジタルオーディオビジュアル
データの通信，アクセス及び操作のためのフレキシブル
な枠組及び符号化ツールのオープンセットを与える新規
な符号化規格である。該フレキシブルな枠組は，符号化
ツールのさまざまな組み合わせ，及びデータベースブラ
ウジング，情報検索及び双方向通信のようなコンピュー
タ，テレコミュニケーション，及びエンターテイメント
（すなわち，TV及び映画）産業により要求される応用に
対するそれら符号化ツールのさまざまな組み合わせに対
応する機能性をサポートする。
【０００４】MPEG-4はマルチメディア環境内でビデオデ
ータの効果的保存，送信及び操作をもたらす標準化され
たコアテクノロジーである。MPEG-4は効果的圧縮，オブ
ジェクトスケーラビリティ，空間的及び時間的スケーラ
ビリティ，並びにエラー弾力性を達成する。
【０００５】当該MPEG-4ビデオVMコーダ／デコーダ(COD
EC)は，移動補償を伴うブロック及びオブジェクトベー
スのハイブリッドコーダである。テクスチャーはオーバ
ーラップされたブロック移動補償(overlapped block-mo
tion compensation)を利用して8×8のDCTで符号化され
る。オブジェクト形状はアルファマップとして表され，
内容ベースの算術符号化(CAE)若しくは修正DCTコーダ
（いずれも時間的予測を使用する）を使って符号化され
る。該コーダはコンピュータグラフィックスで知られる
ようなスプライト(sprite)を扱うことができる。ウエー
ブレット(wavelet)及びスプライト符号化のようなその
他の符号化方法もまた空間的応用に対し使用されてもよ
い。
【０００６】移動補償されたテクスチャー符号化はビデ
オ符号化として周知のアプローチである。そのようなア
プローチは３つのステージの処理工程としてモデル化さ
れる。第１ステージは移動推定及び補償(ME/MC)並びに
２次元空間変換を含む単一処理である。ME/MC及び空間
変換の目的は，ビデオシーケンス内の時間的及び空間的
相関関係を利用することであり，その結果量子化の歪み
率性能及び複雑な制約条件の下での符号化エントロピー
を最適化する。ME/MCに対する最も通常の技術はブロッ
クマッチングであり，最も通常の空間変換はDCTであっ
た。しかし，任意形状のVOPの境界ブロックのME/MC及び
DCTに対して空間的問題が持ち上がった。
【０００７】MPEG-2メインプロファイルはMPEG-4規格に
先行し，ここに先行文献として組み込む書類「ISO/IEC
JTC1/SC29/WG11 N0702，題名"Information Technology
- Generic Coding of Moving Pictures and Associated
Audio, Recommendation H.262"1994年3月25日発行」に
説明されている。２つまたはそれ以上の独立ビットスト
リーム若しくはレイヤーを与えるようにMPEG-2メインプ
ロファイルへのスケーラビリティ拡張が定義された。各
レイヤーは単一の高品位信号を形成するよう組み合わさ
れる。例えば，ベースレイヤー(base layer)はより低品
位のビデオ信号を与え，一方強化レイヤー(enhancement
layer)はベースレイヤーイメージを強化するような付
加的情報を与える。
【０００８】特に，空間的及び時間的スケーラビリティ
は異なるビデオ規格若しくはデコーダ性能の間に互換性
をもたらす。空間的スケーラビリティに関して，ベース
レイヤービデオは入力ビデオシーケンスより低い空間的
解像度を有し，その場合強化レイヤーはベースレイヤー
の解像度を入力シーケンスレベルまで復元することがで
きる情報を運ぶ。例えば，国際テレコミュニケーション
ズユニオン-ラジオセクター(ITU-R)601規格（720×576
画素の解像度を有する）に対応する入力ビデオシーケン
スは，共通インターチェンジフォーマット(CIF)規格（3
60×288画素の解像度を有する）に対応するベースレイ
ヤー内で運ばれる。この場合の強化レイヤーは，ベース
レイヤーのビデオをITU-R601規格に復元するためにデコ
ーダによって使用される情報を運ぶ。変形的に，強化レ
イヤーは減少した空間解像度を有することもできる。
【０００９】時間的スケーラビリティに関して，ベース
レイヤーは入力ビデオシーケンスより低い時間解像度
（すなわち，フレーム速度）を有し，一方強化レイヤー
は欠フレームを運ぶ。デコーダで組み合わされるとき，
オリジナルフレーム速度が復元される。
【００１０】
【発明が解決しようとする課題】したがって，MPEG-4規
格で使用されるようなビデオオブジェクト平面(VOPs)を
含むビデオ信号の符号化用の時間的及び空間的スケーラ
ビリティ機能を与えることが所望される。それが立体ビ
デオの符号化，ピクチャー・イン・ピクチャー，プレビ
ュー・アクセス・チャネル，及び非同期転送モード(AT
M)通信に対するケイパビリティを有することが所望され
る。
【００１１】さらに，双方向予測VOPs(B-VOPs)の強化レ
イヤー予測符号化の移動推定に対する調査範囲のサイズ
が縮小されるように比較的複雑さが小さく，かつ低コス
トなcodec設計を有することが所望される。また，残差
を決定しかつデータを空間的に変換する前に強化レイヤ
ーVOPの画素ラインを適宜並べ替えることによって，ベ
ース及び強化レイヤーへスケーリングされるインターレ
ースされたビデオ入力信号を効果的に符号化することが
所望される。本発明は上記及び他の利点を有する装置を
与える。
【００１２】
【課題を解決するための手段】本発明に従って，デジタ
ルビデオシーケンス内のビデオオブジェクト平面(VOPs)
のようなビデオイメージの時間的及び空間的スケーリン
グを与える方法及び装置が与えられる。VOPは完全フレ
ーム及び／またはフレームのサブセットから成り，任意
形状を有することができる。付加的に，複数のVOPが一
つのフレーム内に与えられるか，若しくはさらに時間的
に同時であってもよい。
【００１３】ビデオオブジェクト平面(VOPs)から成る入
力ビデオシーケンスを対応するベースレイヤー及び強化
レイヤー内で通信するためにスケーリングする方法が与
えられ，そこではダウンサンプリングされたデータがベ
ースレイヤー内で運ばれる。入力ビデオシーケンス内の
VOPは付随する空間解像度及び時間解像度（例えば，フ
レーム速度）を有する。
【００１４】入力ビデオシーケンスのVOPの第１の特定
のひとつの画素データはダウンサンプリングされ，減少
した空間解像度を有する第１ベースレイヤーVOPを与え
る。少なくとも一部の第１ベースレイヤーVOPの画素デ
ータはアップサンプリングされ，強化レイヤー内に第１
アップサンプルVOPを与える。該第１アップサンプルVOP
は入力ビデオシーケンスのVOPの第１の特定のひとつを
使って差分符号化され，第１ベースレイヤーVOPに対応
する時間的位置で強化レイヤー内に与えられる。
【００１５】差分符号化は，第１アップサンプルVOPの
画素データと，入力ビデオシーケンスのVOPの第１の特
定の一つの画素データとの間の差に対応する残差を決定
する工程を含む。該残差は空間的に変換され，例えば，
DCTを使って変換係数が与えられる。
【００１６】入力ビデオシーケンス内のVOPがフィール
ドモードのVOPであるとき，差分符号化は，もし画素デ
ータのラインが並べ替え基準に一致すれば，残差を決定
する前に第１アップサンプルVOPの画素データラインを
フィールドモードで並べ替える工程を含む。該基準と
は，反対フィールドライン（例えば，奇数から偶数へ及
び偶数から奇数へ）のルミナンス値の差の和が，同一フ
ィールドライン（例えば，奇数から奇数及び偶数から偶
数）のルミナンスデータの差の和及びバイアス項よりも
大きいかどうかである。
【００１７】第１ベースレイヤーVOPのアップサンプリ
ングされた画素データは全第１ベースレイヤーVOPのサ
ブセットでもよく，その結果アップサンプリングされな
い第１ベースレイヤーVOPの残りの部分はアップサンプ
リングされた画素データより低い空間解像度を有する。
【００１８】第２ベースレイヤーVOP及び強化レイヤー
内のアップサンプルVOPは同様の方法で与えられる。第
１及び第２ベースレイヤーVOPの一つ若しくは両方は，
第１及び第２アップサンプルVOPに対応する中間VOPを予
測するために使用される。該中間VOPは，時間的に第１
と第２アップサンプルVOPとの間で，強化レイヤー内で
通信するために符号化される。
【００１９】さらに，第１と第２ベースレイヤーVOPの
間に中間ベースレイヤーVOPが存在しないとき，強化レ
イヤーはベースレイヤーより高い時間的解像度を有して
もよい。
【００２０】特定の応用において，ベース及び強化レイ
ヤーは，ピクチャー・イン・ピクチャー(PIP)イメージ
がベースレイヤー内で運ばれるところのPIPケイパビリ
ティ，若しくはプレビュー・アクセス・イメージがベー
スレイヤー内で運ばれるところのプレビュー・アクセス
・チャネルケイパビリティを与える。そのような応用に
おいて，PIPイメージ若しくは無料プレビューイメージ
が，減少した空間的及び／または時間的解像度を有する
ことが許容される。ATM応用において，より高い優先順
位でより低いビット速度のデータがベースレイヤー内に
与えられ，一方より低い優先順位でより高いビット速度
のデータが強化レイヤー内に与えられる。この場合，ベ
ースレイヤーは保証された帯域幅に割り当てられるが，
強化レイヤーデータは時々失われる。
【００２１】ダウンサンプリングされたデータがベース
レイヤーでなく強化レイヤー内で運ばれるところのビデ
オオブジェクト平面(VOP)から成る入力ビデオシーケン
スをスケーリングするための方法が与えられる。この方
法に関して，入力ビデオシーケンスの第１の特定の一つ
のVOPは，例えば空間解像度を変化させることなく第１
ベースレイヤーVOPとしてベースレイヤー内に与えられ
る。少なくとも一部の第１ベースレイヤーVOPの画素デ
ータはダウンサンプリングされ，第１ベースレイヤーVO
Pに対応する時間的位置で強化レイヤー内に対応する第
１ダウンサンプルVOPが与えられる。第１の特定の一つ
のVOPの対応する画素データは比較VOPを与えるべくダウ
ンサンプリングされ，第１ダウンサンプルVOPは該比較V
OPを使って差分符号化される。
【００２２】該ベース及び強化レイヤーは，強化レイヤ
ー内のイメージデータがベースレイヤー内のイメージデ
ータより低い空間解像度を有するところの立体ビデオケ
イパビリティを与える。
【００２３】双方向的に予測されたビデオオブジェクト
平面(B-VOP)を符号化するための方法も与えられる。入
力ビデオシーケンスVOPに対応する第１及び第２ベース
レイヤーVOPがベースレイヤー内に与えられる。第２ベ
ースレイヤーVOPは，移動ベクトルMVPに従って第１ベー
スレイヤーVOPから予測されるP-VOPである。B-VOPは，
時間的に第１と第２ベースレイヤーVOPの間で強化レイ
ヤー内に与えられる。
【００２４】B-VOPは，移動ベクトルMVPをスケーリング
することによって得られる少なくとも一つの前方移動ベ
クトルMVf及び後方移動ベクトルMVbを使って符号化され
る。この有効な符号化技術によって，リファレンスVOP
内で独立の網羅的な調査を実行する必要がなくなる。時
間的距離TRPは第１及び第２ベースレイヤーVOPを分離
し，一方時間的距離TRBは第１ベースレイヤーVOP及びB-
VOPを分離する。
【００２５】比m/nは，第１及び第２ベースレイヤーVOP
の空間解像度とB-VOPの空間解像度の比を定義したもの
である。すなわち，ベースレイヤーVOPまたは強化レイ
ヤー内のB-VOPのいずれかは，入力ビデオシーケンスのV
OPに関して比m/nだけダウンサンプリングされる。ここ
でベースまたは強化レイヤーVOPのいずれかが入力ビデ
オシーケンスと同じ空間解像度を有することが仮定され
ている。前方移動ベクトルMVfはMVf=(m/n)・TRB・MVP/T
RPの関係に従って決定され，一方後方移動ベクトルMVb
は，MVb=(m/n)・(TRB-TRP)・MVP/TRPの関係に従って決
定される。m/nは分数値を含む正数である。
【００２６】B-VOPは，第１ベースレイヤーVOPの調査範
囲でありその中心が前方移動ベクトルMVfに従って決定
されるところの調査範囲と，第２ベースレイヤーVOPの
調査範囲でありその中心が後方移動ベクトルMVbに従っ
て決定されるところの調査範囲とを使って符号化され
る。
【００２７】対応するデコーダ方法及び装置もまた与え
られる。
【００２８】
【発明の実施の形態】デジタルビデオシーケンス内にビ
デオオブジェクト平面(VOP)を含むビデオイメージの時
間的及び空間的スケーリングを与えるための方法及び装
置が与えられる。
【００２９】図１は本発明に従うビデオオブジェクト符
号化及び復合化処理を示す。フレーム105は，正方形の
前景エレメント107，楕円形の前景エレメント108及び背
景エレメント109を含む３つの絵図エレメントを有す
る。フレーム115において，該エレメントは，セグメン
テーションマスクを使って指定されたVOPであり，その
結果VOP117は正方形の前景エレメント107を表し，VOP11
8は楕円前景エレメント108を表し，VOP119は背景エレメ
ント109を表す。VOPは任意形状を有することができ，連
続のVOPはビデオオブジェクトとして知られる。完全な
矩形ビデオフレームもまたVOPとして考えることも可能
である。従って，ここで使用される“VOP”の語は，任
意及び非任意のイメージ領域形状の両方を示すのに使用
される。セグメンテーションマスクは周知の技術を使っ
て得られ，それはITU-R 601ルミナンスデータと類似の
フォーマットを有する。各画素はビデオフレーム内のあ
る領域に属するように識別される。
【００３０】フレーム105及びフレーム115からのVOPデ
ータは符号化機能を分離するために供給される。特に，
VOP117，118及び119はエンコーダ137，138及び139にお
いてそれぞれ形状，移動及びテクスチャー符号化を経験
する。形状符号化に関して，バイナリ及びグレイスケー
ル形状情報が符号化される。移動符号化に関して，形状
情報はフレーム内の移動推定を使って符号化される。テ
クスチャー符号化に関して，DCTのような空間変換が実
行され，圧縮のために可変長符号化される変換係数が得
られる。
【００３１】その後，符号化VOPデータがマルチプレク
サ(MUX)140において組み合わされ，チャネル145を通じ
て転送される。変形的に，データは記録媒体に保存され
てもよい。独立のVOP117〜119が復合化されかつ回復さ
れるように，受信された符号化VOPデータはデマルチプ
レクサ(DEMUX)150によって分離される。フレーム155，1
65及び175は，VOP117，118及び119がそれぞれ復合化さ
れかつ回復され，その結果ビデオライブラリ170とのイ
ンターフェースであるコンポジター160を使って個別に
扱われることを示している。
【００３２】該コンポジターは，ユーザがカスタマイズ
されたイメージをもたらすよう受信データを編集するこ
とができるように，ユーザの家庭に配置されたパーソナ
ルコンピュータのような装置である。例えば，ユーザの
パーソナルビデオライブラリ170は受信VOPとは異なる予
め保存されたVOP178（例えば，円形）を含むことができ
る。ユーザは円形VOP178が正方形VOP117と入れ替わると
ころのフレーム185を組み立ててもよい。その結果フレ
ーム185は受信VOP118及び119並びに局所的に保存された
VOP178を含む。
【００３３】他の実施例において，背景VOP119はユーザ
の選択による背景と置換されてもよい。例えば，テレビ
ニュース放送を観ているとき，アナウンサーはニュース
スタジオのような背景から分離されたVOPとして符号化
され得る。該ユーザはライブラリ170から，またはスト
ック価格若しくは天気情報を有するチャネルのような他
のテレビ番組から背景を選択してもよい。したがって，
ユーザはビデオエディターのように行動することができ
る。
【００３４】該ビデオライブラリ170はチャネル145を通
じて受信されるVOPを保存することもでき，またインタ
ーネットのようなネットワークを通じてVOP及び他のイ
メージエレメントにアクセスすることもできる。
【００３５】フレーム105がVOPではなくしたがって個別
に扱われない領域を含むことができるということを認識
すべきである。さらに，フレーム105はVOPを有する必要
はない。概して，ビデオセッションは単一のVOP若しく
は連続のVOPから成る。
【００３６】図１のビデオオブジェクト符号化及び復合
化処理によって，パーソナルコンピュータゲーム，仮想
環境，グラフィカル・ユーザー・インターフェース，ビ
デオ会議，インターネットアプリケーション等を含む多
くのエンターテイメント，ビジネス及び教育的応用が可
能となる。特に，本発明に従うVOPの空間的及び時間的
スケーリングに対するケイパビリティがさらに大きなケ
イパビリティをもたらす。
【００３７】図２は本発明に従うビデオオブジェクトコ
ーダ及びデコーダのブロック図である。図１に略示され
たエレメント137〜139に対応するエンコーダ201は，入
力ビデオデータシーケンス“in”を受信するスケーラビ
リティ・プレプロセッサ205を含む。強化レイヤーより
も低い空間解像度を有するベースレイヤーの有する空間
スケーラビリティを達成するために，信号“in_0”を得
るべく“in”が空間的にダウンサンプリングされ，続い
てそれは経路217を通じてベースレイヤーエンコーダ220
へ与えられる。“in_0”はベースレイヤーエンコーダ22
0で符号化され，また符号化データはマルチプレクサ(MU
X)230へ与えられる。ここでMPEG-4システム及び記述語
(MSDL)MUXが使用されてもよい。
【００３８】入力ビデオシーケンス“in”がフィールド
（インターレース）モードであるとき，ダウンサンプリ
ングは画素データを偶数及び奇数フィールド内に保存し
ないため，ダウンサンプリングされた信号“in_0”はフ
レーム（プログレッシブ）モードである。もちろん，
“in”がフレームモードであるとき，“in_0”もまたフ
レームモードである。
【００３９】図３に関して以下に詳細に記載されるよう
に，再構成されたイメージデータは経路218を通じてベ
ースレイヤーエンコーダ220から画素のアップサンプリ
ングを実行するミッドプロセッサヘ与えられる。フレー
ムモードのアップサンプリングされたイメージデータは
その後経路212を通じて強化レイヤーエンコーダ210へ与
えられ，そこでそれは経路207を通じてプレプロセッサ2
05からエンコーダ210へ与えられる入力イメージデータ
“in_1”を使って差分的に符号化される。特に，アップ
サンプリングされた画素データ（例えば，ルミナンスデ
ータ）は残差を得るべく入力イメージデータから減算さ
れ，その後それはDCT若しくは他の空間変換を使って符
号化される。
【００４０】本発明に従って，入力ビデオシーケンスが
フィールドモードであるとき，符号化効率は入力ビデオ
シーケンスのオリジナルの偶数（トップ）及び奇数（ボ
トム）フィールドに対応するアップサンプリングされた
強化レイヤーイメージの画素ラインをグループ化するこ
とによって改善される。しばしばフィールド内の画素デ
ータは，反対フィールド内のデータに対するよりも同一
フィールド内の他の画素データに対して，より大きな相
関関係を有するため，このことはある場合に残差の大き
さを減少させることができる。したがって，残差の大き
さを減少させることによって，イメージデータを符号化
するのに必要なビットをより少なくできる。これは以下
の図６及びそれに関連する議論によって，さらに明白と
なる。
【００４１】強化レイヤー内のアップサンプリングされ
たイメージの符号化された残差はMUX230に与えられ，ベ
ースレイヤーデータとともに通信チャネル245を通じて
送信される。変形的に該データは局所的に保存されても
よい。MUX230，チャネル245，及びDEMUX250はそれぞれ
図１のエレメント140，145及び150に対応する。
【００４２】ベースレイヤーエンコーダ220からミッド
プロセッサ215へ与えられたイメージデータは完全フレ
ームVOP若しくは全イメージのサブセットであるVOPのよ
うな全ビデオイメージである。さらに，複数のVOPがミ
ッドプロセッサ215へ与えられてもよい。現在MPEG-4は2
56個のVOPまでサポートする。
【００４３】デコーダ299において，符号化されたデー
タはMPEG-4 MSDL DEMUXのようなデマルチプレクサ(DEMU
X)250で受信される。この例においてベースレイヤーデ
ータよりも高い空間解像度を有する強化レイヤーデータ
は強化レイヤーデコーダ260へ与えられる。ベースレイ
ヤーデータはベースレイヤーデコーダ270に与えられ，
そこで信号“out_0”が回復され，経路267を通じてミッ
ドプロセッサ265へ及び経路277を通じてスケーラビリテ
ィ・ポストプロセッサ280ヘ与えられる。該ミッドプロ
セッサは，完全解像度イメージを回復するべくベースレ
イヤーデータをアップサンプリングすることによって，
エンコーダ側のミッドプロセッサ215と同様の方法で動
作する。このイメージは強化レイヤーデータ信号“out_
1”を回復する際に使用するために経路262を通じて強化
レイヤーデコーダ260へ与えられ，その後経路272を通じ
てスケーラビリティ・ポストプロセッサ280へ与えられ
る。該スケーラビリティ・ポストプロセッサ280は，信
号“outp_0”として表示するために復合化ベースレイヤ
ーデータを空間的にアップサンプリングする動作を実行
し，一方強化レイヤーデータは信号“outp_1”として表
示するために出力される。
【００４４】エンコーダ201が時間的スケーラビリティ
のために使用されるとき，例えば，ベースレイヤーに対
してフレーム速度を減少させるべくプレプロセッサ205
は時間的デマルチプレキシング（例えば，プルダウン処
理若しくはフレームドロッピング）を実行する。例え
ば，フレーム速度を30フレーム/secから15フレーム/sec
へ減少させるために，すべての他のフレームが落とされ
る。
【００４５】以下の表１はミッドプロセッサ215及び26
5，スケーラビリティ・プレプロセッサ205及びスケーラ
ビリティ・ポストプロセッサ280の24個の可能な構成を
示したものである。
【表１】
【００４６】表１の中で，第１列は構成番号，第２列は
レイヤー，第３列は該レイヤーの時間解像度（例えば，
highまたはlow）をそれぞれ示している。“Low(High)”
がリストされるとき，ベース及び強化レイヤーの時間解
像度は両方ともhigh若しくは両方ともlowである。第４
列は空間解像度を示す。第５，６及び７列はスケーラビ
リティ・プレプロセッサ205，ミッドプロセッサ215，及
びスケーラビリティ・ポストプロセッサ280の対応する
動作を示す。“N/C”は時間若しくは空間解像度に変化
がないことを示し，すなわちノーマルな処理が実行され
ている。“N/A”は適用不能を意味する。ミッドプロセ
ッサ215，265の動作は強化レイヤーに影響を与えない。
【００４７】空間的にスケーリングされた符号化は例と
して構成1で示される。説明したように，スケール可能
コーダ201がVOPの符号化用に使用されるとき，プレプロ
セッサ205は異なる空間解像度を有するVOPの２つのサブ
ストリームを生成する。表１に示されるように，ベース
レイヤーは低い空間解像度を有し，強化レイヤーは入力
シーケンスの解像度に対応する高い空間解像度を有す
る。したがって，ベースレイヤーシーケンス“in_0”
は，スケーラビリティ・プレプロセッサ205において入
力ビデオシーケンス“in”をダウンサンプリングするこ
とによって生成される。強化レイヤーシーケンスは，同
一の高い空間解像度“in”を達成するべくミッドプロセ
ッサ215，265においてダウンサンプリングされたベース
レイヤーシーケンスのアップサンプル・フィルタリング
によって生成される。該ポストプロセッサ280はノーマ
ル処理を実行する，すなわちそれは“out_1”若しくは
“out_0”の時間若しくは空間解像度を変更しない。
【００４８】例えば，ベースレイヤーCIF解像度シーケ
ンス（360×288画素）はITU-R 601解像度入力シーケン
ス（720×576画素）の２：１ダウンサンプル・フィルタ
リングより生成される。あらゆる整数若しくは整数以外
の比によるダウンサンプリングが使用されてもよい。
【００４９】時間的かつ空間的にスケールされた符号化
が例として構成２を使って説明される。ここで，高い空
間及び時間解像度を有する入力ビデオシーケンス“in”
は，低い空間及び時間解像度を有するベースレイヤーシ
ーケンス及び高い空間及び時間解像度を有する強化レイ
ヤーシーケンスに変換される。これは，信号“in_0”を
与えるべく，プレプロセッサ205におけるダウンサンプ
ル・フィルタリング及びプルダウン処理，並びにミッド
プロセッサ215，265におけるアップサンプル・フィルタ
リング及びポストプロセッサ280におけるノーマル処理
を実行することによって表１に示されるように達成され
る。
【００５０】構成３に関して，低若しくは高時間解像度
及び高空間解像度を有する入力ビデオシーケンス“in”
は，対応する低若しくは高時間解像度及び高空間解像度
を有するベースレイヤーシーケンス，並びに対応する低
若しくは高時間解像度及び低空間解像度を有する強化レ
イヤーシーケンスに変換される。これは，強化レイヤー
シーケンス“in_1”に対しプレプロセッサ205における
ダウンサンプル・フィルタリング，及びミッドプロセッ
サ215，265におけるダウンサンプル・フィルタリングを
実行することによって，並びに強化レイヤーシーケンス
“out_1”に対しポストプロセッサ280におけるアップサ
ンプル・フィルタリングを実行することによって達成さ
れる。
【００５１】残りの構成は上記例を見れば理解できよ
う。
【００５２】図３は本発明に従う画素のアップサンプリ
ングを示したものである。アップサンプリング・フィル
タリングは表１の構成１に関してミッドプロセッサ21
5，265によって実行される。例えば，CIF解像度（360×
288画素）を有するVOPは，２：１アップサンプリングに
よってITU-R 601解像度（720×576画素）に変換され
る。CIFイメージの画素310，320，330及び340は，ITU-R
601イメージの画素355，360，365，370，375，380，38
5及び390を生成するべくサンプリングされる。特に，IT
U-R601画素360は矢印312及び322によって示されるよう
にCIF画素310及び320をサンプリングすることによって
生成される。同様に，ITU-R 601画素365はまた矢印314
及び324によって示されるようにCIF画素310及び320をサ
ンプリングすることによって生成される。
【００５３】図４はベースレイヤーと強化レイヤー内の
VOP間での予測処理の例を示したものである。図２の強
化レイヤーエンコーダ210において，強化レイヤーのVOP
はP-VOP若しくはB-VOPとして符号化される。この例にお
いて，強化レイヤー内のVOPはベースレイヤーVOPよりも
高い空間解像度を有し，従ってより大きな領域で描かれ
ている。時間解像度（例えば，フレーム速度）は両レイ
ヤーに対して同一である。該VOPは左から右へ説明順に
示されている。
【００５４】ベースレイヤーはI-VOP405，B-VOP415及び
420並びにP-VOP430を含む。強化レイヤーはP-VOP450及
び490並びにB-VOP460及び480を含む。B-VOP415は矢印41
0及び440に示されるように他のベースレイヤーVOPから
予測され，一方，B-VOP420はまた矢印425及び435で示さ
れるように他のベースレイヤーVOPから予測される。P-V
OP430は矢印445に示されるようにI-VOP405から予測され
る。P-VOP450は矢印455に示されるようにベースレイヤ
ーVOPをアップサンプリングすることにより引き出さ
れ，一方P-VOP490は矢印495に示されるようにベースレ
イヤーVOPをアップサンプリングすることによって引き
出される。B-VOP460は矢印465及び475で示されるように
ベースレイヤーVOPから予測され，またB-VOP480は矢印4
70及び485で示されるようにベースレイヤーVOPから予測
される。
【００５５】概して，ベースレイヤー内のI-VOPと時間
的に同時（例えば，表示若しくは説明順で）である強化
レイヤーVOPはP-VOPとして符号化される。例えば，VOP4
50はI-VOP405と時間的に同時であり，従ってP-VOPとし
て符号化される。ベースレイヤー内のP-VOPと時間的に
同時である強化レイヤーVOPはP-若しくはB-VOPとして符
号化される。例えば，VOP490はP-VOP430と時間的に同時
であって，P-VOPとして符号化される。ベースレイヤー
内のB-VOPと時間的に同時である強化レイヤーVOPはB-VO
Pとして符号化される。例えば，B-VOP 460及び480参
照。
【００５６】I-VOP405及びP-VOP430は強化レイヤーVOP
用の予測リファレンスとして使用されるため，それらは
アンカーVOPとして知られる。したがって，I-VOP405及
びP-VOP430は，強化レイヤー内の対応する予測VOPの符
号化前に符号化される。強化レイヤー内のP-VOPの予測
リファレンスは，前方（予測）時間リファレンスインジ
ケータであるMPEG-4互換構文のforward_temporal_refに
よって特定される。そのようなインジケータはベースレ
イヤー内の時間的に同時のI-VOPを指定する負でない整
数である。強化レイヤー内のB-VOPの予測リファレンス
はref_select_code，forward_temporal_ref及びbackwar
d_temporal_refによって特定される。以下の表２参照。
当該表はMPEG-2及びMPEG-4 VM 3.0スケーラビリティ手
法に対して異なる点に注意すべきである。
【表２】
【００５７】表２は強化レイヤー内のB-VOP用の予測リ
ファレンス選択を示す。例えば，ベースレイヤー内のI-
VOP405及びP-VOP430に対する時間リファレンスコードte
mporal_refがそれぞれ0及び3であると仮定する。また，
強化レイヤー内のP-VOP450に対するtemporal_refを0と
する。その場合，図４において，P-VOP450に対してforw
ard_temporal_ref=0である。矢印465，475，470及び485
で示されるB-VOP460及び480の予測リファレンスはそれ
ぞれ，ref_select_code=00，forward_temporal_ref=0及
びback_temporal_ref=3によって特定される。P-VOP490
の予測リファレンスはref_select_code=10，forward_te
mporal_ref=0及びback_temporal_ref=3によって特定さ
れる。
【００５８】ベース及び強化レイヤーの両方の符号化に
おいて，予測モードは以下の表３で与えられる２ビット
ワードのVOP_prediction_typeによって指定される。
【表３】
【００５９】“I”予測タイプはイントラ符号化VOPを指
示し，“P”予測タイプは予測されたVOPを示し，また
“B”予測タイプは双方向予測されたVOPを示す。ベース
レイヤーのシーケンス“in_0”に対する符号化処理は，
例えば，MPEG-4メインプロファイル若しくはH.263規格
に従うノンスケーラブル符号化処理と同じである。
【００６０】図６は本発明に従う，フレームからフィー
ルドモードへの画素ラインの並べ替え若しくは置換を示
す。上記したように，入力VOPがフィールドモードであ
りかつダウンサンプリングされるとき，生成VOPはフレ
ームモードである。従って，ダウンサンプルされたイメ
ージが空間的にアップサンプリングされるとき，生成VO
Pはまたフレームモードである。しかし，アップサンプ
ルVOPがアップサンプルVOPから入力VOPを減算すること
により差分符号化されるとき，DCTのような空間変換が
生成された残差について続けて実行されると当該残差は
最適な符号化効率を与えない。すなわち，多くの場合，
反対フィールドの画素よりも同一フィールドの画素の間
の方がより大きな相関関係が存在するため，残差値の大
きさはアップサンプリングされたイメージのラインを偶
数及び奇数ラインにグループ化するよう置換（すなわ
ち，並べ替え）することによって減少する。
【００６１】強化レイヤー内のアップサンプリングされ
た画素（例えば，ルミナンス）データを表すイメージが
符号600で示されている。例えば，イメージ600は8×8ブ
ロックの２：１アップサンプリングによって引き出され
る16×16マクロブロックであると仮定する。該マクロブ
ロックは偶数番号ライン602，604，606，608，610，61
2，614，及び616並びに奇数番号ライン603，605，607，
609，611，613，615及び617を含む。偶数及び奇数ライ
ンはそれぞれトップ及びボトムフィールドを形成する。
マクロブロック600は，領域620とライン602〜609の交差
によって画成される第１ブロック，領域625とライン602
〜609の交差によって画成される第２ブロック，領域620
とライン610〜617の交差によって画成される第３ブロッ
ク，及び領域625とライン610〜617の交差によって画成
される第４ブロックを含む，４つの8×8ルミナンスブロ
ックを有する。
【００６２】イメージ600内の画素ラインが，残差を決
定しかつDCTを実行する前に本発明に従って同一フィー
ルドルミナンスブロックを形成するべく置換されると，
マクロブロック650が形成される。矢印645はライン602
〜617の並べ替えを示す。例えば，マクロブロック600の
第１ラインである偶数ライン602はまたマクロブロック6
50の第１ラインでもある。偶数ライン604はマクロブロ
ック650内の第２ラインを作る。同様に，偶数ライン60
6，608，610，612，614及び616はそれぞれマクロブロッ
ク650の３番目から８番目のラインを作る。こうして，
偶数番号ラインを有する16×8ルミナンス領域680が形成
される。第１の8×8ブロックは領域680及び670の交差に
よって画成され，一方第２の8×8ブロックは領域680及
び675の交差によって画成される。
【００６３】同様に，奇数番号ラインは16×8領域685へ
移動させられる。領域685は，領域685及び670の交差に
よって画成される第１の8×8ブロックから成り，一方第
２の8×8ブロックは領域685及び675の交差によって画成
される。こうして領域685は，奇数ライン603，605，60
7，609，611，613，615及び617を有する。
【００６４】ここで言及される残差に対して実行される
DCTは，マクロブロック600がマクロブロック650で示さ
れるように並べ替えられるか否かに従って，“フィール
ドDCT”若しくは“フレームDCT”のいずれかである。し
かし，本発明はその他の空間変換とともに使用するよう
適用することが可能である。フィールドDCTが使用され
るとき，マクロブロックの空間ドメインのルミナンスラ
イン（若しくはルミナンスエラー）は，フレームDCTオ
リエンテーションからトップ（偶数）及びボトム（奇
数）フィールドDCT構成へ置換される。生成マクロブロ
ックは変換され，量子化されかつ普通に可変長符号化さ
れる。フィールドDCTマクロブロックが復合化される
と，すべてのルミナンスブロックが逆DCT(IDCT)から得
られた後に逆置換が実行される。４：２：０クロミナン
スデータはこのモードでは有効でない。
【００６５】本発明に従ってフィールド若しくはフレー
ムモードDCTを選択するための基準が以下に示される。
次の条件を満たすとき，フィールドDCTが選択されなけ
ればならない。
【数１】
【００６６】ここでPi,jは，8×8ルミナンスブロックの
それぞれに対しDCTが実行されるすぐ前の空間ルミナン
ス差（例えば，残差）データである。有利なことに，方
程式は第１オーダーの差を使用するため，より単純かつ
廉価に実行される。“bias”項は考慮されない非線形効
果を説明するファクターである。例えば，bais=64が使
用される。もし上記関係が保持されなければ，フレーム
DCTが使用される。
【００６７】上記方程式の左側において，エラー項は反
対フィールドの画素差（例えば，偶数から奇数，及び奇
数から偶数）に関する。従って，左側は反対フィールド
ラインのルミナンス値の差の和である。右側において，
エラー項は同一フィールドの画素差（例えば，偶数から
偶数，及び奇数から奇数）に関する。したがって，右側
は同一フィールドラインのルミナンスデータの差の和及
びバイアス項である。
【００６８】変形的に，絶対値ではなく各エラー項の自
乗をとるよう上記方程式を修正することによってフレー
ム若しくはフィールドDCTのいずれが使用されるべきか
を決定するべく，二次オーダーの方程式が使用されても
よい。この場合，“bias”項は必要ない。
【００６９】図５は，本発明に従うVOPの空間及び時間
スケーリングを示す。オブジェクトベースのスケーラビ
リティに関して，選択されたVOPのフレーム速度及び空
間解像度は強化され，その結果それは残りの領域よりも
高い品質を有し，例えば，選択されたオブジェクトのフ
レーム速度及び／または空間解像度は残りの領域のそれ
より高い。例えば，ニュースアナウンサーのVOPはスタ
ジオ背景より高い解像度で与えられる。
【００７０】軸線505及び506はフレーム番号を示す。ベ
ースレイヤーにおいて，VOP520を含むフレーム510はフ
レーム0の位置に与えられ，一方VOP532（VOP520に対応
する）を有するフレーム530はフレーム3の位置に与えら
れる。さらに，矢印512で示されるように，フレーム530
はフレーム510から予測される。強化レイヤーはVOP52
2，524，526及び542を含む。これらのVOPはVOP520及び5
32に比べ増加した空間解像度を有し，したがってより大
きな領域で描かれている。
【００７１】P-VOP522は矢印570で示されるようにアッ
プサンプリングVOP520から引き出される。B-VOP524及び
526は，矢印572及び576並びに574及び578によりそれぞ
れ示されるように，ベースレイヤーVOP520及び532から
予測される。
【００７２】ベース及び強化レイヤーシーケンスを作る
ために使用される入力ビデオシーケンスは完全な解像度
（例えば，National Television Standards Committee
(NTSC)に対応するITU-R 601用の720×480またはPhase A
lternation Line (PAL)に対応するITU-R用の720×576）
及び完全フレーム速度（NTSCに対応するITU-R用30フレ
ーム/60フィールド若しくはPALに対応するITU-R601用25
フレーム/50フィールド）を有する。スケーラブル符号
化が実行され，その結果オブジェクトの解像度及びフレ
ーム速度は強化レイヤー符号化を使って保持される。VO
P520及び532から成るベースレイヤー内のビデオオブジ
ェクトはより低い解像度（例えば，完全解像度VOPの４
分の１サイズ）及びより小さいフレーム速度（例えば，
オリジナルフレーム速度の３分の１）を有する。さら
に，強化レイヤーにおいて，VOP520のみが強化される。
フレーム510の残りは強化されない。たったひとつのVOP
のみが示されているが，仮想的にあらゆる数のVOPが与
えられ得る。さらに，２つ以上のVOPが与えられると
き，すべて若しくは選択されたもののみが強化されても
よい。
【００７３】ベースレイヤーシーケンスはオリジナルシ
ーケンスをダウンサンプリングしかつフレームドロッピ
ングすることによって生成される。その後，ベースレイ
ヤーVOPはプログレッシブ符号化ツールを使ってI-VOP若
しくはP-VOPとして符号化される。入力ビデオシーケン
スがインターレースされるとき，入力されたインターレ
ースビデオシーケンスはプログレッシブビデオシーケン
スを生成するため，フィールド／フレーム移動推定及び
補償のようなインターレース符号化ツール，並びにフィ
ールド／フレームDCTは使用されない。強化レイヤーVOP
は時間的及び空間的スケーラブルツールを使って符号化
される。例えば，強化レイヤーにおいて，VOP522及びVO
P542は空間スケーラビリティを使ってP-VOPとして符号
化される。VOP524及びVOP526は，時間的スケーラブルツ
ールを使って，ベースレイヤーリファレンスVOP，すな
わちVOP520及びVOP532のそれぞれアップサンプリングさ
れたVOPからのB-VOPとして符号化される。
【００７４】本発明の更なる態様として，移動ベクトル
調査範囲を縮小することによって，B-VOPの移動推定に
対する符号化の複雑さを減少させる技術が開示される。
当該技術はフレームモード及びフィールドモードの両方
の入力ビデオシーケンスに応用可能である。特に，リフ
ァレンスVOPの調査中心は，リファレンスVOPにおいて独
立の網羅的調査を実行するのではなく，対応するベース
レイヤーVOPの移動ベクトルをスケーリングすることに
よって決定される。典型的にそのような網羅的調査は例
えば，水平方向に+/-64画素で垂直方向に+/-48画素の範
囲をカバーするため，開示された技術よりも効率が悪
い。
【００７５】強化レイヤー内のB-VOP524及び526の移動
ベクトルに対する調査中心は，以下のように決定され， MVf=(m/n・TRB・MVP)/TRP MVb=(m/n・(TRB - TRP)・MVP)/TRP ここで，MVfは前方移動ベクトル，MVbは後方移動ベクト
ル，MVPはベースレイヤー内のP-VOP（例えば，VOP532）
に対する移動ベクトルであり，TRBは過去のリファレン
スVOP（例えば，VOP520）と強化レイヤー内の現B-VOPと
の間の時間差であり，TRPは過去のリファレンスVOPとベ
ースレイヤー内の未来のリファレンスP-VOP（例えば，V
OP532）との間の時間差である。m/nは，強化レイヤーVO
Pの空間解像度に対するベースレイヤーVOPの空間解像度
の比である。すなわち，ベースレイヤーVOP若しくは強
化レイヤー内のB-VOPのいずれかが，入力ビデオシーケ
ンスに対して比m/nでダウンサンプリングされてもよ
い。図５の実施例において，m/nは，強化レイヤーVOPを
与えるべく続けてアップサンプリングされるベースレイ
ヤーVOPのダウンサンプリング比である。m/nは１より小
さいか，１と等しいか，または１より大きい。例えば，
B-VOP524，TRB=1，TRP=3及び2:1ダウンサンプリング
（すなわち，m/n=2）に対して，MVf=2/3MVP及びMVb= -4
/3MVPを得る。すべての移動ベクトルは２次元であるこ
とに注意すべきである。該移動ベクトルの調査範囲は，
例えば，その中心がMVf及びMVbによって決定されるとこ
ろの，16×16の矩形範囲である。移動ベクトルは移送デ
ータストリーム内で強化レイヤー及びベースレイヤービ
デオデータとともに通信され，ビデオデータを復合化す
る際にデコーダによって回復される。
【００７６】概して，本発明に従うインターレースされ
たビデオの符号化に対して，より良い性能を発揮するた
めにインターレース符号化ツールが使用される。これら
のツールは，イントラ-マクロブロック及びインター-デ
ィファレンス・マクロブロックに対するフィールド／フ
レームDCT，並びに，トップフィールドからボトムフィ
ールドへ，トップフィールドからトップフィールドへ，
ボトムフィールドからトップフィールドへ及びボトムフ
ィールドからボトムフィールドへのフィールド予測を含
む。
【００７７】上記表１に記載された構成に対し，これら
インターレース符号化ツールは以下のように組み合わさ
れる。
【００７８】(1)両方のレイヤーに対し低い空間解像度
を有する構成に対して，プログレッシブ（フレームモー
ド）符号化ツールのみが使用される。この場合，２つの
レイヤーは例えば，立体ビデオ信号内の異なるビューシ
ーケンスを符号化する。立体ビデオ符号化に対し，右像
（強化レイヤー）シーケンスに対する移動推定調査範囲
は8×8画素である。この8×8（完全画素）調査範囲は対
応するVOPのベースレイヤー内の対応するマクロブロッ
クの同じタイプの移動ベクトルに中心が置かれる。
【００７９】(2)ベースレイヤー内で低い空間解像度を
有しかつ強化レイヤー内で高い空間解像度を有する構成
に対して，インターレース符号化ツールは強化レイヤー
シーケンスに対してのみ使用される。強化レイヤーシー
ケンスを符号化するための移動推定調査範囲は8×8（完
全画素）である。この8×8の調査範囲は，対応するVOP
のベースレイヤー内の対応するマクロブロックの再スケ
ーリングされた（すなわち２のファクタ）同じタイプの
移動ベクトルに中心が置かれる。フィールドベースの推
定及び予測は，強化レイヤーの調査及び補償の際にのみ
使用される。
【００８０】(3)ベースレイヤー内で高い空間解像度を
有し，強化レイヤー内で低い空間解像度を有する構成に
対して，インターレース符号化ツールはメインレベルで
のMPEG-2メインプロファイルと同様にベースレイヤーシ
ーケンスに対してのみ使用される。強化レイヤーシーケ
ンスを符号化するための移動推定調査範囲は4×4（完全
画素）である。この4×4調査は，対応するVOPのベース
レイヤー内の再スケールされた（すなわち，1/2のファ
クタ）同じタイプの移動ベクトルに中心が置かれる。上
記表１の構成２に対して，例えば，２つのレイヤーのシ
ーケンスの符号化は異なる時間単位速度を有する。
【００８１】図７は，本発明に従う空間及び時間スケー
リングを有するピクチャー・イン・ピクチャー(PIP)若
しくはプレビュー・チャネル・アクセス応用を示した図
である。PIPに関して，二次番組がテレビ上で観られる
メイン番組のサブセットとして与えられる。該二次番組
はより小さい領域を有するため，視聴者は解像度の低い
イメージを見分けることになり，その結果PIPイメージ
の時間及び／または空間解像度は帯域幅を確保するべく
減少させられる。
【００８２】同様に，プレビュー・アクセス・チャネル
番組は視聴者に対して，料金で購入できる番組の無料低
解像度サンプルを与えることができる。この応用はプレ
ビュー用に許可チャネル（例えば，ペイ・パー・ビュー
(pay-per-view)）の数分の無料アクセスを与える。プレ
ビュー・アクセス・チャネル内で符号化されたビデオ
は，より低い解像度及びより小さいフレーム速度を有す
る。デコーダはそのようなプレビューチャネルに対して
アクセス時間を制御する。
【００８３】上記表１における時間-空間スケーラブル
符号化の構成２が，ベースレイヤー及び強化レイヤーの
両方の復合化からの出力より低い空間解像度を有するベ
ースレイヤーの復合化からの出力を与えるべく使用され
てもよい。ベースレイヤー内のビデオシーケンスは小さ
いフレーム速度で符号化され，一方強化レイヤーはより
高いフレーム速度で符号化される。
【００８４】例えば，ベースレイヤー内のビデオシーケ
ンスはCIF解像度及び15フレーム／秒の速度を有し，一
方対応する強化レイヤー内のビデオシーケンスはITU-R6
01解像度及び30フレーム／秒のフレーム速度を有する。
この場合，強化レイヤーはNTSCビデオ規格に一致し，一
方CIF規格に一致するPIP若しくはプレビューアクセス機
能がベースレイヤーによって与えられる。したがって，
PIP機能は，メインレベル規格でのMPEG-2メインプロフ
ァイルと同様の符号化効率及び複雑性を有するスケーラ
ブル符号化によって与えられる。
【００８５】ベースレイヤーは低い空間解像度VOP705及
び730を含む。さらに，ベースレイヤーの時間的解像度
は強化レイヤーのそれの３分の１である。該強化レイヤ
ーは高い空間解像度VOP750，760，780及び790を含む。P
-VOP750は矢印755で示されるように，I-VOP705をアップ
サンプリングすることによって引き出される。B-VOP760
は矢印765及び775によって示されるようにベースレイヤ
ーVOPから予測される。B-VOP780は矢印770及び785によ
って示されるようにベースレイヤーVOPから予測され
る。P-VOP790は矢印795で示されるようにP-VOP730をア
ップサンプリングすることによって引き出される。
【００８６】図８は本発明に従う立体ビデオ応用を示
す。立体ビデオ機能は，書類ISO/IECJTC1/SC29/WG11 N1
196で説明されるMPEG-2 マルチビュープロファイル(MV
P)システム内で与えられる。ベースレイヤーは左像に割
り当てられ，強化レイヤーは右像に割り当てられる。
【００８７】符号化効率を改良するために，強化レイヤ
ー画像はベースレイヤーよりも低い解像度で符号化され
る。例えば，上記表１の構成４は，ベースレイヤーがIT
U-R601空間解像度を有し，一方強化レイヤーがCIF空間
解像度を有するところで使用される。強化レイヤー画像
の予測用のベースレイヤーのリファレンス画像がダウン
サンプリングされる。したがって，強化レイヤー画像用
のデコーダはアップサンプリング処理を含む。したがっ
て，適応フレーム／フィールドDCT符号化は強化レイヤ
ーではなくベースレイヤーで使用される。
【００８８】ベースレイヤーはVOP805，815，820及び83
0を含み，一方強化レイヤーはVOP850，860，880及び890
を含む。B-VOP815及び820は矢印810，840及び835，825
によってそれぞれ示されるように，他のベースレイヤー
VOPを使って予測される。P-VOP830は矢印845で示される
ようにI-VOP805から予測される。P-VOP850は矢印855で
示されるようにI-VOP805をダウンサンプリングすること
によって引き出される。B-VOP860は矢印865及び875によ
って示されるように，ベースレイヤーVOPから予測され
る。B-VOP880は矢印870及び885によって示されるよう
に，ベースレイヤーVOPから予測される。P-VOP890は，
矢印895で示されるようにP-VOP830をダウンサンプリン
グすることによって引き出される。
【００８９】変形的に，同じ空間解像度及びフレーム速
度を有するベース及び強化レイヤーに対して，上記表１
の構成７が使用される。この場合，ベースレイヤーの符
号化処理はMPEG-4 VM 非スケーラブル符号化またはメイ
ンレベル標準でのMPEG-2メインプロファイル内で説明さ
れるような非スケーラブル符号化処理と同じであり，適
応フレーム／フィールドDCT符号化は強化レイヤー内で
使用される。
【００９０】本発明の他の応用において，非同期転送モ
ード(ATM)通信技術が与えられる。概して，ATMネットワ
ークを通じたビデオ信号送信へのトレンドは急速に高ま
っている。これはこれらのネットワークの可変ビット速
度(VBR)特性によるものであり，それは一定ビット速度
(CBR)送信を超えたいくつかの利点を有する。例えば，V
BRチャネルにおいて，ほぼ一定の画像品質が達成され得
る。さらに，ATMネットワーク内のビデオソースは，CBR
システム内の弾性バッファリングによって，ビデオ信号
データ速度の長期間平均が短期間平均よりも小さいため
に，CBRチャネルを通じて送信するよりも小さい送信ビ
ット速度を要求しながら，統計的に多重化される。
【００９１】しかし，ATMネットワークの利点にも関わ
らず，それらは混雑という大きな欠点を被る。混雑した
ネットワークにおいて，ビデオパケットは出力ルートを
見つけるべく待機(queued)させられる。長く遅延したパ
ケットは到着が遅すぎてレシーバでは使用されず，その
結果デコーダによって廃棄される。したがって，ビデオ
codecはパケット損失に抵抗するよう設計されなければ
ならない。
【００９２】ビデオコーダーにパケット損失の免疫を与
えるため，本発明の時間的-空間的スケーラブル符号化
技術が使用される。特に，ベースレイヤーからのビデオ
データは高い優先順位で送信され，ATMネットワークの
保証されたビット速度に調節される。もしチャネルが保
証されないために混雑が生じれば，強化レイヤーからの
ビデオデータパケットは失われる。もし強化レイヤーパ
ケットが受信されると，画像品質は改良される。上記表
１の構成１を使用する符号化手法がこの結果を達成する
のに使用され得る。この手法は，ベースレイヤーが高優
先順位のレイヤーであるところの予測モードとの関係で
すで説明したように，図４で示されるようにして達成さ
れる。したがって，優先順位がより高く，ビット速度の
より小さいデータはベースレイヤー内で通信され，優先
順位がより低く，ビット速度がより高いデータは強化レ
イヤー内で通信される。
【００９３】同様にして，そのようなスケーラブル符号
化はまた，ビデオ符号化の際並びにインターネット，イ
ントラネット及び他の通信ネットワークを通じて送信す
る際に使用される。
【００９４】したがって，本発明は，デジタルビデオシ
ーケンス内にビデオオブジェクト平面(VOP)を含むビデ
オイメージの時間的及び空間的スケーリングを与えるた
めの方法及び装置を与えることがわかる。本発明のひと
つの態様において，符号化効率はスケーリングされたフ
ィールドモード入力ビデオシーケンスを適宜圧縮するこ
とによって改良される。強化レイヤー内のアップサンプ
リングされたVOPは，線形基準に基づいたオリジナルの
ビデオシーケンスに対しより大きな相関関係を与えるべ
く並べ替えられる。生成された残差はDCTのような空間
変換を使って符号化される。本発明の他の態様におい
て，移動補償手法は，ベースレイヤーVOPに対してすで
に決定された移動ベクトルをスケーリングすることによ
って強化レイヤーVOPを符号化するために与えられる。
スケーリングされた移動ベクトルによってその中心が定
義されるところの縮小された調査範囲が画成される。そ
の技術はスケーリングされたフレームモード若しくはフ
ィールドモードの入力ビデオシーケンスとともに使用す
るのに適している。
【００９５】付加的に，特定のスケーラブルな符号化結
果を与えるべくさまざまなcodecプロセッサ構成が与え
られた。立体ビデオ，ピクチャー・イン・ピクチャー，
プレビュー・アクセス・チャネル，及びATM通信を含む
スケーラブル符号化の応用もまた議論された。
【００９６】発明はさまざまな特定の実施例との関連で
説明されてきたが，請求の範囲に記載された発明の思想
及び態様から離れることなくさまざまな付加及び修正が
可能であることは当業者の知るところである。例えば，
２つのスケーラビリティレイヤーが議論されてきたが，
２つ以上のレイヤーが与えられてもよい。さらに，単純
化のために矩形若しくは正方形のVOPがいくつかの図面
中で与えられたが，本発明は任意の形状のVOPでの使用
に同じように適している。
【図面の簡単な説明】
【図１】図１は，本発明に従うビデオオブジェクト平面
(VOP)の符号化及び復合化処理を示したものである。
【図２】図２は，本発明に従うVOPコーダ及びデコーダ
のブロック図である。
【図３】図３は，本発明に従う画素のアップサンプリン
グを示したものである。
【図４】図４は，ベースレイヤーと強化レイヤーのVOP
の間の予測処理を例示したものである。
【図５】図５は，本発明に従うVOPの空間的及び時間的
スケーリングを示したものである。
【図６】図６は，本発明に従って画素ラインをフレーム
からフィールドモードへ並べ替えた様子を示す。
【図７】図７は，本発明に従う空間的及び時間的スケー
リングを有する，ピクチャー・イン・ピクチャー(PIP)
若しくはプレビュー・チャネル・アクセスアプリケーシ
ョンを示す。
【図８】図８は，本発明に従う立体ビデオアプリケーシ
ョンを示す。
【符号の説明】
105 フレーム 107 前景エレメント 108 前景エレメント 109 背景エレメント 115 フレーム 117 ビデオオブジェクト平面 118 ビデオオブジェクト平面 119 ビデオオブジェクト平面 137 エンコーダ 138 エンコーダ 139 エンコーダ 140 マルチプレクサ 145 チャネル 150 デマルチプレクサ 155 フレーム 160 コンポジター 165 フレーム 170 ビデオライブラリ 175 フレーム 178 ビデオオブジェクト平面 185 フレーム
───────────────────────────────────────────────────── フロントページの続き (71)出願人 598045380 101 Ｔｏｕｒｎａｍｅｎｔ Ｄｒｉｖｅ Ｈｏｒｓｈａｍ，Ｐｅｎｎｓｙｌｖａｎ ｉａ，Ｔｈｅ Ｕｎｉｔｅｄ Ｓｔａｔｅ ｓ ｏｆ Ａｍｅｒｉｃａ (72)発明者 ガネッシュ・ラジャン アメリカ合衆国カリフォルニア州サンディ エゴ，ショアライン・ドライブ 7150 ナ ンバー3202 (72)発明者 マンダヤム・ナラシムハン アメリカ合衆国カリフォルニア州サンディ エゴ，ジャネッタ・プレイス 13134

Claims (45)

    【特許請求の範囲】
  1. 【請求項１】対応するベースレイヤー及び強化レイヤー
    内で通信するためにビデオオブジェクト平面(VOP)から
    成る入力ビデオシーケンスをスケーリングする方法であ
    り，前記入力ビデオシーケンス内の前記VOPが付随する
    空間解像度及び時間解像度を有する方法であって，減少
    した空間解像度を有する第１ベースレイヤーVOPを与え
    るべく，前記入力ビデオシーケンスの前記VOPの第１の
    特定のひとつの画素データをダウンサンプリングする工
    程と，前記強化レイヤー内に第１アップサンプルVOPを
    与えるべく前記第１ベースレイヤーVOPの少なくとも一
    部の画素データをアップサンプリングする工程と，前記
    第１ベースレイヤーVOPに対応する時間的位置において
    前記強化レイヤー内で通信するために，前記入力ビデオ
    シーケンスの前記VOPの前記第１の特定のひとつを使っ
    て前記第１アップサンプルVOPを差分符号化する工程
    と，から成る方法。
  2. 【請求項２】前記入力ビデオシーケンス内の前記VOPは
    フィールドモードVOPであるところの請求項１に記載の
    方法であって，前記差分符号化工程はさらに，もし画素
    データのラインが並べ替え基準に一致すれば，前記第１
    アップサンプルVOPの前記画素データの前記ラインをフ
    ィールドモードで並べ替える工程と，前記第１アップサ
    ンプルVOPの画素データと前記入力ビデオシーケンスの
    前記VOPの前記第１の特定のひとつの画素データとの間
    の差に従う残差を決定する工程と，変換係数を与えるべ
    く前記残差を空間的に変換する工程と，から成るところ
    の方法。
  3. 【請求項３】請求項２に記載の方法であって，反対フィ
    ールドのラインのルミナンス値の差の和が同一フィール
    ドのラインのルミナンスデータの差の和及びバイアス項
    よりも大きいとき，前記第１アップサンプルVOPの画素
    データの前記ラインは前記並べ替え基準に一致する，と
    ころの方法。
  4. 【請求項４】請求項１から３に記載の方法であって，さ
    らに減少した空間解像度を有する第２ベースレイヤーVO
    Pを与えるべく，前記入力ビデオシーケンスの前記VOPの
    第２の特定のひとつの画素データをダウンサンプリング
    する工程と，前記第１アップサンプルVOPに対応する第
    ２アップサンプルVOPを前記強化レイヤー内に与えるべ
    く，前記第２ベースレイヤーVOPの少なくとも一部の画
    素データをアップサンプリングする工程と，前記第１及
    び第２アップサンプルVOPに対応する中間VOPを予測する
    べく，前記第１及び第２ベースレイヤーVOPの少なくと
    も一つを使用する工程と，前記第１及び第２アップサン
    プルVOPの中間の時間的位置において前記強化レイヤー
    内で通信するために前記中間VOPを符号化する工程と，
    から成る方法。
  5. 【請求項５】請求項４に記載の方法であって，前記強化
    レイヤーは前記ベースレイヤーより高い時間解像度を有
    し，前記ベース及び強化レイヤーは，(a)ピクチャー・
    イン・ピクチャー(PIP)イメージが前記ベースレイヤー
    内で運ばれるところのPIPケイパビリティ，及び(b)プレ
    ビュー・アクセス・イメージが前記ベースレイヤー内で
    運ばれるところのプレビュー・アクセス・チャネルケイ
    パビリティ，の少なくともひとつを与えるべく適応され
    る，ところの方法。
  6. 【請求項６】請求項１から５のいずれかに記載の方法で
    あって，前記ベースレイヤーは優先順位がより高くかつ
    ビット速度がより小さいデータを運ぶべく適応され，前
    記強化レイヤーは優先順位がより低くビット速度がより
    大きいデータを運ぶべく適応される，ところの方法。
  7. 【請求項７】対応するベースレイヤー及び強化レイヤー
    内で通信するためにビデオオブジェクト平面(VOP)から
    成る入力ビデオシーケンスをスケーリングする方法であ
    り，前記入力ビデオシーケンス内の前記VOPが付随する
    空間解像度及び時間解像度を有する方法であって，第１
    ベースレイヤーVOPとして前記ベースレイヤー内で通信
    するために，前記入力ビデオシーケンスの前記VOPの第
    １の特定のひとつを与える工程と，前記第１ベースレイ
    ヤーVOPに対応する時間的位置において第１ダウンサン
    プルVOPとして前記強化レイヤー内で通信するために，
    前記第１ベースレイヤーVOPの少なくとも一部の画素デ
    ータをダウンサンプリングする工程と，比較VOPを与え
    るべく前記VOPの前記第１の特定のひとつの対応する画
    素データをダウンサンプリングする工程と，前記比較VO
    Pを使って前記第１ダウンサンプルVOPを差分符号化する
    工程と，から成る方法。
  8. 【請求項８】請求項７に記載の方法であって，さらに前
    記第１ベースレイヤーVOPの画素データと前記VOPの前記
    第１の特定のひとつの画素データとの間の差に従う残差
    を決定し，変換係数を与えるべく前記残差を空間変換す
    ることによって，前記VOPの前記第１の特定のひとつを
    使って前記第１ベースレイヤーVOPを差分符号化する工
    程，から成る方法。
  9. 【請求項９】請求項８に記載の方法であって，前記入力
    ビデオシーケンス内の前記VOPはフィールドモードVOPで
    あり，前記第１ベースレイヤーVOPは，もし画素データ
    のラインが並べ替え基準に一致すれば，前記決定工程に
    先だって前記第１ベースレイヤーVOPの前記画素データ
    のラインをフィールドモードで並べ替える工程によって
    差分符号化される，ところの方法。
  10. 【請求項１０】請求項９に記載の方法であって，反対フ
    ィールドのラインのルミナンス値の差の和が，同一フィ
    ールドのラインのルミナンスデータの差の和及びバイア
    ス項よりも大きいとき，前記第１ベースレイヤーVOPの
    画素データの前記ラインは前記並べ替え基準に一致す
    る，ところの方法。
  11. 【請求項１１】請求項７から１０のいずれかに記載の方
    法であって，さらに第２ベースレイヤーVOPとして前記
    ベースレイヤー内で通信するために，前記入力ビデオシ
    ーケンスの前記VOPの第２の特定のひとつを与える工程
    と，前記第２ベースレイヤーVOPに対応する時間的位置
    において第２ダウンサンプルVOPとして前記強化レイヤ
    ー内で通信するために，前記第２ベースレイヤーVOPの
    少なくとも一部の画素データをダウンサンプリングする
    工程と，比較VOPを与えるべく前記VOPの前記第２の特定
    のひとつの対応する画素データをダウンサンプリングす
    る工程と，前記第２ダウンサンプルVOPを前記比較VOPを
    使って差分符号化する工程と，前記第１及び第２ダウン
    サンプルVOPに対応する中間VOPを予測するべく，前記第
    １及び第２ベースレイヤーVOPの少なくとも一つを使用
    する工程と，前記第１及び第２アップサンプルVOPの中
    間の時間的位置において前記強化レイヤー内で通信する
    ために前記中間VOPを符号化する工程と，から成る方
    法。
  12. 【請求項１２】請求項７から１１のいずれかに記載の方
    法であって，ベース及び強化レイヤーは，強化レイヤー
    内のイメージデータがベースレイヤー内のイメージデー
    タより低い空間解像度を有するところの立体ビデオケイ
    パビリティを与えるべく適応される，ところの方法。
  13. 【請求項１３】双方向予測されたビデオオブジェクト平
    面(B-VOP)を符号化するための方法であって，対応する
    ベースレイヤー及び強化レイヤー内で通信するために，
    ビデオオブジェクト平面(VOP)から成る入力ビデオシー
    ケンスをスケーリングする工程と，前記入力ビデオシー
    ケンスVOPに対応する第１及び第２ベースレイヤーVOPを
    前記ベースレイヤー内に与える工程と，前記第２ベース
    レイヤーVOPが移動ベクトルMVPに従って前記第１ベース
    レイヤーVOPから予測される工程と，前記第１及び第２
    ベースレイヤーVOPの中間の時間的位置において前記強
    化レイヤー内に前記B-VOPを与える工程と，前記移動ベ
    クトルMVPをスケーリングすることによって得られる，
    (a)前方移動ベクトルMVf，及び(b)後方移動ベクトルMVb
    の少なくとも一つを使って前記B-VOPを符号化する工程
    と，から成る方法。
  14. 【請求項１４】請求項１３に記載の方法であって，時間
    的距離TRPは前記第１及び第２ベースレイヤーVOPを分離
    し，時間的距離TRBは前記第１ベースレイヤーVOP及び前
    記B-VOPを分離し，m/nは，B-VOPの空間解像度に対する
    第１及び第２ベースレイヤーVOPの空間解像度の比であ
    り，(a)前記前方移動ベクトルMVfは関係MVf=(m/n)・TRB
    ・MVP/TRPにしたがって決定されるか，(b)前記後方移動
    ベクトルMVbは関係MVb=(m/n)・(TRB-TRP)・MVP/TRPにし
    たがって決定されるか，の少なくともひとつである，と
    ころの方法。
  15. 【請求項１５】請求項１３または１４に記載の方法であ
    って，さらに(a)その中心が前記前方移動ベクトルMVfに
    従って決定されるところの前記第１ベースレイヤーVOP
    の調査範囲，及び(b)その中心が前記後方移動ベクトルM
    Vbに従って決定されるところの前記第２ベースレイヤー
    VOPの調査範囲，の少なくともひとつを使って前記B-VOP
    を符号化する工程，から成る方法。
  16. 【請求項１６】スケーリングされ，対応するベースレイ
    ヤー及び強化レイヤー内で通信されるビデオオブジェク
    ト平面(VOP)から成る入力ビデオシーケンスを回復する
    ための方法であり，前記入力ビデオシーケンス内の前記
    VOPは付随する空間解像度及び時間解像度を有し，前記
    入力ビデオシーケンスの前記VOPの第１の特定のひとつ
    の画素データが，ダウンサンプリングされ，減少した空
    間解像度を有する第１ベースレイヤーVOPとして運ば
    れ，前記第１ベースレイヤーVOPの少なくとも一部の画
    素データが，アップサンプリングされ，前記第１ベース
    レイヤーVOPに対応する時間的位置において前記強化レ
    イヤー内で第１アップサンプルVOPとして運ばれ，前記
    第１アップサンプルVOPは，前記入力ビデオシーケンス
    の前記VOPの前記第１の特定のひとつを使って差分符号
    化される，ところの方法であって，当該方法が前記付随
    する空間解像度を復元するべく前記第１ベースレイヤー
    VOPの前記画素データをアップサンプリングする工程
    と，前記付随する空間解像度を有する出力ビデオ信号を
    与えるべく，前記第１アップサンプルVOP，及び前記復
    元された付随する空間解像度を有する前記第１ベースレ
    イヤーVOPを処理する工程と，から成る方法。
  17. 【請求項１７】請求項１６に記載の方法であって，前記
    入力ビデオシーケンス内の前記VOPはフィールドモードV
    OPであり，前記第１アップサンプルVOPは，もし前記画
    素データのラインが並べ替え基準に一致すれば，前記第
    １アップサンプルVOPの前記画素データのラインをフィ
    ールドモードで並べ替え，その後前記第１アップサンプ
    ルVOPの画素データと前記入力ビデオシーケンスの前記V
    OPの前記第１の特定のひとつの画素データとの間の差に
    従う残差を決定し，かつ変換係数を与えるべく前記残差
    を空間変換することによって，差分符号化される，とこ
    ろの方法。
  18. 【請求項１８】請求項１７に記載の方法であって，反対
    フィールドのラインのルミナンス値の差の和が同一フィ
    ールドのラインのルミナンスデータの差の和及びバイア
    ス項より大きいとき，前記第１アップサンプルVOPの画
    素データの前記ラインは前記並べ替え基準に一致する，
    ところの方法。
  19. 【請求項１９】請求項１６から１８のいずれかに記載の
    方法であって，前記入力ビデオシーケンスの前記VOPの
    第２の特定のひとつが，減少した空間解像度を有する第
    ２のベースレイヤーVOPを与えるべくダウンサンプリン
    グされ，前記第２ベースレイヤーVOPの少なくとも一部
    の画素データが，前記第１アップサンプルVOPに対応す
    る第２アップサンプルVOPを前記強化レイヤー内に与え
    るべくアップサンプリングされ，前記第１及び第２のベ
    ースレイヤーVOPの少なくとも一つが，前記第１及び第
    ２アップサンプルVOPに対応する中間VOPを予測するべく
    使用され，前記中間VOPは，前記第１及び第２アップサ
    ンプルVOPの中間の時間的位置において前記強化レイヤ
    ー内で通信するために符号化される，ところの方法。
  20. 【請求項２０】請求項１９に記載の方法であって，前記
    強化レイヤーは前記ベースレイヤーよりも高い時間解像
    度を有し，前記ベース及び強化レイヤーは，(a)ピクチ
    ャー・イン・ピクチャー(PIP)イメージが前記ベースレ
    イヤー内で運ばれるところのPIPケイパビリティ，及び
    (b)プレビューアクセスイメージが前記ベースレイヤー
    内で運ばれるところのプレビュー・アクセス・チャネル
    ケイパビリティ，の少なくともひとつを与えるべく適応
    される，ところの方法。
  21. 【請求項２１】請求項１６から２０のいずれかに記載の
    方法であって，前記ベースレイヤーは優先順位がより高
    くかつビット速度のより小さいデータを運ぶべく適応さ
    れ，前記強化レイヤーは優先順位がより低くかつビット
    速度がより大きいデータを運ぶべく適応される，ところ
    の方法。
  22. 【請求項２２】スケーリングされ，対応するベースレイ
    ヤー及び強化レイヤー内で通信されるビデオオブジェク
    ト平面(VOP)から成る入力ビデオシーケンスを回復する
    ための方法であり，前記入力ビデオシーケンス内の前記
    VOPは付随する空間解像度及び時間解像度を有し，前記
    入力ビデオシーケンスの前記VOPの第１の特定のひとつ
    が，第１ベースレイヤーVOPとして前記ベースレイヤー
    内に与えられ，前記第１ベースレイヤーVOPの少なくと
    も一部の画素データが，ダウンサンプリングされ，かつ
    前記第１ベースレイヤーVOPに対応する時間的位置にお
    いて第１ダウンサンプルVOPとして前記強化レイヤー内
    で運ばれ，前記VOPの前記第１の特定のひとつの対応す
    る画素データが比較VOPを与えるべくダウンサンプリン
    グされ，前記第１ダウンサンプルVOPは前記比較VOPを使
    って差分符号化される，ところの方法であって，当該方
    法が，前記付随する空間解像度を復元するべく前記第１
    ダウンサンプルVOPの前記画素データをアップサンプリ
    ングする工程と，前記付随する空間解像度を有する出力
    ビデオ信号を与えるよう，前記復元された付随する空間
    解像度を有する前記第１強化レイヤーVOP及び前記第１
    ベースレイヤーVOPを処理する工程と，から成る方法。
  23. 【請求項２３】請求項２２に記載の方法であって，前記
    第１ベースレイヤーVOPは，前記第１ベースレイヤーVOP
    の画素データと前記VOPの前記第１の特定のひとつの画
    素データとの間の差に従う残差を決定し，変換係数を与
    えるべく該残差を空間変換することによって，前記VOP
    の前記第１の特定のひとつを使って差分符号化される，
    ところの方法。
  24. 【請求項２４】請求項２３に記載の方法であって，前記
    入力ビデオシーケンス内の前記VOPはフィールドモードV
    OPであり，また前記第１ベースレイヤーVOPは，もし画
    素データのラインが並べ替え基準に一致すれば，前記残
    差を決定するに先だって前記第１ベースレイヤーVOPの
    前記画素データのラインをフィールドモードで並べ替え
    ることによって差分符号化される，ところの方法。
  25. 【請求項２５】請求項２４に記載の方法であって，反対
    フィールドのラインのルミナンス値の差の和が同一フィ
    ールドのラインのルミナンスデータの差の和及びバイア
    ス項より大きいとき，前記第１ベースレイヤーVOPの画
    素データの前記ラインは前記並べ替え基準に一致する，
    ところの方法。
  26. 【請求項２６】請求項２２から２５のいずれかに記載の
    方法であって，前記入力ビデオシーケンスの前記VOPの
    第２の特定のひとつが第２ベースレイヤーVOPとして前
    記ベースレイヤー内に与えられ，前記第２ベースレイヤ
    ーVOPの少なくとも一部の画素データがダウンサンプリ
    ングされ，かつ前記第２ベースレイヤーVOPに対応する
    時間的位置において第２ダウンサンプルVOPとして前記
    強化レイヤー内で運ばれ，前記VOPの前記第２の特定の
    ひとつの対応する画素データが比較VOPを与えるべくダ
    ウンサンプリングされ，前記第２ダウンサンプルVOPは
    前記比較VOPを使って差分符号化され，前記第１及び第
    ２ベースレイヤーVOPの少なくともひとつは前記第１及
    び第２アップサンプルVOPに対応する中間VOPを予測する
    ために使用され，前記中間VOPは前記第１及び第２アッ
    プサンプルVOPの中間である時間的位置において前記強
    化レイヤー内で通信するために符号化される，ところの
    方法。
  27. 【請求項２７】請求項２２から２６のいずれかに記載の
    方法であって，前記ベース及び強化レイヤーは，前記強
    化レイヤー内のイメージデータが前記ベースレイヤー内
    のイメージデータより低い空間解像度を有するところの
    立体ビデオケイパビリティを与えるべく適応される，と
    ころの方法。
  28. 【請求項２８】スケーリングされ，データストリーム内
    の対応するベースレイヤー及び強化レイヤー内で通信さ
    れるビデオオブジェクト平面(VOP)から成る入力ビデオ
    シーケンスを回復するための方法であり，前記入力ビデ
    オシーケンス内の前記VOPは付随する空間解像度及び時
    間解像度を有し，前記入力ビデオシーケンスVOPに対応
    する第１及び第２ベースレイヤーVOPが前記ベースレイ
    ヤー内に与えられ，前記第２ベースレイヤーVOPは，移
    動ベクトルMVPに従って前記第１ベースレイヤーVOPから
    予測され，双方向予測されたビデオオブジェクト平面(B
    -VOP)が，前記第１及び第２ベースレイヤーVOPの中間の
    時間的位置において前記強化レイヤー内に与えられ，前
    記B-VOPは前記移動ベクトルMVPをスケーリングすること
    によって得られる前方移動ベクトルMVf及び後方移動ベ
    クトルMVbを使って符号化される，ところの方法であっ
    て，当該方法が前記前方移動ベクトルMVf及び前記後方
    移動ベクトルMVbを前記データストリームから回復する
    工程と，前記前方移動ベクトルMVf及び前記後方移動ベ
    クトルMVbを使って前記B-VOPを復合化する工程と，から
    成る方法。
  29. 【請求項２９】請求項２８に記載の方法であって，時間
    的距離TRPは前記第１及び第２ベースレイヤーVOPを分離
    し，時間的距離TRBは前記第１ベースレイヤーVOP及び前
    記B-VOPを分離し，m/nは，B-VOPの空間解像度に対する
    第１及び第２ベースレイヤーVOPの空間解像度の比であ
    り，(a)前記前方移動ベクトルMVfは関係MVf=(m/n)・TRB
    ・MVP/TRPにしたがって決定されるか，(b)前記後方移動
    ベクトルMVbは関係MVb=(m/n)・(TRB-TRP)・MVP/TRPにし
    たがって決定されるか，の少なくともひとつである，と
    ころの方法。
  30. 【請求項３０】請求項２８または２９に記載の方法であ
    って，前記B-VOPは，(a)その中心が前記前方移動ベクト
    ルMVfに従って決定されるところの前記第１ベースレイ
    ヤーVOPの調査範囲，及び(b)その中心が前記後方移動ベ
    クトルMVbに従って決定されるところの前記第２ベース
    レイヤーVOPの調査範囲，の少なくともひとつを使って
    符号化される，ところの方法。
  31. 【請求項３１】スケーリングされ，対応するベースレイ
    ヤー及び強化レイヤー内で通信されるビデオオブジェク
    ト平面(VOP)から成る入力ビデオシーケンスを回復する
    ためのデコーダ装置であり，前記入力ビデオシーケンス
    内の前記VOPは付随する空間解像度及び時間解像度を有
    し，前記入力ビデオシーケンスの前記VOPの第１の特定
    のひとつの画素データは，ダウンサンプリングされかつ
    減少した空間解像度を有する第１ベースレイヤーVOPと
    して運ばれ，前記第１ベースレイヤーVOPの少なくとも
    一部の画素データは，アップサンプリングされかつ前記
    第１ベースレイヤーVOPに対応する時間的位置において
    前記強化レイヤー内で第１アップサンプルVOPとして運
    ばれ，前記第１アップサンプルVOPは，前記入力ビデオ
    シーケンスの前記VOPの前記第１の特定のひとつを使っ
    て差分符号化される，ところの装置であって，当該装置
    が前記付随する空間解像度を復元するべく前記第１ベー
    スレイヤーVOPの前記画素データをアップサンプリング
    する手段と，前記付随する空間解像度を有する出力ビデ
    オ信号を与えるよう，前記第１アップサンプルVOP及び
    前記復元された付随する空間解像度を有する前記第１ベ
    ースレイヤーVOPを処理する手段と，から成る装置。
  32. 【請求項３２】請求項３１に記載の装置であって，前記
    入力ビデオシーケンス内の前記VOPはフィールドモードV
    OPであり，前記第１アップサンプルVOPは，もし前記画
    素データのラインが並べ替え基準に一致すれば，前記第
    １アップサンプルVOPの前記画素データのラインをフィ
    ールドモードで並べ替え，その後前記第１アップサンプ
    ルVOPの画素データと前記入力ビデオシーケンスの前記V
    OPの前記第１の特定のひとつの画素データとの間の差に
    従う残差を決定し，また変換係数を与えるべく前記残差
    を空間変換することによって，差分符号化される，とこ
    ろの装置。
  33. 【請求項３３】請求項３１または３２に記載の装置であ
    って，反対フィールドのラインのルミナンス値の差の和
    が同一フィールドのラインのルミナンスデータの差の和
    及びバイアス項より大きいとき，前記第１アップサンプ
    ルVOPの画素データの前記ラインは前記並べ替え基準に
    一致する，ところの装置。
  34. 【請求項３４】請求項３１から３３のいずれかに記載の
    装置であって，前記入力ビデオシーケンスの前記VOPの
    第２の特定のひとつが，減少した空間解像度を有する第
    ２ベースレイヤーVOPを与えるべくダウンサンプリング
    され，前記第２ベースレイヤーVOPの少なくとも一部の
    画素データが，前記第１アップサンプルVOPに対応する
    第２アップサンプルVOPを前記強化レイヤー内に与える
    べくアップサンプリングされ，前記第１及び第２のベー
    スレイヤーVOPの少なくとも一つが，前記第１及び第２
    アップサンプルVOPに対応する中間VOPを予測するのに使
    用され，前記中間VOPは，前記第１及び第２アップサン
    プルVOPの中間の時間的位置において前記強化レイヤー
    内で通信するために符号化される，ところの装置。
  35. 【請求項３５】請求項３４に記載の装置であって，前記
    強化レイヤーは前記ベースレイヤーよりも高い時間解像
    度を有し，前記ベース及び強化レイヤーは，(a)ピクチ
    ャー・イン・ピクチャー(PIP)イメージが前記ベースレ
    イヤー内で運ばれるところのPIPケイパビリティ，及び
    (b)プレビュー・アクセス・イメージが前記ベースレイ
    ヤー内で運ばれるところのプレビュー・アクセス・チャ
    ネルケイパビリティ，の少なくともひとつを与えるべく
    適応される，ところの装置。
  36. 【請求項３６】請求項３１から３５のいずれかに記載の
    装置であって，前記ベースレイヤーは優先順位がより高
    くかつビット速度のより小さいデータを運ぶべく適応さ
    れ，前記強化レイヤーは優先順位がより低くかつビット
    速度がより大きいデータを運ぶべく適応される，ところ
    の装置。
  37. 【請求項３７】スケーリングされ，対応するベースレイ
    ヤー及び強化レイヤー内で通信されるビデオオブジェク
    ト平面(VOP)から成る入力ビデオシーケンスを回復する
    ためのデコーダ装置であり，前記入力ビデオシーケンス
    内の前記VOPは付随する空間及び時間解像度を有し，前
    記入力ビデオシーケンスの前記VOPの第１の特定のひと
    つが，第１ベースレイヤーVOPとして前記ベースレイヤ
    ー内に与えられ，前記第１ベースレイヤーVOPの少なく
    とも一部の画素データがダウンサンプリングされ，かつ
    前記第１ベースレイヤーVOPに対応する時間的位置にお
    いて第１ダウンサンプルVOPとして前記強化レイヤー内
    で運ばれ，前記VOPの前記第１の特定のひとつの対応す
    る画素データが比較VOPを与えるべくダウンサンプリン
    グされ，前記第１ダウンサンプルVOPは前記比較VOPを使
    って差分符号化される，ところの装置であって，当該装
    置が，前記付随する空間解像度を復元するべく前記第１
    ダウンサンプルVOPの前記画素データをアップサンプリ
    ングする手段と，前記付随する空間解像度を有する出力
    ビデオ信号を与えるよう，前記復元された空間解像度を
    有する前記第１強化レイヤーVOP及び前記第１ベースレ
    イヤーVOPを処理する手段と，から成る装置。
  38. 【請求項３８】請求項３７に記載の装置であって，前記
    第１ダウンサンプルVOPは，前記第１ダウンサンプルVOP
    の画素データと前記入力ビデオシーケンスの前記VOPの
    前記第１の特定のひとつの画素データとの間の差に従う
    残差を決定し，変換係数を与えるべく該残差を空間変換
    することによって，差分符号化される，ところの装置。
  39. 【請求項３９】請求項３８に記載の装置であって，前記
    入力ビデオシーケンス内の前記VOPはフィールドモードV
    OPであり，また前記第１ベースレイヤーVOPは，もし画
    素データのラインが並べ替え基準に一致すれば，前記残
    差を決定するに先だって前記第１ベースレイヤーVOPの
    前記画素データのラインをフィールドモードで並べ替え
    ることによって，差分符号化される，ところの装置。
  40. 【請求項４０】請求項３９に記載の装置であって，反対
    フィールドのラインのルミナンス値の差の和が同一フィ
    ールドのラインのルミナンスデータの差の和及びバイア
    ス項より大きいとき，前記第１ベースレイヤーVOPの画
    素データの前記ラインは前記並べ替え基準に一致する，
    ところの装置。
  41. 【請求項４１】請求項３７から４０のいずれかに記載の
    装置であって，前記入力ビデオシーケンスの前記VOPの
    第２の特定のひとつが第２ベースレイヤーVOPとして前
    記ベースレイヤー内で通信するために与えられ，前記第
    ２ベースレイヤーVOPの少なくとも一部の画素データ
    が，前記第１アップサンプルVOPに対応する第２ダウン
    サンプルVOPを前記強化レイヤー内に与えるべくダウン
    サンプリングされ，前記第１及び第２ベースレイヤーVO
    Pの少なくとも一つが前記第１及び第２ダウンサンプルV
    OPに対応する中間VOPを予測するのに使用され，前記中
    間VOPは前記第１及び第２アップサンプルVOPの中間であ
    る時間的位置において前記強化レイヤー内で通信するた
    めに符号化される，ところの装置。
  42. 【請求項４２】請求項３７から４１のいずれかに記載の
    装置であって，前記ベース及び強化レイヤーは，前記強
    化レイヤー内のイメージデータが前記ベースレイヤー内
    のイメージデータより低い空間解像度を有するところの
    立体ビデオケイパビリティを与えるべく適応される，と
    ころの装置。
  43. 【請求項４３】スケーリングされ，データストリーム内
    の対応するベースレイヤー及び強化レイヤー内で通信さ
    れるビデオオブジェクト平面(VOP)から成る入力ビデオ
    シーケンスを回復するためのデコーダ装置であり，前記
    入力ビデオシーケンス内の前記VOPは付随する空間解像
    度及び時間解像度を有し，前記入力ビデオシーケンスVO
    Pに対応する第１及び第２ベースレイヤーVOPが前記ベー
    スレイヤー内に与えられ，前記第２ベースレイヤーVOP
    は，移動ベクトルMVPに従って前記第１ベースレイヤーV
    OPから予測され，双方向予測されたビデオオブジェクト
    平面(B-VOP)が，前記第１及び第２ベースレイヤーVOPの
    中間の時間的位置において前記強化レイヤー内に与えら
    れ，前記B-VOPは前記移動ベクトルMVPをスケーリングす
    ることによって得られる前方移動ベクトルMVf及び後方
    移動ベクトルMVbを使って符号化される，ところの装置
    であって，当該装置が前記前方移動ベクトルMVf及び前
    記後方移動ベクトルMVbを前記データストリームから回
    復する手段と，前記前方移動ベクトルMVf及び前記後方
    移動ベクトルMVbを使って前記B-VOPを復合化する手段
    と，から成る装置。
  44. 【請求項４４】請求項４３に記載の方法であって，時間
    的距離TRPは前記第１及び第２ベースレイヤーVOPを分離
    し，時間的距離TRBは前記第１ベースレイヤーVOP及び前
    記B-VOPを分離し，m/nは，B-VOPの空間解像度に対する
    第１及び第２ベースレイヤーVOPの空間解像度の比であ
    り，(a)前記前方移動ベクトルMVfは関係MVf=(m/n)・TRB
    ・MVP/TRPにしたがって決定されるか，(b)前記後方移動
    ベクトルMVbは関係MVb=(m/n)・(TRB-TRP)・MVP/TRPにし
    たがって決定されるか，の少なくともひとつである，と
    ころの装置。
  45. 【請求項４５】請求項４３または４４に記載の装置であ
    って，前記B-VOPは，(a)その中心が前記前方移動ベクト
    ルMVfに従って決定されるところの前記第１ベースレイ
    ヤーVOPの調査範囲，及び(b)その中心が前記後方移動ベ
    クトルMVbに従って決定されるところの前記第２ベース
    レイヤーVOPの調査範囲，の少なくともひとつを使って
    符号化される，ところの装置。
JP10157181A 1997-06-05 1998-06-05 ビデオオブジェクト平面のための時間的及び空間的スケーラブル符号化 Pending JPH1118085A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US869493 1997-06-05
US08/869,493 US6057884A (en) 1997-06-05 1997-06-05 Temporal and spatial scaleable coding for video object planes

Publications (1)

Publication Number Publication Date
JPH1118085A true JPH1118085A (ja) 1999-01-22

Family

ID=25353640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10157181A Pending JPH1118085A (ja) 1997-06-05 1998-06-05 ビデオオブジェクト平面のための時間的及び空間的スケーラブル符号化

Country Status (10)

Country Link
US (1) US6057884A (ja)
EP (1) EP0883300B1 (ja)
JP (1) JPH1118085A (ja)
KR (1) KR19990006678A (ja)
CN (2) CN1209020A (ja)
AU (1) AU733055B2 (ja)
BR (1) BR9801762A (ja)
CA (1) CA2238900C (ja)
NO (1) NO982508L (ja)
TW (1) TW406512B (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093936A1 (en) * 2001-05-10 2002-11-21 Sony Corporation Moving picture encoding apparatus
JP2004519909A (ja) * 2001-02-26 2004-07-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 細粒度スケーラビリティビデオ符号化における上位レイヤのための改善された予測構造
WO2007080939A1 (en) * 2006-01-10 2007-07-19 Sharp Kabushiki Kaisha Methods and systems for filter characterization
JP2009513074A (ja) * 2005-10-19 2009-03-26 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
JP2009518907A (ja) * 2005-12-05 2009-05-07 トムソン ライセンシング 動き及びテクスチャデータを予測する方法
JP2009522890A (ja) * 2006-01-05 2009-06-11 トムソン ライセンシング インターレイヤ動き予測方法
KR100959436B1 (ko) 2005-03-18 2010-05-26 샤프 가부시키가이샤 공간 계위 강화 계층 내의 인접 블록들 간의 블록 경계를특징화하는 방법 및 그 시스템
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US7840078B2 (en) 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US7885471B2 (en) 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8040957B2 (en) 2001-09-14 2011-10-18 Sharp Kabushiki Kaisha Adaptive filtering based upon boundary strength
US8059714B2 (en) 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8111758B2 (en) 2001-11-21 2012-02-07 Electronics And Telecommunications Research Institute 3D stereoscopic/multiview video processing system and its method
US8130822B2 (en) 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
USRE43628E1 (en) 2001-03-26 2012-09-04 Sharp Kabushiki Kaisha Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US8331434B2 (en) 2004-03-04 2012-12-11 Samsung Electronics Co., Ltd. Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
WO2013161689A1 (ja) * 2012-04-27 2013-10-31 シャープ株式会社 動画像復号装置、および動画像符号化装置
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US9167266B2 (en) 2006-07-12 2015-10-20 Thomson Licensing Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method

Families Citing this family (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
IL167288A (en) * 1997-04-01 2012-03-29 Sony Corp Image encryption device, image encryption method, image decryption device, image decryption method, and appropriate medium
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
JP4014263B2 (ja) * 1997-10-01 2007-11-28 松下電器産業株式会社 映像信号変換装置及び映像信号変換方法
KR100535632B1 (ko) * 1997-10-17 2006-04-12 주식회사 팬택앤큐리텔 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
DE19746611A1 (de) * 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
US6144772A (en) * 1998-01-29 2000-11-07 Canon Kabushiki Kaisha Variable compression encoding of digitized images
KR100374717B1 (ko) * 1998-03-05 2003-03-04 주식회사 팬택앤큐리텔 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치
US6621932B2 (en) * 1998-03-06 2003-09-16 Matsushita Electric Industrial Co., Ltd. Video image decoding and composing method and video image decoding and composing apparatus
JP3382173B2 (ja) * 1998-03-10 2003-03-04 株式会社ハイニックスセミコンダクター 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
CN1147079C (zh) * 1998-07-17 2004-04-21 皇家菲利浦电子有限公司 用于将编码数据解复用的设备
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
JP4018266B2 (ja) * 1998-11-13 2007-12-05 キヤノン株式会社 機器制御装置、端末装置、ネットワークシステム、制御方法、及び記憶媒体
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
JP4332249B2 (ja) * 1999-02-18 2009-09-16 キヤノン株式会社 ビットストリーム復号化装置、方法及び記憶媒体
FI106421B (fi) * 1999-03-11 2001-01-31 Nokia Multimedia Network Termi Menetelmä ja järjestely videokuvien yhdistämiseksi
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
KR20020047031A (ko) * 1999-04-17 2002-06-21 펄센트 코포레이션 효율적인 화상 처리 방법 및 장치
US7082162B2 (en) * 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US6600786B1 (en) 1999-04-17 2003-07-29 Pulsent Corporation Method and apparatus for efficient video processing
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US8595764B2 (en) * 1999-06-25 2013-11-26 Jlb Ventures, Llc Image-oriented electronic programming guide
US6501797B1 (en) 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
US7743092B2 (en) * 1999-11-12 2010-06-22 Wood Lawson A Method for recognizing and distributing music
JP2001145020A (ja) * 1999-11-12 2001-05-25 Canon Inc 画像編集装置及び方法
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US7093028B1 (en) * 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
US7389356B2 (en) * 1999-12-15 2008-06-17 Microsoft Corporation Generalized differentiation methods and arrangements for adaptive multimedia communications
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
US7103103B2 (en) * 2000-04-17 2006-09-05 Pts Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information
US6888894B2 (en) * 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
FR2813485B1 (fr) * 2000-08-24 2003-12-26 France Telecom Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
EP1352526B1 (en) * 2000-11-23 2006-06-14 Koninklijke Philips Electronics N.V. Video decoding method and corresponding decoder
JP2004515129A (ja) * 2000-11-23 2004-05-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化方法及びこれに対応する符号器
EP1338149B1 (en) * 2000-12-01 2006-06-14 Koninklijke Philips Electronics N.V. Method and device for video scene composition from varied data
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
US6778610B2 (en) 2001-03-02 2004-08-17 Redrock Semiconductor, Ltd. Simultaneous search for different resync-marker patterns to recover from corrupted MPEG-4 bitstreams
US6728318B2 (en) 2001-03-02 2004-04-27 Redrock Semiconductor, Ltd. Error recovery of corrupted MPEG-4 bitstreams using fuzzy decoding of start codes and resync markers
JP2004532540A (ja) * 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
FR2822330B1 (fr) * 2001-03-14 2003-05-02 Thomson Multimedia Sa Procede de codage par blocs, de type mpeg, dans lequel on affecte une resolution a chaque bloc
US20020135695A1 (en) * 2001-03-26 2002-09-26 Edelson Steven D. Video data reduction by selected frame elimination
US6608867B2 (en) 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
KR100388820B1 (ko) * 2001-05-16 2003-06-25 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
CA2453056A1 (en) * 2001-07-06 2003-01-16 Vision Iii Imaging, Inc. Image segmentation by means of temporal parallax difference induction
US6975680B2 (en) * 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
US20030048846A1 (en) * 2001-07-31 2003-03-13 Myeong-Hwan Lee Motion image compression apparatus capable of varying frame rate and method of compressing motion image using the same
JP2003116053A (ja) * 2001-10-05 2003-04-18 Hitachi Ltd 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
US20030138045A1 (en) * 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
WO2003102868A2 (en) * 2002-05-29 2003-12-11 Pixonics, Inc. Classifying image areas of a video signal
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
BR0316559A (pt) * 2002-11-25 2005-10-04 Thomson Licensing Sa Decodificador em duas camadas para dvd hìbrido de alta definição
ES2382031T3 (es) * 2002-12-03 2012-06-04 Thomson Licensing Medios para formatos de vídeo de definición estándar y de alta definición
US20040131122A1 (en) * 2002-12-09 2004-07-08 Kei Kudo Encoding device and encoding method
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
KR20050105222A (ko) * 2003-02-17 2005-11-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 부호화
KR20060109247A (ko) 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105407A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR100965881B1 (ko) * 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US20060168632A1 (en) * 2004-02-20 2006-07-27 Yoshimasa Honda Video reception device, video transmission device, and video transmission system
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
TW200601182A (en) * 2004-03-18 2006-01-01 Pixe Pty Ltd System and method for transforming graphics data
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
CN1985520A (zh) * 2004-07-15 2007-06-20 三星电子株式会社 运动信息编/解码及可分级视频编/解码设备和方法
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
CN100466735C (zh) * 2004-07-15 2009-03-04 三星电子株式会社 视频编码和解码方法以及视频编码器和解码器
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
FR2876860A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage hierarchique d'images video
KR100640900B1 (ko) 2004-10-20 2006-11-02 엘지전자 주식회사 바코드 라벨 스티커
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
KR100703751B1 (ko) * 2005-02-14 2007-04-06 삼성전자주식회사 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
WO2006087319A2 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
US8638862B2 (en) * 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
EP1878247A4 (en) * 2005-04-01 2012-11-21 Lg Electronics Inc METHOD FOR SCALABLE CODING AND DECODING OF VIDEO SIGNAL
CN101176348B (zh) * 2005-04-01 2011-01-19 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100883604B1 (ko) * 2005-04-01 2009-02-13 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
WO2006104366A1 (en) * 2005-04-01 2006-10-05 Lg Electronics Inc. Method for scalably encoding and decoding video signal
KR100878824B1 (ko) * 2005-04-01 2009-01-14 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
CN101258754B (zh) * 2005-04-08 2010-08-11 新加坡科技研究局 编码至少一个数字图像的方法和编码器
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100762783B1 (ko) * 2005-07-11 2007-10-05 (주)블루비스 다시점 영상 부호화 및 복호화 장치
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
WO2007020233A2 (fr) * 2005-08-18 2007-02-22 Thomson Licensing Procede de codage et de decodage d'images entrelacees a haute resolution et progressives a basse resolution
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
JP4972095B2 (ja) * 2005-11-15 2012-07-11 イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブライ ユニバーシティー オブ エルサレム 映像概要を生成する方法およびシステム
US8949235B2 (en) 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
FR2894422A1 (fr) 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
CN101366284B (zh) * 2006-01-09 2016-08-10 汤姆森许可贸易公司 为多视点视频编码提供降低分辨率更新模式的方法和装置
WO2007081139A1 (en) * 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
CN101371584B (zh) 2006-01-09 2011-12-14 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
WO2008049052A2 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
BRPI0718629A2 (pt) * 2006-11-14 2013-11-26 Qualcomm Inc Sistema e métodos para comutação de canal.
WO2008061211A2 (en) * 2006-11-15 2008-05-22 Qualcomm Incorporated Systems and methods for applications using channel switch frames
US7876808B2 (en) * 2006-11-30 2011-01-25 Broadcom Corp. Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection
US20100053153A1 (en) * 2007-02-01 2010-03-04 France Telecom Method of coding data representative of a multidimensional texture, coding device, decoding method and device and corresponding signal and program
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8526502B2 (en) * 2007-09-10 2013-09-03 Entropic Communications, Inc. Method and apparatus for line based vertical motion estimation and compensation
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US20090135916A1 (en) * 2007-11-26 2009-05-28 Mediatek Inc. Image processing apparatus and method
CN101478671B (zh) * 2008-01-02 2011-05-11 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
JP4670902B2 (ja) * 2008-05-30 2011-04-13 ソニー株式会社 送信装置、送信方法および受信装置
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
US8773505B2 (en) 2009-04-27 2014-07-08 Lg Electronics Inc. Broadcast receiver and 3D video data processing method thereof
EP2489196A4 (en) 2009-10-13 2014-03-05 Lg Electronics Inc BROADCAST RECEIVER AND METHOD FOR PROCESSING 3D VIDEO DATA THEREFOR
CN102742269B (zh) * 2010-02-01 2016-08-03 杜比实验室特许公司 处理图像或图像序列的样本、后处理已解码图像的方法
NO2991355T3 (ja) 2010-04-13 2018-04-14
RS64605B1 (sr) 2010-04-13 2023-10-31 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
CN106131574B (zh) * 2010-04-13 2019-09-10 Ge视频压缩有限责任公司 跨平面预测
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video
US20130156113A1 (en) * 2010-08-17 2013-06-20 Streamworks International, S.A. Video signal processing
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
WO2012050758A1 (en) * 2010-10-12 2012-04-19 Dolby Laboratories Licensing Corporation Joint layer optimization for a frame-compatible video delivery
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
US20120257675A1 (en) * 2011-04-11 2012-10-11 Vixs Systems, Inc. Scalable video codec encoder device and methods thereof
ITTO20110439A1 (it) * 2011-05-17 2012-11-18 Sisvel Technology Srl Method for generating, transmitting and receiving stereoscopic images, and related devices
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
JP6025065B2 (ja) * 2011-09-13 2016-11-16 パナソニックＩｐマネジメント株式会社 符号化装置、復号装置、再生装置、符号化方法、及び復号方法
US8923403B2 (en) 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
TWI508530B (zh) * 2011-10-06 2015-11-11 Mstar Semiconductor Inc 影像壓縮方法、媒體資料檔案與解壓縮方法
US20130089153A1 (en) * 2011-10-06 2013-04-11 Mstar Semiconductor, Inc. Image compression method, and associated media data file and decompression method
CN107241606B (zh) 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
JP6012014B2 (ja) * 2012-03-30 2016-10-25 サン パテント トラスト 画像符号化方法および画像復号方法
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
TW201424380A (zh) 2012-12-07 2014-06-16 Ind Tech Res Inst 影像與訊息編碼系統、編碼方法、解碼系統及解碼方法
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
CA2957079A1 (en) 2016-02-03 2017-08-03 Evertz Microsystems Ltd. Systems and methods for improving video compression efficiency
EP3474225B1 (en) * 2017-10-18 2019-09-25 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
GB2618298A (en) * 2021-09-21 2023-11-08 V Nova Int Ltd Low complexity enhancement video coding with temporal scalability

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2521145B2 (ja) * 1989-02-20 1996-07-31 日本ビクター株式会社 動き補償予測符号化復号化方式
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR100186979B1 (ko) * 1994-12-28 1999-05-01 김주용 영상데이터의 물체별 배경 정보 부호화 방법 및 장치
CA2168327C (en) * 1995-01-30 2000-04-11 Shinichi Kikuchi A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium.
KR0175741B1 (ko) * 1995-02-20 1999-05-01 정선종 호환적 영상부호화를 위한 이동보상 상향변환 방법
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5778100A (en) * 1996-03-08 1998-07-07 Lucent Technologies Inc. Method and apparatus for reducing the bit rate in a video object planes sequence coder
KR100249029B1 (ko) * 1996-06-12 2000-03-15 전주범 영상신호의 윤곽선 부호화 방법 및 그 장치
KR100235347B1 (ko) * 1996-09-19 1999-12-15 전주범 윤곽선 영상신호 부호화 방법 및 장치
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519909A (ja) * 2001-02-26 2004-07-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 細粒度スケーラビリティビデオ符号化における上位レイヤのための改善された予測構造
USRE46482E1 (en) 2001-03-26 2017-07-18 Dolby Laboratories Licensing Corporation Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
USRE46491E1 (en) 2001-03-26 2017-07-25 Dolby Laboratories Licensing Corporation Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
USRE45250E1 (en) 2001-03-26 2014-11-18 Sharp Kabushiki Kaisha Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
USRE44497E1 (en) 2001-03-26 2013-09-17 Sharp Kabushiki Kaisha Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
USRE43628E1 (en) 2001-03-26 2012-09-04 Sharp Kabushiki Kaisha Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
USRE47202E1 (en) 2001-03-26 2019-01-08 Dolby Laboratories Licensing Corporation Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
USRE47261E1 (en) 2001-03-26 2019-02-26 Dolby Laboratories Licensing Corporation Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
WO2002093936A1 (en) * 2001-05-10 2002-11-21 Sony Corporation Moving picture encoding apparatus
US7158570B2 (en) 2001-05-10 2007-01-02 Sony Corporation Motion picture encoding apparatus
US9866834B2 (en) 2001-09-14 2018-01-09 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US9872024B2 (en) 2001-09-14 2018-01-16 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US9503759B2 (en) 2001-09-14 2016-11-22 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US8040957B2 (en) 2001-09-14 2011-10-18 Sharp Kabushiki Kaisha Adaptive filtering based upon boundary strength
US10349051B1 (en) 2001-09-14 2019-07-09 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US9124888B2 (en) 2001-09-14 2015-09-01 Sharp Kabushiki Kaisha Adaptive filtering based upon boundary strength
US10178386B2 (en) 2001-09-14 2019-01-08 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US10602142B2 (en) 2001-09-14 2020-03-24 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US8891634B2 (en) 2001-09-14 2014-11-18 Sharp Kabushiki Kaisha Adaptive filtering based upon boundary strength
US9848191B2 (en) 2001-09-14 2017-12-19 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US9609327B1 (en) 2001-09-14 2017-03-28 Dolby Laboartories Licensing Corporation Adaptive filtering based upon boundary strength
US10257511B2 (en) 2001-09-14 2019-04-09 Dolby Laboratories Licensing Corporation Adaptive filtering based upon boundary strength
US8111758B2 (en) 2001-11-21 2012-02-07 Electronics And Telecommunications Research Institute 3D stereoscopic/multiview video processing system and its method
US8331434B2 (en) 2004-03-04 2012-12-11 Samsung Electronics Co., Ltd. Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method
US8929436B2 (en) 2004-03-04 2015-01-06 Samsung Electronics Co., Ltd. Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method
KR100959436B1 (ko) 2005-03-18 2010-05-26 샤프 가부시키가이샤 공간 계위 강화 계층 내의 인접 블록들 간의 블록 경계를특징화하는 방법 및 그 시스템
US9131247B2 (en) 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
JP2009513074A (ja) * 2005-10-19 2009-03-26 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
JP2009518907A (ja) * 2005-12-05 2009-05-07 トムソン ライセンシング 動き及びテクスチャデータを予測する方法
JP2009522890A (ja) * 2006-01-05 2009-06-11 トムソン ライセンシング インターレイヤ動き予測方法
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
WO2007080939A1 (en) * 2006-01-10 2007-07-19 Sharp Kabushiki Kaisha Methods and systems for filter characterization
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US7885471B2 (en) 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8130822B2 (en) 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8059714B2 (en) 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7840078B2 (en) 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US9167266B2 (en) 2006-07-12 2015-10-20 Thomson Licensing Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US9497387B2 (en) 2007-01-23 2016-11-15 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
WO2013161689A1 (ja) * 2012-04-27 2013-10-31 シャープ株式会社 動画像復号装置、および動画像符号化装置

Also Published As

Publication number Publication date
CA2238900A1 (en) 1998-12-05
CN1551636A (zh) 2004-12-01
CN1294764C (zh) 2007-01-10
EP0883300B1 (en) 2013-01-23
EP0883300A2 (en) 1998-12-09
NO982508L (no) 1998-12-07
AU6993498A (en) 1998-12-10
CN1209020A (zh) 1999-02-24
AU733055B2 (en) 2001-05-03
MX9804502A (es) 1998-12-31
CA2238900C (en) 2003-10-21
BR9801762A (pt) 1999-06-29
US6057884A (en) 2000-05-02
NO982508D0 (no) 1998-06-02
EP0883300A3 (en) 2000-12-20
TW406512B (en) 2000-09-21
KR19990006678A (ko) 1999-01-25

Similar Documents

Publication Publication Date Title
EP0883300B1 (en) Temporal and spatial scaleable coding for video object planes
Sánchez et al. Compressed domain video processing for tile based panoramic streaming using HEVC
Ebrahimi et al. MPEG-4 natural video coding–An overview
Vetro et al. Overview of the stereo and multiview video coding extensions of the H. 264/MPEG-4 AVC standard
Sikora MPEG digital video-coding standards
Sikora The MPEG-4 video standard verification model
WO2020141248A1 (en) An apparatus, a method and a computer program for video coding and decoding
US5612735A (en) Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
Chiang et al. Hierarchical coding of digital television
US7515759B2 (en) 3D video coding using sub-sequences
WO2020141260A1 (en) An apparatus, a method and a computer program for video coding and decoding
WO2006001777A1 (en) Scalable video coding with grid motion estimation and compensation
Lim et al. A multiview sequence CODEC with view scalability
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP3886439A1 (en) An apparatus and method for omnidirectional video
Tseng et al. Compatible video coding of stereoscopic sequences using MPEG-2's scalability and interlaced structure
Sikora MPEG digital video coding standards
Ng et al. Object-based coding for plenoptic videos
Bhaskaran et al. The MPEG Video Standards
Puri et al. Performance evaluation of the MPEG-4 visual coding standard
MXPA98004502A (en) Scalable temporary and space codification for planes objects of vi
Özbek Trellis-based optimization of layer extraction for rate adaptation in real-time scalable stereo video coding
Lim et al. Motion/disparity compensated multiview sequence coding
Favalli et al. ILPS: a scalable multiple description coding scheme for H. 264