JP5302010B2 - 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法 - Google Patents

多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法 Download PDF

Info

Publication number
JP5302010B2
JP5302010B2 JP2008549559A JP2008549559A JP5302010B2 JP 5302010 B2 JP5302010 B2 JP 5302010B2 JP 2008549559 A JP2008549559 A JP 2008549559A JP 2008549559 A JP2008549559 A JP 2008549559A JP 5302010 B2 JP5302010 B2 JP 5302010B2
Authority
JP
Japan
Prior art keywords
horizontal
vertical
image
resampling
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008549559A
Other languages
English (en)
Other versions
JP2009522935A5 (ja
JP2009522935A (ja
Inventor
ジェイ.サリバン ゲーリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2009522935A publication Critical patent/JP2009522935A/ja
Publication of JP2009522935A5 publication Critical patent/JP2009522935A5/ja
Application granted granted Critical
Publication of JP5302010B2 publication Critical patent/JP5302010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Description

本発明は、デジタルビデオを符号化/復号化するための手法およびツールに関する。
DVD、インターネットによる音楽配信、およびデジタルカメラの普及が拡大するとともに、デジタルメディアが当たり前のものになってきた。手法者は、様々な手法を使用して、品質をそのまま維持しながらデジタルオーディオ、デジタルビデオ、およびデジタル画像を効率よく処理する。これらの手法を理解するために、オーディオ、ビデオ、および画像情報がコンピュータ内でどのように表現され、処理されるかを理解するのは有益なことである。
I.コンピュータ内のメディア情報の表現
コンピュータは、メディア情報をその情報を表す一連の数値として処理する。例えば、単一の数値で、画像のそれぞれの基本的な小領域に対する輝度または赤色、緑色、または青色の色成分の強度を表すことができ、したがって画像のデジタル表現は、このような数値の1つまたは複数の配列からなる。それぞれのこのような数値は、サンプルと呼ばれうる。カラー画像の場合、それぞれの画素の色を表すために複数のサンプルを使用するのが習慣であり、典型的には、3つのサンプルが使用される。要素領域に対するこれらのサンプルの集合は、ピクセルと呼ぶことができるが、「ピクセル」という単語は、「画素」という概念を指し示す略語である。例えば、1ピクセルは、要素領域を表現するのに必要な赤色、緑色、青色の光の強度を表す3つのサンプルで構成されうる。このようなピクセルタイプは、RGBピクセルと呼ばれる。複数の因子が、サンプル深度、解像度、およびフレームレート(ビデオの場合)を含む、メディア情報の品質に影響を及ぼす。
サンプル深度は、サンプルを表現するために使用できる数値の範囲を示すビット単位で通常測定される特性である。サンプルに対しさらに多くの値を使用できる場合、数値で捕捉できる強度の微妙な変化が増え、および/または値の範囲が広がるため、品質を高めることができる。解像度は、一般に、ある継続時間(オーディオ用)または空間(画像または個々の映像用)におけるサンプルの数を意味する。画像は空間解像度が高いほど、他の画像よりも明瞭に見え、より識別しやすい有益な細部を含むように見える。フレームレートは、ビデオの時間解像度に対する一般的な用語である。ビデオはフレームレートが高いほど、他のビデオに比べて自然物の動きをより滑らかに再現する傾向があり、同様に、時間次元においてより精細な細部を含むと考えられる。これらすべての因子について、高品質に対するトレードオフは、表1に示されているようにサンプル深度、解像度およびフレームレートを表すのに必要なビットレートに関して示されている情報を格納し、送信するコストである。
Figure 0005302010
高品質ビデオ(HDTV等)を格納して、送信するのに高いビットレートが必要であるにもかかわらず、企業も消費者も、高品質なコンテンツを作成し、配信し、再生するのにコンピュータにますます依存するようになってきている。このような理由から、手法者は、圧縮(ソースコーディング(source coding)またはソース符号化とも呼ばれる)を使用して、デジタルメディアのビットレートを削減する。圧縮は、情報をより低いビットレート形式に変換することにより情報を格納し、送信するコストを低減する。圧縮は、可逆とすることができ、この場合、ビデオの品質は損なわれないが、ビットレートの低減は、ビデオの複雑度により制限される。あるいは、圧縮は、不可逆とすることができ、ビデオの品質は損なわれるが、ビットレートの低減は、より劇的である。圧縮解除(復号化とも呼ばれる)では、圧縮形式からあるバージョンの元情報を再構成する。「コーデック」は、符号器/復号器システムである。
一般に、ビデオ圧縮手法は、「イントラ(画像内)」圧縮、「インター(画像間)」圧縮または予測圧縮を含む。映像については、イントラ圧縮手法で、個々の画像を圧縮する。インター圧縮手法では、先行および/または後続の画像を参照して画像を圧縮する。
II.多重解像度ビデオおよび空間スケーラビリティ
標準ビデオ符号器では、目標ビットレートが特定の閾値よりも低い場合に性能が劇的に低下する。量子化および他の不可逆処理段において、歪みを生じる。低ビットレートでは、高周波情報は、大きく歪むか、または完全に失われることがある。その結果、著しいアーチファクトが発生し、再構成されたビデオの品質の実質的低下を引き起こす。利用可能なビットレートは、伝送および処理手法が改善するにつれ増大するけれども、制約されたビットレートで高い視覚的品質を維持することが、いぜんとしてビデオコーデック設計の主要目標である。既存のコーデックでは、制約されたビットレートで視覚的品質を改善するために複数の方法を利用する。
多重解像度符号化(多重分解能符号化)では、異なる空間解像度でビデオを符号化することができる。解像度を落としたビデオは、情報が失われるのと引き替えに、実質的に低いビットレートで符号化されうる。例えば、事前ビデオ符号器(prior video encoder)は、(ダウンダンプリングフィルタを使用して)最大解像度(フルレゾ)ビデオをダウンサンプリングし、垂直および/または水平方向に解像度を落として符号化することができる。それぞれの方向の解像度を半分に減らすと、符号化された画像サイズの寸法が半分になる。符号器は、解像度を落とした符号化信号を復号器に送る。復号器は、解像度を落とした符号化であることを示す情報を受け取り、受け取った情報から、表示する前に画像サイズを増大するのに解像度を落としたビデオを(アップサンプリングフィルタを使用して)どのようにアップサンプリングするかについて確認する。しかし、符号器がビデオ画像をダウンサンプリングしたときには、符号化したときに失われた情報は、アップサンプリングされた画像から依然としてなくなっている。
空間的にスケーラブル(拡大縮小可能)なビデオでは、マルチレイヤ(多層)アプローチを使用して、これにより、符号器は、1つまたは複数のエンハンスメントレイヤ(拡張階層:enhancement layer)におけるソースビデオから高解像度の情報を保持しながらベースレイヤ(基層)における空間解像度(したがってビットレート)を低減することができる。例えば、ベースレイヤイントラ画像は、解像度を落として符号化されうるが、随伴するエンハンスメントレイヤイントラ画像は、高解像度で符号化されうる。同様に、ベースレイヤ予測画像には、エンハンスメントレイヤ予測画像が随伴しうる。復号器は、(ビットレート制約条件および/または他の基準に基づき)低解像度再構成画像を得るために低解像度でベースレイヤ画像のみを復号化すること、または高解像度再構成画像を得るためにベースレイヤとエンハンスメントレイヤ画像を復号化することを選択することができる。ベースレイヤが、表示される画像よりも低い解像度で符号化される場合(ダウンサンプリングとも呼ばれる)、符号化された画像サイズは、表示される画像よりも実際に小さい。復号器は、再構成される画像のサイズを変更するために計算を実行し、アップサンプリングフィルタを使用して再構成される画像内の適切な位置に補間されたサンプル値を生成する。
米国特許第6,510,177号明細書 ITU−T国際標準勧告H.263
しかしながら、空間的にスケーラブルなビデオを使用する以前のコーデックは、硬直的なアップサンプリングフィルタと、不正確な、または(計算時間もしくはビットレートに関して)高コストの画像サイズ変更手法に悩んでいる。
デジタルビデオに対するビデオ圧縮および圧縮解除の決定的な重要性を考えた場合、ビデオ圧縮および圧縮解除は、十分に開発の進んでいる分野であることは驚くべきことではない。しかし、以前のビデオ圧縮および圧縮解除手法には、どのような利点があろうと、以下に説明する本発明の手法およびツールの利点を有していない。
この「発明の開示」では、以下の「発明を実施するための最良の形態」でさらに説明される簡素化された形式の概念の選択を導入する。この「発明の開示」は、請求されている主題の鍵となる特徴または本質的特徴を明示することを意図しておらず、また請求されている主題の範囲を制限するために使用されることも意図していない。
つまり、「発明を実施するための最良の形態」は、多重解像度および階層化空間的にスケーラブルなビデオ符号化および復号化用の様々な手法およびツールを対象とする。
例えば、「発明を実施するための最良の形態」は、空間的にスケーラブルなビデオ符号化および復号化などのアプリケーションにおける画像サイズ変更のための高精度の位置計算を行うための様々な手法およびツールを対象とする。空間的スケーラブルなビデオ符号化および復号化などのアプリケーションにおける画像サイズ変更のための高精度の位置計算を行うための手法およびツールについて説明する。一態様では、映像の再サンプリングは、再サンプリングスケール係数に応じて実行される。再サンプリングは、再サンプリング配列内の位置i、jにおけるサンプル値の計算を含む。この計算処理は、一部は2値にアップサンプリングスケール係数の逆数(近似値または厳密な値)を乗算する(か、または2値をアップサンプリングスケール係数またはアップサンプリングスケール係数の近似値で除算する)ことにより値を近似することを伴う仕方により導出された水平または垂直のサブサンプル位置(sub-sample position)xまたはyを計算することを含む。指数nは、小数部のビット数を表す整数Fを含む2つの整数の和としてよい。この近似は、近い整数に近似するシーリング関数またはフロア関数などの、丸めまたは他の何らかの種類の近似とすることができる。サンプル値は、フィルタを使用して補間される。
本明細書で説明されている手法のいくつかの代替え手段は、一実施態様では、サンプル位置計算プロセスまたはその複雑度を著しく変えることなく計算の中に約1エクストラビット(エキストラビット;extra bit)の精度を用意する変更されたサンプル位置計算を行う。説明されている手法のさらにいくつかの代替え手段は、4:2:2および4:4:4のサンプリング構造でサンプル位置計算が動作する仕方に関係する。このようなサンプリング構造に対するこれらの代替え手法では、色度および輝度サンプリンググリッドの解像度が特定の次元において同じである場合に必ず輝度および色度サンプル位置計算を一緒にロックする。
追加の特徴および利点は、付属の図面を参照しつつ進行する様々な実施形態の以下の詳細な説明から明白になる。
説明されている実施形態は、多重解像度および階層化空間的にスケーラブルなビデオ符号化および復号化用の手法およびツールを対象とする。
本明細書で説明されている様々な手法およびツールは、独立に使用することができる。これらの手法およびツールの一部は、併用することができる(例えば、組み合わされた符号化および/または復号化プロセスの異なるフェーズで)。
以下では、処理活動の流れ図に関して様々な手法について説明する。流れ図に示されている様々な処理活動を少数の活動にまとめたり、またはさらに多くの活動に分けたりすることができる。単純にするため、特定の流れ図に示されている活動と別のところで説明されている活動との関係は、しばしば示されていない。多くの場合、流れ図内の動作は、順序変更することができる。
「発明を実施するための最良の形態」の大部分において、ビデオ情報の表現、符号化、および復号化を取りあげている。ビデオ情報の表現、符号化、および復号化について本明細書で説明されている手法およびツールは、オーディオ情報、静止画情報、または他のメディア情報に適用されうる。
I.コンピュータ環境
図1は、説明されている実施形態のうちの複数を実装できる好適なコンピュータ環境100の一般化された実施形態を例示している。これらの手法およびツールは多様な汎用または専用コンピュータ環境に実装できるため、コンピュータ環境100は、使用または機能性の範囲に関する制限を示唆する意図はない。
図1を参照すると、コンピュータ環境100は、少なくとも1つの処理装置110およびメモリ120を備える。図1で、この最も基本的な構成130は、破線で囲まれている。処理装置110は、コンピュータ実行可能命令を実行し、実プロセッサでも、仮想プロセッサでもよい。マルチプロセッシングシステムでは、処理能力を高めるため、複数の処理装置がコンピュータ実行可能命令を実行する。メモリ120は、揮発性メモリ(例えば、レジスタ、キャッシュ、RAM)、不揮発性メモリ(例えば、ROM、EEPROM、フラッシュメモリなど)、またはこれら2つの何らかの組合せとすることができる。メモリ120は、説明されている手法およびツールのうちの1つまたは複数を使ってビデオ符号器または復号器を実装するソフトウェア180を格納する。
コンピュータ環境には、機能を追加することができる。例えば、コンピュータ環境100は、記憶装置140、1つまたは複数の入力デバイス150、1つまたは複数の出力デバイス160、および1つまたは複数の通信接続170を含む。バス、コントローラ、またはネットワークなどの相互接続メカニズム(図に示されていない)は、コンピュータ環境100のコンポーネントを相互接続する。通常、オペレーティングシステムソフトウェア(図に示されていない)は、コンピュータ環境100内で他のソフトウェアを実行するためのオペレーティング環境を提供し、コンピュータ環境100のコンポーネントの動作を調整する。
記憶装置140は、取り外し可能であるか、または取り外し不可能であり、磁気ディスク、磁気テープまたはカセット、CD−ROM、DVD、フラッシュメモリ、または情報を格納するために使用することができ、コンピュータ環境100内でアクセスできるその他の媒体を含む。記憶装置140は、ビデオ符号器または復号器を実装するソフトウェア180の命令を格納する。
(複数の)入力デバイス150は、キーボード、マウス、ペン、タッチスクリーン、またはトラックボールなどの接触入力デバイス、音声入力デバイス、スキャニングデバイス、またはコンピュータ環境100に入力を行う他のデバイスとすることができる。オーディオまたはビデオ符号化については、(複数の)入力デバイス150は、サウンドカード、ビデオカード、TVチューナーカード、または、アナログもしくはデジタル形式のオーディオまたはビデオ入力、またはコンピュータ環境100内にオーディオまたはビデオサンプルを読み込むCD−ROM、CD−RW、またはDVDのオーディオまたはビデオ入力を受け入れる類似のデバイスとすることができる。(複数の)出力デバイス160は、ディスプレイ、プリンタ、スピーカ、CDもしくはDVDライター、またはコンピュータ環境100からの出力を供給する他のデバイスとすることができる。
(複数の)通信接続170では、通信媒体を介して、他のコンピュータエンティティと通信することが可能である。通信媒体は、コンピュータ実行可能命令、オーディオまたはビデオ入力もしくは出力、または変調データ信号内の他のデータなどの情報を伝達する。変調データ信号は、信号内の情報を符号化する仕方でその特性のうち1つまたは複数が設定または変更された信号である。例えば、限定はしないが、通信媒体は、電気的搬送波、光学的搬送波、RF搬送波、赤外線搬送波、音響搬送波、またはその他の搬送波により実装された有線または無線手法を含む。
これらの手法およびツールは、コンピュータ可読媒体の一般的な文脈において説明されうる。コンピュータ可読媒体は、コンピュータ環境内でアクセスできる入手可能な媒体である。例えば、限定はしないが、コンピュータ環境100では、コンピュータ可読媒体は、メモリ120、記憶装置140、通信媒体、およびこれらのどれかの組合せを含む。
これらの手法およびツールは、1つまたは複数のターゲットの実プロセッサまたは仮想プロセッサ上のコンピュータ環境で実行される、プログラムモジュールに含まれるような、コンピュータ実行可能命令の一般的な文脈において説明することができる。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などを含む。プログラムモジュールの機能は、様々な実施形態で望まれているように、組み合わせたり、または複数のプログラムモジュールに分割することができる。プログラムモジュールのコンピュータ実行可能命令は、ローカルまたは分散コンピュータ環境内で実行することができる。
提示するため、「発明を実施するための最良の形態」では、「符号化する」、「複合化する」、および「選択する」のような用語を使用して、コンピュータ環境におけるコンピュータの演算を説明する。これらの用語は、コンピュータにより実行される演算の高水準の抽象化であり、人間が実行する行為と混同すべきではない。これらの用語に対応する実際のコンピュータの演算は、実装によって異なる。
II.例示的なビデオ符号器および復号器
図2は、いくつかの説明されている実施形態を実装できる例示的なビデオ符号器200のブロック図である。図3は、いくつかの説明されている実施形態を実装できる一般化されたビデオ復号器300のブロック図である。
符号器200および復号器300内のモジュール間に示される関係は、符号器および復号器内の情報の一般的な流れを示し、他の関係は、単純にするため示されていない。特に、図2および図3は、通常、ビデオシーケンス、画像、スライス、マクロブロック、ブロックなどに使用される符号器設定、モード、テーブルなどを示すサイド情報を示していない。このようなサイド情報は、出力ビットストリームで送信され、これは、典型的には、サイド情報のエントロピー符号化の後に実行する。出力ビットストリームの形式は、実装によって異なりうる。
符号器200および復号器300は、ビデオフレーム、ビデオフィールド、またはフレームとフィールドの組合せであってよい、映像を処理する。画像およびマクロブロックレベルにおけるビットストリームのシンタックスおよびセマンティックスは、フレームが使用されるのか、フィールドが使用されるのかに依存しうる。マクロブロックの編成および全体的なタイミングにも変更が生じうる。符号器200および復号器300は、ブロックベースであり、フレームには4:2:0マクロブロック形式を使用し、それぞれのマクロブロックは4つの8×8輝度ブロック(ときには、1つの16×16マクロブロックとして処理される)および2つの8×8色度ブロックを含む。フィールドについては、同じまたは異なるマクロブロック編成および形式を使用することができる。8×8ブロックは、さらに、異なる複数の段、例えば、周波数変換およびエントロピー符号化段で、細分されうる。例示的なビデオフレーム編成について、以下でさらに詳しく説明する。それとは別に、符号器200および復号器300は、オブジェクトベースであるか、異なるマクロブロックまたはブロック形式を使用するか、または8×8ブロックおよび16×16マクロブロックと異なるサイズまたは構成のサンプルの集合に対し演算を実行する。
実装および所望の圧縮の種類に応じて、符号器または復号器のモジュールを追加、削除し、複数のモジュールに分割し、他のモジュールと組み合わせ、および/または類似のモジュールと交換することができる。代替え実施形態では、異なるモジュールおよび/またはモジュールの他の構成を使用する符号器または復号器は、説明されている手法の1つまたは複数を実行する。
A.ビデオフレーム編成
いくつかの実装では、符号器200および復号器300は、以下のように編成されたビデオフレームを処理する。1つのフレームは、1つのビデオ信号の数ライン分の空間情報を含む。プログレッシブビデオスキャニング(斬新的画像読み取り)では、これらのラインは同じ時刻にサンプリングされたシーンコンテンツのスナップショットを表し、フレームの上部から下部へのシーンで全体を覆うサンプルを含む。プログレッシブビデオフレームは、図4に示されているマクロブロック400などの複数のマクロブロックに分割される。マクロブロック400は、従来の4:2:0マクロブロック形式に従って4つの8×8輝度ブロック(Y1からY4まで)および4つの輝度ブロックと同一の場所に配置されるが水平方向および垂直方向分解が半分である2つの8×8色度ブロックを含む。8×8ブロックは、さらに、異なる複数の段、例えば、周波数変換(例えば、8×4、4×8、または4×4DCT)およびエントロピー符号化段で、細分されうる。プログレッシブI−フレームは、イントラ符号化プログレッシブビデオフレームであるが、ただし、「イントラ」という用語は、他のすでに復号化されている画像のコンテンツからの予測を伴わない符号化方式を指す。プログレッシブP−フレームは、現在の画像と時間的に異なる時刻の1つまたは複数他の画像からの予測(ときには、文脈によっては前方予測とも呼ばれる)を使用して符号化されるプログレッシブビデオフレームであり、プログレッシブB−フレームは、いくつかの領域における複数の予測値の(場合によっては重み付け)平均を伴うインターフレーム予測を使用して符号化されたプログレッシブビデオフレームである(ときには、双予測または双方向予測とも呼ばれる)。プログレッシブP−およびB−フレームは、イントラ符号化されたマクロブロックだけでなく様々な種類のインターフレーム予測マクロブロックを含むことができる。
インターレースビデオフレームスキャニングは、1つのシーンの2種類のスキャンの交互系列からなり、1つはフレームの偶数ライン(番号0、2、4などのライン)を含む、トップフィールド(top field)と呼ばれ、もう1つはそのフレームの奇数ライン(番号1、3、5などのライン)を含む、ボトムフィールド(bottom field)と呼ばれる。これら2つのフィールドは、典型的には、2つの異なるスナップショット時刻を表す。図5Aは、インターレースビデオフレーム500の左上部分にトップフィールドおよびボトムフィールドの交互ラインを含む、インターレースビデオフレーム500の一部を示している。
図5Bは、フレーム530として符号化/符号化用に編成された図5Aのインターレースビデオフレーム500を示している。インターレースビデオフレーム500は、複数のマクロブロックまたは図4に示されているような4:2:0形式を使用するマクロブロック531および532などの他のそのような複数の領域に分割されている。輝度平面内で、それぞれのマクロブロック531、532は、合計16本のラインについてボトムフィールドからの8本のラインと交互に並ぶトップフィールドからの8本のラインを含み、それぞれのラインは、16サンプル長である。(画像を複数のマクロブロックまたは他のそのような領域に実際に編成すること、および輝度ブロックおよび色度ブロックをマクロブロック531、532内に配置することは、示されておらず、実際には、異なる符号化決定および異なるビデオ符号化設計について異なることがある。)与えられたマクドブロック内で、トップフィールド情報およびボトムフィールド情報は、一緒に符号化されるか、または様々フェーズにおいて別々に符号化されうる。
インターレースI−フレームは、2つのフィールドを含むイントラ符号化インターレースビデオフレームであり、それぞれのマクロブロックは、一方または両方のフィールドに対する情報を含む。インターレースP−フレームは、インターフレーム予測を使用して符号化される2つのフィールドを含むインターレースビデオフレームであり、それぞれのマクロブロックは、インターレースB−フレームの場合のように、一方または両方のフィールドに対する情報を含む。インターレースP−およびB−フレームは、イントラ符号化されたマクロブロックだけでなく様々な種類のインターフレーム予測マクロブロックを含むことができる。
図5Cは、フィールド560として符号化/符号化用に編成された図5Aのインターレースビデオフレーム500を示している。インターレースビデオフレーム500の2つのフィールドはそれぞれ、複数のマクロブロックに分割される。トップフィールドは、マクロブロック561などの複数のマクロブロックに分割され、ボトムフィールドは、マクロブロック562などの複数のマクロブロックに分割される。(ここでもまた、マクロブロックは、図4に示されているように4:2:0形式を使用し、画像を複数のマクロブロックまたは他のそのような領域に編成すること、および輝度ブロックおよび色度ブロックを複数のマクロブロック内に配置することは、図に示されておらず、異なることがある。)輝度平面内で、マクロブロック561は、トップフィールドからの16本のラインを含み、マクロブロック562は、ボトムフィールドからの16本のラインを含み、それぞれのラインは16サンプル長である。
インターレースI−フィールドは、インターレースビデオフレームの単一の別々に表現されたフィールドである。インターレースP−フィールドは、インターレースB−フィールドのように、画像間予測(inter-picture prediction)を使用して符号化されたインターレースビデオフレームの単一の別々に表現されたフィールドである。インターレースP−およびB−フィールドは、イントラ符号化されたマクロブロックだけでなく様々な種類の画像間予測マクロブロックを含むことができる。
フィールドとして符号化/復号化するように編成されたインターレースビデオフレームは、異なるフィールドタイプの様々な組合せを含むことができる。例えば、そのようなフレームはトップフィールドおよびボトムフィールドの両方において同じフィールドタイプ(I−フィールド、P−フィールド、またはB−フィールド)を持つか、またはそれぞれのフィールドにおいて異なるフィールドタイプを持つことができる。
画像という用語は、一般に、ソース、符号化または再構成された画像データのフレームまたはフィールドを指す。プログレッシブスキャンビデオでは、画像は、典型的には、プログレッシブビデオフレームである。インターレースビデオでは、画像は、文脈に応じて、インターレースビデオフレーム、フレームのトップフィールド、またはフレームのボトムフィールドを指すことができる。
図5Dは、ビデオフレームのそれぞれのフィールドに対する輝度サンプル配置に関する4:2:0色度サンプル配置の6つの例示的な空間的アライメントを示す。
それとは別に、符号器200および復号器300は、オブジェクトベースであるか、異なるマクロブロック形式(例えば、4:2:2または4:4:4)もしくはブロック形式を使用するか、または8×8ブロックおよび16×16マクロブロックと異なるサイズまたは構成のサンプルの集合に対し演算を実行する。
B.ビデオ符号器
図2は、例示的なビデオ符号器システム200のブロック図である。符号器システム200は、現在の画像205を含む映像のシーケンス(例えば、プログレッシブビデオフレーム、インターレースビデオフレーム、またはインターレースビデオフレームのフィールド)を受け取り、圧縮されたビデオ情報295を出力として生成する。ビデオ符号器の特定の実施形態は、典型的には、例示的な符号器200の一変更形態または補足バージョンを使用する。
符号器システム200は、イントラ符号化された(イントラ)画像(I−画像)および画像間予測画像(inter-picture predicted picture)(P−またはB−画像)に符号化プロセスを使用する。提示するため、図2では、符号器システム200を通るI画像に対する経路および画像間予測画像に対する経路を示す。符号器システム200のコンポーネントの多くは、I−画像と画像間予測画像の両方を圧縮するために使用される。これらのコンポーネントにより実行される厳密な演算は、圧縮される情報のタイプに依存し、変化しうる。
画像間予測画像は、1つまたは複数の他の画像(典型的には参照画像と呼ばれる)からの予測(または差)に関して表現される。予測残差は、予測されたものと元の画像との差である。対照的に、I−画像は、他の画像を参照せずに圧縮される。I−画像では、空間的予測または周波数領域予測(つまり、イントラ画像予測(画像内画像予測;intra-picture prediction))を使用し、I−画像それ自体の他の部分からのデータを使用してI−画像のいくつかの部分を予測することができる。しかし、簡単のため、このようなI−画像は、この説明では、「予測」画像と呼ばれず、したがって、「予測画像」というフレーズは、画像間予測画像(例えば、P−またはB−画像)であると理解することができる。
現在の画像205が予測画像である場合、動き推定器210は、1つまたは複数の参照画像、例えば、画像記憶部(picture store)220内にバッファリングされている再構成された前の画像225に関して、現在の画像205のサンプルのマクロブロックまたはサンプルの他の集合の動きを推定する。動き推定器(motion estimator)210は、1つまたは複数の時間的に前の参照画像および1つまたは複数の時間的に後の参照画像に関して動きを推定することができる(例えば、双予測画像(bi-predictive picture)の場合)。したがって、符号器システム200は、複数の参照画像に対し別々のストア220および222を使用することができる。
動き推定器210は、完全サンプル、1/2サンプル、1/4サンプル、または他の増分により動きを推定することができ、画像毎に、または他の基準に関して動き推定の解像度(resolution)を切り替えることができる。動き推定器210(および補償器230)は、さらに、フレーム毎に、または他の基準に関して、参照画像サンプル補間の種類を切り替える(例えば、三次畳み込み補間法と双一次補間とを切り替える)こともできる。動き推定の解像度は、水平方向および垂直方向に同じである場合も、異なる場合もある。動き推定器210は、サイド情報として、差動運動ベクトル情報などの動き情報215を出力する。符号器200は、例えば、動きベクトルに対する1つまたは複数の予測因子を計算し、動きベクトルと予測因子との差を計算し、それらの差をエントロピー符号化することにより動き情報215を符号化する。動きベクトルを再構成するために、動き補償器230は、予測因子と動きベクトル差情報(motion vector difference information)とを組み合わせる。
動き補償器230は、再構成された動きベクトルを再構成された(複数の)画像225に適用して、動き補償予測235を形成する。しかし、予測は、めったに完全ではなく、動き補償予測235と元の現在画像205との差が、予測残差245である。画像を後から再構成するときに、予測残差245の近似が、動き補償予測235に加えられ、これにより、動き補償予測235よりも元の現在画像205に近い再構成画像を得ることができる。しかし、不可逆圧縮では、元の現在画像205から一部の情報がそのまま失われる。それとは別に、動き推定器および動き補償器は、他の種類の動き推定/補償を適用する。
周波数変換器260は、空間領域ビデオ情報を周波数領域(つまり、スペクトル)データに変換する。ブロックベースのビデオ符号化では、周波数変換器260は、典型的には、離散コサイン変換(DCT)、DCTの一変種、または他の何らかのブロック変換をサンプルデータまたは予測残差データのブロックに適用し、周波数領域変換係数のブロックを生成する。それとは別に、周波数変換器260は、フーリエ変換などの他の種類の周波数変換を適用するか、またはウェーブレットもしくはサブバンド分析を使用する。周波数変換器260は、8×8、8×4、4×8、もしくは4×4または他のサイズの周波数変換を適用することができる。
次いで、量子化器270は、周波数領域変換係数のブロックを量子化する。量子化器は、画像毎に、マクロブロック毎に、または他の基準により変化する量子化ステップサイズに応じてスカラー量子化を変換係数に適用するが、ただし、量子化ステップサイズは、符号器逆量子化器プロセス276で複製されうる復号器逆量子化器プロセスにおける離散表現可能再構成点同士の間の一定間隔を決定する制御パラメータである。それとは別に、量子化器は、他の種類の量子化、例えば、非一様な再構成点を持つスカラー量子化器、ベクトル量子化器、または非適応量子化を周波数領域変換係数に適用するか、または周波数変換を使用しない符号化システム内で空間領域データを直接量子化する。適応量子化に加えて、符号器200は、フレームドロッピング(frame dropping)、適応フィルタリング、またはレート制御の他の手法を使用することができる。
再構成された現在画像がその後の動き推定/補償に必要な場合、逆量子化276は、量子化された周波数領域変換係数に対し逆量子化を実行する。次いで、逆周波数変換器266は、周波数変換器260の演算の逆を実行し、(予測された画像に対する)再構成された予測残差近似または再構成されたI−画像近似を出力する。現在画像205が、I−画像であった場合、再構成されたI−画像近似は、再構成された現在画像近似(図に示されていない)とみなされる。現在画像205が、予測画像であった場合、再構成された予測残差近似が、動き補償予測235に加えられ、再構成された現在画像近似を形成する。画像記憶部220、222の1つまたは複数に、後続の画像の動き補償予測で参照画像として使用する再構成された現在画像近似をバッファリングする。符号器は、非ブロック化フィルタまたは他の画像リファイニングプロセス(画像精錬工程;picture refining process)を再構成されたフレームに適用し、画像近似を1つまたは複数の画像記憶部220、222に格納するのに先立って不連続を適応平滑化し、画像から他のアーチファクトを除去することができる。
エントロピー符号器280は、量子化器270の出力とともに、特定のサイド情報(例えば、動き情報215、量子化ステップサイズ)を圧縮する。典型的なエントロピー符号化手法は、算術符号化、差分符号化、ハフマン符号化、ランレングス符号化、Lempel−Ziv符号化、辞書符号化、およびこれらの組合せを含む。エントロピー符号器280は、典型的には、異なる種類の情報(例えば、低周波係数、高周波係数、ゼロ周波数係数、異なる種類のサイド情報)に対し異なる符号化手法を使用し、特定の符号化手法の範囲内の複数のコード表の中から選択することができる。
エントロピー符号器280は、圧縮ビデオ情報295をマルチプレクサ[「MUX」]290に供給する。MUX 290は、バッファを備えることができ、バッファ充足レベルインジケータをレート制御のためビットレート適応モジュールにフィードバックすることができる。MUX 290の前または後に、圧縮ビデオ情報290は、ネットワークによる伝送用に通信路符号化することができる。通信路符号化は、誤り検出および補正データを圧縮ビデオ情報295に適用することができる。
C.ビデオ復号器
図3は、例示的なビデオ復号器システム300のブロック図である。復号器システム300は、圧縮された映像シーケンスに対する情報395を受信し、再構成された画像305を含む出力を生成する(例えば、プログレッシブビデオフレーム、インターレースビデオフレーム、またはインターレースビデオフレームのフィールド)。ビデオ復号器の特定の実施形態は、典型的には、一般化された復号器300の一変更形態または補足バージョンを使用する。
復号器システム300は、予測画像およびI−画像を圧縮解除する。提示のため、図3では、復号器システム300を通るI−画像に対する経路および予測画像に対する経路を示す。復号器システム300のコンポーネントの多くは、I−画像と予測画像の両方を圧縮解除するために使用される。これらのコンポーネントにより実行される厳密な演算は、圧縮解除される情報のタイプに依存し、変化しうる。
DEMUX 390は、圧縮されたビデオシーケンスに対する情報395を受け取り、受け取った情報をエントロピー復号器380に供給する。DEMUX 390は、ジッタバッファおよび他のバッファも備えることができる。DEMUX 390の前、またはその中で、圧縮されたビデオ情報を通信路復号化し、誤り検出および訂正のため処理することができる。
エントロピー復号器380は、エントロピー復号化された量子化データだけでなく、エントロピー符号化されたサイド情報(例えば、動き情報315、量子化ステップサイズ)をエントロピー復号化し、典型的には、符号器内で実行されるエントロピー符号化の逆演算を適用する。エントロピー復号化手法は、算術復号化、差分復号化、ハフマン復号化、ランレングス復号化、Lempel−Ziv復号化、辞書復号化、およびこれらの組合せを含む。エントロピー復号器380は、典型的には、異なる種類の情報(例えば、低周波係数、高周波係数、ゼロ周波数係数、異なる種類のサイド情報)に対し異なる復号化手法を使用し、特定の復号化手法の範囲内の複数のコード表の中から選択することができる。
復号器300は、例えば、動きベクトルに対し1つまたは複数の予測因子を計算し、動きベクトル差をエントロピー復号化し(エントロピー復号器380で)、復号化された動きベクトル差と予測因子と組み合わせて動きベクトルを再構成することにより動き情報315を復号化する。
動き補償器330は、動き情報315を1つまたは複数の参照画像325に適用して、再構成される画像305の予測335を形成する。例えば、動き補償器330は、1つまたは複数のマクロブロック動きベクトルを使用して、サンプルのブロックを見つけるか、または(複数の)参照画像325内のサンプル間の分数位置を補間する。1つまたは複数の画像記憶部(例えば、画像記憶部320、322)では、参照画像として使用するために、前の再構成された画像を格納する。典型的には、B−画像は、複数の参照画像(例えば、少なくとも1つの時間的に前の参照画像および少なくとも1つの時間的に後の参照画像)を有する。したがって、復号器システム300は、複数の参照画像に対し別々の画像記憶部320および322を使用することができる。動き推定器330は、完全サンプル、1/2サンプル、1/4サンプル、または他の増分で動きを補償することができ、画像毎に、または他の基準に関して動き補償の解像度を切り替えることができる。動き補償器330は、さらに、フレーム毎に、または他の基準に関して、参照画像サンプル補間の種類を切り替える(例えば、三次畳み込み補間法と双一次補間とを切り替える)こともできる。動き補償の解像度は、水平方向および垂直方向に同じである場合も、異なる場合もある。それとは別に、動き補償器は、他の種類の動き補償を適用する。動き補償器による予測は、めったに完全ではなく、したがって、復号器300は、さらに、予測残差を再構成する。
逆量子化器370は、エントロピー復号化データを逆量子化する。典型的には、逆量子化は、画像毎に、マクロブロック毎に、または他の何らかの基準に関して変化する再構成ステップサイズにより均一スカラー逆量子化をエントロピー復号化データに適用する。それとは別に、逆量子化器は、他の種類の逆量子化、例えば、不均一、ベクトル、または非適応逆量子化をデータに適用するか、または逆周波数変換を使用しない復号器システム内の空間領域データを直接逆量子化する。
逆周波数変換器360は、逆量子化された周波数領域変換係数を空間領域ビデオ情報に変換する。ブロックベース映像では、逆周波数変換器360は、逆DCT[「IDCT」]、IDCTの一変種、または他の何らかの逆ブロック変換を周波数変換係数のブロックに適用し、それぞれI−画像または予測画像に対するサンプルデータまたは画像間予測残差データを生成する。それとは別に、逆周波数変換器360は、逆フーリエ変換などの他の種類の逆周波数変換を適用するか、またはウェーブレットもしくはサブバンド合成を使用する。逆周波数変換器360は、8×8、8×4、4×8、4×4、または他のサイズの逆周波数変換を適用することができる。
予測画像に対して、復号器300は、再構成された予測残差345と動き補償予測335とを組み合わせて、再構成された画像305を形成する。復号器が、後の動き補償のため再構成された画像305を必要とする場合、それらの画像記憶部の1つまたは複数(例えば、画像記憶部320)に、次の画像を予測する際に使用する再構成された画像305をバッファリングする。いくつかの実施形態では、復号器300は、非ブロック化フィルタまたは他の画像リファイニングプロセスを再構成された画像に適用し、再構成された画像305を画像記憶部(例えば、画像記憶部320)の1つまたは複数に格納するのに先立って、または復号化されたビデオの再生時に復号化された画像を表示するのに先立って、不連続を適応平滑化し、画像から他のアーチファクトを除去する。
III.多重解像度符号化および復号化の概要
ビデオは、異なる解像度で符号化され(復号化され)うる。この説明のために、多重解像度符号化および復号化をフレームベースの符号化および復号化(例えば、参照画像再サンプリング)または階層化(ときには、空間的スケーラブルとも呼ばれる)符号化および復号化として説明することができる。多重解像度符号化および複合化は、さらに、インターレースビデオおよびフィールドベースの符号化および復号化、ならびに分解特有の基準に基づき、または他の何らかの基準に従って、フレームベースの符号化および復号化とフィールドベースの符号化および復号化とを切り替えることを伴うこともありうる。しかし、プログレッシブビデオのフレーム符号化については、概念の説明を簡素化することを目的としてこの概要において説明する。
A.フレームベースの多重解像度符号化および復号化
フレームベースの多重解像度符号化では、符号器は、異なる解像度で入力画像を符号化する。符号器は、画像毎に、または他の何らかの基準に従って画像に対する空間解像度を選択する。例えば、参照画像再サンプリングでは、参照画像は、符号化される画像の解像度と異なる解像度で符号化される場合に再サンプリングされうる。再サンプリングという用語は、サンプリングされた信号の画像領域または他の何らかのセクションを表すために使用されるサンプルの数を増やす(アップサンプリング)または減らす(ダウンサンプリング)ことを説明するために使用される。単位面積当たり、または信号セクション毎のサンプルの数は、サンプリングの解像度と呼ばれる。
空間解像度は、例えば、利用可能なビットレートの増減、量子化ステップサイズの増減、入力ビデオコンテンツ内の動きの量の増減、ビデオコンテンツの他の特性(例えば、強いエッジ、テキスト、低解像度で著しく歪みことがある他のコンテンツの存在)、または他の何らかの基準に基づいて選択できる。空間解像度は、垂直、水平、または垂直と水平の両方の次元で変化しうる。水平解像度は、垂直解像度と同じ場合もあれば、異なる場合もある。復号器は、相補的手法を使用して符号化されたフレームを復号化する。
符号器が、現在画像または現在画像内の領域に対する空間解像度を選択すると、符号器は、符号化する前に所望の解像度に合わせて元の画像を再サンプリングする。次いで、符号器は、空間解像度の選択結果を復号器に信号で伝えることができる。
図6は、画像のフレームベースの多重解像度符号化の手法(600)を示す。図2の符号器200などの符号器は、画像に対する解像度(610)を設定する。例えば、符号器は、上記の基準または他の基準を考慮する。次いで、符号器は、その解像度で画像(620)を符号化する。符号化すべきすべての画像の符号化が完了したら(630)、符号器は終了する。完了しなかった場合、符号器は、次の画像に対し解像度(610)を設定し、符号化を続ける。それとは別に、符号器は、画像の異なる部分に対し異なる形で解像度を設定する、または画像のグループまたは画像のシーケンスに対し解像度の選択を行うなど、画像レベルと異なる何らかのレベルで解像度を設定する。
符号器は、予測画像だけでなくイントラ画像も符号化することができる。図8は、イントラ画像および画像間予測画像のフレームベースの多重解像度符号化の手法(800)を示す。第1に、符号器は、符号化すべき現在画像がイントラ画像であるか、または予測画像であるかを810でチェックする。現在画像が、イントラ画像である場合、符号器は、820で現在画像に対する解像度を設定する。画像が予測画像である場合、符号器は、現在画像に対する解像度を設定する前に830で参照画像に対する解像度を設定する。現在画像に対する解像度を設定した後、符号器は、その解像度で現在画像(840)を符号化する。画像に対する解像度を設定することは(現在ソース画像または格納されている参照画像かに関係なく)、選択された解像度と一致する画像を再サンプリングすることを伴い、また信号を符号化して選択された解像度を復号器に指示することを伴うことがある。符号化すべきすべての画像の符号化が完了したら(850)、符号器は終了する。そうでなければ、符号器は、追加の画像を符号化することを続ける。それとは別に、符号器は、予測画像を異なる方法で取り扱う。
復号器は、符号化された画像を復号化し、必要ならば、表示する前に画像を再サンプリングする。符号化された画像の解像度のように、復号化された画像の解像度も、多くの異なる方法で調節することができる。例えば、復号化された画像の解像度は、出力表示デバイスの解像度または出力表示デバイスの一領域の解像度に合うように調節することができる(例えば、「ピクチャインピクチャ」またはPCデスクトップウィンドウ表示に対し)。
図7は、画像のフレームベースの多重解像度復号化の手法(700)を示す。図3の復号器300などの復号器は、画像に対する解像度(710で)を設定する。例えば、復号器は、符号器から解像度情報を取得する。次いで、復号器は、その解像度で画像(720)を復号化する。復号化すべきすべての画像の復号化が完了したら(730)、復号器は終了する。完了しなかった場合、復号器は、次の画像に対し解像度(710)を設定し、復号化を続ける。それとは別に、復号器は、画像レベルと異なる何らかのレベルに解像度を設定する。
復号器は、予測画像だけでなくイントラ画像も復号化することができる。図9は、イントラ画像および予測画像のフレームベースの多重解像度復号化の手法(900)を示す。
第1に、復号器は、復号化すべき現在フレームがイントラ画像であるか、または予測画像であるかをチェックする(910)。現在画像が、イントラ画像である場合、復号器は、現在画像に対する解像度を設定する(920)。画像が予測画像である場合、復号器は、現在画像に対する解像度を設定する(920)前に参照画像(930)に対する解像度を設定する。参照画像の解像度を設定することは、選択された解像度に一致するように格納されている参照画像を再サンプリングすることを伴いうる。現在画像(920)に対する解像度を設定した後、復号器は、その解像度で現在画像(940)を符号化する。復号化すべきすべての画像の復号化が完了したら(950)、復号器は終了する。そうでない場合、復号器は、復号化を続ける。
復号器は、典型的には、符号器で使用されるのと同じ解像度で画像を復号化する。それとは別に、復号器は、復号器で利用できる解像度が符号器内で使用されるのとまったく同じではないときなど、異なる解像度で画像を復号化する。
B.階層化多重解像度符号化および復号化
階層化多重解像度符号化では、符号器は、ビデオをレイヤで符号化し、それぞれのレイヤは異なる解像度でビデオを復号化するための情報を含む。このようにして、符号器は、複数の解像度でビデオ内の少なくとも一部の個別画像を符号化する。次いで、復号器は、レイヤの異なる組合せを処理することにより1つまたは複数の解像度でビデオを復号化することができる。例えば、第1のレイヤ(ときには、ベースレイヤとも呼ばれる)は、低解像度でビデオを復号化するための情報を含むが、1つまたは複数の他のレイヤ(ときには、エンハンスメントレイヤとも呼ばれる)は、高解像度でビデオを復号化するための情報を含む。
ベースレイヤは、それ自体独立に復号化可能なビットストリームとなるように設計されうる。したがって、このような設計では、ベースレイヤのみを復号化する復号器は、ベースレイヤの低解像度の有効な復号化されたビットストリームを生成する。エンハンスメントレイヤを使用して高解像度画像を適切に復号化するには、さらに、符号化されたベースレイヤデータおよび場合によっては1つまたは複数のエンハンスメントレイヤの一部または全部を復号化する必要がある場合がある。ベースレイヤおよび1つまたは複数の他の高解像度のレイヤを復号化する復号器は、ベースレイヤのみを復号化する復号器よりも高い解像度のコンテンツを生成することができる。2つ、3つ、またはそれ以上のレイヤを使用することにより、2つ、3つ、またはそれ以上の異なる解像度を利用することができる。それとは別に、高解像度のレイヤは、それ自体も、独立に復号化可能なビットストリームとなりうる。(このような設計は、サイマルキャスト(同時放送、サーマル放送;simulcast)多重解像度符号化アプローチと呼ばれることが多い。)
図10は、異なる解像度で復号化できるようにビットストリームレイヤを符号化する手法(1000)を示す。図2の符号器200などの符号器は、入力(1010)として最大解像度(full-resolution)のビデオ情報をとる。符号器は、最大解像度のビデオ情報(1020)をダウンサンプリングし、ダウンサンプリングされた情報(1030)を使用してベースレイヤを符号化する。符号器は、ベースレイヤおよび高解像度のビデオ情報(1040)を使用して1つまたは複数の高解像度のレイヤを符号化する。高解像度のレイヤは、最大解像度で復号化することを許すレイヤ、または何らかの中間解像度で復号化することを許すレイヤとすることができる。次いで、符号器は、符号化されたレイヤのもう2つを含む階層化ビットストリームを出力する。それとは別に、高解像度のレイヤ(1040)の符号化では、ベースレイヤ情報を使用することができず、したがって、サイマルキャスト多重解像度符号化アプローチについては高解像度のレイヤデータを独立に復号化することができる。
符号器は、図10に示されている基本アウトラインに従って複数の方法で多重解像度レイヤ符号化を実行することができる。詳細については、特許文献1またはMPEG−2標準もしくは他のビデオ標準を参照のこと。
図11は、異なる解像度でビデオを復号化できるようにビットストリームレイヤを復号化する手法(1100)を示す。図3の復号器300などの復号器は、入力(1110)として階層化ビットストリームをとる。レイヤは、低解像度のレイヤ(ベースレイヤ)、および高解像度の情報を含む1つまたは複数のレイヤを含む。高解像度のレイヤは、独立に符号化された画像を含む必要はなく、典型的には、高解像度のレイヤは、画像の高解像度のバージョンと低解像度のバージョンとの差を記述する残差情報を含む。復号器は、ベースレイヤ(1120)を復号化し、高解像度の復号化が望まれている場合、復号器は、復号化されたベースレイヤ画像(1130)を所望の解像度に合わせてアップサンプリングする。復号器は、1つまたは複数の高解像度のレイヤ(1140)を復号化し、復号化された高解像度の情報をアップサンプリングされ復号化されたベースレイヤ画像と組み合わせて、高解像度の画像(1150)を形成する。所望の解像度をレベルに応じて、高解像度の画像は、最大解像度の画像または中間解像度の画像とすることができる。詳細については、特許文献1またはMPEG−2標準もしくは他のビデオ標準を参照のこと。
復号器は、典型的には、符号器で使用される解像度のうちの1つで画像を復号化する。それとは別に、復号器に利用可能な解像度は、符号器で使用されるのとまったく同じではない。
IV.スケーラブルなビデオ符号化および復号化用の再サンプリングフィルタ
この節では、スケーラブルなビデオ符号化および復号化用の手法およびツールについて説明する。いくつかの説明されている手法およびツールは、階層化(または空間的スケーラブルな)文脈において説明されるが、いくつかの説明されている手法およびツールは、フレームベースの(または参照画像サンプリングの)文脈において、または再サンプリングフィルタを伴う他の何らかの文脈において使用されうる。さらに、いくつかの説明されている手法およびツールが再サンプリング画像の文脈において説明されているが、いくつかの説明されている手法およびツールは、さらに、高解像度の信号の予測から結果として得られる残差または差信号を再サンプリングするために使用されうる。
スケーラブルなビデオ符号化(SVC)は、より大きなビットストリームの部分集合を復号化して、一部のアプリケーションに対し許容可能な品質の復号化された画像を生成することを可能にするデジタルビデオ符号化の一種である(ただし、このような画質は、高ビットレートのビットストリーム全体を復号化することにより生成される画質よりも低いものとなる)。SVCの種類によって知られているものは、空間スケーラビリティまたは解像度スケーラビリティと呼ばれる。空間SVC設計では、符号化プロセス(または、符号化プロセスの範囲の正確な定義に応じて、符号化プロセスに先立って実行される前処理機能)は、典型的には、ビデオを低解像度にダウンサンプリングして低解像度の復号化プロセスを使用できるようにその低解像度のビデオを符号化することと、高解像度のビデオの画像内のサンプルの値の予測として使用するため低解像度の符号化された画像をアップサンプリングすることとを含む。次いで、高解像度のビデオの復号化プロセスは、低解像度のビデオ(またはその一部)を復号化することと、そのアップサンプリングされたビデオを高解像度のビデオの画像内のサンプルの値の予測として使用することとを含む。このような設計では、再サンプリングフィルタを使用する必要がある。特に、コーデック設計は、復号器と符号器の両方においてアップサンプリングフィルタを使用することと、符号器または符号化プリプロセッサでダウンサンプリングフィルタを使用することとを含む。ここでは、特に、このような設計で使用されるアップサンプリングフィルタを重点的に取りあげる。典型的には、アップサンプリングプロセスは、符号器と復号器において同一となるように設計され、これにより、符号化および復号化の際に同じ信号の異なる予測を使用することに引き起こされる誤差の蓄積であるドリフトと呼ばれる現象を防ぐ。
いくつかの空間SVC設計の欠点の1つは、復号化プロセスで低品質のフィルタ(例えば、2タップ双線形フィルタ)を使用することである。高品質のフィルタを使用すると、ビデオ画質には有利である。
空間SVCは、フィルタの再サンプリング比における柔軟性を高めることができる再サンプリングフィルタを含むことができる。しかし、これは、このようなフィルタのそれぞれの異なる「フェーズ」に対する多数の特定のフィルタ設計を開発し、これらのフィルタの「タップ」値を符号器および復号器の実装内に格納する必要がある場合がある。
さらに、符号器が空間SVCに使用される再サンプリングフィルタのぼけの量を制御できることは、ビデオ画質にとって有益であると思われる。したがって、アップサンプリングまたはダウンサンプリング用に設計される再サンプリングのそれぞれの「フェーズ」について、プロセスに入り込むぼけの所望の程度に応じて、選択対象となる異なるフィルタをいくつか用意すると都合がよいであろう。アップサンプリングの際に実行されるぼけの程度の選択結果は、復号化プロセスで使用するために伝達される情報として符号器から復号器に送られうる。このさらなる柔軟性により、設計の複雑度が増し、符号器または復号器に格納される必要があるかもしれない必要なタップ値の数が大幅に増える。
統一された設計を使用することで、様々なフェーズおよびぼけの様々な程度を有する様々な再サンプリングフィルタを指定することが可能であろう。可能な解決手段の1つは、Mitchell−Netravaliフィルタ設計法の使用である。これらの問題にMitchell−Netravaliフィルタ設計法を直接適用する場合、符号器または復号器において計算されるべき量に対し可能な値の過剰なダイナミックレンジの形で過剰な計算資源を必要とすることがある。例えば、このような設計の1つでは、汎用CPUおよびDSPで通常使用される16ビットまたは32ビット処理要素ではなく、45ビット算術演算処理を使用する必要がある場合もある。このような問題に対処するために、設計に対しいくつか改良を加える。
典型的なSVC設計では、空間スケーラビリティに対し標準アップサンプリングフィルタを必要とする。任意の再サンプリング比(拡張空間スケーラビリティと呼ばれる特徴)をサポートするために、再サンプリング比に関する大きな柔軟性を組み込んだアップサンプリングフィルタ設計について説明する。他の重要な態様は、輝度および色度の相対的アライメントである。様々なアライメント構造(例えば、4:2:0色度に対するH.261/MPEG−1対MPEG−2のアライメント、およびH.264/MPEG−4 AVC)が、単一レイヤアプローチに見つかるので、説明されている手法およびツールは、柔軟性の高い様々なアライメントをサポートし、符号器がフィルタリングを適宜適用する方法を復号器に示す簡単な方法となっている。
説明されている手法およびツールは、高品質のアップサンプリングと良好なアンチエイリアシングを実行できるアップサンプリングフィルタを含む。特に、説明されている手法およびツールは、空間スケーラビリティに対する前の双線形フィルタ設計により実現されたものを超える品質を有する。説明されている手法およびツールは、見栄えよくするだけでなく、良好な信号処理周波数挙動をもたらす高品質アップサンプリングフィルタを有する。説明されている手法およびツールは、簡単に指定でき、タップ値を保持する大きな記憶域をとるテーブルを必要としないフィルタ設計を含み、フィルタリング演算それ自体は、計算動作が単純である。例えば、説明されている手法およびツールは、過剰に冗長であるということのない、過剰な数学的精度または過剰に複雑な数学的関数を必要としないフィルタを有する。
この節では、以下の特報のうちの1つまたは複数を有する設計について説明する。
− 輝度/色度フェーズアライメントの柔軟性、
− 再サンプリング比の柔軟性、
− 周波数特性の柔軟性、
− 高い視覚的品質、
− フィルタタップが少なすぎも、多すぎもしない(例えば、4から6の範囲)、
− 指定するのが簡単、
− 動作が単純(例えば、実用的なワード長の算術演算を使用する)。
A.Mitchell−Netravaliアップサンプリングフィルタ
説明されている手法およびツールは、分離可能フィルタリングアプローチを採用する−したがって、以下の説明では、一次元信号の処理に主に注目するが、それは、二次元の場合は、一次元の場合の単純な分離可能な応用だからである。最初に、
Figure 0005302010
により与えられる概念的連続的インパルス応答h(x)に基づくフィルタの2パラメータ集合を提案するが、だたし、bおよびcは、2つのパラメータである。相対的フェーズオフセット位置0≦x<1について、このカーネルは、行列の式
Figure 0005302010
により与えられるタップの値を持つ4タップ有限インパルス応答(FIR)フィルタを生成する。
実際には、xに対するFIRフィルタカーネルは、単に、逆順の1−xに対するFIRフィルタカーネルであるため、0から1/2までのxの範囲のみを考えるだけで十分である。
この設計は、多数の興味深い、有用な特性を有する。以下にそのいくつかを示す。
− フィルタタップ値を計算するのに三角関数、超越関数、または無理数処理を必要としない。実際、このようなフィルタに対するタップ値は、ごく少数の単純な演算で直接計算できる。使用すべきパラメータおよびフェーズの様々な可能な値に対し格納しておく必要はなく、必要になったら、単に計算するだけでよい。(したがって、このようなフィルタの使用を標準化するために、少数の公式があればよい−コサインまたはベッセル関数などの関数を近似する巨大な数表または標準化された試行を必要としない。)
− その結果得られるフィルタは、4つのタップを有する。これは、非常に実用的な数である。
− フィルタは、メインローブのそれぞれの側に単一のサイドローブのみを有する。したがって、過剰なリンギングアーチファクト(ringing artifact)を発生しない。
− フィルタは、平滑化されたインパルス応答を有する。その値およびその一次導関数は、両方とも連続である。
− 利得1のDC応答を有するが、これは、アップサンプリングされる情報内に全体的な輝度増幅または減衰がないことを意味する。
− このフィルタファミリのメンバは、「Lanczos−2」設計および「Catmull−Rom」設計などのよく知られているよいフィルタの比較的良好な近似を含む。
さらに、説明されている手法およびツールは、見栄えよくするフィルタの選択に関する2つのパラメータの間の特定の関係を含む。この関係は、
Figure 0005302010
のように表すことができる。
これにより、自由度は単一帯域幅制御パラメータbに下げられる。このパラメータは、フィルタにより持ち込まれる付加的なぼけの程度を制御する。値b=0に関連するこのフィルタファミリのメンバは、優秀な、よく知られているCatmull−Romアップサンプリングフィルタ(Keys「三次畳み込み」補間フィルタとも呼ばれる)であることに留意されたい。
Catmull−Romアップサンプリングフィルタは、Mitchell−Netravaliフィルタファミリのすべてのメンバについて見られる基本的な利点に加えて、それ自体良好な特性を多数有する。
− これは、「補間」フィルタである、−つまり、フェーズ値x=0およびx=1に対し、フィルタは、1に等しい単一の非ゼロタップを有する。言い換えると、アップサンプリングされた信号は、それぞれのアップサンプリングされた曲線セグメントのエッジにおける入力サンプルの値を正確に通る。
− 入力サンプルの集合が、放物線(または直線、もしくは静的値)を形成すると、出力点は、正確に放物線(または直線もしくは静的値)上に載る。
実際、いくつかの点で、Catmull−Romアップサンプラーは、これらの理由からこの長さの最良のアップサンプリングフィルタであると考えることができる−ただし、何らかのよけいなぼけを持ち込む(bの増大)と、ときには、見栄えよいものとなる可能性がある。さらに、ある程度のよけいなぼけを持ち込むことで、低ビットレート圧縮アーチファクトをぼけさせることができ、そのため、真のアップサンプリングされた画像Wienerフィルタ(ノイズフィルタリングに使用されるよく知られているフィルタ)推定器により似た挙動を示す。
式(3)を式(2)に単位代入するだけで、タップ値
Figure 0005302010
が得られる。
9人のエキスパート視聴者と500を超えるサンプルによる主観テストに基づき以下が報告された。
− 使用可能な範囲は、0≦b≦5/3として報告される、
− 0≦b≦1/2は、視覚的に「満足」のゆくものとして分類され、b=1/3は、見栄えをよくするものとして報告される、
− b>1/2は、「ぼけ」として分類され、b=3/2は、過剰にぼけているとして報告される、
B.帯域幅制御パラメータの整数化
式(4)において6で除算することは、望ましくない場合がある。その代わりに、無限精度は復号器設計の一部として実用的でないので、帯域幅制御パラメータおよびフィルタタップ値を整数化することが望ましい場合がある。新しい整数値変数として
a=(b/6)*2 (5)
で定義されたaを使用する代入を考えるが、
ただし、Sは、整数シフト係数であり、aは、整数化帯域幅制御パラメータとして作用する符号なし整数である。パラメータaは、ビットストリーム内のビデオシーケンスレベルで符号器によりシンタックス要素として符号化されうる。例えば、パラメータaは、可変長または固定長のコードで明示的に符号化されるか、または他の情報と一緒に符号化されるか、または明示的に信号で伝達されうる。それとは別に、パラメータaは、ビットストリーム内の他の何らかのレベルで信号で伝達される。
整数化の結果、整数化タップ値は
Figure 0005302010
となる。
次いで、この結果は、2進演算処理においてS位置だけスケールダウンされる必要がある。
aの範囲が0からMまでである場合、bの範囲は0から6*M/2までである。Mに対する可能ないくつかの有益な選択は、以下のとおりである。
− M=2(S−2)−1、この結果bの範囲は0から3/2−6/2までである。
− M=Ceil(2/6)、2/6以上の最小の整数を返し、その結果bの範囲は0から1よりも少し大きい値までとなる。
− M=2(S−3)−1、この結果bの近似的範囲は0から3/4−6/2までとなる。
Mに対するこれらの選択は、最も有用な場合を十分にカバーできるくらい広く、最初の選択(M=2(S−2)−1)は3つの選択のうちの大きい方である。Sに対する有用な範囲は、6から8までである。
例えば、S=7およびM=2(S−2)−1、つまりM=31を考える。それとは別に、MおよびSの他の値を使用することができる。
C.分数サンプル位置決めの整数化
次に、xの値の粒度を考える。実用上は、xも近似すべきである。例えば、整数iを、
x=i÷2 (7)
と定義することができる。
ただし、Fは、サポートされている分数サンプル位置精度を表す。十分に精度のある再サンプリング演算の一実施例では、F≧4(1/16以上のサンプル位置決め精度)を考える。この結果、整数化されたフィルタタップ値
Figure 0005302010
が得られる。
例えば、F=4を考える。次いで、結果を、3F+S位置だけスケールダウンされる必要がある。
上記の行列内のすべてのエントリは、係数2を共通に含む(Sは、1より大きいと仮定する)ことに留意されたい。そこで、代わりに、タップ値を
Figure 0005302010
のように公式化することができる。
ただし、タップ値はそれぞれ、2で除算されている。次いで、結果を、3F+S−1位置だけスケールダウンされる必要がある。
ダウンスケーリングでは、関数RoundingRightShift(p,R)を、
Figure 0005302010
として計算される入力値pについて計算されたRビットの右シフト(丸めあり)の出力として定義する。
ただし、表記「>>」は、2の補数の2進演算を使用する2進演算右シフト演算子である。それとは別に、丸め右シフトは、異なる形で実行される。
丸め右シフトに対するいくつかの例示的アプリケーションを以下に示す。
D.ダイナミックレンジの考慮事項
サンプルビット深度のNビットで画像をフィルタリングし、丸めの実行前に二次元でそうする場合、2*(3F+S−1)位置だけ結果をダウンシフトし、出力をNビット範囲にクリップする前にアキュムレータ内にダイナミックレンジの2*(3F+S−1)+N+1ビットが入っている必要がある。例えば、F=4、S=7、およびN=8であるとすると、フィルタリングされた結果を計算するために45ビットアキュムレータを使用する必要がある場合がある。
以下の節では、この問題を軽減するいくつかのアプローチについて説明する。これらのアプローチは、別々に、または互いに組み合わせて使用することができる。本明細書の説明に基づき、説明されているダイナミックレンジ軽減アプローチのいくつかの変更形態が可能であることは理解されるであろう。
1.第1の例示的なダイナミックレンジ軽減アプローチ
水平フィルタリングが最初に実行され、続いて垂直フィルタリングが実行される実施例を考察する。二次元処理パイプライン内の任意の点に対し最大ワード長Wビットを考える。第1のダイナミックレンジ軽減アプローチでは、フィルタリングを実行するために、プロセスの第1(水平)段の出力でRビットの丸め右シフトを、プロセスの第2の(垂直)段の出力でRビットの丸め右シフトを使用する。
そこで、
2*(3F+S−1)+N+1−R=W (11)
を計算することができ、したがって
=2*(3F+S−1)+N+1−W (12)
となる。
次いで、第2(垂直)段に対する右シフトを、
+R=2*(3F+S−1) (13)
から計算することができ、したがって
=2*(3F+S−1)−R (14)
となる。
例えば、F=4およびS=7ならびにN=8およびW=32について、R=13およびR=23が得られる。したがって、ダイナミックレンジの45ビットの代わりに、丸め右シフトを使用すると、ダイナミックレンジは、32ビットに縮小される。ビットの異なる数の右シフトを、Wの異なる値に対し使用することができる。
2.第2の例示的なダイナミックレンジ軽減アプローチ
第2のダイナミックレンジ軽減アプローチは、フェーズ位置決めの精度を減らす(つまり、Fを小さくする)、フィルタ帯域幅調節パラメータの粒度を下げる(つまり、Sを小さくする)、または第1の段の出力の精度を下げる(つまり、Rを高くする)のではなく、タップ値の精度を減らすことを伴う。
式(9)により生成される4つの整数タップ値を[t−1,t,t,t]で表す。4つのフィルタタップ値の合計は、23F+S−1に等しくなる、つまり、
−1+t+t+t=23F+S−1 (15)
となることに留意されたい。
これは、4つの入力サンプルのすべてが同じ値を持つ場合には必ず、出力はその同じ値を持つため、この例示的なダイナミックレンジ軽減アプローチの重要な特性である。
式(10)にある丸め右シフトの例示的な定義を使用し、タップ値に対し右シフト量Rを与えて、以下の式を定義する。
−1=RoundingRightShift(t−1,R)、
=RoundingRightShift(t,R)、
=RoundingRightShift(t,R)、
=23F+S−1−u−1−u−u
次いで、[t−1,t,t,t]ではなく、タップ値[u−1,u,u,u]を使用してフィルタリングを実行する。Rの値において1のそれぞれの増加は、算術アキュムレータにおいて必要なダイナミックレンジの1少ないビット、および処理の後続の段において実行される右シフトの1少ないビットを表す。
3.第3の例示的なダイナミックレンジ軽減アプローチ
以前のある設計では、概念上は似ているが、プロセスの第1段の後の右シフトの量をフェーズ位置決め変数iの値の関数にするという点で第1の例示的なダイナミックレンジ軽減アプローチと異なるトリックを使用する。
式(9)に示されているフィルタタップ値は、iの値が2の整数倍である場合にK個のゼロ値LSBを含むことがわかる。そこで、フィルタリングプロセスの第2段で、2の整数倍であるフェーズ位置決め変数iを使用する場合、第2段のタップ値をKビットだけ右シフトし、第1段の右シフト量をKビットだけ減らすことができる。
これは、一般化された再サンプリング係数を操作するときに、追跡するのがかなり難しい場合がある。しかし、2:1の単純な再サンプリング係数または他の単純な係数を実行する場合には、フィルタリングプロセス第2段について使用中のすべてのフェーズが2の同じ倍数を含むことを理解することは容易であり、このアプローチをこれらの特別なケースに適用することができる。
V.位置計算の手法およびツール
空間SVCに対する位置決め情報を計算するための手法およびツールについて説明する。
いくつかの手法およびツールは、ワード長Bに注目し、そのワード長の制約内で計算の精度を最適化する方法を対象とする。精度をただ選択し、何らかの必要なワード長を要求する代わりに、新しい方法を適用すると、実際の実装の精度が高まり、手法の効果的適用の範囲が広がるが、それというのも、利用可能なワード長すべてを使用して、その制約内で精度を最大化するからである。
いくつかの手法およびツールは、a)座標系の原点をオフセットすることと、b)符号付き整数ではなく符号なし整数を使用して、精度とワード長/ダイナミックレンジとの間のトレードオフの関係を改善することとを対象とする。原点オフセット項をそれぞれの計算された位置に加えるのに、計算量をわずかに増やす必要がある。
いくつかの手法およびツールは、生成されるサンプルの列の異なるセクションの計算を異なる処理段に分けることを対象とし、その際に、座標系の原点は、それぞれの段の開始に変更される。ここでもまた、必要な計算量をさらにわずかに増やすだけで精度とワード長/ダイナミックレンジとの間のトレードオフの関係を改善する(それぞれの段の開始時にいくつかの余分な計算が実行される)。この手法を論理的極限まで高めると、乗算の必要性をなくすことができ、また精度とワード長/ダイナミックレンジとの間のトレードオフの関係をさらに改善することができる。しかし、サンプル毎にいくつかの余分な演算を実行する必要がある(「それぞれの段」に必要な余分な計算処理は、すべての段が1つのサンプルのみを含む場合にサンプル毎に必要になるからである)。
一般的テーマとして、設計は、計算された結果の精度、処理要素のワード長/ダイナミックレンジ、および処理に関与する数学的演算の数および種類(例えば、シフト演算、加算、および乗算)の間の望ましいトレードオフの関係を達成する処理の位置計算の一部について説明される。
例えば、説明される手法およびツールを使用することで、Bビット(例えば、32ビット)算術演算を使用して柔軟精度計算を実行できる。これにより、空間SVC符号器/復号器は、計算のため異なる算術演算(例えば、16ビットまたは64ビット算術演算)に変換することなく異なる画像サイズに柔軟に対応できる。柔軟精度Bビット(例えば、32ビット)算術演算では、符号器/復号器は、柔軟な個数のビットを分数成分に充てることができる。これにより、整数成分を表すために必要なビットの個数を減らすとともに計算の精度を高めることができる(例えば、フレームサイズの縮小のため)。整数成分を表すのに必要なビットの個数が増えると(例えば、フレームサイズが大きい場合)、符号器/復号器は整数成分には多くのビットを、分数成分には少ないビットを使用して、精度を下げるが、Bビット算術演算を維持することができる。このようにして、異なる精度と異なるフレームサイズとの間の変更が、大幅に簡素化される。
この節では、例示的な実装に対する具体的詳細を取りあげる。しかし、本明細書で説明される詳細は、本明細書で説明される原理に応じて他の実装では変えることができることに留意されたい。
A.導入および位置計算の原理
精度を著しく失うことなく必要な計算量をかなり減らせる、位置およびフェーズ情報を計算する手法について説明する。例えば、説明されている手法は、例えば、公称ダイナミックレンジ要件を劇的に(数十ビットほど)下げることにより必要計算量を著しく減らせる。ベースレイヤおよびエンハンスメントレイヤで使用されうる様々な可能な色度位置を考えると、輝度サンプルに関する再サンプリングされた色度サンプルの適切な位置決めを行う解決策を見つけることが望ましい。したがって、説明されている手法を使用することで、輝度位置と色度位置との間の異なる関係によりビデオ形式に対する位置を計算するように調節を行うことができる。
拡張空間スケーラビリティ用に設計されている以前のアップサンプリング方法では、低解像度のレイヤをアップサンプリングするときに位置およびフェーズ情報を計算するというかなりやっかいな方法を用い、分母のアップシフトされた近似的逆数をスケーリングするが、このため、分子が大きくなると(つまり、アップサンプリングプロセスが左から右へ、または上から下へ移動するときに)逆数近似の丸め誤差が増幅される。比較すると、本明細書で説明されている手法は、優れた精度を有し、計算を簡素化する。特に、ダイナミックレンジおよび位置計算の右シフト量を数十ビットほど減らす手法が説明される。
例えば、SVC空間アップサンプリングで使用する、整数位置およびi=0..2−1であるフェーズ位置決め変数iを取得するための位置決め情報を計算する手法について説明される。
説明される手法は、再サンプリングプロセスを、順方向参照画像再サンプリングではなく、空間スケーラブルなビデオ符号化のアプリケーションに適用する。空間スケーラブルなビデオ符号化のこのアプリケーションにおいて、いくつかの簡素化を適用しうる。ここでは、一般的なワーピングプロセスではなく、画像サイズ変更演算のみを必要とする。これは、それぞれの次元について分離可能な設計とすることができる。
B.位置計算設計
新しい(アップサンプリングされた)配列内のLからR>Lまでの実数値範囲内に概念上置かれるサンプルの列の生成として、それぞれの次元(xまたはy)における、問題文を考える。この実数値範囲は、参照される低解像度配列におけるL’からR’>L’の範囲に対応する。
L≦T≦Rとする新しい配列内の位置Tについて、新しい配列内の位置に対応する参照配列内の位置を計算する必要がある。これは、位置T’=L’+(T−L)*(R’−L’)÷(R−L)である。
次に、LからRまでの範囲のサイズ変更を考える代わりに、整数M>0を定義し、同じサイズ変更比(R’−L’)÷(R−L)によりLからL+2までの範囲をサイズ変更することを考える。次いで、参照されるサンプル座標における対応する範囲は、L’からR”までであり、R”=L’+2*(R’−L’)÷(R−L)である。Mが十分に大きい場合、つまり、M≧Ceil(Log(R−L))であれば、R”≧R’である。(ここで、以下の概念を説明するためにこの制約条件が満たされるが、この制約は式の適切な関数機能に実際に必要ではないと仮定する。)
次に、位置決め計算に位置L’とR”との間の線形補間を使用することができる。位置Lは、位置L’にマッピングされ、位置T>=Lは、位置((2−(T−L))*L’+(T−L)*R”)÷2.にマッピングされる。これは、演算の分母を2の累乗に変換し、したがって、2進数右シフトで置き換えられるようにしつつ、計算複雑度を除算演算に低減する。
適切な修正を加えることで、計算を整数化することができる。L’およびR”の値を1÷2の整数倍に丸め、Gは、整数であり、したがって、L’は、k÷2により近似され、R”は、r÷2により近似され、kおよびrは、整数である。この調節を使用することで、位置Tを位置((2−(T−L))*k+(T−L)*r)÷2(M+G)にマッピングしておく。
次に、TおよびLの関連する値は、1÷2の整数倍であり、Jは整数であり、T−L=j÷2となる。この調節を使用することで、位置Tを位置((2(M+J)−j)*k+j*r)÷2(M+G+J)にマッピングしておく。
上記の節IVから、再サンプリングフィルタの分数フェーズは、1÷2単位の整数であることを思い出しておこう。したがって、これらの単位における計算された位置は、Round(((2(M+J)−j)*k+j*r)÷2(M+G+J−F))、または
t’=((2(M+J)−j)*k+j*r+2(M+G+J−F−1))>>(M+G+J−F) (16)
またはより単純に、
t’=(j*C+D)>>S (17)
であるが、ただし、
S=M+G+J−F (18)
C=r−k (19)
D=(k<<(M+J))+(1<<(S−1)) (20)
である。
計算された位置を1÷2の最近倍数に丸める前に本明細書で説明されている方法(LおよびRならびにL’およびR’の表現に誤差がないと仮定して)で生じる唯一の誤差(両方の設計に存在する誤差である)は、位置R”を1÷2の最近倍数に丸めることで生じる丸め誤差である。この量は、G+Mが比較的大きい場合には非常に小さい。実際、この誤差発生源は、ほぼ(T−L)÷2(G+M+1)の大きさに強く束縛されており、結果の計算に対するワード長要件は穏当であり、モジュロ演算により、結果の整数部を分離してワード長を最小にすることができるか、または計算を他の類似の方法で分解することもできる。
例えば、Fは、4以上とすることができる。(いくつかのアプリケーションでは、F=3またはF=2で十分な場合がある。)Jの例示的な値は、輝度位置計算についてはJ=1、色度サンプル位置についてはJ=2を含む。Jのこれらの例示的な値に対する根拠を以下に示す。
1.符号付きBビット算術演算を使用する第1の例示的な簡素化された位置計算手法
R’>0およびL’>−R’である場合、1÷2を単位とする整数として、アップサンプリングされる画像内の計算すべきすべての位置t’は、−2と2−1の間にあり、ただし、Z=Ceil(Log2(R’))+Fである。(j*C+D)計算のワード長がBビットであり、符号付き2の補数演算を使用すると仮定した場合、B−1≧Z+Sを要求することができる。この制約がきつい場合、つまり、B−1=Z+M+G+J−Fである場合に、高い精度が得られる。
十分に小さな画像サイズ(例えば、現行のH.264/MPEG−4 AVC標準における最大レベル4.2までのレベルの場合)については、B=32がワード長として使用されうる。Bの他の値も、使用できる。非常に大きな画像では、さらに大きなBを使用できる。計算処理は、さらに、16ビットまたは他のプロセッサ上で使用するため、より小さなワード長の複数の部分計算に容易に分解することができる。
残り2つの自由度は、MおよびGである。その関係は、L’をk÷2と表したときに丸め誤差の必要性を回避する十分な大きさのGである限り、柔軟である。したがって、SVCについて次の節で説明されている課題に基づき、単にG=2を選ぶことができ、これにより、
M=B+F−(G+J+Z+1)
つまり、
M=32+4−(2+1+Z+1)
つまり、
M=32−Z
が得られる。
例えば、B=32およびL’=0の幅が1000輝度サンプルである画像の輝度配列をアップサンプリングしたい場合、この第1の実施例の位置計算手法を使用して、F=4、G=2、J=1、M=18、S=17、およびZ=14を用いることができる。
TがRに非常に近く(または等しく)、R’が2の整数乗に非常に近い(または等しい)場合、特に(T−L)*(R’−L’)÷2が大きい(例えば、1/2よりも大きい)場合、仮定上、上限を1だけ違反する可能性がありうる。このようなケースについてはここではこれ以上説明しないが、このようなケースを取り扱うための調整は簡単である。
2.符号なしBビット算術演算を使用する第2の例示的な位置計算手法
低解像度画像において計算すべきすべての位置が、0以上の場合、これは、適切なオフセットを座標系の原点に加えることにより真にできるものであるが、符号付き2の補数演算ではなく符号なし整数演算を使用してt’=(j*C+D)を計算するのがよい選択であるといえる。これにより、計算にオーバーフローを起こすことなくダイナミックレンジの1つ多いビットを許し(つまり、ダイナミックレンジの大きさのB−1ビットではなくBビットを使用することができ)、したがって、M(またはG)およびSをそれぞれ1だけ増やし、さらに、計算された結果の精度を高めることができる。そのため、オフセットEを入れて、座標系の原点を調節した後、計算の形式は、単にt’=(j*C+D)>>Sではなく、t’=((j*C+D’)>>S’)+Eとなる。
以下のように原点オフセットEがいつ必要でなくなるかを識別することにより、符号なし算術演算を伴うこのより正確な方法をさらに詳しく述べる。
− 上述のようにB、F、G、J、およびZに対する値を選択する。
− M=B+F−(G+J+Z)と設定する。
− 式(18)、(19)、および(20)それぞれで上に指定されているようにS、C、およびDを計算するが、ただし、Dは、符号付き数として計算される。
− Dが0以上の場合、原点オフセットは不要であり(つまり、Eを使用しない)、計算処理は、符号なし算術演算を使用して単にt’=(j*C+D)>>Sとして実行することができ、結果の精度は、上の節V.B.1で説明されている第1の例示的な位置計算手法よりも高くなる。
符号なし整数を使用する計算を有効にすることにより精度を高めることに加えて、原点をオフセットすることも、ときには、Zの値を小さくできるようにすることにより精度改善に使用できる。原点オフセットがない場合、Zは、R’の関数である。しかし、原点オフセットがある場合、ZをR’−L’の関数にすることができ、これにより、計算処理は、この結果Zの小さな値が得られる場合により正確なものとなる。
以下のように原点をオフセットする1つの方法を示し、D’およびEを導出することにより、符号なし算術演算を伴うこのより正確な方法をさらに詳しく述べる。
− 上述のようにB、F、G、およびJに対する値を選択する。
− Z=Ceil(Log2(R’−L’))+Fと設定する。
− M=B+F−(G+J+Z)と設定する。
− 式(18)、(19)、および(20)それぞれで上に指定されているようにS、C、およびDを計算するが、ただし、Dは、符号付き数として計算される。
− E=D>>Sと設定する。
− D’=D−(E<<S)と設定する。
− 次いで、位置計算をt’=((j*C+D’)>>S)+Eとして実行することができる。
D’およびE(およびM、S、およびZ)が、このような仕方で計算される場合、式t’=((j*C+D’)>>S)+Eの数学的結果は、実際には、(j*C+D)の値がときには0から2−1までの値範囲を外れるが、(j*C+D’)の値はそうでないことを除き式t’=(j*C+D)>>Sの結果と理論上常に同じになる。
例えば、B=32およびL’=0の幅が1000輝度サンプルである画像の輝度配列をアップサンプリングしたい場合、この第2の実施例の位置計算手法を使用して、F=4、G=2、J=1、M=19、S=18、およびZ=14を用いることができる。j*C+D’のすべての値が非負となるように原点をオフセットし、符号なし算術演算を使用する0から2−1までのBビット計算範囲を使用できるようにする代わりに、同じように働く可能な別の方法として、さらに2(B−1)だけ原点をさらに右にオフセットし、符号付き算術演算を使用する−2(B−1)から2(B−1)−1までのBビット計算範囲を使用できるようにする方法がある。
前の節の第1の例示的な位置計算手法のように、TがRに非常に近く(または等しく)、R’−L’が2の整数乗に非常に近い(または等しい)場合に必要な「コーナーケース」修正がありうる。
3.位置計算のための例示的な多段手法
生成されるサンプルの範囲をカバーするjのすべての値(つまり、LとRの間のTのすべての値)に対し同じ変数値C、D’、S、およびEを用いて、同じ式、例えば、t’=((j*C+D’)>>S)+Eを使用して計算を実行できるような設計を行う方法について説明した。次に、この仮定を緩和し、精度を大きくし、および/または計算ダイナミックレンジ要件を下げることができる方法について説明する。
通常、再サンプリングプロセスは、左から右に(または上から下に)進み、等しい間隔で並ぶ位置に連続するサンプル列を生成する。上のV.B.2節で説明されている第2の例示的な位置手法では、われわれは、オフセットパラメータEを使用して原点を変更することで、位置計算の(j*C+D’)部分を計算するために使用されるレジスタのBビットダイナミックレンジを活用する方法を示した。
前の節では、DのS個の最下位ビットのみがD’に保持され、残りはEに移されたことに留意されたい。そのため、(j*C+D’)の計算に対する残りの主な問題点は、j*Cの大きさである。
TおよびLは、1÷2の整数倍であることに留意されたい。通常、アップサンプリングプロセスを実行して、高解像度の画像において整数値増分でサンプル列を生成するが、例えば、連続生成されるサンプル間に2の間隔を入れる。そこで、pおよびNの何らかの値についてi=0からN−1に対する位置T=(p+i*2)÷2に対応する位置t’を計算したい。
このプロセスは、pおよびNのいくつかの値について図12の擬似コード1200に示されているように擬似コードで要約できる。iがNに向かって大きくなるにつれ、qの値は増大し、qの最大値は、Bビットの利用可能なダイナミックレンジの範囲内に保持されなければならない。qについて計算された最大値は、(p+(N−1)*2)*C+D’である。
次に、このようにして1つのループですべてのサンプルを生成する代わりに、プロセスを複数の段、例えば、2段に分けることを考える。例えば、2段プロセスでは、第1段で、第1のN<N個のサンプルを生成し、第2段で、残りN−N個のサンプルを生成する。さらに、pは、そのループに関して一定であるため、第1段の前にその影響をD’およびEに移動することができる。この結果、図13の擬似コード1300に例示されている2段プロセスが得られる。
擬似コード1300のそれぞれの段の開始時に、その段に対するqの第1の値のS個の最下位ビット以外のすべてが、Eに移動されている(つまり、第1段についてはEに、第2段についてはEに移動する)ように原点がリセットされている。そのため、2段のそれぞれの演算の際に、qは、より小さなダイナミックレンジを必要とする。プロセスをこのように複数の段に分けた後、qの最大値は、N*C’+D、または((N−N−1)*C’+Dのいずれか大きい方となる。しかし、DおよびDはそれぞれが有する符号なしダイナミックレンジのビット数はSビット以下なので、これは、通常、すでに説明されている単一段設計の場合よりも小さい最大値となる。この段で生成されるサンプルの数(つまり、第1段についてはN、第2段についてはN−N)は、関連する計算に対するダイナミックレンジに影響を及ぼす可能性がある。例えば、それぞれの段において少ないサンプル数を使用すると、関連する計算に対するダイナミックレンジが小さくなる。
それぞれの段は、さらに多くの段に分割することができ、したがって、合計N個のサンプルの生成は、さらに、そのような小さな任意の個数の段に分解されうる。例えば、プロセスは、例えば、8または16個の連続サンプルのブロックがそれぞれの段で生成されるように等しいサイズの複数の段に分けることができるであろう。この手法を使用することで、qを計算するためダイナミックレンジBの必要なビット数を減らすか、または計算の精度を高める(SおよびG+Mを大きくする)一方で、ダイナミックレンジを同じに保つか、またはこれら2つの利点を同時に保持することができる。
位置計算プロセスを複数の段に分解するこの手法は、さらに、サンプルがオーディオ信号用のアナログ−デジタル変換器から到着するとともにサンプリングレート変換を実行する場合など、入力サンプルの非常に長い列(概念上、その列は無限長となりうる)にそって連続再サンプリングプロセスを実行するために使用することができる。明らかに、プロセスを有限サイズの複数の段に分割し、原点をそれぞれの段から徐々に次の段へとリセットしなければ、これが処理ワード長における無限ダイナミックレンジを必要とするので、無限長のサンプル列は前の節で説明されている手法により処理できない場合がある。しかし、これらの手法を実効無限列長に適用する際の困難は、1÷2の倍数を表す整数単位で仮説的ベンチマーク位置L’およびR’の表現に丸め誤差が一切伴わないときにのみ実効無限長への適用が有用であるので、そのような手法に対する実質的制限ではない。
多段位置計算手法が適用可能な状況では、レート変換プロセス全体を通して位置計算の演算においてどのようなものであれ丸め誤差の「ドリフト」累積を生じることなく、無限長サンプル列にそって計算を実行する手段が実現される。
4.位置計算の例示的な増分演算
上述の多段分解概念に対する興味深い特別なケースは、それぞれの段で生成されるサンプルの数が1段当たりたった1つのサンプルにまで減らされた場合である。図14の擬似コード1400は、i=0からN−1に対するN個の位置t’を生成するプロセスを表す。
このプロセスは、アップサンプリングプロセスとして説明されるため(同じ原理をダウンサンプリングプロセスにも適用可能であるけれども)、iの増分毎に、高解像度の画像内に1の間隔があり、したがって、低解像度の画像内に1以下の増分があることがわかる。低解像度の画像内の空間位置における1の増分は、C’に対する2(S+F)の値に対応する。また、D’<2であることがわかる。したがって、q=C’+D’の範囲は、0から2(S+F)+2未満までであり、したがって、qは、符号なし整数演算を使用してB=S+F+1ビット以下のダイナミックレンジ要件で計算できる。一実装では、このダイナミックレンジ要件は、画像サイズに対して不変である(つまり、R’またはR’−L’の値に依存しない)。
スケーラブルなビデオ符号化および多くの他のそのようなアプリケーションでは、1に非常に近いアップサンプリング比をサポートする実際の必要性はありえない。このようなアプリケーションでは、C’は、実際には、S+F以下のビットを必要とすると仮定することができる。
例えば、B=32およびL’=0の幅が1000輝度サンプルである画像の輝度配列をアップサンプリングしたい場合、この方法を使用して、F=4、G=2、J=1、M=29、S=28、およびZ=14を用いることができる。この結果は異常に正確であるため、Bの小さい値がより妥当な選択のように見える。
それとは別に、B=16およびL’=0の幅が1000輝度サンプルである画像の輝度配列をアップサンプリングしたい場合、この方法を使用して、F=4、G=2、J=1、M=13、S=12、およびZ=14を用いることができる。
実行すべきサンプリング演算の状況に関する知識がさらにあれば、さらなる最適化機会が得られる。例えば、アップサンプリング比が2よりも著しく大きい場合、ダイナミックレンジ要件は、もう1つのビットだけ低減され、4、16などよりも大きなアップサンプリング比についても同様に低減される。
この節の例示的な増分位置計算手法を参照しつつ説明される(上述の例示的な多段位置計算手法に関する)変更はどれも、C、D、およびSの与えられた値について位置t’の実際の計算された値に影響を及ぼすことはない。この計算をサポートするのに必要なダイナミックレンジのみが変更される。
この形式の分解に対する擬似コード1400の内側ループは、乗算をまったく必要としない。この事実は、いくつかの計算プロセッサに対する計算時間を短縮するうえで有利であると思われる。
5.追加備考
2:1、3:2などの共通再サンプリング比では−位置L’およびR”を1÷2単位の整数として近似するのに丸めが必要ない場合−これらの方法を使用するときに丸め誤差はまったくない(最終結果を位置計算法に関係なく存在する誤差である1÷2を単位とする整数に丸めたときに発生しうる丸め誤差以外)。
C.輝度および色度位置および関係
輝度サンプリンググリッドインデックス座標に関して、完全な新しい(アップサンプリングされた)画像および参照画像配列の正確なアライメントを仮定すると、現在画像座標における位置LおよびRは、
Figure 0005302010
および
Figure 0005302010
であり、ただし、Wは、関連する再サンプリング次元に応じて、画像内のサンプルの垂直方向または水平方向の数である。同等のことであるが、画像空間座標からグリッドインデックス値に変換するときに、画像空間座標系の原点をグリッドインデックス0の位置の左(または上)、半サンプル分のところに設定し、1/2を加えることが可能であり、これにより、空間座標系内で計算を実行したときに負の数を扱わなくて済む。
参照されている(低い解像度の)画像内の位置L’およびR’は、同じようにしてサンプリンググリッド座標を基準とし、この場合、Wは、新しい画像ではなく、参照画像内のサンプルの数である。
色度サンプリンググリッド(新しい画像であろうと参照画像であろうと)について、この状況は、いくぶん単純ではない。輝度に関して色度サンプルの指定されたアライメントを構成するために、色度サンプルにより表現される画像矩形を輝度サンプルにより表現される矩形と同じものであると考える。これにより、以下のケースが生じる。
− 水平方向に、4:2:0の色度サンプリングタイプ0、2、および4(図5Dを参照)については、現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 水平方向に、4:2:0の色度サンプリングタイプ3、1、および5(図5Dを参照)については、現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 垂直方向に、4:2:0の色度サンプリングタイプ2および3(図5Dを参照)については、現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 垂直方向に、4:2:0の色度サンプリングタイプ0および1(図5Dを参照)については、現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 垂直方向に、4:2:0の色度サンプリングタイプ4および5(図5Dを参照)については、現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 水平方向に、4:2:2色度サンプリングについて、典型的には業界慣行で使用される4:2:2サンプリングに対する現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 垂直方向に、4:2:2色度サンプリングについて、典型的には業界慣行で使用される4:2:2サンプリングに対する現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
− 水平方向と垂直方向の両方で、4:4:4色度サンプリングについて、現在画像座標は、
Figure 0005302010
および
Figure 0005302010
により定義される。
ここでもまた、オフセットを使用して、座標系の原点を位置Lの十分左に配置し、負数を扱わなくて済むようにできる。
整数座標および分数フェーズオフセット剰余は、アップサンプリングされた配列で生成されるサンプルの整数座標位置を調節して、分数オフセットLを補正し、節V.Bの末尾に示されている変換を適用することにより計算される。概念上、結果をFビットだけ右にシフトすると、整数座標ポインタは参照画像を指し、左シフトされた整数座標(Fビットだけシフトされた)を減算すると、フェーズオフセット剰余が得られる。
D.アップサンプリングに関する位置計算の余分な精度
この節では、上の節V.C.4の位置計算方法を、H.264 SVC Extensionに使用されうるアップサンプリングプロセスなどの特定のアップサンプリングプロセスにマッピングする方法を説明している。位置計算は、非常に融通の利く方法で適用され、様々な色度形式で輝度と色度の両方のチャネル、さらにはプログレッシブフレーム形式およびインターレースフレーム形式の両方について精度を最大化する。この節で説明される手法は、実装に応じて、また異なるアップサンプリングプロセスに関して異なる。
上述の位置計算(上の節V.A〜C)では、再スケーリングパラメータ(変数Cであり、以下の式においてこれ以降deltaX(またはdeltaY))は、2(ただし、輝度に対してはJ=1、色度に対しては2)に等しいスケーリング係数だけスケールアップされ、左から右へ、または上から下へそれぞれのサンプル位置を生成するために加えられる増分を形成する。スケーリングは、アップスケーリング増分が16ビットに収まるように選択された。
1.スケーリング位置計算の最大精度
位置計算方法を適用する直接的な方法は、輝度に対しJ=1、色度に対し2として、2に等しいスケーリング係数により再スケーリングパラメータをスケールアップし、左から右へ、上から下へそれぞれのサンプル位置を生成するために加えられる増分を形成することである。次いで、アップスケーリングされた増分が16ビットなどの特定のワード長に収まるようにスケーリングパラメータが選択される。以下の節では、位置精度を最大にするより柔軟な設計が説明される。
a.輝度チャネル
「直接的」輝度位置計算法は、F=4およびS=12に対し以下のサンプル式で要約することができる(水平方向にそって)。
deltaX=Floor(((BasePicWidth<<15)+(ScaledBaseWidth>>1))÷ScaledBaseWidth)
xf=((2*(xP−ScaledBaseLeftOffset)+1)*deltaX−30720)>>12
ここで、BasePicWidthは、ベースレイヤの水平解像度または低解像度画像であり、ScaledBaseWidthは、高解像度画像領域またはウィンドウの水平解像度であり、deltaXは、中間再スケーリングパラメータであり、この場合、32768の丸めた近似にアップサンプリング比の逆数を掛けた値であり、xPは、高解像度画像内のサンプル位置を表し、ScaledBaseLeftOffsetは、高解像度画像内の画像ウィンドウの相対位置を表し、Floor()は、その引数以下の最大整数を表す。定数値30720は、上の節V.Cの始めに説明されているように右シフトし、輝度サンプリンググリッド参照位置の半サンプルオフセットについて2*2/2を減算する前に、2S−1を丸めオフセットとして加えた結果得られる。
xPのそれぞれの増分により、式内に2*deltaXの増分が生じることは注目に値する。そして、数量2*deltaXのLSBは、常に、ゼロであり、したがって計算精度の1ビットは、本質的に無駄になる。これらの式を以下に変更することにより、複雑度を著しく増大することなく、約1エクストラビットの精度が得られる。
deltaX=Floor(((BasePicWidth<<16)+(ScaledBaseWidth>>1))÷ScaledBaseWidth)
xf=((xP−ScaledBaseLeftOffset)*deltaX+(deltaX>>1)−30720)>>12
または、以下のように(少し)精度が高い形式。
deltaXa=Floor(((BasePicWidth<<16)+(ScaledBaseWidth>>1))÷ScaledBaseWidth)
deltaXa=Floor(((BasePicWidth<<15)+(ScaledBaseWidth>>1))÷ScaledBaseWidth)
xf=((xP−ScaledBaseLeftOffset)*deltaXa+deltaXb−30720)>>12
これら2つの形式のうちの後者は、精度が高く,複雑度影響度が無視できるくらい小さいため、示唆される(精度差も非常に小さく見えるが)。
除算が実行しにくい処理アーキテクチャでは、これらの式のうちの1つの結果を持つことで、他の計算を簡素化することができる。deltaXaの値は、常に、2*deltaXa±1の範囲内にある。したがって、以下の簡素化された規則を、deltaXaの計算に除算を実行する必要がなくなるように導出することができる。
deltaXa=(deltaXb<<1)
remainderDiff=(BasePicWidth<<16)+(ScaledBaseWidth>>1)−deltaX
(remaindeDiff<0)の場合、
deltaXa−−
そうでなく、(remainderDiff≧SealedBaseWidth)の場合、
deltaXa++
b.色度チャネル
設計のこの部分では、色度チャネルに対して、2倍乗算器の代わりに、4倍乗算器が使用され、4:2:0サンプリングに対し色度位置を表現することができる(輝度について説明されているようにJ=1ではなく色度に対しJ=2を使用する)。したがって、「直接的」な式は以下のとおりである。
deltaXC=Floor(((BasePicWidthC<<14)+(ScaledBaseWidthC>>1))÷ScaledBaseWidthC)
xfC=((((4*(xC−ScaledBaseLeftOffsetC)+(2+scaledBaseChromaPhaseX))*deltaXC)+2048)>>12)−4*(2+baseChromaPhaseX)
ここで、baseChromaPhaseXおよびscaledBaseChromaPhaseXは、それぞれ、低解像度および高解像度画像に対する色度サンプリンググリッド位置オフセットを表す。これらのパラメータの値は、符号器から復号器に送られる情報として明示的に伝達されるか、またはアプリケーションにより決定された特定の値を持つことができる。他のすべての変数は、色度チャネルへのアプリケーションを表す「C」サフィックスを付加した輝度チャネルについて定義されているものと似た変数である。
xCのそれぞれの増分の結果として、式の中で4*deltaXCの増分が得られる。したがって、これらの式を以下に変更することにより、複雑度を著しく増大することなく、約2エクストラビットの精度が得られる。
deltaXC=Floor(((BasePicWidthC<<16)+(ScaledBaseWidthC>>1))÷ScaledBaseWidthC)
xfC=(((xC−ScaledBaseLeftOffsetC)*deltaXC+(2+scaledBaseChromaPhaseX)*((deltaXC+K)>>2)+2048)>>12)−4*(2+baseChromaPhaseX)
ただし、K=0、1、または2。K=0を使用すると、余分な演算を避けられる。K=1またはK=2を使用すると、精度が少し高くなる。
対応する、少し精度が高い形式は以下のとおりである。
deltaXCa=Floor(((BasePicWidthC<<16)+(ScaledBaseWidthC>>1))÷ScaledBaseWidthC)
deltaXCb=Floor(((BasePicWidthC<<14)+(ScaledBaseWidthC>>1))÷ScaledBaseWidthC)
xfC=(((xC−ScaledBaseLeftOffsetC)*deltaXCa+(2+scaledBaseChromaPhaseX)*deltaXCb+2048)>>12)−4*(2+baseChromaPhaseX)
輝度の場合のように、後者の変更形態は、複雑度の差が無視できるくらい小さいように思われるため好ましい(精度差も非常に小さいにように思われるが)。
c.インターレースフィールド座標
画像の座標系に対する参照は、通常、輝度フレーム座標内の半サンプル位置に基づいており、その結果、上述のように輝度座標参照位置に対し2のスケール係数が得られる。輝度フレーム座標内の半サンプルシフトは、4:2:0色度フレーム座標内の1/4サンプルシフトに対応するが、これは、現在上述のように色度座標に対するスケーリングにおいて係数2ではなく係数4を使用しているからである。
水平方向では、フレームを表す符号化された画像とインターレースビデオの単一フィールドを表す画像に対する演算に実質的違いはない。しかし、符号化された画像が、単一フィールドを表す場合、輝度フレーム垂直座標内の半サンプル位置シフトは、輝度フィールド垂直座標内の1/4サンプル位置シフトに対応する。そのため、垂直輝度座標位置の計算では、スケール係数として2ではなく4が適用されるべきである。
同様に、符号化された画像が、単一フィールドを表す場合、輝度フレーム垂直座標内の半サンプル位置シフトは、色度フィールド垂直座標内の1/8サンプル位置シフトに対応する。そのため、垂直色度座標位置の計算では、スケール係数として4ではなく8が適用されるべきである。
符号化フィールド画像内の垂直座標位置の計算に対するこれらのスケーリング係数は、符号化フレーム画像内の増分計算について上で説明されているのと同じ方法でdeltaY垂直増分計算に組み込むことができる。この場合、適用されるスケーリング係数が大きいため、精度改善は、輝度位置については約2ビットの精度追加、色度(垂直方向)については3ビットの精度追加となる。
2.4:2:2および4:4:4の色度制限および精密化
節V.D.1.bの位置計算方法では、色度については輝度と異なる増倍率を使用する必要がある。これは4:2:0ビデオについてはもっともなことであり、また水平方向で4:2:2ビデオについては妥当であるが、垂直方向で4:2:2ビデオ、または水平方向もしくは垂直方向のいずれかで4:4:4ビデオについては必要でないが、それは、これらの場合において、輝度および色度解像度は、同じであり、したがって輝度および色度サンプルは、たぶん同一の場所に配置されるからである。
その結果、節V.D.1.bの方法は、輝度および色度解像度がある次元で同じであり、フェーズシフトが意図されていない場合であっても、丸めが2つのケースにおいて少し異なる形で実行されるという理由だけで、輝度および色度位置を決定するために別々の計算を必要とする可能性がある。これは、望ましくなく、したがって、4:2:2および4:4:4サンプリング構造とともに使用するために、色度の異なる取り扱いが、この節で提案されている。
a.4:2:2垂直ならびに4:4:4水平および垂直位置
4:2:2ビデオの垂直次元、ならびに4:4:4ビデオの垂直および水平次元の両方について、色度フェーズのカスタム制御の明白な必要性はない。したがって、色度解像度が、ある次元において輝度解像度と同じである場合には必ず、色度位置を計算する式を修正すべきであり、その結果、色度サンプリング形式が特定の次元において輝度と色度について同じ解像度を有する場合に必ず、輝度サンプルと色度サンプルの両方についてまったく同じ位置を計算することになる。オプションの1つは、色度位置変数を輝度位置変数と等しくなるように設定することであり、もう1つのオプションは、同じ結果となるように色度位置式をセットアップすることである。
b.4:2:2水平位置
4:2:2ビデオに対し色度フェーズ調節を水平方向に行えるようにすることに機能的問題はないが、節V.D.1.bの式のscaledBaseChromaPhaseXまたはBaseChromaPhaseXに対し値−1に対応するものなど、4:2:2に使用されている水平サブサンプリング構造が1種類しかない場合、カラーサンプリング形式が4:2:2であるときに必ずそれらの値が使用されるよう強制することを考慮することが望ましい場合がある。
VI.拡張と代替え
本明細書で説明されている手法およびツールは、さらに、例えば、非特許文献1の付録Pに示されているように参照画像再サンプリングを使用して多重解像度ビデオ符号化に適用されうる。
本明細書で説明されている手法およびツールは、さらに、画像サンプル配列のアップサンプリングだけでなく、残差データ信号または他の信号のアップサンプリングにも適用されうる。例えば、本明細書で説明されている手法およびツールは、さらに、例えば、非特許文献1の付録Qに示されているように画像解像度を落とした更新符号化用の残差データ信号のアップサンプリングに適用されうる。他の実施例では、本明細書で説明されている手法およびツールは、さらに、空間スケーラブルなビデオ符号化の設計において低解像度の残差信号から高解像度残差信号を予測するための残差データ信号のアップサンプリングに適用されうる。他の実施例として、本明細書で説明されている手法およびツールは、さらに、空間スケーラブルなビデオ符号化の設計において動きベクトルフィールドのアップサンプリングに適用されうる。他の実施例として、本明細書で説明されている手法およびツールは、さらに、グラフィック画像、写真静止画像、オーディオサンプル信号などのアップサンプリングに適用されうる。
様々な説明されている実施形態を参照しつつ本発明の原理を説明し、例示したが、説明されている実施形態は、そのような原理から逸脱することなく配列および詳細について修正されうることは理解されるであろう。本明細書で説明されているプログラム、プロセス、または方法は、特に断りのない限り、特定の種類のコンピュータ環境に関係または制限されないことは理解されるであろう。様々な種類の汎用または専用コンピュータ環境を、本明細書で説明されている教示とともに使用するか、または本明細書で説明されている教示に従って演算を実行することができる。ソフトウェアで示されている説明されている実施形態の要素は、ハードウェハで実装することができ、またその逆も可能である。
本発明の原理を適用できる多くの可能な実施形態を鑑みて、発明者は請求項および等価物の範囲および精神の範囲内に収まりうるすべての実施形態を本発明として請求する。
いくつかの説明されている実施形態を実装できる好適なコンピュータ環境のブロック図である。 いくつかの説明されている実施形態を実装できる一般化されたビデオ符号器システムのブロック図である。 いくつかの説明されている実施形態を実装できる一般化されたビデオ復号器システムのブロック図である。 いくつかの説明されている実施形態において使用されるマクロブロック形式の図である。 トップフィールドとボトムフィールドの交互に並ぶ線を示す、インターレースビデオフレームの一部の図である。 フレームとして符号化および復号化用に編成されたインターレースビデオフレームの図である。 フィールドとして符号化および復号化用に編成されたインターレースビデオフレームの図である。 ビデオフレームのそれぞれのフィールドに対する輝度サンプル配置に関する4:2:0色度サンプル配置の6つの例示的な空間的アライメントを示す図である。 ビデオの多重解像度符号化の一般化された手法を示す流れ図である。 ビデオの多重解像度復号化の一般化された手法を示す流れ図である。 イントラ画像および画像間予測画像の多重解像度符号化の手法を示す流れ図である。 イントラ画像および画像間予測画像の多重解像度復号化の手法を示す流れ図である。 異なる解像度でビデオを復号化できるように空間的にスケーラブルなビットストリームレイヤを符号化する手法を示す流れ図である。 異なる解像度でビデオを復号化できるように空間的にスケーラブルなビットストリームレイヤを復号化する手法を示す流れ図である。 例示的な多段位置計算手法に対する擬似コードを示すコード図である。 例示的な多段位置計算手法に対する擬似コードを示すコード図である。 例示的な増分位置計算手法に対する擬似コードを示すコード図である。

Claims (16)

  1. 水平または垂直再サンプリングスケール係数に応じて画像データの再サンプリングを実行することを含み、前記再サンプリングは、再サンプリングされた配列内の水平または垂直位置iにおけるサンプル値の計算処理を含み、前記計算処理は、
    式x=(i*C+D)>>Sに基づいて、導出された水平または垂直サブサンプル位置xを計算することであって、Cは前記水平または垂直再サンプリングスケール係数の逆数を掛けた2S+Fに基づいており、F,C,DおよびSは整数値であり、Fは前記水平または垂直サブサンプル位置xの分数部のビット数であり、Dはオフセットであり、Sはダイナミックレンジの精度をセットする、導出された水平または垂直サブサンプル位置xを計算することを含むことを特徴とする方法。
  2. 水平アップサンプリングスケール係数および垂直アップサンプリングスケール係数に応じて映像のアップサンプリングを実行することを含み、前記アップサンプリングは、アップサンプリングされた配列内の水平位置iおよび垂直位置jにおける補間されたサンプル値の計算処理を含み、前記計算処理は、
    x=(i*C+D)>>Sに基づいて、導出された水平サブサンプル位置xを計算することであって、Cは前記水平アップサンプリングスケール係数の逆数を掛けた2S+Fに基づいており、F、C、DおよびSは整数値であり、Fは前記水平サブサンプル位置xの分数部のビット数であり、Dはオフセットであり、Sはダイナミックレンジの精度をセットする、前記導出された水平サブサンプル位置xを計算することと、
    前記式x=(i*C+D)>>Sに基づいて、導出された垂直サブサンプル位置yを計算することであって、Cは前記垂直アップサンプリングスケール係数の逆数を掛けた2S+Fに基づいており、F、C、DおよびSは整数値であり、Fは前記垂直サブサンプル位置yの分数部のビット数であり、Dはオフセットであり、Sはダイナミックレンジの精度をセットする、前記導出された垂直サブサンプル位置yを計算することと、
    前記導出された水平サブサンプル位置x、および、前記導出された垂直サブサンプル位置yにより定義された位置x、yにおいてサンプル値を補間することとを含むことを特徴とする方法。
  3. 前記導出された水平サブサンプル位置xのF個の最下位ビットに基づき水平再サンプリングフィルタを選択することと、
    前記導出された水平サブサンプル位置xのその残存する最上位ビットに基づきフィルタリングされる低解像度のサンプルを選択することとを含み、
    前記位置x、yにおいてサンプル値を補間することは、
    前記選択された低解像度のサンプルに基づき前記サンプル値を補間し、前記選択された水平再サンプリングフィルタを使用することをさらに含むことを特徴とする請求項2に記載の方法。
  4. 前記導出された水平サブサンプル位置xの前記F個の最下位ビットの少なくとも1つの値に対し適用される水平再サンプリングフィルタは、2つよりも多い非ゼロフィルタタップ値を有する有限インパルス応答フィルタであり、かつ
    前記導出された水平サブサンプル位置xの前記F個の最下位桁について0以外のすべての値に対し適用される水平再サンプリングフィルタは、4つの非ゼロフィルタタップ値を有する有限インパルス応答フィルタであることを特徴とする請求項3に記載の方法。
  5. 前記導出された垂直サブサンプル位置yのF個の最下位ビットに基づき垂直再サンプリングフィルタを選択することと、
    前記導出された垂直サブサンプル位置yのその残存する最上位ビットに基づきフィルタリングされる低解像度のサンプルを選択することとをさらに含み、
    前記位置x、yにおいてサンプル値を補間することは、
    前記選択された低解像度のサンプルに基づき前記サンプル値を補間し、前記選択された垂直再サンプリングフィルタを使用することとを含むことを特徴とする請求項2に記載の方法。
  6. 前記導出された垂直サブサンプル位置yの前記F個の最下位ビットの少なくとも1つの値に対し適用される垂直再サンプリングフィルタは、2つよりも多い非ゼロフィルタタップ値を有する有限インパルス応答フィルタであり、かつ
    前記導出された垂直サブサンプル位置yの前記F個の最下位桁について0以外のすべての値に対し適用される垂直再サンプリングフィルタは、4つの非ゼロフィルタタップ値を有する有限インパルス応答フィルタであることを特徴とする請求項5に記載の方法。
  7. 前記アップサンプリングは、1つまたは複数のMitchell−Netravalli再サンプリングフィルタを使用して実行されるか、あるいは1つまたは複数のCatmull−Rom再サンプリングフィルタを使用して実行されることを特徴とする請求項3に記載の方法。
  8. F、C、D、またはSの前記垂直または水平の値のうちの少なくとも1つは、前記サンプル値が色度サンプル値であるか、または輝度サンプル値であるかに少なくとも一部は基づいて異なることを特徴とする請求項2に記載の方法。
  9. 前記式x=(i*C+D)>>Sに基づいて計算することは、式x=((i*C+D)>>S)+Eの実施を使用して計算することを含み、Eは第2のオフセットであることを特徴とする請求項2に記載の方法。
  10. 前記アップサンプリングは、帯域幅制御パラメータにより制御されるフィルタタップ値を有する1つまたは複数の再サンプリングフィルタを使用して実行されることを特徴とする請求項2に記載の方法。
  11. 前記アップサンプリングは、階層化空間スケーラブルビデオ符号化または復号化プロセスで実行されることを特徴とする請求項2に記載の方法。
  12. 前記アップサンプリングは、参照画像再サンプリングについて実行されることを特徴とする請求項2に記載の方法。
  13. 前記F、C、D、およびS整数値のうちの少なくとも1つは、前記水平計算の場合が前記垂直計算の場合と異なり、特に前記Fは4と等しく、かつ前記Sの値は12に等しいことを特徴とする請求項2に記載の方法。
  14. 水平アップサンプリングスケール係数および垂直アップサンプリングスケール係数に応じてアップサンプリングスケール係数に応じて映像のアップサンプリングを実行することを含み、前記アップサンプリングは、アップサンプリングされた配列内の水平位置iおよび垂直位置jにおける補間されたサンプル値の計算処理を含み、前記計算処理は、
    式x=((2*i+Q)*C+D)>>Sに基づいて、導出された水平サブサンプル位置xを計算することであって、Cは前記水平アップサンプリングスケール係数の逆数を掛けた2S+Fに基づいており、F、C、D、S、J、およびQは整数値であり、Fは前記水平サブサンプル位置xの分数部のビット数に基づいており、DおよびQはオフセットであり、Jは再サンプリングが輝度または色度についてかどうかに基づいており、Sはダイナミックレンジの精度をセットする、導出された水平サブサンプル位置xを計算することと、
    前記式x=((2*i+Q)*C+D)>>Sに基づいて、導出された垂直サブサンプル位置yを計算することであって、Cは前記垂直アップサンプリングスケール係数の逆数を掛けた2S+Fに基づいており、F、C、D、S、J、およびQは整数値であり、Fは前記垂直サブサンプル位置yの分数部のビット数に基づいており、DおよびQはオフセットであり、Jは再サンプリングが輝度または色度についてかどうかに基づいており、Sはダイナミックレンジの精度をセットする、導出された垂直サブサンプル位置yを計算することと、
    前記導出されたサブサンプル位置x、yにより定義された位置x、yにおいてサンプル値を補間することとを含むことを特徴とする方法。
  15. 前記式x=(i*C+D)>>Sに基づいて計算することは、式x=((2(M+J)−i)*k+i*r+2(M+G+J−F−1)>>(M+G+J−F)に基づいて計算することであって、J、G、M、k、およびrは整数値、Mはサイズ変更の範囲を定義するために導入された2の乗数、Jは再サンプリングが輝度または色度についてかどうかに基づく値、Gはサイズ変更時において参照対象となるサンプル座標に対応する範囲の値を整数倍に丸めるために導入されたk/2 およびr/2 における分母の乗数、を示す、計算することを含むことを特徴とする請求項1に記載の方法。
  16. 前記式x=(i*C+D)>>Sに基づいて計算することは、式x=((2(M+J)−i)*k+i*r+2(M+G+J−F−1)>>(M+G+J−F)に基づいて計算することを含み、前記式y=(i*C+D)>>Sに基づく計算は、前記式y=((2(M+J)−j)*k+i*r+2(M+G+J−F−1)>>(M+G+J−F)に基づく計算であることであって、J、G、M、k、およびrは整数値、Mはサイズ変更の範囲を定義するために導入された2の乗数、Jは再サンプリングが輝度または色度についてかどうかに基づく値、Gはサイズ変更時において参照対象となるサンプル座標に対応する範囲の値を整数倍に丸めるために導入されたk/2 およびr/2 における分母の乗数、を示す、計算することを特徴とする請求項2に記載の方法。
JP2008549559A 2006-01-06 2007-01-08 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法 Active JP5302010B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US75684606P 2006-01-06 2006-01-06
US60/756,846 2006-01-06
US78657306P 2006-03-27 2006-03-27
US60/786,573 2006-03-27
US82951506P 2006-10-13 2006-10-13
US60/829,515 2006-10-13
PCT/US2007/000195 WO2007081752A2 (en) 2006-01-06 2007-01-08 Resampling and picture resizing operations for multi-resolution video coding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012120308A Division JP5590574B2 (ja) 2006-01-06 2012-05-25 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算

Publications (3)

Publication Number Publication Date
JP2009522935A JP2009522935A (ja) 2009-06-11
JP2009522935A5 JP2009522935A5 (ja) 2010-02-25
JP5302010B2 true JP5302010B2 (ja) 2013-10-02

Family

ID=38256899

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008549559A Active JP5302010B2 (ja) 2006-01-06 2007-01-08 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法
JP2012120308A Active JP5590574B2 (ja) 2006-01-06 2012-05-25 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012120308A Active JP5590574B2 (ja) 2006-01-06 2012-05-25 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算

Country Status (11)

Country Link
US (4) US7956930B2 (ja)
EP (1) EP1985120B1 (ja)
JP (2) JP5302010B2 (ja)
KR (2) KR101354741B1 (ja)
CN (2) CN101366281B (ja)
AU (2) AU2007205175B2 (ja)
CA (1) CA2635898C (ja)
HK (1) HK1161016A1 (ja)
IL (2) IL192420A (ja)
RU (2) RU2420915C2 (ja)
WO (1) WO2007081752A2 (ja)

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8233536B2 (en) * 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
KR100834443B1 (ko) * 2007-02-27 2008-06-04 삼성전자주식회사 비디오 코덱을 위한 메모리 구조 및 메모리 액세스 방법
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8989553B2 (en) * 2008-01-12 2015-03-24 Innotive Inc. Korea Video processing system and video processing method
US20100278236A1 (en) * 2008-01-17 2010-11-04 Hua Yang Reduced video flicker
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
KR20090097015A (ko) * 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
FR2931610B1 (fr) * 2008-05-20 2010-12-17 Canon Kk Procede et un dispositif de transmission de donnees d'images
JP2009290552A (ja) * 2008-05-29 2009-12-10 Fujifilm Corp 動画圧縮装置および動画圧縮プログラム
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8194977B2 (en) * 2008-12-09 2012-06-05 Microsoft Corporation Remote desktop protocol compression acceleration using single instruction, multiple dispatch instructions
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
US9036714B2 (en) * 2009-01-26 2015-05-19 Thomson Licensing Frame packing for video coding
WO2010093430A1 (en) * 2009-02-11 2010-08-19 Packetvideo Corp. System and method for frame interpolation for a compressed video bitstream
US20100226437A1 (en) * 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
US9020287B2 (en) * 2009-04-14 2015-04-28 Thomson Licensing Methods and apparatus for filter parameter determination and selection responsive to variable transforms in sparsity-based de-artifact filtering
US9774882B2 (en) * 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8699565B2 (en) * 2009-08-27 2014-04-15 Hewlett-Packard Development Company, L.P. Method and system for mixed-resolution low-complexity information coding and a corresponding method and system for decoding coded information
US8487929B2 (en) * 2009-09-09 2013-07-16 Advanced Micro Devices, Inc. Resolution enhancement of video stream based on spatial and temporal correlation
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
JP2011109469A (ja) * 2009-11-18 2011-06-02 Canon Inc コンテンツ受信装置及びコンテンツ受信装置の制御方法
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
US8611414B2 (en) * 2010-02-17 2013-12-17 University-Industry Cooperation Group Of Kyung Hee University Video signal processing and encoding
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US8910046B2 (en) 2010-07-15 2014-12-09 Apple Inc. Media-editing application with anchored timeline
CN105847781B (zh) 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
MX2013002429A (es) * 2010-09-03 2013-04-08 Dolby Lab Licensing Corp Metodo y sistema para compensacion de iluminacion y transicion para codificacion y procesamiento de video.
US9462220B2 (en) 2010-12-17 2016-10-04 Microsoft Technology Licensing, Llc Auto-regressive edge-directed interpolation with backward projection constraint
US8639053B2 (en) * 2011-01-18 2014-01-28 Dimension, Inc. Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality
US9099161B2 (en) 2011-01-28 2015-08-04 Apple Inc. Media-editing application with multiple resolution modes
US9412414B2 (en) 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application
US8839110B2 (en) * 2011-02-16 2014-09-16 Apple Inc. Rate conform operation for a media-editing application
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
CN103354997A (zh) * 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
DK3787289T3 (da) 2011-06-14 2022-08-29 Lg Electronics Inc Fremgangsmåde til kodning og afkodning af billedinformationer
CN108391135B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN107529708B (zh) 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
US8837582B2 (en) * 2011-06-22 2014-09-16 Blackberry Limited Compressing image data
KR20130001541A (ko) 2011-06-27 2013-01-04 삼성전자주식회사 다시점 영상의 해상도 복원 방법 및 장치
KR101727449B1 (ko) * 2011-06-28 2017-04-14 닛본 덴끼 가부시끼가이샤 영상 양자화 파라미터 복호 방법
UA114674C2 (uk) 2011-07-15 2017-07-10 ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі Ініціалізація контексту в ентропійному кодуванні
EP2557789B1 (en) 2011-08-09 2017-09-27 Dolby Laboratories Licensing Corporation Guided image up-sampling in video coding
JP2014531807A (ja) 2011-09-09 2014-11-27 パナモーフ, インコーポレイテッドPanamorph, Inc. 画像処理システム及び方法
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5232319B2 (ja) 2011-10-20 2013-07-10 株式会社東芝 通信装置及び通信方法
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
CN103123718B (zh) * 2011-11-21 2016-06-22 腾讯科技(深圳)有限公司 一种图像处理方法和系统
WO2013081615A1 (en) * 2011-12-01 2013-06-06 Intel Corporation Motion estimation methods for residual prediction
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
FR2989856B1 (fr) * 2012-04-23 2014-11-28 Assistance Tech Et Etude De Materiels Electroniques Compression/decompression progressive d'un flux numerique video comprenant au moins une image entrelacee
AU2013261845A1 (en) * 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
JP5390667B2 (ja) * 2012-06-11 2014-01-15 株式会社東芝 映像送信機器及び映像受信機器
US9146666B2 (en) * 2012-06-21 2015-09-29 Sharp Laboratories Of America, Inc. Touch sensor navigation
EP2868111A1 (en) * 2012-07-02 2015-05-06 Cisco Technology, Inc. Signalling information for consecutive coded video sequences that have the same aspect ratio but different picture resolutions
CN110087091B (zh) * 2012-08-06 2021-11-12 Vid拓展公司 多层视频编码中用于空间层的采样栅格信息
US9350899B2 (en) * 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images
EP2898694B1 (en) * 2012-09-24 2019-06-19 Huawei Technologies Co., Ltd. Video compression with color space scalability
JP6274108B2 (ja) * 2012-09-28 2018-02-07 ソニー株式会社 符号化装置および符号化方法
US20140119446A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Preserving rounding errors in video coding
KR102345770B1 (ko) * 2012-12-04 2022-01-03 인텔렉추얼디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping
TWI597968B (zh) * 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中,高精度升取樣
EP2942963A4 (en) * 2013-01-04 2016-08-17 Samsung Electronics Co Ltd SCALABLE VIDEO ENCODING METHOD AND APPARATUS USING IMAGE OVERHEAD SAMPLING IN CONSIDERATION OF A PHASE AND METHOD AND APPARATUS FOR SCALEABLE VIDEO DECODING
US10284908B2 (en) * 2013-02-26 2019-05-07 Comcast Cable Communications, Llc Providing multiple data transmissions
ES2617314T3 (es) 2013-04-05 2017-06-16 Dolby Laboratories Licensing Corporation Aparato de compresión y método para reducir un ruido de cuantización utilizando una expansión espectral avanzada
CN105247865A (zh) * 2013-04-08 2016-01-13 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
WO2014189300A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US9762920B2 (en) * 2013-06-07 2017-09-12 Qualcomm Incorporated Dynamic range control of intermediate data in resampling process
KR102062764B1 (ko) 2013-07-19 2020-02-21 삼성전자주식회사 모바일 단말 화면을 위한 3k해상도를 갖는 디스플레이 영상 생성 방법 및 장치
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
KR102275639B1 (ko) 2013-10-14 2021-07-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
US9310908B2 (en) 2013-10-30 2016-04-12 Htc Corporation Color sampling method and touch control device thereof
EP2890131A1 (en) * 2013-12-31 2015-07-01 Patents Factory Ltd. Sp. z o.o. Video coding with different spatial resolutions for intra-coded frames and inter-coded frames
EP3090549A1 (en) 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11350015B2 (en) 2014-01-06 2022-05-31 Panamorph, Inc. Image processing system and method
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US20150264368A1 (en) * 2014-03-14 2015-09-17 Sony Corporation Method to bypass re-sampling process in shvc with bit-depth and 1x scalability
CN103838543A (zh) * 2014-03-27 2014-06-04 成都睿明医疗信息技术有限公司 屏幕画面共享方法及其系统
US9807343B2 (en) 2014-05-08 2017-10-31 Samsung Electronics Co., Ltd Apparatus and method for changing mode of device
US9843812B2 (en) * 2014-05-23 2017-12-12 Sony Corporation Video transmission system with color gamut partitioning and method of operation thereof
US9449239B2 (en) 2014-05-30 2016-09-20 Apple Inc. Credit card auto-fill
US9565370B2 (en) 2014-05-30 2017-02-07 Apple Inc. System and method for assisting in computer interpretation of surfaces carrying symbols or characters
US9251431B2 (en) 2014-05-30 2016-02-02 Apple Inc. Object-of-interest detection and recognition with split, full-resolution image processing pipeline
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
WO2015192353A1 (en) 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
CN104184981B (zh) * 2014-08-27 2017-12-15 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的低解析度显示方法及设备
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9690752B2 (en) 2014-10-03 2017-06-27 Harris Corporation Method and system for performing robust regular gridded data resampling
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
KR102440941B1 (ko) 2015-03-03 2022-09-05 삼성전자주식회사 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
CN106802964A (zh) * 2015-11-26 2017-06-06 北京华大九天软件有限公司 一种图形自动转化阵列的方法
EP3185556A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
US10630992B2 (en) 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
EP3466075A1 (en) 2016-05-26 2019-04-10 VID SCALE, Inc. Geometric conversion for 360-degree video coding
US20180146019A1 (en) * 2016-11-21 2018-05-24 International Business Machines Corporation Light-weight resolution switching for online video streaming
CN108495130B (zh) * 2017-03-21 2021-04-20 腾讯科技(深圳)有限公司 视频编码、解码方法和装置、终端、服务器和存储介质
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
WO2019159696A1 (ja) * 2018-02-14 2019-08-22 ソニー株式会社 画像処理装置および方法
US11736648B2 (en) 2018-05-09 2023-08-22 Panamorph, Inc. Progressive image compression and restoration providing a high spatial quality intermediate image
KR102022648B1 (ko) 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
CN109040755A (zh) * 2018-09-17 2018-12-18 珠海亿智电子科技有限公司 一种适用于视频编码的图像前处理装置
CN109544502B (zh) * 2018-09-25 2023-06-30 中山大学 一种jpeg图像下采样因子估计方法
KR102312338B1 (ko) * 2018-10-19 2021-10-14 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR102312337B1 (ko) * 2018-10-19 2021-10-14 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
US11012710B2 (en) 2019-03-06 2021-05-18 Tencent America LLC Techniques for intra prediction for 360 image and video coding
JP2020160737A (ja) * 2019-03-26 2020-10-01 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法及びプログラム
EP3981155A4 (en) 2019-06-24 2022-08-17 Alibaba Group Holding Limited ADAPTIVE RESOLUTION CHANGE IN VIDEO PROCESSING
KR102665968B1 (ko) 2019-06-27 2024-05-16 삼성전자주식회사 블러 추정 방법 및 장치
CN114467305A (zh) * 2019-08-06 2022-05-10 Op方案有限责任公司 自适应分辨率管理预测重缩放
JP2022544160A (ja) * 2019-08-06 2022-10-17 オーピー ソリューションズ, エルエルシー 適応分解能管理信号伝達
WO2021026334A1 (en) * 2019-08-06 2021-02-11 Op Solutions Adaptive resolution management signaling
WO2021026324A1 (en) * 2019-08-06 2021-02-11 Op Solutions Adaptive resolution management prediction rescaling
EP4011068A4 (en) 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
CN114503581A (zh) 2019-08-06 2022-05-13 Op方案有限责任公司 基于块的自适应分辨率管理
US11140402B2 (en) 2019-09-20 2021-10-05 Tencent America LLC Signaling of reference picture resampling with constant window size indication in video bitstream
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
JP2022548521A (ja) * 2019-09-23 2022-11-21 アリババ グループ ホウルディング リミテッド 参照ダウンサンプリングありの動き補償補間のためのフィルタ
US11317093B2 (en) 2019-09-24 2022-04-26 Tencent America LLC Method for reference picture resampling with offset in video bitstream
CN110572674B (zh) * 2019-09-27 2024-03-15 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频解码方法和装置、存储介质及电子装置
CN110677690B (zh) * 2019-09-27 2022-07-01 腾讯科技(深圳)有限公司 视频处理方法和装置、存储介质
CN110572673B (zh) * 2019-09-27 2024-04-09 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN110572672B (zh) * 2019-09-27 2024-03-15 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CA3223625A1 (en) 2019-11-08 2021-05-14 Op Solutions, Llc Methods and systems for adaptive cropping
CN112995663B (zh) * 2019-12-02 2022-09-23 华为技术有限公司 视频编码的方法、视频解码的方法及相应装置
US11372644B2 (en) 2019-12-09 2022-06-28 Meta Platforms, Inc. Matrix processing instruction with optional up/down sampling of matrix
US11438611B2 (en) * 2019-12-11 2022-09-06 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US20210192019A1 (en) * 2019-12-18 2021-06-24 Booz Allen Hamilton Inc. System and method for digital steganography purification
US11563947B2 (en) 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
US11445176B2 (en) 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US12039696B2 (en) * 2020-03-27 2024-07-16 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
CN111757142B (zh) * 2020-07-22 2022-03-11 四川新视创伟超高清科技有限公司 一种基于云端流媒体切画的视频播放系统
US11375241B2 (en) * 2020-10-20 2022-06-28 Alibaba Group Holding Limited Frequency specific compression and compensation technique in image processing
CN112235606A (zh) * 2020-12-11 2021-01-15 全时云商务服务股份有限公司 一种多层视频处理方法、系统和可读存储介质

Family Cites Families (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1506554A1 (ru) 1987-10-06 1989-09-07 Предприятие П/Я А-1772 Кодер видеосигнала
USRE35910E (en) * 1989-05-11 1998-09-29 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding apparatus and decoding apparatus
JP3303869B2 (ja) 1990-11-30 2002-07-22 株式会社日立製作所 画像符号化方法、画像符号化装置、画像復号化方法
JP3191935B2 (ja) 1990-11-30 2001-07-23 株式会社日立製作所 画像符号化方法、画像符号化装置、画像復号化方法
US5136377A (en) * 1990-12-11 1992-08-04 At&T Bell Laboratories Adaptive non-linear quantizer
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5300949A (en) * 1992-10-22 1994-04-05 International Business Machines Corporation Scalable digital video decompressor
KR970000683B1 (ko) * 1993-05-31 1997-01-16 삼성전자 주식회사 해상도 가변 적응적 화상압축/복원방법 및 장치
US5555021A (en) * 1993-12-14 1996-09-10 Watec America Corporation Compact television camera with switching noise prevention
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US5828421A (en) * 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US6002801A (en) * 1995-04-18 1999-12-14 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selection of IDCT method based on image characteristics
US5864637A (en) * 1995-04-18 1999-01-26 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selective reduction of spatial resolution
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US6324301B1 (en) * 1996-01-24 2001-11-27 Lucent Technologies Inc. Adaptive postfilter for low bitrate visual telephony noise removal
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6529631B1 (en) * 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
WO1998041012A1 (en) 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Mpeg decoder providing multiple standard output signals
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
KR100435257B1 (ko) * 1997-08-07 2004-07-16 삼성전자주식회사 영상신호 처리 시스템에서의 이미지 포맷 변환장치 및 방법
AR016812A1 (es) 1997-08-14 2001-08-01 Samsung Electronics Co Ltd Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
US6600785B1 (en) * 1997-12-01 2003-07-29 Matsushita Electric Industrial Image processor, image data processor and variable length encoder/decoder
US6239847B1 (en) * 1997-12-15 2001-05-29 Netergy Networks, Inc. Two pass multi-dimensional data scaling arrangement and method thereof
US6731811B1 (en) 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
US5995150A (en) 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
MY123018A (en) * 1998-07-24 2006-05-31 Panasonic Corp Video signal character converting device and method of the same
US6157396A (en) * 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
US6501484B1 (en) * 1998-09-29 2002-12-31 Globalstreams, Inc. System and method for high definition video rescaling
JP2000134618A (ja) 1998-10-23 2000-05-12 Nippon Telegr & Teleph Corp <Ntt> 画像信号符号化方法と装置、及び画像信号復号方法と装置、及びこれらの方法を記録した記録媒体
JP2000165661A (ja) * 1998-11-27 2000-06-16 Murata Mach Ltd 画像処理装置及び記録媒体
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6418166B1 (en) * 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
AUPP779898A0 (en) * 1998-12-18 1999-01-21 Canon Kabushiki Kaisha A method of kernel selection for image interpolation
JP3672185B2 (ja) * 1999-02-09 2005-07-13 ソニー株式会社 コーディングシステム及びこれを用いた装置並びに記録媒体
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
FR2792798B1 (fr) * 1999-04-26 2001-05-25 Thomson Multimedia Sa Procede et dispositif de quantification pour compression video
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
WO2000074385A2 (en) 1999-05-27 2000-12-07 University Of Maryland, College Park 3d wavelet based video codec with human perceptual model
US6678424B1 (en) 1999-11-11 2004-01-13 Tektronix, Inc. Real time human vision system behavioral modeling
US6931060B1 (en) 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US7079157B2 (en) * 2000-03-17 2006-07-18 Sun Microsystems, Inc. Matching the edges of multiple overlapping screen images
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6456663B1 (en) * 2000-03-29 2002-09-24 Matsushita Electric Industrial Co., Ltd. DCT domain down conversion system that compensates for IDCT mismatch
JP4686048B2 (ja) 2000-04-21 2011-05-18 パナソニック株式会社 画素演算装置
JP4560897B2 (ja) * 2000-06-02 2010-10-13 ソニー株式会社 通信装置、通信方法及び媒体
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
US6907075B2 (en) 2000-06-30 2005-06-14 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
KR100370076B1 (ko) * 2000-07-27 2003-01-30 엘지전자 주식회사 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
CN1180630C (zh) 2000-08-08 2004-12-15 皇家菲利浦电子有限公司 基于子波分解的视频编码方法
US6937291B1 (en) * 2000-08-31 2005-08-30 Intel Corporation Adaptive video scaler
US7039115B1 (en) * 2000-09-20 2006-05-02 General Instrument Corporation Processor allocation for channels in a video multi-processor system
US6940905B2 (en) * 2000-09-22 2005-09-06 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
DE10048735A1 (de) * 2000-09-29 2002-04-11 Bosch Gmbh Robert Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
JP4231620B2 (ja) * 2000-10-11 2009-03-04 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理方法および装置
US20020159484A1 (en) * 2000-12-05 2002-10-31 Murat Azizoglu Coding scheme using a control code map for signal transmission in optical communications networks
US6907070B2 (en) 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
AUPR222500A0 (en) 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
WO2002054777A1 (en) 2000-12-28 2002-07-11 Koninklijke Philips Electronics N.V. Mpeg-2 down-sampled video generation
US20020118743A1 (en) 2001-02-28 2002-08-29 Hong Jiang Method, apparatus and system for multiple-layer scalable video coding
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
CN1251509C (zh) 2001-04-10 2006-04-12 皇家菲利浦电子有限公司 帧序列的编码方法
KR100783396B1 (ko) 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
US7206453B2 (en) * 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US6907143B2 (en) * 2001-05-16 2005-06-14 Tektronix, Inc. Adaptive spatio-temporal filter for human vision system models
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
WO2002096120A1 (en) 2001-05-25 2002-11-28 Centre For Signal Processing, Nanyang Technological University Bit rate control for video compression
WO2003003749A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US20040208247A1 (en) 2001-07-10 2004-10-21 Eric Barrau Method and device for generating a scalable coded video signal from a non-scalable coded video signal
US9894379B2 (en) 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
EP1294196A3 (en) * 2001-09-04 2004-10-27 Interuniversitair Microelektronica Centrum Vzw Method and apparatus for subband encoding and decoding
US6992725B2 (en) * 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
WO2003041055A1 (en) * 2001-11-02 2003-05-15 The Regents Of The University Of California End-to-end distortion estimation for streaming of pre-compressed video
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US20050084010A1 (en) 2001-12-28 2005-04-21 Koninklijke Philips Electronics N.V. Video encoding method
WO2003063497A1 (en) * 2002-01-22 2003-07-31 Koninklijke Philips Electronics N.V. Drift-free video encoding and decoding method, and corresponding devices
US7596179B2 (en) * 2002-02-27 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US6993078B2 (en) * 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US7715477B2 (en) 2002-05-29 2010-05-11 Diego Garrido Classifying image areas of a video signal
AUPS291002A0 (en) 2002-06-12 2002-07-04 Unisearch Limited Method and apparatus for scalable compression of video
JP2005532725A (ja) * 2002-07-09 2005-10-27 ノキア コーポレイション ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
CN1669328A (zh) 2002-07-17 2005-09-14 皇家飞利浦电子股份有限公司 三维小波视频编码和解码方法以及相应的设备
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
US7379496B2 (en) 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
KR20050052532A (ko) 2002-10-16 2005-06-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 적응성 움직임 보상 시간 필터링을 이용하는 충분히 크기조정가능 3-d 오버컴플릿 웨이브릿 비디오 코딩
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
GB0228556D0 (en) 2002-12-06 2003-01-15 British Telecomm Video quality measurement
US20060222083A1 (en) * 2002-12-19 2006-10-05 Klein Gunnewiek Reinier B M Digital filter with spatial scalability
KR20050105246A (ko) 2003-02-25 2005-11-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오버컴플릿 웨이블렛 확장에 대해 모션 보상된 시간필터링을 사용하는 3차원 웨이블렛 비디오 코딩
FR2852773A1 (fr) 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
CA2523055A1 (en) 2003-04-25 2004-11-11 Thomson Licensing Marking techniques for tracking pirated media
US20130107938A9 (en) 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
EP1634458B1 (en) * 2003-06-16 2011-08-17 Thomson Licensing Decoding method and apparatus enabling fast channel change of compressed video
JP4207684B2 (ja) 2003-06-27 2009-01-14 富士電機デバイステクノロジー株式会社 磁気記録媒体の製造方法、および、製造装置
CN1813269A (zh) 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 使用过完备小波编码和循环预测映射进行视频处理的系统及方法
CN1813479A (zh) * 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 过完备小波域中的视频编码
JP4699685B2 (ja) 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
TWI232681B (en) * 2003-08-27 2005-05-11 Mediatek Inc Method of transforming one video output format into another video output format without degrading display quality
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US7391933B2 (en) * 2003-10-30 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for image interpolation based on adaptive polyphase filters
NO319660B1 (no) * 2003-11-17 2005-09-05 Tandberg Telecom As Fremgangsmåte for interpolering av pixelverdier
KR100519776B1 (ko) * 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US7369610B2 (en) 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US7379608B2 (en) 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
US20050157791A1 (en) * 2004-01-20 2005-07-21 Eastman Kodak Company System and method for video tone scale reduction
JP2005217940A (ja) 2004-01-30 2005-08-11 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7227894B2 (en) 2004-02-24 2007-06-05 Industrial Technology Research Institute Method and apparatus for MPEG-4 FGS performance enhancement
US7324616B2 (en) * 2004-03-01 2008-01-29 Motorola, Inc. Low cost and high performance narrowband interference cancellation system
US7505636B2 (en) * 2004-03-04 2009-03-17 Broadcom Corporation System and method for two-pass interpolation for quarter-pel motion compensation
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
WO2005099276A2 (en) 2004-04-02 2005-10-20 Thomson Licensing Complexity scalable video encoding
EP1599046A1 (en) 2004-05-19 2005-11-23 THOMSON Licensing Method for coding video data of a sequence of pictures
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP4891234B2 (ja) * 2004-06-23 2012-03-07 エージェンシー フォー サイエンス, テクノロジー アンド リサーチ グリッド動き推定/補償を用いたスケーラブルビデオ符号化
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
EP1617672A1 (en) 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US7839933B2 (en) 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
WO2006044370A1 (en) 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR20060043115A (ko) * 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
US7783106B2 (en) 2004-11-12 2010-08-24 Fuji Xerox Co., Ltd. Video segmentation combining similarity analysis and classification
KR100679025B1 (ko) 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR100679031B1 (ko) 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR100703734B1 (ko) 2004-12-03 2007-04-05 삼성전자주식회사 Dct 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7616824B2 (en) * 2004-12-08 2009-11-10 Ecole Polytechnique Fédérale de Lausanne (EPFL) CM - Ecublens Method for spatially scalable video coding
US20090252425A1 (en) 2004-12-13 2009-10-08 Koninklijke Philips Electronics, N.V. Scalable picture encoding
US7801220B2 (en) * 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
CN101111864A (zh) 2005-01-31 2008-01-23 皇家飞利浦电子股份有限公司 用于多分辨率图像滤波的金字塔式分解
US7995656B2 (en) 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US8638862B2 (en) * 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
EP1862010A4 (en) * 2005-03-25 2011-08-17 Korea Electronics Telecomm HIERARCHICAL VIDEO ENCODING / DECODING METHOD FOR COMPLETE SCALE VARIABILITY AND APPARATUS THEREOF
WO2006109135A2 (en) 2005-04-11 2006-10-19 Nokia Corporation Method and apparatus for update step in video coding based on motion compensated temporal filtering
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
KR100703778B1 (ko) 2005-04-29 2007-04-06 삼성전자주식회사 고속 fgs를 지원하는 비디오 코딩 방법 및 장치
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
EP1727372A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
US7830961B2 (en) 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
ZA200800261B (en) 2005-07-11 2009-08-26 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
US7216279B2 (en) * 2005-07-19 2007-05-08 Lsi Logic Corporation Testing with high speed pulse generator
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
EP1746839A1 (en) 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
KR100746011B1 (ko) 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
EP1775958A1 (en) 2005-10-14 2007-04-18 Thomson Licensing Method and apparatus for reconstructing the texture of a spatial enhancement-layer video picture
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US8094721B2 (en) * 2005-12-29 2012-01-10 Cisco Technology, Inc. Methods and apparatuses for selecting a mode within a compression scheme
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP2009522974A (ja) * 2006-01-09 2009-06-11 ノキア コーポレイション 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置
CN1794821A (zh) 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8848789B2 (en) * 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US20070274396A1 (en) * 2006-05-26 2007-11-29 Ximin Zhang Complexity adaptive skip mode estimation for video encoding
WO2008004816A1 (en) 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Scalable video encoding/decoding method and apparatus thereof
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
JP4647558B2 (ja) 2006-07-27 2011-03-09 日本電信電話株式会社 映像符号化並列処理方法,映像符号化装置,映像符号化プログラムおよびその記録媒体
CN101589625B (zh) 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
US7756350B2 (en) * 2006-11-13 2010-07-13 Global Ip Solutions, Inc. Lossless encoding and decoding of digital data
US8311120B2 (en) * 2006-12-22 2012-11-13 Qualcomm Incorporated Coding mode selection using information of other coding modes
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8848787B2 (en) 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
US20090268818A1 (en) 2008-04-29 2009-10-29 International Business Machines Corporation Method and system for integrating noise filtering in predictive video coding
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
IL218145A (en) 2014-08-31
US9319729B2 (en) 2016-04-19
KR101354741B1 (ko) 2014-01-23
HK1161016A1 (en) 2012-08-17
KR101344193B1 (ko) 2013-12-20
US20130271651A1 (en) 2013-10-17
WO2007081752A2 (en) 2007-07-19
EP1985120A2 (en) 2008-10-29
US8493513B2 (en) 2013-07-23
RU2456761C1 (ru) 2012-07-20
JP5590574B2 (ja) 2014-09-17
IL192420A (en) 2012-03-29
AU2010219337B2 (en) 2011-06-30
KR20130041378A (ko) 2013-04-24
CN102176748A (zh) 2011-09-07
EP1985120B1 (en) 2019-09-04
AU2007205175B2 (en) 2010-07-01
US20110211122A1 (en) 2011-09-01
CA2635898A1 (en) 2007-07-19
CA2635898C (en) 2015-10-06
KR20080085156A (ko) 2008-09-23
US8780272B2 (en) 2014-07-15
US20140269912A1 (en) 2014-09-18
US20070160153A1 (en) 2007-07-12
JP2012191655A (ja) 2012-10-04
AU2010219337A1 (en) 2010-09-30
CN102176748B (zh) 2013-03-27
CN101366281A (zh) 2009-02-11
JP2009522935A (ja) 2009-06-11
RU2420915C2 (ru) 2011-06-10
US7956930B2 (en) 2011-06-07
WO2007081752A3 (en) 2007-09-20
RU2008127319A (ru) 2010-01-10
IL218145A0 (en) 2012-03-29
CN101366281B (zh) 2011-06-22
AU2007205175A1 (en) 2007-07-19
IL192420A0 (en) 2009-08-03
EP1985120A4 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
JP5302010B2 (ja) 多重解像度ビデオ符号化および復号化のための再サンプリングおよび画像サイズ変更の演算方法
US8107571B2 (en) Parameterized filters and signaling techniques
JP4625240B2 (ja) コンピュータ実施される方法、システムおよびコンピュータ可読媒体
US7116831B2 (en) Chrominance motion vector rounding
US7620109B2 (en) Sub-pixel interpolation in motion estimation and compensation
JP4077354B2 (ja) マルチステージ補間の丸め制御
MX2008008762A (en) Resampling and picture resizing operations for multi-resolution video coding and decoding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120326

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120424

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130125

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20130130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130620

R150 Certificate of patent or registration of utility model

Ref document number: 5302010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250