JP5189054B2 - 画像の復号方法 - Google Patents

画像の復号方法 Download PDF

Info

Publication number
JP5189054B2
JP5189054B2 JP2009200786A JP2009200786A JP5189054B2 JP 5189054 B2 JP5189054 B2 JP 5189054B2 JP 2009200786 A JP2009200786 A JP 2009200786A JP 2009200786 A JP2009200786 A JP 2009200786A JP 5189054 B2 JP5189054 B2 JP 5189054B2
Authority
JP
Japan
Prior art keywords
pixel
layer image
image
calculating
base layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009200786A
Other languages
English (en)
Other versions
JP2010022020A5 (ja
JP2010022020A (ja
Inventor
サン シジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2010022020A publication Critical patent/JP2010022020A/ja
Publication of JP2010022020A5 publication Critical patent/JP2010022020A5/ja
Application granted granted Critical
Publication of JP5189054B2 publication Critical patent/JP5189054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像アップサンプリング方法および画像アップサンプリングシステムに関し、特に、空間拡張型ビデオコード化に用いられる画像アップサンプリング方法および画像アップサンプリングシステムに関するものである。
動画データの圧縮符号化方式の標準であるH.264/MPEG-4 AVCは、非特許文献１に開示されているように、マクロブロック予測、残差コーディングを順次行い、ビデオシーケンスの時間的または空間的な冗長性を取り除くことで圧縮効率を向上させるビデオコーディック仕様である。空間スケーラビリティは、サポートされた如何なる空間解像度でもレート歪特性を維持しつつビットストリームのパーツを取り除くことができる機能である。しかしながら、H.264/MPEG-4 AVCは、単層では空間スケーラビリティをサポートしていない。空間スケーラビリティは、H.264/MPEG-4 AVC スケーラブル映像符号化(SVC)の拡張方式でサポートされている。
H.264/MPEG-4 AVCの拡張方式は、非特許文献２に開示されているように、階層化されたビデオコーディックであり、空間レイヤ間の冗長を、レイヤ間予測により取り除くものである。H.264/MPEG-4 AVC規格に適用されるレイヤ間予測では、レイヤ間動き予測、レイヤ間残差予測、レイヤ間イントラテクスチャ予測の３つの技術が用いられる。
従来、スケーラブル映像符号化(SVC)方式では、ダイアディック空間スケーラビリティだけが採用されていた。
このダイアディック空間スケーラビリティでは、２つの連続する空間レイヤ間の画像ダイメンションの比率を２の乗数（power of 2）としているが、２つの連続する空間レイヤ間の画像ダイメンションの比率が２の乗数でない方法も新たに提案されている。この方法は、高域画像が、対応する低域画像では存在しない領域を含む、Crop（切り取り）ウインドウを用いた非dyadic型スケーリング方法である。
レイヤ間予測方法では、何れの場合も画像アップサンプリング処理が用いられている。画像アップサンプリング処理は、低解像度画像から高解像度画像を生成する工程である。画像アップサンプリング処理の中には、サンプル補間処理を伴うものもある。スケーラブル映像符号化方式(SVC)で用いられる従来のアップサンプリング処理は、イントラ(Intra)予測のためのH.264で規定された1/4輝度サンプル補間処理に基づいて行われる。
Joint Video Team of ITU-T VCEG and ISO/IECMPEG, "Advanced Video Coding (AVC) - 4th Edition," ITU-T Rec.H.264 and ISO/IEC1/4496-10 (MPEG4-Part 10), January 2005 Working Document 1.0 (WD-1.0) (MPEG Doc. N6901) for the Joint Scalable Video Model (JSVM)
しかしながら、上記の従来のアップサンプリング方法を、空間スケーラブルコーディングに適応する場合、以下の問題があった。すなわち、補間解像度処理が、1/4サンプルに限られ、非dyadic型スケーリング方法ではサポートされていないため、1/4サンプル位置を得るために、1/2サンプル補間処理を施す必要があり、算出処理が複雑になるという問題があった。
したがって、上記の制限を受けることなく低演算量で実行できる画像アップサンプリング方法が求められている。
本発明の画像アップサンプリング方法は、上記の課題を解決するために、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含むことを特徴としている。
また、本発明の画像アップサンプリングシステムは、上記の課題を解決するために、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリングシステムであって、上記高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する相対位置取得部と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する第１位置補間中心算出部と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する第１位置位相算出部と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する第２位置補間中心算出部、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する第２位置位相算出部と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する第１フィルタ係数選択部と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する第２フィルタ係数選択部と、上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する上記第１フィルタ係数セットを有する第１フィルタと、上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する上記第２フィルタ係数セットを有する第２フィルタと、を含むことを特徴としている。
上記の構成によれば、低演算量で実行できる画像アップサンプリング方法およびシステムを実現することができる。
本発明の画像アップサンプリング方法は、以上のように、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含む方法である。
それゆえ、低演算量で実行できるという効果を奏する。
エンハンスメントレイヤとベースレイヤとの幾何学的な関係を示す説明図である。 エンハンスメントレイヤとベースレイヤとの相対的位置関係の一例を示す説明図である。 本発明の一実施の形態にかかる２方向の補間フィルタ処理工程を示すフローチャートである。 エンハンスメントレイヤとベースレイヤとの各マクロブロックの関係を示す説明図である。 エンハンスメントレイヤとベースレイヤとのマクロブロックの関係を示す説明図である。
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
本発明の構成要素を、ここに示されている図においては一般化して描き、説明しているが、多種多様な形態に変更および設計できることができる。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
本発明の実施の形態に係る画像アップサンプリング方法は、補間される画素の位置の位相に基づいて選択されたフィルタ係数を用いたダイレクト補間処理工程を含んでいる。
本明細書および特許請求の範囲では、「画像」は、画素アレイ、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データのその他の表現形式を含むものとする。図１はイメージ画像に対応する低域空間画像（ベース空間画像、ベースレイヤ画像）１０と高域空間画像（エンハンスメント空間画像・エンハンスメントレイヤ画像）１００との２つの画像を示している。図１に示すように、ベース空間画像１０は、エンハンスメント空間画像１００よりも空間解像度が低いものであってもよい。また、ベース空間画像１０は、図１に示すように、エンハンスメント空間画像１００と同じ空間領域を有していない構成としてもよい。図１には、エンハンスメント空間画像１００の空間領域１１０に対応したベース空間画像１０を示している。
本発明の実施の形態は、ベース空間画像とエンハンスメント空間画像とが、スケーラブルビデオコーダ／デコーダ（コーデック）における２つの空間レイヤに対応する構成としてもよい。
以下の説明において、エンハンスメント空間画像１００の幅１０１をｗe、高さ１０２をｈeとし、ベース空間画像１０の幅１１をｗｂ、高さ１２をｈｂとする。ベース空間画像１０は、エンハンスメント空間画像の座標(xorig, yorig)に位置するエンハンスメント空間画像１００のサブ領域（Crop（切り取り）領域）１１０をサブサンプルすることにより得ることができる。座標位置１０３は、cropウインドウ(Crop領域)１１０の左上隅に位置している。１１０の幅１１１と高さ１１２は、それぞれwex・hexで示している。エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係は、パラメータ(xorig, yorig, wex, hex, wb, hb)により規定される。
画像アップサンプリング処理は、低域空間解像度画像から高域空間解像度画像を生成する処理である。本実施の形態に係る画像アップサンプリング処理は、空間的あるいは時間的なダイメンションに限らず、あるダイメンションにおいて、解像度を向上させる処理と言ってもよい。図２は、高域空間解像度画像２００の画素位置２２０を示している。画素位置２２０は、低域空間解像度画像２０の位置２２に対応する位置である。画素位置２２０は、低域空間解像度画像の画素位置に並んで配置されていてもよいがこれに限定されない。図２では、位置２２は、ベースレイヤの４つの画素２１、２３、２４、２５で形成される領域内に位置している。
本発明の実施の形態にかかるアップサンプリング方法およびアップサンプリングシステムは、低域空間解像度画像（ベース空間画像）２０から高域空間解像度画像（エンハンスメント空間画像）２００の画素位置２２０をダイレクト補間処理するもので、ダイメンション間の比率が２の乗数に限定されない構成としてもよい。また、本発明の実施の形態に係るアップサンプリング方法およびアップサンプリングシステムは、ベース空間画像２０の画像全体をアップサンプリングする構成であってもよい。本発明の他の実施の形態として、ベース空間画像２０をブロックごとにアップサンプリングするものであってもよい。また、所定の方向にアップサンプリングした後、該所定の方向と異なる方向にアップサンプリングする構成としてもい。
複数の整数サンプルで構成される複数のユニットにおけるエンハンスメント空間画像のサンプル位置(x, y)の場合、複数の１／ＲＬユニットのベース空間画像における対応位置(Px,L(x), Py,L(y))は、下記式により算出する。
Figure 0005189054
上記式において、パラメータ(xorig, yorig, wex, hex, wb, hb)は、図１と同様に、エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係を規定しており、ＲＬは、補間解像度を示している。上記補間解像度を画像サンプルの解像度の１／１６に設定している場合は、ＲＬは１６となる。
また、ベース空間画像１０における対応する位置(Px,L(x), Py,L(y))は、下記式により算出する。
Figure 0005189054
上記式において、パラメータ(xorig, yorig, wex, hex, wb, hb)は、図１と同様に、エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係を規定しており、ＲＬは、補間解像度を示している。また、“//”は、割り算で四捨五入することを意味している。サンプル位置は、２の乗数に限らず、また、サンプル位置を直接計算することにより、当該サンプル位置における画像をダイレクト補間することができる。
本実施の形態において、サンプル位置(x, y)のエンハンスメントレイヤの画像値の補間処理は、フィルタ処理を含むものであってもよい。フィルタ処理は、さらに、ルックアップテーブルから補間フィルタ係数を算出する工程を含むものであってもよい。ここで、ルックアップテーブルのインデックスとして、補間位置(Px,L(x), Py,L(y))に関連付けたインデックスを用いてもよい。
本実施の形態の補間フィルタとしては、例えば、４タップフィルタ、６タップフィルタを用いることができる。補間フィルタ係数は、例えば、two-lobed Lanczos-windowed sinc functionまたはthree-lobed Lanczos-windowed sinc functionから導出できる。
表１および表２は、ぞれぞれ、位相が補間位置(Px,L(x), Py,L(y))に対応した１６位相６タップフィルタの補間フィルタ係数のルックアップテーブルを例示している。
Figure 0005189054
Figure 0005189054
表３は、位相が補間位置(Px,L(x), Py,L(y))に対応した１６位相４タップフィルタの補間フィルタ係数のルックアップテーブルを示している。
Figure 0005189054
図３に示すように、本実施の形態の補間処理は、別々のパス（パス３００・パス３０）で、それぞれＸ方向およびＹ方向に行ってもよい。また、本実施の形態において、画像のマクロブロックまたは別の下位区分の中で各パスを実行できる構成としてもよく、また、全体の画像の中で各パスを実行できる構成としてもよい。
エンハンスメントレイヤ３１のサンプル位置、すなわち、エンハンスメントレイヤの画像位置に対応するベースレイヤ３２の位置を決定する（工程３０１）。次に、整数ベースレイヤ画素位置からベースレイヤサンプルにおける各方法のオフセットまた位相である、ｙ位置位相３３およびｘ位置位相３４をそれぞれ導出する（工程３０２・工程３０３）。これらの工程において、オフセットまたは位相は、補間解像ユニットで求めてもよい。例えば、補間解像度がサンプル画像の解像度の１／１６の場合、０位相はベースレイヤの画素位置からオフセットしていない場合に対応し、８位相は、エンハンスメントレイヤの画素が１つのダイメンションにおけるベースレイヤ画素位置間の中間に位置する場合に対応する。
補間フィルタ係数はルックアップテーブルを用いて決定してもよい。このルックアップテーブルにおいて、ｙ位置位相３３は、ｙ方向で補間するときのインデックスであってもよく、ｘ位置位相３４は、ｘ方向で補間するときのインデックスであってもよい。所定方向における中心補間位置は、位相位置が測定されるベースレイヤの画素位置である。本実施の形態において、上記中心補間位置は、フィルタの中心が位置する画素位置であってもよい。
図４はマクロブロックのオーバレイを有する図１に示されていたものと同じ結合構造を示している。参照符号１４０は、強調空間レイヤ１００におけるマクロブロックの一例を示している。参照符号４０は、ベース空間画像（ベース空間レイヤ）１０におけるマクロブロックの一例を示している。ベース空間レイヤ１０におけるマクロブロックは、Crop領域１１０内に形成されていてもよい。また、強調空間レイヤ１００のマクロブロック１４４は、完全にCrop領域１１０の外側に形成されていてもよい。強調空間レイヤ１００のマクロブロック１４６は、Crop領域１１０の内外の両方に形成されていてもよい。
図５は、強調空間レイヤ１００上のアップサンプルされたベース空間レイヤ５０のマクロブロックのオーバレイの一例を示している。図５中、破線は、それぞれアップサンプルされたベース空間レイヤのマクロブロックを示している。ブロック５１は、ベース空間レイヤからアップサンプルされたマクロブロックを示している。強調空間レイヤ１００のマクロブロックのうちいくつかのマクロブロック（例えば、マクロブロック５２）は、ベース空間レイヤの対応するブロックを有していない。強調空間レイヤ１００における他のマクロブロックは、１から７つのベース空間レイヤマクロブロックを有している。強調空間レイヤ１００のブロック５３は、ベース空間レイヤのブロック５４に対応している。強調空間レイヤ１００のブロック５５は、ベース空間レイヤの４つの対応するブロック５６・５７・５８・５９を有している。
本発明の実施の形態にかかる補間処理は、H.264(MPEG-4 AVC)のSVC拡張方式と互換性があり、以下の工程を含んでいる。
強調画像におけるマクロブロックの左上の輝度サンプル位置(xP, yP)を定義する。次に、chroma_format_idcがゼロでない場合、すなわち、色度チャネルが存在する場合、上記色度ブロックの左上の複数の色度サンプル位置(xC, yC)を規定する。
下記式を用いて、輝度ベースレイヤ画像(Px,L, Py,L)における輝度サンプルマクロブロックの相対位置を算出する。
Figure 0005189054
Figure 0005189054
上記式は、下記式を充足する。下記式中、ＲＬは、１６である。
Figure 0005189054
chroma_format_idcがゼロでない場合、色度ベースレイヤ画像(Px,C, Py,CL)の色度マクロブロックの相対位置を、下記式を用いて算出する。
Figure 0005189054
Figure 0005189054
上記式中、MbWidthCおよびMbHeightCは、それぞれ、水平方向および垂直方向のマクロブロック（ＭＢ）ごとの色度サンプルの数を示している。それぞれ１つの色度サンプルからなる複数のユニットにおける強調画像における所定の色度サンプル位置において、ベース画像の複数の1/16 色度サンプルユニットにおけるベース画像(Px,c, Py,c)に対応する位置を下記式より算出する。
Figure 0005189054
上記式中、RC=16(xorig,c, yorig,c)は、Cropウインドウ(Crop領域)１１０の左上隅の位置を示し、(wb,c, hb,c)は、ベース画像の１つの色度サンプルユニットにおけるベース画像の解像度を示し、(wex,c, hex,c)は、現画像の１のシングル色度サンプルユニットにおけるCropウインドウの解像度を示し、(pbase,x, pbase,y)は、ベース画像の1/4色度サンプルユニットにおけるベース画像の相対色度位相ずれを示し、(penh,x, penh,y）は、ベース画像の1/4色度サンプルユニットにおける現画像の相対色度位相ずれを示している。
テクスチャ補間処理:予測 [Prediction]
テクスチャ補間処理の入力は、以下に示す通りである。
・ベース画像（xB,yB）および（xB1,yB1）の整数輝度サンプル位置
・ベース画像(baseL[x, y]) (=-2+xB..(xB1+2), y=-2+ yB..(yB1+2))
・chroma_format_idcがゼロでない場合、
・ベース画像((xCB,yCB),(xCB1,yCB1))の整数色度サンプル位置、
・ベース画像（baseCb[x,y], baseCr[x,y]）(=-2 + xCB..(xCB1+2), y=-2 + yCB..(yCB1+2))
テクスチャ補間処理の出力は、以下に示す通りである。
・輝度サンプルマクロブロックアレイ (PredL[x, y]) (x=0..15, y = 0..15))
・chroma_format_idcがゼロでない場合、
・２つの輝度サンプルマクロブロックアレイpredCb[x, y]・predCr[x, y] (x=0..MbWidthC-1, y=0..MbHeightC-1)
上記輝度サンプルマクロブロックアレイPredL[x,y] (x=0..15, y = 0..15) は、以下のように算出する。
・tempL[x, y] (x=-2+(xB..(xB1+2), y=0..15) を一時的輝度サンプルアレイとする。
各tempL[x,y] (x=-2+(xB..(xB1+2), y=0..15)は、以下のように算出することができる。
ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
Figure 0005189054
・上記yInt および yFrac を下記式により算出する。
Figure 0005189054
・上記式により求めたyFracを位相として用いてテーブル１より６タップフィルタe[j](j=-2..3)を選択し、tempL[x, y]を下記式により算出する。
Figure 0005189054
・各サンプル（PredL[x, y]）（x=0..15, y = 0..15）は、以下のように算出する。
・ベースレイヤの対応する分数間隔サンプル位置(xf)は、下記式により算出する。
Figure 0005189054
・xInt および xFrac を下記式により算出する。
Figure 0005189054
・上記式により求めたxFrac を位相として用いてテーブル１より６タップフィルタe[j] (j=-2..3)を選択し、predL[x, y]を下記式により算出する。
Figure 0005189054
上記式は、下記式を満たす。
Figure 0005189054
上記式において、BitDepthYは、輝度チャネルデータのビット深度を示している。
・chroma_format_idcがゼロでない場合、
・色度サンプル(predC[x, y]) (Cは、Cb, Cr を示し、x = 0..MbWidthC-1, y=0..MbHeightC-1を満たす)は、以下のように算出する。
・tempCb[x,y] およびtempCr[x, y] (x = -2 + (xCB..(xCB1+2), y=0..MbHeightC-1)を一時的色度サンプルアレイとする。
・各tempC[x,y] (Cは、CbおよびCrを示し、x=-2+(xB..(xB1+2)、y=0..MbHeightC-15を満たす)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yfC)は、下記式により算出する。
Figure 0005189054
・yIntCy および yFracC を下記式により算出する。
Figure 0005189054
・上記式により求めたyFracCを位相として用いてテーブル１より６タップフィルタe[j](j=-2..3)を選択し、tempＣ[x,y]を下記式により算出する。
Figure 0005189054
・各サンプル（predC[x,y]）(Cは、CbおよびCrを示し、x = 0..MbWidthC-1, y = 0..MbHeightC-1を満たす)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(xfC)は、下記式により算出する。
Figure 0005189054
・yIntCy および yFracCを下記式により算出する。
Figure 0005189054
・上記式２４により求めたyFracC を位相として用いてテーブル１より６タップフィルタe[j] (j=-2..3)を選択し、predC[x,y]を下記式により算出する。
Figure 0005189054
上記式は、下記式を満たす。
Figure 0005189054
上記式において、BitDepthCは、色度チャネルデータのビット深度を示している。
〔テクスチャ補間処理工程：残差（RESIDUAL)〕
テクスチャ補間処理の入力は、以下に示す通りである。
・ベース画像basePic(xB,yB)および(xB1,yB1)の各整数輝度サンプル位置
・輝度残差サンプルアレイ(resBaseL[x, y])（x=-xB..xB1, y=yB..yB1）
・chroma_format_idcがゼロでない場合、
・ベース画像 （basePic(xCB, yCB), (xCB1, yCB1)）の整数色度サンプル位置
・２つの色度サンプルアレイresBaseCb[x, y]およびresBaseCr[x, y] (x=-2 + xCB..(xCB1+2), y=yCB..yCB1。
テクスチャ補間処理の出力は、以下に示す通りである。
・輝度サンプルアレイ（resPredL[x, y] (x=0..15, y = 0..15)）
・chroma_format_idcがゼロでない場合、
・２つの色度サンプルアレイ（resPredCb[x, y],pesPredCr[x, y]) (x=0..MbWidthC-1, y=0..MbHeightC-1)）。
上記輝度残差サンプル(resPredL[x, y])(x=0..15, y=0..15)は、以下のように算出する。
・tempL[x, y](x=xB..xB1, y=0..15) を一時的輝度サンプルアレイとする。
・各tempL[x, y](x=xB..xB1, y=0..15)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
Figure 0005189054
・yInt および yFrac を下記式により算出する。
Figure 0005189054
・tempL[x, y]を下記式により算出する。
Figure 0005189054
・各残差サンプルresPredL[x, y] (x=0..15, y=0..15)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
Figure 0005189054
・yInt および yFrac を下記式により算出する。
Figure 0005189054
・各残差サンプルresPredL[x, y]を下記式により算出する。
Figure 0005189054
chroma_format_idcがゼロでない場合、色度残差サンプル（resPredC[x, y] ）（Cは、Cb, Cr を示し、x=0..MbWidthC-1,y=0..MbHeightC-1を満たす)は、以下のように算出する。
・tempCb[x, y] およびtempCr[x, y] (x=CB..xCB1, y=0..MbHeightC-1)を一時的色度サンプルとする。
・各tempC[x, y] (Cは、Cb、Crを示し、x=xCB..xCB1、y=0..MbHeightC-1を満たす)を、下の工程で算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yfC)を、下記式により算出する。
Figure 0005189054
・yIntCおよびyFracCを下記式により算出する。
Figure 0005189054
・Tempc[x, y]を下記式により算出する。
Figure 0005189054
・各サンプルresPredC[x, y] (Cは、CbおよびCrを示し、x=0..MbWidthC-1,y=0..MbHeight-1を満たす)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(xfC)は、下記式により算出する。
Figure 0005189054
・xIntC および yFracC を下記式により算出する。
Figure 0005189054
・resPredC[x, y]を下記式により算出する。
Figure 0005189054
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、空間拡張型ビデオコード化に用いられる画像アップサンプリング方法および画像アップサンプリングシステムに利用することができる。
１０ 低域空間画像（ベース空間画像、ベースレイヤ画像）
２０ 低域空間解像度画像
３０ パス
３３ ｙ位置位相
３４ ｘ位置位相
４０ ブロック（マクロブロック）
５０ ベース空間レイヤ
５１ ブロック（マクロブロック）
５２ ブロック（マクロブロック）
５３ ブロック（マクロブロック）
５４ ブロック（マクロブロック）
５５ ブロック（マクロブロック）
５６ ブロック（マクロブロック）
５７ ブロック（マクロブロック）
５８ ブロック（マクロブロック）
５９ ブロック（マクロブロック）
１００ 高域空間画像（エンハンスメント空間画像・エンハンスメントレイヤ画像・強調空間レイヤ）
１１０ Crop領域（空間領域）
１４０ マクロブロック
２００ 高低域空間解像度画像
３００ パス

Claims (4)

  1. 複数の画像ブロックから構成されるエンハンスメントレイヤ画像の画素値を、複数の画像ブロックから構成されるベースレイヤ画像を用いて予測する画像の復号方法であって、
    前記エンハンスメントレイヤ画像の予測対象ブロックを決定する工程（ａ）と、
    前記エンハンスメントレイヤ画像における前記予測対象ブロックの左上画素(xC, yC)と右下画素に対応する、前記ベースレイヤ画像における左上画素(xCB, yCB)と右下画素(xCB1, yCB1)を算出する工程（ｂ）と、
    前記ベースレイヤ画像の画素値のアレイ(baseC[x, y])に基づいて、前記エンハンスメントレイヤ画像の画素値のアレイ(predC[x, y])における前記予測対象ブロックの各画素に対応するエントリを算出する工程（ｃ）と、を含み、
    前記工程（ｃ）は、前記エンハンスメントレイヤ画像における前記予測対象ブロックの各画素に対して、一時的な画素値のアレイ(tempC[x, y])のエントリを算出する工程ｉ）として、
    前記予測対象ブロックの各画素に対応する前記ベースレイヤ画像のｙ位置(yfC)を解像度の分数間隔で算出する工程（１）と、
    前記ｙ位置(yfC)から、ｙ位置補間中心(yIntC)及びｙ位置位相(yFracC)を算出する工程（２）と、
    前記ｙ位置位相(yFracC)に基づいて第１のフィルタ係数セットを決定する工程（３）と、
    前記ベースレイヤ画像の画素値のアレイ(baseC[x, y])におけるｙ座標が前記ｙ位置補間中心(yIntC)であるエントリを中心として、前記第１のフィルタ係数セットに基づく補間フィルタ処理を適用して、前記一時的な画素値のアレイ(tempC[x, y])のエントリを算出する工程（４）と、を含み、
    前記工程（ｃ）は、さらに、前記エンハンスメントレイヤ画像における前記予測対象ブロックの各画素に対応して、前記エンハンスメントレイヤ画像の画素値のアレイ(predC[x, y])のエントリを算出する工程ｉｉ）として、
    前記予測対象ブロックの各画素に対応する前記ベースレイヤ画像のｘ位置（xfC）を解像度の分数間隔で算出する工程（１）と、
    前記ｘ位置（xfC）から、ｘ位置補間中心(xIntC)及びｘ位置位相(xFracC)を算出する工程（２）と、
    前記ｘ位置位相(xFracC)に基づいて第２のフィルタ係数セットを決定する工程（３）と、
    前記一時的な画素値のアレイ(tempC[x, y])におけるｘ座標が前記ｘ位置補間中心(xIntC)であるエントリを中心として、前記第２のフィルタ係数セットに基づく補間フィルタ処理を適用して、前記エンハンスメントレイヤ画像の画素値のアレイ(predC[x, y])のエントリを算出する工程（４）と、を含み、
    前記画素値は画素の色度成分であって、前記工程（ｂ）の算出処理は、前記ベースレイヤ画像の１／４色度サンプルユニットにおける前記ベースレイヤ画像の相対色度位相ずれの補正を含むことを特徴とする画像の復号方法。
  2. 前記補間フィルタ処理は、前記予測対象ブロックの境界画素の値を計算するときに、前記ベースレイヤ画像における左上画素(xCB, yCB)と右下画素(xCB1, yCB1)で構成される矩形外の画素値を入力として用いることを特徴とする請求項１に記載の画像の復号方法。
  3. 前記分数間隔は解像度の１／１６であって、前記第１及び第２のフィルタ係数セットを決定する工程は、位相に対応づけられる１６のインデックスに基づいて、予め計算されたフィルタ係数の表を参照することで行うことを特徴とする請求項２に記載の画像の復号方法。
  4. 複数の画像ブロックから構成されるベースレイヤ画像の予測値に対する残差に基づいて、複数の画像ブロックから構成されるエンハンスメントレイヤ画像の予測値に対する残差を算出する画像の復号方法であって、
    前記エンハンスメントレイヤ画像の予測対象ブロックを決定する工程（ａ）と、
    前記エンハンスメントレイヤ画像における前記予測対象ブロックの左上画素(xC, yC)と右下画素に対応する、前記ベースレイヤ画像における左上画素(xCB, yCB)と右下画素(xCB1, yCB1)を算出する工程（ｂ）と、
    前記ベースレイヤ画像の残差のアレイ(resBaseC[x, y])に基づいて、前記エンハンスメントレイヤ画像の残差のアレイ(resPredC[x, y])における前記予測対象ブロックの各画素に対応するエントリを算出する工程（ｃ）と、を含み、
    前記工程（ｃ）は、前記エンハンスメントレイヤ画像における前記予測対象ブロックの各画素に対して、一時的な残差のアレイ(tempC[x, y])のエントリを算出する工程ｉ）として、
    前記予測対象ブロックの各画素に対応する前記ベースレイヤ画像のｙ位置(yfC)を解像度の分数間隔で算出する工程（１）と、
    前記ｙ位置(yfC)から、ｙ位置補間中心(yIntC)及びｙ位置位相(yFracC)を算出する工程（２）と、
    前記ベースレイヤ画像の残差のアレイ(resBaseC[x, y])におけるｙ座標が前記ｙ位置補間中心(yIntC)であるエントリを中心として、前記ｙ位置位相(yFracC)に基づく補間フィルタ処理を適用して、前記一時的な残差のアレイ(tempC[x, y])のエントリを算出する工程（３）と、を含み、
    前記工程（ｃ）は、さらに、前記エンハンスメントレイヤ画像における前記予測対象ブロックの各画素に対応して、前記エンハンスメントレイヤ画像の残差のアレイ(resPredC[x, y])のエントリを算出する工程ｉｉ）として、
    前記予測対象ブロックの各画素に対応する前記ベースレイヤ画像のｘ位置（xfC）を解像度の分数間隔で算出する工程（１）と、
    前記ｘ位置（xfC）から、ｘ位置補間中心(xIntC)及びｘ位置位相(xFracC)を算出する工程（２）と、
    前記一時的な残差のアレイ(tempC[x, y])におけるｘ座標が前記ｘ位置補間中心(xIntC)であるエントリを中心として、前記ｘ位置位相(xFracC)に基づく補間フィルタ処理を適用して、前記エンハンスメントレイヤ画像の残差のアレイ(resPredC[x, y])のエントリを算出する工程（３）と、を含み、
    前記残差は画素の色度成分の残差であって、前記工程（ｂ）の算出処理は、前記ベースレイヤ画像の１／４色度サンプルユニットにおける前記ベースレイヤ画像の相対色度位相ずれの補正を含むことを特徴とする画像の復号方法。
JP2009200786A 2005-03-18 2009-08-31 画像の復号方法 Active JP5189054B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US66316105P 2005-03-18 2005-03-18
US60/663,161 2005-03-18
US68306005P 2005-05-20 2005-05-20
US60/683,060 2005-05-20
US68667605P 2005-06-01 2005-06-01
US60/686,676 2005-06-01
US11/347,539 2006-02-03
US11/347,539 US8175168B2 (en) 2005-03-18 2006-02-03 Methods and systems for picture up-sampling

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008501901A Division JP2008533908A (ja) 2005-03-18 2006-02-28 画像アップサンプリング方法およびシステム

Publications (3)

Publication Number Publication Date
JP2010022020A JP2010022020A (ja) 2010-01-28
JP2010022020A5 JP2010022020A5 (ja) 2010-09-16
JP5189054B2 true JP5189054B2 (ja) 2013-04-24

Family

ID=37010409

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008501901A Pending JP2008533908A (ja) 2005-03-18 2006-02-28 画像アップサンプリング方法およびシステム
JP2009200786A Active JP5189054B2 (ja) 2005-03-18 2009-08-31 画像の復号方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008501901A Pending JP2008533908A (ja) 2005-03-18 2006-02-28 画像アップサンプリング方法およびシステム

Country Status (6)

Country Link
US (2) US8175168B2 (ja)
EP (1) EP1859388A4 (ja)
JP (2) JP2008533908A (ja)
KR (1) KR100937272B1 (ja)
CN (2) CN102075755A (ja)
WO (1) WO2006101681A2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
WO2009104639A1 (ja) * 2008-02-20 2009-08-27 日本電気株式会社 映像配信装置、映像配信システム及び映像配信方法
WO2009116619A1 (ja) * 2008-03-21 2009-09-24 日本電気株式会社 映像再生装置、映像配信装置、映像配信システムおよびプログラム
CN101715125B (zh) * 2009-09-11 2011-09-28 中山大学 一种用于h.264视频编码的联合分数点运动估计和插值方法
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
JP2014531807A (ja) 2011-09-09 2014-11-27 パナモーフ, インコーポレイテッドPanamorph, Inc. 画像処理システム及び方法
CN108696752B (zh) 2011-09-20 2021-07-27 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US9860530B2 (en) * 2011-10-14 2018-01-02 Hfi Innovation Inc. Method and apparatus for loop filtering
US20150326886A1 (en) * 2011-10-14 2015-11-12 Mediatek Inc. Method and apparatus for loop filtering
HUE064046T2 (hu) 2011-11-04 2024-02-28 Lg Electronics Inc Eljárás és berendezés video információ kódolására/dekódolására
JPWO2013150838A1 (ja) * 2012-04-05 2015-12-17 ソニー株式会社 画像処理装置及び画像処理方法
JP2013243636A (ja) * 2012-04-24 2013-12-05 Sharp Corp 画像復号装置および画像符号化装置
CN104620587B (zh) 2012-07-06 2018-04-03 三星电子株式会社 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US9350899B2 (en) 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
TWI521946B (zh) * 2012-12-21 2016-02-11 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
CN103916649B (zh) * 2012-12-31 2017-03-15 展讯通信（上海）有限公司 一种图像处理方法和装置、系统
CN104885457B (zh) 2013-01-02 2017-03-29 杜比实验室特许公司 用于视频信号的向后兼容编码和解码的方法和装置
US9961365B2 (en) 2013-01-04 2018-05-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus using image up-sampling in consideration of phase-shift and scalable video decoding method and apparatus
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
EP2961167A4 (en) * 2013-02-25 2016-08-10 Samsung Electronics Co Ltd DEVICE AND METHOD FOR EVOLVING VIDEO ENCODING USING MEMORY BANDWIDTH AND QUANTITY OF CALCULATION, AND DEVICE AND METHOD FOR EVOLVING VIDEO DECODING
WO2014189300A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
KR20140138538A (ko) 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
KR101712108B1 (ko) * 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
KR102440941B1 (ko) 2015-03-03 2022-09-05 삼성전자주식회사 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
MX2021002093A (es) 2018-08-24 2021-04-28 Samsung Electronics Co Ltd Metodo y aparato de decodificacion de videos y metodo y aparato de codificacion de video.
CN111200755A (zh) * 2018-11-20 2020-05-26 晨星半导体股份有限公司 影像像素提升装置与方法
US11620775B2 (en) 2020-03-30 2023-04-04 Panamorph, Inc. Method of displaying a composite image on an image display

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69028772T2 (de) * 1990-07-11 1997-04-03 Philips Electronics Nv Vorrichtung zur Ableitung eines kompatiblen Zeilensprungfernsehsignals mit geringer Auflösung und anderen Komponenten eines hochauflösenden Zeilensprungfernsehsignals sowie Vorrichtung zur Wiederherstellung des Originalsignals
JPH07107464A (ja) 1993-10-01 1995-04-21 Hitachi Ltd 画像符号化装置および復号化装置
JPH07212761A (ja) 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3596194B2 (ja) 1996-10-29 2004-12-02 ソニー株式会社 画像処理装置および方法
US6173013B1 (en) 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
EP0901734B1 (en) 1997-03-12 2004-02-18 Matsushita Electric Industrial Co., Ltd. Mpeg decoder providing multiple standard output signals
EP1152622B9 (en) 1997-04-01 2009-09-09 Sony Corporation Image encoder, image encoding method, image decoder, image decoding method, and distribution media
JPH1132287A (ja) 1997-07-08 1999-02-02 Fuji Photo Film Co Ltd 画像ファイル作成方法および装置
JP2000075854A (ja) 1998-06-18 2000-03-14 Matsushita Electric Ind Co Ltd 画像処理装置、およびこれを用いたディスプレイ装置
JP2000036032A (ja) 1998-07-17 2000-02-02 Fujitsu Ltd 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置
EP1279111A4 (en) * 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
US6873655B2 (en) 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
FI20012115A (fi) 2001-11-01 2003-05-02 Oplayo Oy Kuvan interpolointi
WO2004073312A1 (en) * 2003-02-17 2004-08-26 Koninklijke Philips Electronics N.V. Video coding
CN1272734C (zh) * 2004-05-20 2006-08-30 上海交通大学 基于非负矩阵分解的相关反馈图像检索方法
WO2006087314A1 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method

Also Published As

Publication number Publication date
KR20070116872A (ko) 2007-12-11
KR100937272B1 (ko) 2010-01-18
US20120213296A1 (en) 2012-08-23
EP1859388A2 (en) 2007-11-28
WO2006101681A3 (en) 2009-04-16
JP2008533908A (ja) 2008-08-21
CN101513053B (zh) 2011-04-06
US20060210185A1 (en) 2006-09-21
WO2006101681A2 (en) 2006-09-28
US8670489B2 (en) 2014-03-11
US8175168B2 (en) 2012-05-08
CN101513053A (zh) 2009-08-19
CN102075755A (zh) 2011-05-25
EP1859388A4 (en) 2010-09-08
JP2010022020A (ja) 2010-01-28

Similar Documents

Publication Publication Date Title
JP5189054B2 (ja) 画像の復号方法
JP4751928B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP7323578B2 (ja) ベース層からの予測のためのサブブロックのサブ分割の導出を使用するスケーラブルビデオ符号化
US8264968B2 (en) Inter-layer prediction method for video signal
US20070140354A1 (en) Methods and Systems for Block-Based Residual Upsampling
US20110116549A1 (en) Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US11102474B2 (en) Devices and methods for intra prediction video coding based on a plurality of reference pixel values
US20070031065A1 (en) Methods and Systems for Upsampling Filter Design
JP2012521735A (ja) 多層映像配信のための適応補間フィルタ
JP2009502089A (ja) 映像信号のエンコーディング及びデコーディング方法
KR20130124539A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
WO2007042365A1 (en) Method and apparatus for reconstructing the texture of a spatial enhancement-layer video picture
Lee et al. A high performance and low complexity sampling-based intra coding method for H. 264/AVC
Bharanitharan Efficient spatial scalability algorithm for H. 264/SVC encoders

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5189054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250