JP5318170B2 - 加重予測を利用したビデオコーディング方法、このための装置 - Google Patents

加重予測を利用したビデオコーディング方法、このための装置 Download PDF

Info

Publication number
JP5318170B2
JP5318170B2 JP2011204656A JP2011204656A JP5318170B2 JP 5318170 B2 JP5318170 B2 JP 5318170B2 JP 2011204656 A JP2011204656 A JP 2011204656A JP 2011204656 A JP2011204656 A JP 2011204656A JP 5318170 B2 JP5318170 B2 JP 5318170B2
Authority
JP
Japan
Prior art keywords
image
base layer
current block
weighted prediction
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011204656A
Other languages
English (en)
Other versions
JP2011254555A (ja
Inventor
ウー−ジン・ハン
キョ−ヒュク・イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011254555A publication Critical patent/JP2011254555A/ja
Application granted granted Critical
Publication of JP5318170B2 publication Critical patent/JP5318170B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置に関するものであって、より詳細に圧縮しようとする現在ブロックの予測イメージに所定のスケーリング因子(Scaling factor)を乗じて加重予測イメージ(Weighted prediction image)を生成し現在ブロックから加重予測イメージを差分した残差信号を符号化することによって残差信号の量を減らす加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置に関するものである。
インターネットを含む情報通信技術が発達するのにともない文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させるには不足し、これに伴い文字、映像、音楽など多様な形態の情報を受容することができるマルチメディアサービスが増加している。マルチメディアデータはその量がぼう大で、大容量の保存媒体を必要とし前記データ伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含んだマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須的である。
データを圧縮する基本的な原理はデータの重複(redundancy)要素を除去する過程である。イメージにおいて同一な色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームにほとんど変化がない場合やオーディオで同じ音が継続して反復されるような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複を除去することによってデータを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づいた時間的予測(temporal prediction)によって除去して、空間的重複は空間的変換(spatial transform)によって除去する。
図1は従来のビデオコーディングでの予測方法を示す図である。
MPEG-4、H．264など既存ビデオコーデックはモーション補償(Motion compensation)を基盤として隣接したフレーム間の類似性をなくすことによって圧縮効率を高める。この時、一般的に現在フレーム１１０より時間的に先んじた参照フレーム内で類似したイメージを予測することを順方向予測(Forward prediction)１２０、現在フレームより時間的に後の参照フレーム内で類似したイメージを予測することを逆方向予測(Backward prediction)１３０という。一方順方向参照フレームおよび逆方向参照フレームを共に使用する時間的予測を両方向予測(Bi-directional prediction)１４０という。
既存の単一階層ビデオコーデックはこのような種々のモード中、最適のモードを選択しコーディングすることによってその効率を高めることができる。一方、H．264スケーラブル拡張(あるいはMPEGスケーラブルビデオコーディング)のように多階層を有するビデオコーデックは階層間類似性をなくすために、また他の予測方法、すなわち基礎階層予測(Base-layer prediction)を使用することができる。これは基礎階層イメージで現在コーディングしようとするブロックと同じ時間的位置にあるフレーム内のイメージを使用して予測するものである。この時、階層間の解像度が異なる場合、基礎階層イメージをアップサンプリングして現在階層の解像度と合わせた後、時間的予測を遂行する。
各予測モード中で一つの予測モードを選択する方法は種々のものがあるだろうが、より低いコストを有するModeを選択するために各々の階層モードに対して直接符号化を遂行する。ここで、コスト(C）は種々の方式で定義され得るのが、代表的にレート歪み(rate-distortion)に基づいて、＜数式１＞のように計算される。ここで、Eは符号化されたビットをデコーディングし復元された信号と原信号との差異を意味し、Bは各方法を遂行するのに必要となるビット量を意味する。また、λはラグランジアン係数であってEとBの反映比率を調節することができる係数を意味する。
従来、時間的予測によるビデオコーディング方法は多数の特許文献に掲示されているが、例をあげれば、特許文献１は空間的にスケール可能な圧縮に関するもので、ベースエンコーダとエンハンスメントエンコーダを具備し、アップスケールされたベース層とエンハンスメント層の和に基づき、各フレームに対するモーションベクタを計算する過程を含み構成されるビデオコーディング方法を掲示している。
しかし、従来のビデオコーディング方法は基礎階層予測を除外しては基礎階層が有している多くの情報をまったく使用しないという問題点がある。
韓国特許公開第2004-047977号公報
本発明が解決しようとする課題は、圧縮しようとする現在ブロックと予測イメージの誤差を減らすことによって、ビデオコーディングの効率を高めることができる多階層ビデオコーディングおよびデコーディング方法、このための装置を提供しようとするものである。
本発明が解決しようとする他の技術的課題は予測イメージを生成するにおいて基礎階層の情報を活用することによってビデオコーディングの効率を高めることができる多階層ビデオコーディングおよびデコーディング方法、このための装置を提供しようとするものである。
本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解されるであろう。
前記目的を達成するために、本発明の実施形態によるビデオコーディング方法は、現在ブロックの予測イメージを生成する段階、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する段階、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する段階、および現在ブロックから加重予測イメージを差分した残差信号を符号化する段階を含む。
一方、本発明の実施形態による多階層ビデオコーディング方法は、現在ブロックの予測イメージを生成する段階、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する段階、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する段階、予測イメージまたは加重予測イメージ中、現在ブロックの圧縮性能を高めるイメージを選択する段階、現在ブロックから選択されたイメージを差分した残差信号を符号化し、選択結果によって加重予測イメージの使用の可否を表す情報を挿入する段階を含む。
前記目的を達成するために、本発明の実施形態による多階層ビデオデコーディング方法は、ビットストリームから復元しようとする現在ブロックの残差信号を復元する段階、ビットストリームから現在ブロックの予測イメージを復元する段階、予測イメージに加重予測因子(Weighted prediction factor)を乗じて加重予測イメージを生成する段階、および加重予測イメージに残差信号を加算して現在ブロックを復元する段階を含み、加重予測因子は現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である。
前記目的を達成するために、本発明の実施形態による多階層ビデオエンコーダは、現在ブロックの予測イメージを生成する手段、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する手段、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する手段、および現在ブロックから加重予測イメージを差分した残差信号を符号化する手段を含む。
一方、本発明の実施形態による多階層ビデオエンコーダは、現在ブロックの予測イメージを生成する手段、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する手段、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する手段、予測イメージまたは加重予測イメージ中、現在ブロックの圧縮性能を高めるイメージを選択する手段、および現在ブロックから選択されたイメージを差分した残差信号を符号化し、選択結果によって加重予測イメージの使用の可否を表す情報を挿入する手段を含む。
一方、本発明の実施形態による多階層ビデオデコーダは、ビットストリームから復元しようとする現在ブロックの残差信号を復元する手段、ビットストリームから現在ブロックの予測イメージを復元する手段、予測イメージに加重予測因子(Weighted prediction factor)を乗じて加重予測イメージを生成する手段、および加重予測イメージに残差信号を加算して現在ブロックを復元する手段を含み、加重予測因子は現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である。
その他実施形態の具体的な事項は詳細な説明および図に含まれている。
本発明の利点および特徴、そしてそれらを達成する方法は添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるだろう。しかし、本発明は以下で開示される実施形態に限定されるものではなく互いに異なる多様な形態で具現され、単に本実施形態は本発明の開示が完全なようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されているもので、本発明は請求項の範囲によってのみ定義される。明細書全体に乗じて同一参照符号は同一構成要素を指称する。
前記したような本発明のビデオコーディングおよびデコーディング方法によれば次のような効果が一つあるいはそれ以上ある。
一番目として、圧縮しようとする現在ブロックと予測イメージの誤差を減らすことによってビデオコーディングの効率を高めることができるという長所がある。
二番目、予測イメージを生成するにおいて基礎階層の情報を活用することによってビデオコーディングの効率を高めることができるという長所もある。
従来のビデオコーディングで予測方法を示す図である。 本発明の実施形態による加重予測の概念を示す図である。 本発明の実施形態による他の加重予測の概念を示す図である。 本発明の実施形態による加重予測を利用したビデオコーディング過程を示すフローチャートである。 図4に図示された加重予測を利用したビデオコーディング過程の具体的な実施形態を示すフローチャートである。 図4に図示された加重予測を利用したビデオコーディング過程のまた他の具体的な実施形態を示すフローチャートである。 本発明の実施形態によるビデオデコーディング過程を示すフローチャートである。 図5のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。 図6のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。 従来の予測と本発明の実施形態による加重予測を選択的に実施するために必要な資料構造を示す図である。 本発明の実施形態によるエンコーダの構成を示すブロック図である。 図11のエンコーダに対応するデコーダの構成を示すブロック図である。 本発明の実施形態による他のエンコーダの構成を示すブロック図である。 図13のエンコーダに対応するデコーダの構成を示すブロック図である。 本発明による加重予測を利用したビデオエンコーダのまた他の実施形態を見せるブロック図である。 図15のエンコーダに対応するデコーダの構成を示すブロック図である。
以下、添付された図面を参照し、本発明の好ましい実施形態を詳細に説明することにする。
本明細書でブロックとはマクロブロックおよびマクロブロックの細部単位を含み、すべての動作はブロック単位で説明されるようにする。また、図1で前述した従来の時間的予測方法で生成されるイメージを予測イメージと表現するようにする。このような用語の定義は発明の理解を助けるためのものであり、本定義によって、本発明が限定されるものではない。
本発明の実施形態によるビデオコーディングでは予測イメージをそのまま使用せず圧縮しようとする現在ブロックを最適に予測するためのスケーリング因子(Scaling factor)を計算した後、予測イメージとスケーリング因子の積で現在ブロックを予測する。
以下明細書では説明の便宜のため予測イメージとスケーリング因子乗じた値から現在ブロックを予測することを加重予測(Weighted prediction)と表現し、予測イメージにスケーリング因子を乗じた値を加重予測イメージ(Weighted prediction)と表現する。また圧縮しようとする現在ブロックを最適に予測するためのスケーリング因子(Scaling factor)を加重予測因子(Weighted prediction factor)と表現する。このような定義は発明の説明を容易にするためのものであって発明を限定するものと解釈されない。
本実施形態による加重予測因子を計算する方法は次のとおりである。
現在ブロックのピクセル値をx(i,j)、予測イメージのピクセル値をy(i,j)としよう。図1に前述した従来の方法で予測が遂行される場合、現在ブロックと予測イメージの平均２乗誤差(Mean Squared Error）は次の＜数式２＞のとおりである。
本実施形態による予測方法の場合、予測イメージのピクセル値y(i,j)の代わりにy(i,j)に加重予測因子αをかけた加重予測イメージのピクセル値αx y(i,j)を使用するようになるためで平均２乗誤差は次の＜数式３＞のとおりである。
＜数式３＞の平均２乗誤差Eを最小化するために＜数式３＞をαに対して偏微分して0と置けば次の＜数式４＞を得る。
この式からαを求めれば次の＜数式５＞のとおりである。
上の＜数式５＞はx(i,j)とy(i,j)間の交差-相互関係(Cross-correlation)の形態を帯びている。本実施形態によるビデオコーディングの場合は、現在フレームのすべてのブロックごとに＜数式５＞によってαを計算し、これをデコーダ側に伝送するようになう。デコーダ端ではエンコーダから受信したαを復元された予測イメージに乗じて加重予測イメージを復元し、加重予測イメージに復元された残差信号を加算して該当ブロックを復元する。
一方、本発明の他の実施形態では加重予測因子αを計算するために原本フレームブロックのピクセル値x(i,j)の代わりに現在ブロックと同じ時間的位置にある基礎階層イメージのピクセル値z(i,j)を使用することによって別途にαを伝送しないこともなる。この時、αは次の＜数式６＞のように計算される。
＜数式６＞のようにαを計算すればデコーダが基礎階層イメージのピクセル値z(i,j)の値と予測イメージのピクセル値y(i,j)の値をすべて知ることができるためエンコーダからαを別途に受信しなくてもαを再計算することができる。図2は本実施形態による加重予測の概念を示している。
圧縮しようとする現在フレームの現在ブロック２１０に対して現在フレームと同一な階層にある順方向参照フレームのイメージ２２０、逆方向参照フレームのイメージ２３０、および基礎階層フレームのイメージ２４０のうち、少なくとも一つを利用して予測イメージ２５０を生成する。＜数式６＞によって本実施形態によるαを計算し２６０、予測イメージ２５０にαを乗じて加重予測イメージを生成270する。エンコーダは現在ブロック２１０から加重予測イメージを差分し残差信号を求めてこの残差信号を符号化してデコーダ端に伝送する。
予測イメージのピクセル値y(i,j)がすでに量子化を経て復元された値から生成されるビデオコーデック、すなわちクローズループ(Closed-loop)を利用するビデオコーデックの場合は図2で前述した方法だけでも充分である。しかし、予測イメージのピクセル値y(i,j)が量子化を経ていない原本フレームの値の場合、すなわちオープンループ(Open-loop)を使用するビデオコーデックの場合は予測信号y(i,j)の値がエンコーダ側とデコーダ側で異なるためエンコーダが計算したαとデコーダが再計算したαの値が非常に異なることがある。この場合、＜数式６＞のy(i,j)の代わりに基礎階層の情報を使用することによってエンコーダおよびデコーダが同一なαによるビデオコーディングおよびデコーディングをすることができる。
図3は予測信号y(i,j)の代わりに基礎階層の情報を使用して加重予測因子αを計算する過程を概念的に示している。
圧縮しようとする現在フレームの現在ブロック３１０に対して現在フレームと同一な階層にある順方向参照フレームのイメージ３２０、逆方向参照フレームのイメージ３３０、および基礎階層フレームのイメージ３４０のうち、少なくとも一つを利用して予測イメージ３５０を生成する。加重予測因子αは＜数式６＞と類似するように計算390される。ここで、現在ブロックの予測イメージ３５０のピクセル値y(i,j)は基礎階層情報によって生成された基礎階層予測イメージのピクセル値u(i,j)で代替される。基礎階層予測イメージのピクセル値u(i,j)は次の通り求められる。
予測イメージ３５０が現在階層の順方向参照フレーム３２０または逆方向参照フレーム３３０のうち、少なくとも一つから生成されたものである場合、現在ブロックと時間的に同一な位置にある基礎階層イメージ３４０の順方向フレームまたは逆方向フレームから現在ブロックのモーションベクタ325、335と同一なモーションベクタ365、375が示す基礎階層参照イメージ360、370を探索する。予測イメージ３５０を生成した方法と同一な方法で基礎階層参照イメージから基礎階層予測イメージ380を生成する。この時、予測イメージ３５０が基礎階層イメージ３４０から生成された場合、y(i,j)の値として基礎階層イメージ３４０のピクセル値をそのまま使用したり、基礎階層の解像度が現在階層より低い場合、基礎階層イメージをアップサンプリングして使用するようになる。新しく生成された基礎階層予測イメージ380のピクセル値u(i,j)を使用すれば、本実施形態による加重予測因子αは次の＜数式７＞のように計算される。
エンコーダは予測イメージ３５０にαを乗じて加重予測イメージを生成395する。エンコーダは現在ブロック３１０から加重予測イメージを差分し残差信号を求めてこの残差信号を符号化してデコーダ端に伝送する。
図2および図3に前述された実施形態は現在階層の原本フレームと基礎階層フレームが類似するほど、そして基礎階層フレームの品質が一定水準以上である場合に有用であるが、基礎階層フレームの品質が非常に低下し、原本フレームとの差異が大きい場合には有用でないことがある。したがってこの場合には加重予測因子を使用せず従来の方法による予測技法を選択することもできる。このような予測技法の選択に関する詳細な事項は図10で後述するようにする。
図4は本発明の実施形態による加重予測を利用したビデオコーディング過程を示すフローチャートである。
エンコーダは図1で前述したように従来の予測方法によって現在ブロックの予測イメージを生成(S410)する。現在ブロックと予測イメージの差異を最小化するスケーリング因子である加重予測因子を計算(S420)するが、加重予測因子を計算する方法の実施形態は＜数式５＞ないし＜数式７＞で前述したところと同様である。予測イメージに加重予測因子を乗じてより一層正確な予測を遂行するための加重予測イメージを生成(S430)した後、現在ブロックから加重予測イメージを差分し残差信号を生成(S440)し、その残差信号を符号化(S450)する。
図5は図4に図示された加重予測を利用したビデオコーディング過程の具体的な実施形態を示すフローチャートである。
図2で前述したように加重予測因子αを計算するために原本フレームの現在ブロックのピクセル値x(i,j)の代わりに現在ブロックと同じ時間的位置にある基礎階層イメージのピクセル値z(i,j)を使用することによって別途にαを伝送しないこともできる。これのために本実施形態によるエンコーダは圧縮しようとする現在ブロックの予測イメージを図1で前述した従来の予測方法によって生成(S510)し、現在フレームと同一な時間的位置にある基礎階層フレームの対応イメージのピクセル値(z(i,j))と予測イメージのピクセル値(y(i,j))を利用して加重予測因子αを計算(S520)する。
本実施形態で加重予測因子αを計算する方法の一実施形態は＜数式６＞と同じである。予測イメージに加重予測因子を乗じて、より一層正確な予測のための加重予測イメージを生成(S530)した後、現在ブロックから加重予測イメージを差分し残差信号を生成(S540)しその残差信号を符号化(S550)する。
図6は図4に図示された加重予測を利用したビデオコーディング過程のまた他の具体的な実施形態を示すフローチャートである。
図3で前述した通り、オープンループを使用するビデオコーデックの場合、ドリフティングエラーによってエンコーダ側とデコーダ側の予測信号y(i,j)の値が異なるため、図5に図示されたビデオコーディング方法をそのまま使用するとデコーダで計算されるαとエンコーダで計算されるαの値が異なるようになる。したがってデコーダ端で復元されるビデオブロックの値に誤差が生じるようになる。これに本実施形態によるビデオコーディング方法は加重予測因子を計算する段階を次のように遂行する。
圧縮しようとする現在ブロックの予測イメージが現在階層の順方向フレームまたは逆方向フレームのうち少なくとも一つを利用して生成されたものである場合(S620のいいえ)、現在ブロックと時間的に同一な位置にある基礎階層イメージの順方向フレームまたは逆方向フレームから現在ブロックのモーションベクタと同一なモーションベクタが示す領域を探索し、予測イメージを生成した方法と同一な方法で基礎階層予測イメージを生成(S630)する。現在ブロックに対応する基礎階層イメージと基礎階層予測イメージを利用し、＜数式７＞によって加重予測因子αを計算する。反面、現在ブロックの予測イメージが基礎階層イメージから生成されたものである場合(S620のはい)、現在ブロックに対応する基礎階層イメージが基礎階層予測イメージとなり、＜数式７＞でu(i,j)の代わりにz(i,j)の値を使用する。
予測イメージに加重予測因子を乗じてより一層正確な予測を遂行するための加重予測イメージを生成(S650)した後、現在ブロックから加重予測イメージを差分した残差信号を符号化(S660)する。
図7は本発明の実施形態によるビデオデコーディング過程を示すフローチャートである。
本実施形態によるデコーダはエンコーダによって伝送されたビットストリームから復元しようとする現在ブロックの残差信号および現在ブロックの予測イメージを復元(S710)し、ビットストリームからエンコーダによって生成され伝送された加重予測因子を抽出(S720)する。本実施形態はエンコーダが加重予測因子を計算して、これをビットストリームに挿入して伝送する場合に使用され得るデコーダである。デコーダは抽出された加重予測因子を復元された予測イメージに乗じて加重予測イメージを生成(S730)し、加重予測イメージに復元された残差信号を加えることによって現在ブロックを復元(S740)する。
図8は図5のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。
本実施形態によるビデオデコーダはビットストリームから復元しようとする現在ブロックの残差信号および予測イメージを復元(S810)する。現在ブロックが位置した現在フレームと同一な時間的位置にある基礎階層フレームの対応イメージと復元された予測イメージの差異を最小化する加重予測因子を生成(S820)する。この時加重予測因子は＜数式６＞によって計算され得る。デコーダは加重予測因子を復元された予測イメージに乗じて加重予測イメージを生成(S830)し、加重予測イメージに復元された残差信号を加えることによって現在ブロックを復元(S840)する。
図9は図6のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。
本実施形態によるビデオデコーダはビットストリームから復元しようとする現在ブロックの残差信号および予測イメージを復元(S910)する。予測イメージが現在階層の参照フレームから生成された場合(S920のいいえ)、現在ブロックのモーションベクタをそのまま利用して現在ブロックに対応する基礎階層イメージの順方向フレームまたは逆方向フレームで基礎階層参照イメージを探索し、探索された基礎階層参照イメージを利用して現在ブロックの予測イメージを生成した方法と同一な方法で基礎階層予測イメージを生成(S930)する。一方、予測イメージが基礎階層フレームから生成された場合(S920のはい)、現在ブロックの基礎階層イメージをそのまま、または必要によってアップサンプリングして基礎階層予測イメージを生成(S935)する。現在ブロックに対応する基礎階層イメージと基礎階層予測イメージを利用して現在ブロックと予測イメージの差異を最小化する加重予測因子を生成(S940)する。すなわち、前述した＜数式７＞によって基礎階層イメージのピクセル値z(i,j)および基礎階層予測イメージのピクセル値u(i,j)を利用して加重予測因子を計算する。デコーダは加重予測因子を復元された予測イメージに乗じて加重予測イメージを生成(S950)し、加重予測イメージに復元された残差信号を加えることによって現在ブロックを復元(S960)する。
図10は従来の予測と本発明の実施形態による加重予測を選択的に実施するために必要な資料構造を示す図である。
前述した方法は基礎階層フレームと現在フレームが大きな差異がなく、既存の方法のとおり予測がうまくいかない場合に最も効果が大きい。したがって必要により既存の予測方法と本発明による加重予測方法を混用することも可能である。既存の予測方法と加重予測方法を混用する方法としてビットストリームに加重予測方法を使用するのかの可否を表すフラッグビットを挿入する方法がある。
図10に図示されたようにビットストリームに加重予測使用フラッグビットを挿入し、このビットが1ならばデコーダにて加重予測方法を使用するようにし、このビットが0ならば既存の予測方法を使用するようにできる。この時、加重予測使用フラッグビットの値は加重予測使用の可否を区分できる値であれば充分である。加重予測使用フラッグビットはフレームまたはスライス単位で挿入され得、マクロブロック単位で挿入され得る。
一方、フレームまたはスライスのヘッダーおよびマクロブロックのヘッダーすべてにフラッグビットを挿入してこのビットの組合せで予測方法を混合して使用するようにできる。例えばスライスヘッダーのフラッグ値が0であればフレーム全体に既存の予測方法を使用し、スライスヘッダーのフラッグ値が1であればフレーム全体に加重予測方法を使用し、スライスヘッダーのフラッグ値が2であればマクロブロックのフラッグ値により既存の予測方法と加重予測方法を混合してしようするようにできる。
一方、Y、U、V成分別に既存の予測方法と加重予測方法のうち一つを選択することができるようにすることもできる。この場合加重予測使用フラッグを3ビットで表現し各ビットが色空間(Color space)の各成分に対する加重予測の使用の可否を表すようにすることができる。
前述した加重予測を利用したビデオコーディングの概念は残差予測(Residual prediction)にも適用され得る。残差予測は多階層構造で二つの階層間モーションベクタが類似する場合に二つの階層で発生する残差信号も類似するということを利用した技法であって、現在階層の原本信号をO2、現在階層の予測信号をP2、現在階層の残差信号をR2、基礎階層の原本信号をO1、基礎階層の予測信号をP1、基礎階層の残差信号をR1だとすれば、各階層の残差信号は次のように表現することができる。
R2=O2-P2
R1=O1-P1
この時、R1は基礎階層で量子化およびコーディングされた信号であり、現在階層ではR2の代わりにR2-R1を量子化することによって圧縮効率を向上させる。この処理はマクロブロック、あるいはサブブロック単位でその適用の可否を決定し適応的に使用することができる。
加重予測を利用したビデオコーディングの場合にはP1、P2の代わりに原本信号から加重予測因子が乗じられた値を差分した値を得るようになる。したがって各階層の残差信号は次の＜数式８＞および＜数式９＞のように表現され得る。
ここでα、βは各階層のブロックの加重予測因子である。
この場合R1とR2間の類似性が低下するため残差予測の性能が低下する恐れがある。したがってこの場合R2-Rの1代わりにR2と類似する信号をO1、P1、α、βを利用して生成した後、これをR2から引いた値をコーディングすることができる。すなわち、R2と類似する信号をR1'とすれば次の＜数式１０＞のように使うことができる。
＜数式９＞をP1に対して整理した後、＜数式１０＞に代入すれば次の＜数式１１＞を得る。
すなわち、現在階層ではR2-R1をコーディングする代わりに、R2-R1'=R2-((1-α/β)O1 +α/βR1)をコーディングすることができる。この場合、加重予測を使用せず既存の予測方法を使用する場合は各階層の加重予測因子がすべて1であるケースに該当するであろう。
図11は本発明の実施形態によるビデオエンコーダ１１００の構成を示すブロック図である。
本実施形態によるビデオエンコーダ１１００は単一階層エンコーダで構成され得るが、基礎階層エンコーダ１１１０と向上階層エンコーダ1150で構成された場合を中心に説明するようにする。
向上階層エンコーダ1150は空間的変換部1152、量子化部1154、エントロピ符号化部1156、モーション推定部1164、モーション補償部1166、選択部1168、加重予測因子生成部1170、加重予測イメージ生成部1172、逆量子化部1158、逆空間的変換部1160を含み構成され得る。
選択部1168は基礎階層予測、順方向予測、逆方向予測、および両方向予測のうちで有利な予測方法を選択する。このような選択はマクロブロック単位でなされるのが好ましいが、これに限られずフレーム単位、またはスライス(slice)単位でなされ得もする。これのために選択部1168は基礎階層エンコーダ１１１０のアップサンプラ1136から対応する基礎階層フレームの提供を受け、加算器1162から時間的予測によってエンコーディングされた後、復元されたフレームの提供を受ける。
加重予測因子生成部1170は原本フレームおよび、選択部1168から予測フレームの提供を受け＜数式５＞によって加重予測因子を生成し、加重予測因子を加重予測イメージ生成部1172およびエントロピ符号化部1156に提供する。
加重予測イメージ生成部1172はモーション補償部1166から提供を受けた現在ブロックの予測イメージに加重予測因子生成部1170から伝達された加重予測因子を乗じて加重予測イメージを生成する。
モーション推定部1164は入力ビデオフレーム中で、参照フレームを基準として現在フレームのモーション推定を遂行してモーションベクタを求める。モーション推定部1164はモーション推定結果、求められたモーションベクタ、モーションブロックの大きさ、参照フレーム番号などのモーションデータをエントロピ符号化部1156に提供する。
モーション補償部1166は前記入力ビデオフレームの時間的重複性を減少させる。この場合モーション補償部1166は前記モーション推定部1164で計算されたモーションベクタを利用して参照フレームに対してモーション補償(motion compensation)を遂行することによって現在フレームに対する時間的予測フレームを生成する。
差分器1174は現在フレームと前記時間的予測フレームを差分することによってビデオの時間的重複性を除去する。
空間的変換部1152は差分器1174によって、時間的重複性が除去されたフレームに対して、空間的スケーラビリティを支援する空間的変換法を使用し、空間的重複性を除去する。このような空間的変換法としては主にDCT(Discrete Cosine Transform)、ウエーブレット変換(wavelet transform)等が使用されている。
量子化部1154は空間的変換部1152で求めた変換係数を量子化する。量子化(quantization)とは、任意の実数値（real number）で表現される前記変換係数を一定区間で分割し、不連続的な値(discrete value)で表し、これを所定のインデックスによってマッチング(matching)させる作業を意味する。
エントロピ符号化部1156は量子化部1154によって量子化された変換係数と、モーション推定部1164によって提供されるモーションデータおよび加重予測因子生成部1170から提供される加重予測因子を無損失符号化して出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化(arithmetic coding)、可変長符号化(variable length coding)等が使用され得る。
ビデオエンコーダ１１００がエンコーダ端とデコーダ端間のドリフトエラー(drifting error)を減少させるためにクローズループビデオエンコーディングを支援する場合には、逆量子化部1158、逆空間的変換部1160等をさらに含み得る。
逆量子化部1158は量子化部1154で量子化された係数を逆量子化する。このような逆量子化過程は量子化過程の逆に該当する過程である。
逆空間的変換部1160は前記逆量子化結果を逆空間的変換してこれを加算器1162に提供する。
加算器1162は逆空間的変換部11166から提供される残差フレームと、モーション補償部1166から提供され、フレームバッファ(未図示)に保存された以前フレームを加算して、ビデオフレームを復元し、復元されたビデオフレームをモーション推定部1164に参照フレームとして提供する。
一方、基礎階層エンコーダ１１１０は空間的変換部1112、量子化部1114、エントロピ符号化部1116、モーション推定部1124、モーション補償部1126、加重予測因子生成部1128、加重予測イメージ生成部１１３０、逆量子化部1118、逆空間的変換部１１２０、ダウンサンプラ1134、およびアップサンプラ1136を含み構成され得る。アップサンプラ1136は概念上、基礎階層エンコーダ１１１０に含まれるものであったが、ビデオエンコーダ１１００内のどこに存在してもさしつかえない。
ダウンサンプラ1134は原入力フレームを基礎階層の解像度でダウンサンプリング(down-sampling)する。ただし、これは向上階層の解像度と基礎階層の解像度が互いに異なることを前提とするもので、もし両階層の解像度が互いに同じならばダウンサンプリング過程は省略し得る。
アップサンプラ1136は加算器1122から出力される信号、すなわち復元されたビデオフレームを必要時にアップサンプリングして向上階層エンコーダ1150の選択部1168に提供する。もちろん、向上階層の解像度と基礎階層の解像度が同一であればアップサンプラ1136は使用しなくともよい。
これ以外に空間的変換部1112、量子化部1114、エントロピ符号化部1116、モーション推定部1164、モーション補償部1166、加重予測因子生成部1168、加重予測イメージ生成部1170、逆量子化部1118、逆空間的変換部１１２０の動作は向上階層に存在する同一名称の構成要素と同様であるため重複する説明は省略する。
図12は図11のエンコーダに対応するデコーダ1200の構成を示すブロック図である。
本実施形態によるビデオデコーダ1200は単一階層デコーダで構成され得るが、基礎階層デコーダ1210と向上階層デコーダ1250で構成された場合を中心に説明する。
向上階層デコーダ1250はエントロピ復号化部1255、逆量子化部1260、逆空間的変換部1265、モーション補償部1270および加重予測イメージ生成部1275を含み構成され得る。
エントロピ復号化部1255はエントロピ符号化方式の逆に無損失復号化を遂行し、加重予測因子、モーションデータ、およびテクスチャデータを抽出する。そして、テクスチャ情報は逆量子化部1260に提供し、モーションデータはモーション補償部1270に提供し、加重予測因子は加重予測イメージ生成部1275に提供する。
逆量子化部1260はエントロピ復号化部1255から伝達されたテクスチャ情報を逆量子化する。逆量子化過程はエンコーダ１１００端で所定のインデックスで表現し伝達した値からこれとマッチングされる量子化された係数を探す過程である。
インデックスと量子化係数間のマッチング(matching)関係を表すテーブルはエンコーダ１１００端から伝達され得、あらかじめエンコーダとデコーダ間の約束によったものであり得る。
逆空間的変換部1265は空間的変換を逆に遂行し、前記逆量子化の結果、生成された係数を空間的領域での残差イメージに復元する。例えば、ビデオエンコーダ端でウエーブレット方式で空間的変換された場合には逆空間的変換部1265は逆ウエーブレット変換を遂行するもので、ビデオエンコーダ端でDCT方式で空間的変換された場合には逆DCT変換を遂行するであろう。
モーション補償部1270はエントロピ復号化部1255から提供されるモーションデータを利用して既復元されたビデオフレームをモーション補償してモーション補償フレームを生成する。もちろん、このようにモーション補償過程は現在フレームがエンコーダ端で時間的予測過程によって符号化された場合に限って適用される。
加重予測イメージ生成部1275はエントロピ復号化部1255から加重予測因子の提供を受け、モーション補償部1270または基礎階層のアップサンプラ1245から復元された予測フレームの提供を受け予測フレームに加重予測因子を乗じて加重予測イメージを生成する。
加算器1280は逆空間的変換部で復元される残差イメージが時間的予測によって生成されたものである時には、前記残余イメージと加重予測イメージ生成部1275から提供されている加重予測イメージを加算してビデオフレームを復元する。
一方、基礎階層デコーダ1210はエントロピ復号化部1215、逆量子化部1220、逆空間的変換部1225、モーション補償部1230、加重予測イメージ生成部1235、およびアップサンプラ1245を含み構成され得る。
アップサンプラ1245は基礎階層デコーダ1210で復元される基礎階層イメージを向上階層の解像度でアップサンプリングして加重予測イメージ生成部1275に提供する。もちろん、基礎階層の解像度と向上階層の解像度が同じならばこのようなアップサンプリング過程は省略し得る。
これ以外に、エントロピ復号化部1215、逆量子化部1220、逆空間的変換部1225、モーション補償部1230、加重予測イメージ生成部1235の動作は向上階層に存在する同一名称の構成要素と同様であるため重複する説明は省略する。
図13は本発明の実施形態による他のエンコーダの構成を示すブロック図である。
本実施形態によるエンコーダは図5に図示されたエンコーディング方法を遂行する手段であって、大きく分けて基礎階層エンコーダ1310および向上階層エンコーダ1350で構成され得る。
向上階層エンコーダ1350は空間的変換部1352、量子化部1354、エントロピ符号化部1356、モーション推定部1364、モーション補償部1366、選択部1368、加重予測因子生成部1370、加重予測イメージ生成部1372、逆量子化部1358、逆空間的変換部1360を含み構成され得る。
加重予測因子生成部1370は選択部1368から現在ブロックの予測イメージの提供を受け、基礎階層エンコーダ1310のアップサンプラ1332から現在ブロックに対応する基礎階層イメージの提供を受け＜数式６＞によって加重予測因子αを計算する。加重予測イメージ生成部1372はモーション補償部1366から提供を受けた現在ブロックの予測イメージに加重予測因子生成部1370から伝達された加重予測因子を乗じて加重予測イメージを生成する。
一方、基礎階層エンコーダ1310は、空間的変換部1312、量子化部1314、エントロピ符号化部1316、モーション推定部1324、モーション補償部1326、逆量子化部1318、逆空間的変換部1320、ダウンサンプラ1330、およびアップサンプラ1332を含み構成され得る。
アップサンプラ1332は加算器1322から出力される信号、すなわち復元されたビデオフレームを必要時にアップサンプリングして向上階層エンコーダ1350の選択部1368と加重予測因子生成部1370に提供する。もちろん、向上階層の解像度と基礎階層の解像度が同一であるならばアップサンプラ1332は使用されないこともある。
これ以外に空間的変換部1312、1352、量子化部1314、1354、エントロピ符号化部1316、1356、モーション推定部1324、1364、モーション補償部1326、1366、加重予測イメージ生成部1170、逆量子化部1318、1358、逆空間的変換部1320、1360の動作は図11に図示されたエンコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
図14は図13のエンコーダに対応するデコーダの構成を示すブロック図である。
本実施形態によるビデオデコーダ1400は、大きく分けて基礎階層デコーダ11415と向上階層デコーダ11430を含み構成され得る。
向上階層デコーダ11430は、エントロピ復号化部1455、逆量子化部11440、逆空間的変換部1465、モーション補償部1470、加重予測因子生成部1475、および加重予測イメージ生成部1480を含み構成され得る。
加重予測因子生成部1475は、図14に図示されたエンコーダの加重予測因子生成部1370と同一な方法で加重予測因子を計算する。すなわち、モーション補償部1470から復元された予測イメージの提供を受け、基礎階層デコーダ1410のアップサンプラ1440から現在ブロックに対応する基礎階層イメージの提供を受けて＜数式６＞により加重予測因子αを計算する。加重予測イメージ生成部1480は、加重予測因子生成部1475によって、モーション補償部1470から提供を受けた現在ブロックの予測イメージに加重予測因子生成部1475から提供を受けた加重予測因子を乗じて加重予測イメージを生成する。
加算器1485は、逆空間的変換部1465で復元される残差イメージが時間的予測によって生成されたものである時には、残差イメージと加重予測イメージ生成部1480から提供される加重予測イメージを加算してビデオフレームを復元する。
一方、基礎階層デコーダ1410はエントロピ復号化部1415、逆量子化部1420、逆空間的変換部1425、モーション補償部1430、およびアップサンプラ1440を含み構成され得る。
エントロピ復号化部1415、1455、逆量子化部1420、1460、逆空間的変換部1425、1465、モーション補償部1430、1470、およびアップサンプラ1440の動作は図12に図示されたビデオデコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
図15は本発明による加重予測を利用したビデオエンコーダのまた他の実施形態を示すブロック図である。
本実施形態によるビデオエンコーダ１５００は、図6に図示されたエンコーディング方法を遂行する一実施形態である。ビデオエンコーダ１５００は、大きく分けて基礎階層エンコーダ1510と向上階層エンコーダ1550を含む。
向上階層エンコーダ1550は、空間的変換部1552、量子化部1554、エントロピ符号化部1556、モーション推定部1560、モーション補償部1562、選択部1564、加重予測イメージ生成部1566を含み構成され得る。
加重予測イメージ生成部1566は、選択部1564から提供を受けた現在ブロックの予測イメージに基礎階層エンコーダ1510の加重予測因子生成部1520から伝達された加重予測因子を乗じて加重予測イメージを生成する。
一方、基礎階層エンコーダ1510は空間的変換部1522、量子化部1524、エントロピ符号化部1526、モーション推定部1514、モーション補償部1516、加重予測因子生成部1520、ダウンサンプラ1512、およびアップサンプラ1528を含み構成され得る。加重予測因子生成部1520およびアップサンプラ1528は概念上、基礎階層エンコーダ1510に含まれるものとしたが、ビデオエンコーダ１５００内のどこに存在してもさしつかえない。
加重予測因子生成部1520は、向上階層エンコーダ1550のモーション推定部1560からモーションベクタの提供を受けてダウンサンプラ1512から提供を受けた基礎階層フレームで基礎階層参照イメージを探索し、向上階層で生成された予測イメージと同一な方法で基礎階層参照イメージを利用して基礎階層予測イメージを生成する。加重予測因子生成部1520は基礎階層イメージと基礎階層予測イメージを利用して＜数式７＞によって加重予測因子αを計算し、加重予測因子αを向上階層エンコーダ1550の加重予測イメージ生成部1566に提供する。
これ以外に空間的変換部1522、1552、量子化部1524、1554、エントロピ符号化部1526、1556、モーション推定部1514、1560、モーション補償部1516、1562、選択部1564、ダウンサンプラ1512、アップサンプラ1528の動作は図11に図示されたエンコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
図16は図15のエンコーダに対応するデコーダの構成を示すブロック図である。
本実施形態によるビデオデコーダ1600は、大きく分けて基礎階層デコーダ1610と向上階層デコーダ1650を含み構成され得る。
向上階層デコーダ1650は、エントロピ復号化部1655、逆量子化部1660、逆空間的変換部1665、モーション補償部1670、および加重予測イメージ生成部1675を含み構成され得る。
加重予測イメージ生成部1675はモーション補償部1670から提供を受けた現在ブロックの復元された予測イメージに基礎階層デコーダ1610の加重予測因子生成部1640から伝達された加重予測因子を乗じて加重予測イメージを生成する。
加算器1680は、逆空間的変換部で復元される残差イメージが時間的予測によって生成されたものである時には、残差イメージと加重予測イメージ生成部1675から提供を受けた加重予測イメージを加算してビデオフレームを復元する。
一方、基礎階層デコーダ1610はエントロピ復号化部1615、逆量子化部1620、逆空間的変換部1625、モーション補償部1635、加重予測因子生成部1640、およびアップサンプラ1645を含み構成され得る。
加重予測因子生成部1640は図15に図示されたエンコーダの加重予測因子生成部1520と同一な方法で加重予測因子を計算する。すなわち、向上階層デコーダ1650のエントロピ復号化部1655からモーションベクタの提供を受けて加算器1630から提起された復元された基礎階層フレームで基礎階層参照イメージを探索し、向上階層で生成された予測イメージと同一な方法で基礎階層参照イメージを利用して基礎階層予測イメージを生成する。加重予測因子生成部1640は基礎階層イメージと基礎階層予測イメージを利用して＜数式７＞によって加重予測因子αを計算し、加重予測因子αを向上階層エンコーダ1650の加重予測イメージ生成部1675に提供する。
エントロピ復号化部1615、1655、逆量子化部1620、1660、逆空間的変換部1625、1665、モーション補償部1635、1670、およびアップサンプラ1645の動作は図12に図示されたビデオデコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
今まで、図11ないし図16では他の識別番号を有しつつ、同一な名称を有する構成要素が複数個存在するものとして説明したが、特定名称を有する一つの構成要素が基礎階層および向上階層での動作をすべて処理するものと説明できることは当業者には自明な事実である。
また、図11ないし図16の各構成要素はソフトウェア(software)または、FPGA(field-programmable gate array)やASIC(application-specific integrated circuit)のようなハードウェア(hardware)を意味し得る。しかし、前記構成要素はソフトウェアまたはハードウェアに限定される意味ではなく、アドレッシング(addressing)できる保存媒体にあるように構成され得ることもできて、またはそれ以上のプロセッサを実行させるように構成され得る。
前記構成要素中で提供されている機能はさらに細分化された構成要素によって具現され、複数の構成要素を合わせて、特定の機能を遂行するものと具現することもできる。そればかりでなく、前記構成要素はシステム内の一つまたはそれ以上のコンピュータを実行させるように具現され得る。
以上添付された図面を参照し、本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態として実施され得るということを理解するはずである。
したがって以上で記述した実施形態はすべての面で例示的なものであり、限定的ではないものと理解しなければならない。
1300 ビデオエンコーダ
1310 基礎階層エンコーダ
1312、1352 空間的変換部
1314、1354 量子化部
1316、1356 エントロピ符号化部
1318、1358 逆量子化部
1320、1360 逆空間的変換部
1324、1364 モーション推定部
1326、1366 モーション補償部
1330 ダウンサンプラ
1332 アップサンプラ
1350 向上階層エンコーダ
1368 選択部
1370 加重予測因子生成部
1372 加重予測イメージ生成部

Claims (21)

  1. エンコーダが現在ブロックに対する予測イメージを生成する段階と、
    前記エンコーダが前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を生成する段階と、
    前記エンコーダが前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を生成する段階と、
    前記エンコーダが前記現在ブロックから前記加重予測イメージを差分し残差信号を生成する段階、および
    前記エンコーダが前記残差信号を符号化する段階を含み、
    前記加重予測因子を生成する段階は、
    前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する段階を含む
    ことを特徴とするビデオコーディング方法。
  2. 前記加重予測因子を生成する段階は
    前記現在ブロックの各ピクセル値と前記予測イメージの各ピクセル値に前記加重予測因子を乗じた値の平均２乗誤差（Ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）が最小化されるようにする前記加重予測因子を生成する段階を含む請求項１に記載のビデオコーディング方法。
  3. 前記加重予測因子を生成する段階は
    前記現在ブロックに対応する基礎階層イメージと前記予測イメージの差異が最小化されるようにする前記加重予測因子を計算する段階を含む請求項１に記載のビデオコーディング方法。
  4. 前記加重予測因子は
    数学式
    によって計算され、前記ｙ（ｉ，ｊ）は前記予測イメージのピクセル値であり、前記ｚ（ｉ，ｊ）は前記基礎階層イメージのピクセル値である請求項３に記載のビデオコーディング方法。
  5. 前記加重予測因子を生成する段階は
    前記現在ブロックのモーションベクタを使用して前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する段階を含む請求項１に記載のビデオコーディング方法。
  6. 前記加重予測因子は
    前記加重予測因子を数学式
    によって計算されるが、前記ｚ（ｉ，ｊ）は前記基礎階層イメージのピクセル値であり、前記ｕ（ｉ，ｊ）は前記基礎階層予測イメージのピクセル値である請求項５に記載のビデオコーディング方法。
  7. 前記残差信号を符号化する段階は
    前記現在ブロックに対応する基礎階層イメージから前記基礎階層イメージの予測イメージと前記加重予測因子との積を差分した値と前記現在ブロックの残差信号の差異を符号化する段階を含む請求項１に記載のビデオコーディング方法。
  8. エンコーダが現在ブロックに対する予測イメージを生成する段階と、
    前記エンコーダが前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を生成する段階と、
    前記エンコーダが前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を生成する段階と、
    前記エンコーダが前記予測イメージまたは前記加重予測イメージのうち前記現在ブロックの圧縮性能を高めるイメージを選択する段階と、
    前記エンコーダが前記現在ブロックから前記選択されたイメージを差分し残差信号を生成する段階と、
    前記エンコーダが前記残差信号を符号化する段階、および
    前記エンコーダが前記選択結果によって加重予測の使用の可否を表す情報を挿入する段階を含み、
    前記加重予測因子を生成する段階は、
    前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する段階を含む
    ことを特徴とするビデオコーディング方法。
  9. 前記現在ブロックの圧縮性能を高めるイメージを選択する段階は
    前記予測イメージまたは前記加重予測イメージのうちレート歪み（Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）が小さいイメージを選択する段階を含む請求項８に記載のビデオコーディング方法。
  10. 前記加重予測の使用の可否を表す情報は
    スライスのヘッダーまたはマクロブロックのヘッダーのうち少なくとも一つに挿入される請求項８に記載のビデオコーディング方法。
  11. 前記加重予測の使用の可否を表す情報は
    輝度成分と色差成分別に前記加重予測の使用の可否を表す請求項８に記載のビデオコーディング方法。
  12. 現在ブロックに対する予測イメージを生成する手段と、
    前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を生成する手段と、
    前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を生成する手段と、
    前記現在ブロックから前記加重予測イメージを差分し残差信号を生成する手段、および前記残差信号を符号化する手段を含み、
    前記加重予測因子を生成する手段は
    前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する手段、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する手段を含む
    ことを特徴とするビデオエンコーダ。
  13. 前記加重予測因子を生成する手段は
    前記現在ブロックの各ピクセル値と前記予測イメージの各ピクセル値に前記加重予測因子を乗じた値の平均２乗誤差（Ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）が最小化されるようにする前記加重予測因子を生成する手段である請求項１２に記載のビデオエンコーダ。
  14. 前記加重予測因子を生成する手段は
    前記現在ブロックに対応する基礎階層イメージと前記予測イメージの差異が最小化されるようにする前記加重予測因子を計算する手段である請求項１２に記載のビデオエンコーダ。
  15. 前記残差信号を符号化する手段は
    前記現在ブロックの残差信号と、前記現在ブロックに対応する基礎階層イメージから前記基礎階層イメージの予測イメージと前記加重予測因子の積を差分した値の差分を符号化する請求項１２に記載のビデオエンコーダ。
  16. 現在ブロックに対する予測イメージを生成する手段と、
    前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を生成する手段と、
    前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を生成する手段と、
    前記予測イメージまたは前記加重予測イメージのうち前記現在ブロックの圧縮性能を高めるイメージを選択する手段と、
    前記現在ブロックから前記選択されたイメージを差分し残差信号を生成する手段と、前記残差信号を符号化する手段、および
    前記選択結果により加重予測の使用の可否を表す情報を挿入する手段を含み、
    前記加重予測因子を生成する手段は
    前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する手段、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する手段を含む
    ことを特徴とするビデオエンコーダ。
  17. 前記現在ブロックの圧縮性能を高めるイメージを選択する手段は
    前記予測イメージまたは前記加重予測イメージのうちレート歪み（Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）が小さいイメージを選択する請求項１６に記載のビデオエンコーダ。
  18. 前記加重予測の使用の可否を表す情報は
    スライスのヘッダーまたはマクロブロックのヘッダー中少なくとも一つに挿入される請求項１６に記載のビデオエンコーダ。
  19. 前記加重予測の使用の可否を表す情報は
    輝度成分と色差成分のそれぞれに対する前記加重予測の使用の可否を表す請求項１６に記載のビデオエンコーダ。
  20. ビデオコーディング方法を実行するためのコンピュータで判読可能なプログラムが記録された記録媒体において、前記ビデオコーディング方法は
    前記コンピュータが、現在ブロックに対する予測イメージを生成する段階と、
    前記コンピュータが、前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を生成する段階と、
    前記コンピュータが、前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を生成する段階と、
    前記コンピュータが、前記現在ブロックから前記加重予測イメージを差分し残差信号を生成する段階、および
    前記コンピュータが、前記残差信号を符号化する段階を含み、
    前記加重予測因子を生成する段階は、
    前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する段階を含む
    ことを特徴とする記録媒体。
  21. ビデオコーディング方法を実行するためのコンピュータで判読可能なプログラムが記録された記録媒体において、前記ビデオコーディング方法は
    前記コンピュータが、現在ブロックに対する予測イメージを生成する段階と、
    前記コンピュータが、前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を生成する段階と、
    前記コンピュータが、前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｉｍａｇｅ）を生成する段階と、
    前記コンピュータが、前記予測イメージまたは前記加重予測イメージのうち前記現在ブロックの圧縮性能を高めるイメージを選択する段階と、
    前記コンピュータが、前記現在ブロックから前記選択されたイメージを差分し残差信号を生成する段階と、
    前記残差信号を符号化する段階、および
    前記コンピュータが、前記選択結果により加重予測の使用の可否を表す情報を挿入する段階を含み、
    前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
    前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ｆａｃｔｏｒ）を計算する段階を含む
    ことを特徴とする記録媒体。
JP2011204656A 2005-03-25 2011-09-20 加重予測を利用したビデオコーディング方法、このための装置 Expired - Fee Related JP5318170B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US66496105P 2005-03-25 2005-03-25
US60/664,961 2005-03-25
KR10-2005-0040236 2005-05-13
KR1020050040236A KR100703770B1 (ko) 2005-03-25 2005-05-13 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008502915A Division JP4870746B2 (ja) 2005-03-25 2006-03-23 ビデオデコーディング方法、ビデオコーダ及び記録媒体

Publications (2)

Publication Number Publication Date
JP2011254555A JP2011254555A (ja) 2011-12-15
JP5318170B2 true JP5318170B2 (ja) 2013-10-16

Family

ID=37623319

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008502915A Expired - Fee Related JP4870746B2 (ja) 2005-03-25 2006-03-23 ビデオデコーディング方法、ビデオコーダ及び記録媒体
JP2011204656A Expired - Fee Related JP5318170B2 (ja) 2005-03-25 2011-09-20 加重予測を利用したビデオコーディング方法、このための装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008502915A Expired - Fee Related JP4870746B2 (ja) 2005-03-25 2006-03-23 ビデオデコーディング方法、ビデオコーダ及び記録媒体

Country Status (6)

Country Link
US (2) US8005137B2 (ja)
EP (1) EP2712202A1 (ja)
JP (2) JP4870746B2 (ja)
KR (1) KR100703770B1 (ja)
CN (1) CN101147401B (ja)
RU (2) RU2479939C2 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535479B2 (ja) * 2005-07-21 2014-07-02 トムソン ライセンシング スケーラブルビデオコーディングのための重み付け予測方法及び装置
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
US8189934B2 (en) * 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
US9332274B2 (en) * 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
EP2119236A1 (en) * 2007-03-15 2009-11-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
KR101103724B1 (ko) * 2007-07-02 2012-01-11 니폰덴신뎅와 가부시키가이샤 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US20100098156A1 (en) * 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
WO2010050152A1 (ja) 2008-10-27 2010-05-06 日本電信電話株式会社 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体
US8774559B2 (en) 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
BRPI1014257B1 (pt) * 2009-04-08 2021-03-09 Sharp Kabushiki Kaisha aparelho de codificação de vídeo e aparelho de decodificação de vídeo
MX2011013861A (es) * 2009-06-19 2012-02-13 Mitsubishi Electric Corp Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2011050641A1 (en) * 2009-10-28 2011-05-05 Mediatek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
WO2011087963A1 (en) 2010-01-15 2011-07-21 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
KR101051564B1 (ko) * 2010-04-12 2011-07-22 아주대학교산학협력단 에이치닷264에이브이씨 코덱 시스템의 가중치 예측방법
KR101791158B1 (ko) * 2010-07-16 2017-10-27 한국전자통신연구원 계층적 가변 블록 변환이 가능한 부호화 방법 및 장치 그리고 복호화 방법 및 장치
JP2012034213A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 画像処理装置、画像処理システムおよび画像処理方法
EP4250732B1 (en) 2011-01-07 2024-03-20 Nokia Technologies Oy Motion prediction in video coding
CN103339940B (zh) * 2011-03-09 2016-08-10 株式会社东芝 运动图像编码方法以及运动图像解码方法
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8768082B2 (en) 2011-06-22 2014-07-01 Blackberry Limited Compressing image data
US8837582B2 (en) * 2011-06-22 2014-09-16 Blackberry Limited Compressing image data
SG10201709427VA (en) 2011-07-01 2017-12-28 Samsung Electronics Co Ltd Method And Apparatus For Entropy Encoding Using Hierarchical Data Unit, And Method And Apparatus For Decoding
GB2559226B (en) * 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
SE1850140A2 (sv) * 2011-09-23 2018-12-11 Kt Corp Förfarande för att utse ett kandidatblock för fusion samt en anordning för tillämpning av detta förfarande
RU2646308C1 (ru) * 2011-10-17 2018-03-02 Кт Корпорейшен Способ декодирования видеосигнала
US9560384B2 (en) 2011-10-17 2017-01-31 Kt Corporation Method and apparatus for encoding/decoding image
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
ES2907510T3 (es) 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US20130329806A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Bi-layer texture prediction for video coding
US10536710B2 (en) 2012-06-27 2020-01-14 Intel Corporation Cross-layer cross-channel residual prediction
CN115065823A (zh) * 2012-07-02 2022-09-16 韩国电子通信研究院 视频编码/解码方法和非暂时性计算机可读记录介质
MY172999A (en) 2012-07-09 2019-12-18 Vid Scale Inc Codec architecture for multiple layer video coding
US9516309B2 (en) * 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9641836B2 (en) * 2012-08-07 2017-05-02 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
EP2904803A1 (en) * 2012-10-01 2015-08-12 GE Video Compression, LLC Scalable video coding using derivation of subblock subdivision for prediction from base layer
KR20150079742A (ko) * 2012-12-28 2015-07-08 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
JP5952733B2 (ja) * 2012-12-28 2016-07-13 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
KR101361317B1 (ko) 2013-02-01 2014-02-11 오철욱 동영상 구간 저장 시스템 및 그 방법
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10148971B2 (en) 2013-09-24 2018-12-04 Vid Scale, Inc. Inter-layer prediction for scalable video coding
CN105793847B (zh) * 2013-10-09 2019-12-10 瑞典爱立信有限公司 用于管理数字视频压缩系统的装备和方法
US9513629B1 (en) * 2015-10-30 2016-12-06 Sony Mobile Communications, Inc. Methods and devices for heart rate controlled drones
RU2646358C2 (ru) * 2016-04-07 2018-03-02 Николай Дмитриевич Егоров Способ устранения избыточности при сжатии последовательности изображений
GB2552353B (en) 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
GB2554065B (en) 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
CN110121073B (zh) * 2018-02-06 2021-07-09 浙江大学 一种双向帧间预测方法及装置
CN111246211B (zh) * 2020-02-04 2021-11-16 中国联合网络通信集团有限公司 编码方法、解码方法、装置、设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW297202B (ja) * 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
JP3787650B2 (ja) 1995-09-08 2006-06-21 ソニー株式会社 デイジタル画像信号符号化装置及び方法、符号化画像信号復号装置及び方法
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
JP3224514B2 (ja) 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
JP3676525B2 (ja) * 1996-10-30 2005-07-27 日本ビクター株式会社 動画像符号化復号化装置及びその方法
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
JP2005506815A (ja) 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
US6904092B2 (en) * 2002-02-21 2005-06-07 Koninklijke Philips Electronics N.V. Minimizing drift in motion-compensation fine granular scalable structures
DE10209048A1 (de) 2002-03-01 2003-09-18 Siemens Ag Verfahren zur Signalisierung von Diensteanforderungen in heterogenen Netzen
TWI273832B (en) * 2002-04-26 2007-02-11 Ntt Docomo Inc Image encoding device, image decoding device, image encoding method, image decoding method, image decoding program and image decoding program
US7376186B2 (en) 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
KR101011121B1 (ko) 2002-10-01 2011-01-25 파나소닉 주식회사 화상 복호화 장치 및 그 방법
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
KR20040095399A (ko) * 2003-04-28 2004-11-15 삼성전자주식회사 가중 예측에서의 가중요소 결정방법
EP3787294B1 (en) 2003-07-24 2022-06-15 Nippon Telegraph And Telephone Corporation Image decoding method with hierarchical reference picture selection
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
US7944169B2 (en) * 2004-03-31 2011-05-17 Tsukasa Shirai Solar-panel apparatus for a vehicle
US7515637B2 (en) * 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种基于上下文的多码表变长编解码方法及编解码装置

Also Published As

Publication number Publication date
CN101147401A (zh) 2008-03-19
US8005137B2 (en) 2011-08-23
RU2008113772A (ru) 2009-10-20
CN101147401B (zh) 2010-06-16
EP2712202A1 (en) 2014-03-26
US8396123B2 (en) 2013-03-12
KR20060103057A (ko) 2006-09-28
KR100703770B1 (ko) 2007-04-06
US20060215762A1 (en) 2006-09-28
US20120063512A1 (en) 2012-03-15
JP4870746B2 (ja) 2012-02-08
JP2008535310A (ja) 2008-08-28
RU2341035C1 (ru) 2008-12-10
JP2011254555A (ja) 2011-12-15
RU2479939C2 (ru) 2013-04-20

Similar Documents

Publication Publication Date Title
JP5318170B2 (ja) 加重予測を利用したビデオコーディング方法、このための装置
JP5547394B2 (ja) 映像を階層的に符号化／復号化する方法及び装置
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP4891234B2 (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
KR100664929B1 (ko) 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100679025B1 (ko) 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR100763182B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100703748B1 (ko) 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
US20060176957A1 (en) Method and apparatus for compressing multi-layered motion vector
KR100703740B1 (ko) 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
US20070047644A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
US20060233250A1 (en) Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
JP2008522536A (ja) Ｄｃｔアップサンプリングを利用した多階層ビデオエンコーディング／デコーディング方法及び装置
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US20060165301A1 (en) Video coding method and apparatus for efficiently predicting unsynchronized frame
CA2600410C (en) Video coding and decoding method using weighted prediction and apparatus for the same
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
EP1847129A1 (en) Method and apparatus for compressing multi-layered motion vector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5318170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees