JP7123863B2 - 画像予測方法および関連装置 - Google Patents

画像予測方法および関連装置 Download PDF

Info

Publication number
JP7123863B2
JP7123863B2 JP2019114759A JP2019114759A JP7123863B2 JP 7123863 B2 JP7123863 B2 JP 7123863B2 JP 2019114759 A JP2019114759 A JP 2019114759A JP 2019114759 A JP2019114759 A JP 2019114759A JP 7123863 B2 JP7123863 B2 JP 7123863B2
Authority
JP
Japan
Prior art keywords
image block
pixel
current image
motion vector
pixel samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019114759A
Other languages
English (en)
Other versions
JP2019198092A (ja
Inventor
礼 李
厚▲強▼ 李
卓逸 ▲呂▼
四新 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Publication of JP2019198092A publication Critical patent/JP2019198092A/ja
Priority to JP2021121469A priority Critical patent/JP7252282B2/ja
Application granted granted Critical
Publication of JP7123863B2 publication Critical patent/JP7123863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本願は、2014年9月30日に中国特許庁に出願された「PICTURE PREDICTION METHOD AND RELATED APPARATUS」と題する中国特許出願第201410526608.8号の優先権を主張するものであり、引用によって上記中国特許出願の全文が本願に援用される。
本発明は画像処理技術分野に関し、具体的には画像予測方法および関連装置に関する。
光電式取得技術の開発と高精細デジタルビデオに対する要求の絶えざる高まりを受けてビデオデータの量はますます多くなっている。限りある異種伝送帯域幅と多様化したビデオ応用のため、ビデオ符号化効率に対する要求は絶えず高まっている。この要求を受けて高効率ビデオ符号化（英語：High Efficient Video Coding、略してHEVC）規格を策定する取り組みが始まっている。
ビデオ圧縮符号化の基本原理では空間領域と時間領域とコードワードとの相関を用いて余剰を可能な限り排除する。現在主流やり方ではブロックベースのハイブリッドビデオ符号化方式で予測（フレーム内予測とフレーム間予測とを含む）、変換、量子化、エントロピー符号化等のステップを遂行してビデオ圧縮符号化を実現する。この符号化方式は存立の見込みが高いため、HEVCでもこのブロックベースのハイブリッドビデオ符号化方式が引き続き採用されている。
様々なビデオ符号化／復号化ソリューションの中でも運動推定や運動補償は符号化／復号化効率を左右する重要な技術となっている。従来の様々なビデオ符号化／復号化ソリューションでは、物体の動きが常に並進運動に一致し、物体全体の全ての部分の動きが同じであると想定している。従来の運動推定アルゴリズムや運動補償アルゴリズムはどれも基本的には並進運動モデル（英語：translational motion model）に基づくブロック運動補償アルゴリズムである。しかし現実世界の動きは多様であり、拡大／縮小運動や回転運動や放物運動といった不規則な動きはいたるところにある。前世紀の80年代以降にビデオ符号化の専門家は不規則運動の普遍性を認識し、不規則運動モデル（アフィン運動モデル、回転運動モデル、拡大縮小運動モデル等の非並進運動モデル）を導入することでビデオ符号化効率を高めることを望んでいる。ただし、非並進運動モデルに基づいて遂行される従来の画像予測の計算複雑性は概してすこぶる高い。
本発明の実施形態は非並進運動モデルに基づく画像予測の計算複雑性を軽減するための画像予測方法および関連装置を提供する。
本発明の第1の態様は、画像予測方法を提供し、該画像予測方法は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するステップであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断するステップと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。
第1の態様を参照し、第1の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。
第1の態様の第1の可能な実装様態を参照し、第1の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
第1の態様の第2の可能な実装様態を参照し、第1の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。
第1の態様の第3の可能な実装様態を参照し、第1の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
第1の態様の第3の可能な実装様態または第1の態様の第4の可能な実装様態を参照し、第1の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
第1の態様、または第1の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第1の態様の第6の可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップは、
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含み、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。
第1の態様の第6の可能な実装様態を参照し、第1の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
第1の態様の第7の可能な実装様態を参照し、第1の態様の第8の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることを含む。
第1の態様の第6の可能な実装様態、または第1の態様の第7の可能な実装様態、または第1の態様の第8の可能な実装様態を参照し、第1の態様の第9の可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップは、
K個のピクセルサンプルの運動ベクトルを得るために、反復探索アルゴリズムに基づいて、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップを含む。
第1の態様、または第1の態様の第1から第9の可能な実装様態のいずれか1つ参照し、第1の態様の第10の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。
第1の態様、または第1の態様の第1から第10の可能な実装様態のいずれか1を参照し、第1の態様の第11の可能な実装様態において、
画像予測方法は、ビデオ符号化処理に応用され、または画像予測方法は、ビデオ復号化処理に応用される。
本発明の第2の態様は、画像予測装置を提供し、該画像予測装置は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニットであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニットと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニットとを含む。
第2の態様を参照し、第2の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。
第2の態様の第1の可能な実装様態を参照し、第2の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
第2の態様の第2の可能な実装様態を参照し、第2の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。
第2の態様の第3の可能な実装様態を参照し、第2の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
第2の態様の第3の可能な実装様態または第2の態様の第4の可能な実装様態を参照し、第2の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
第2の態様、または第2の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第2の態様の第6の可能な実装様態において、予測ユニットは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するように具体的に構成され、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。
第2の態様の第6の可能な実装様態を参照し、第2の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
第2の態様の第7の可能な実装様態を参照し、第2の態様の第8の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、予測ユニットは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように具体的に構成される。
第2の態様、または第2の態様の第1から第8の可能な実装形態を参照し、第2の態様の第9の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。
第2の態様、または第2の態様の第1から第9の可能な実装様態のいずれか1つを参照し、第2の態様の第10の可能な実装様態において、画像予測装置は、ビデオ符号化装置に応用され、または画像予測装置は、ビデオ復号化装置に応用される。
本発明の実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
本発明の一実施形態によるフレーム内予測に対応する予測単位分割様態の概略図である。 本発明の一実施形態によるフレーム間予測に対応する数通りの予測単位分割様態の概略図である。 本発明の一実施形態による画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの別の概略図である。 本発明の一実施形態による現在の画像ブロックの参照フレームの概略図である。 本発明の一実施形態による現在の画像ブロックの概略図である。 本発明の一実施形態による画像ブロックのアフィン変換の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による現在の画像ブロックの隣接参照ブロックの別の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態によるビデオ復号化方法の概略流れ図である。 本発明の一実施形態による画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。
本発明の実施形態は非並進運動モデルに基づく画像予測の計算複雑性を軽減するための画像予測方法および関連装置を提供する。
当業者が本発明の技術的解決手段をより良く理解できるようにするため、これ以降、本発明の実施形態の添付図面を参照しながら本発明の実施形態の技術的解決手段を明確かつ完全に説明する。当然ながら、説明する実施形態は本発明の実施形態の全てではなく一部に過ぎない。創造的な取り組みをせずとも本発明の実施形態をもとに当業者によって考案される他の実施形態はいずれも本発明の保護範囲に入る。
これ以降、詳しい説明を個別に提示する。
本発明の明細書と請求項と添付図面で用語「第1（first）」、「第2（second）」、「第3（third）」、「第4（fourth）」等は異なるものを区別するものであって、特定の順序を示すものではない。加えて、用語「含む（include）」、「有する（have）」、ならびにその変形は非排他的な包含をカバーするものである。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、または装置は記載されたステップまたはユニットに限定されず、記載されていないステップまたはユニットを任意にさらに含み、あるいはプロセス、方法、製品、または装置に特有の別のステップまたはユニットを任意にさらに含む。
これ以降はまず、本発明の実施形態に関係し得るいくつかのコンセプトを説明する。
ほとんどの符号化方式でビデオシーケンスは一連の画像（英語：picture）を含み、画像はスライス（英語：slice）にさらに分割され、sliceはブロック（英語：block）にさらに分割される。ビデオ符号化とは、ブロックを単位として使用し、pictureの左上隅位置から行ごとに左から右、上から下へ符号化処理を遂行することである。一部の新しいビデオ符号化規格ではblockのコンセプトがさらに拡大されている。H.264規格にはマクロブロック（英語：macro block、略してMB）があり、MBは予測符号化に使える複数の予測ブロックに分割できる。HEVC規格には符号化単位（英語：coding unit、略してCU）や予測単位（英語：prediction unit、略してPU）や変換単位（英語：transform unit、略してTU）といった基本的コンセプトが採用されており、複数のUnitは機能に従って分類され、まったく新しい木状構造が記述に使われている。例えばCUは四分木に従ってより小さいCUに分割でき、より小さいCUはさらに分割でき、四分木構造を形成する。PUとTUも同様の木構造を有する。単位がCUであろうがPUであろうがTUであろうが、単位は基本的にはblockのコンセプトに属する。CUはマクロブロックMBや符号化ブロックに似ており、画像を分割し符号化するための基本単位である。PUは予測ブロックに相当し得、予測符号化の基本単位である。CUは分割モードに従って複数のPUにさらに分割される。TUは変換ブロックに相当し得、予測残差を変換する基本単位である。
HEVC規格で符号化単位のサイズには4つのレベルが、すなわち64x64、32x32、16x16、および8x8が、あり得る。各レベルの符号化単位はフレーム内予測とフレーム間予測に従ってサイズが異なる予測単位に分割できる。例えば図1aおよび図1bに見られるように、図1aはフレーム内予測に対応する予測単位分割様態の一例を示している。図1bはフレーム内予測に対応する数通りの予測単位分割様態の例を示している。
ビデオ符号化の専門家はビデオ符号化技術を開発し発展させる過程で、符号化効率を上げるため、隣接する符号化／復号化ブロック間の時間的・空間的相関を使用する様々な方法を考案している。H264／先進ビデオ符号化（英語：Advanced Video Coding、略してAVC）規格ではスキップモード（skip mode）とダイレクトモード（direct mode）が符号化効率を上げる効果的手段となっている。ビットレートが低い場合に使われる2つの符号化モードのブロックは符号化シーケンス全体の半分超を占めることがある。スキップモードが使われる場合は、ビットストリームにスキップモードフラグメントを加えて近傍の運動ベクトルだけを使用することによって現在の画像ブロックの運動ベクトルを得ることができ、現在の画像ブロックの再構成値として運動ベクトルに従って参照ブロックの値が直接コピーされる。加えて、ダイレクトモードが使われる場合は、符号化器が隣接する運動ベクトルを使って現在の画像ブロックの運動ベクトルを得、現在の画像ブロックの予測子として運動ベクトルに従って参照ブロックの値を直接コピーし、符号化器で予測子を使って現在の画像ブロックに対し予測符号化を遂行できる。進化したHEVC規格ではビデオ符号化効率をさらに上げるため新しい符号化手段がいくつか導入されている。融合符号化（merge）モードと先進運動ベクトル予測（英語：advanced motion vector prediction、略してAMVP）モードは2つの重要なフレーム間予測手段である。融合符号化では、現在の符号化ブロックの隣接する符号化済みブロックの運動情報（予測方向と運動ベクトルと参照フレームインデックスとを含む）を使って候補運動情報セットが構成され、比較により最高の符号化効率を可能にする候補運動情報が現在の符号化ブロックの運動情報として選ばれてよく、参照フレームの中で現在の符号化ブロックの予測子が見つけられ、現在の符号化ブロックに対し予測符号化が遂行され、運動情報が選ばれた隣接する符号化済みブロックを指し示すインデックス値がビットストリームに書き込まれる。先進運動ベクトル予測モードが使われる場合は、隣接する符号化済みブロックの運動ベクトルが現在の符号化ブロックの運動ベクトル予測子として使われ、最高の符号化効率を可能にする運動ベクトルが現在の符号化ブロックの運動ベクトルを予測するために選ばれてよく、選ばれた隣接運動ベクトルを指し示すインデックス値がビデオビットストリームに書き込まれてよい。
これ以降は本発明の実施形態の技術的解決手段をさらに説明する。
これ以降はまず、本発明の実施形態で提供される画像予測方法を説明する。本発明の実施形態で提供される画像予測方法はビデオ符号化装置かビデオ復号化装置によって実行される。ビデオ符号化装置やビデオ復号化装置はビデオを出力したり保管したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話機、またはビデオサーバーであってよい。
本発明の画像予測方法の一実施形態において、画像予測方法は、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子（英語：motion vector predictor、略してMVP）を判断するステップであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。
図1cを参照し、図1cは本発明の一実施形態による画像予測方法の概略流れ図である。図1cの一例に見られるように、本発明の本実施形態で提供される画像予測方法は下記ステップを含んでよい。
101．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
Kは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
102．非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
K個のピクセルサンプルを選択する様々な様態があり得る。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
図2を参照し、図2は画像ブロックX1と画像ブロックX2と画像ブロックX3と画像ブロックX4のいくつかの可能な位置の例を示すものである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることは、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることを含んでよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含んでよい。
当然ながら、他のいくつかの可能な応用シナリオにおいてK個のピクセルサンプルに対し運動推定を遂行するステップは省かれてよい。正規化ステップさえ省かれてよい。つまり、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子が参照フレームY1にスケールされるステップは省かれてよい。
本実施形態で提供される前述の画像予測方法のいずれか1がビデオ符号化処理やビデオ復号化処理に応用されてよいことは理解できるであろう。
本発明の実施形態で前述した解決手段をより良く理解し実施するため、これ以降はより具体的な応用シナリオを参照しながらさらに説明する。
図3aを参照し、図3aは本発明の別の実施形態による別の画像予測方法の概略流れ図である。図3aの一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
301．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
本実施形態の一例でK＝3である。
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
図3bの一例に見られるように、現在の画像ブロックの左上頂点の運動ベクトル予測子は現在の画像ブロックの左上にある隣接画像ブロックAの運動ベクトルに等しい。現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの上方にある隣接画像ブロックBの運動ベクトルに等しく、あるいは現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの右上にある隣接画像ブロックCの運動ベクトルに等しくてよい。現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左下にある隣接画像ブロックEの運動ベクトルに等しくてよく、あるいは現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左側にある隣接画像ブロックDの運動ベクトルに等しくてよい。
例えば、現在の画像ブロックの右上頂点および左下頂点の運動ベクトル予測子は次式に基づいて判断されてよい。
Figure 0007123863000001
上記の式（1）および式（2）で
Figure 0007123863000002
 は画像ブロックAの運動ベクトル（MV）を表す。
上記の式（1）で
Figure 0007123863000003
 は現在の画像ブロックの右上頂点のMVPを表し、
Figure 0007123863000004
 は画像ブロックBのMVを表し、
Figure 0007123863000005
 は画像ブロックCのMVを表す。上記の式（2）で
Figure 0007123863000006
 は現在の画像ブロックの右上頂点のMVPを表し、
Figure 0007123863000007
 は画像ブロックDのMVを表し、
Figure 0007123863000008
 は画像ブロックEのMVを表す。
つまり、右上頂点のMVPの場合、ブロックAの運動ベクトル絶対値との差が大きい画像ブロックが空間的に隣接する画像ブロックBおよび画像ブロックCから選択される。左下頂点のMVPの場合、ブロックAの運動ベクトル絶対値との差が大きい画像ブロックが空間的に隣接する画像ブロックDおよび画像ブロックEから選択される。
302．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。
K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点の運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMVSである。図3cに見られるように、MVSは次式を使った計算によって得られてよい。
Figure 0007123863000009
詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。
任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムの毎回の計算に基づいてK個のピクセルサンプルに対し運動推定が遂行されることは下記ステップを含んでよい。
S1．式（3）、（4）、および（5）に従って各ピクセルのφk（p）を計算する。
φk（p）でk＝1、2、3である。
図3dに見られるように、現在の画像ブロックXのサイズはS1×S2であると仮定し、現在の画像ブロックXにおける各ピクセルpの座標は（x，y）であると仮定する。
Figure 0007123863000010
S2．
Figure 0007123863000011
 を計算する。
Figure 0007123863000012
 は方向xと方向yにおける現在の画像ブロックXの各ピクセルpの導関数をそれぞれ表す。本実施形態の一例ではSobel演算子を使って導関数が計算される。別の演算子（例えばGaussian演算子）が使われてもよい。式（6）および式（7）の例にはSobel演算子のテンプレートが示されている。
Figure 0007123863000013
現在のピクセルpの座標が（x，y）と仮定し、式（8）および式（9）の例には
Figure 0007123863000014
 の計算式が示されており、ここでpred［x］［y］は座標が（x，y）である現在の画像ブロックXの中にあるピクセルの予測ピクセル値を表す。
Figure 0007123863000015
現在の画像ブロックXの端に位置するピクセルの隣接ピクセルは存在しないことがあり、
Figure 0007123863000016
 は現在の画像ブロックXの端に位置するピクセルの隣接ピクセルの対応する値に差し替えられることがある。
S3．予測誤差e（P）を計算する。
現在のピクセルpの座標が（x，y）であると仮定する。
e（p）＝org［x］［y］－pred［x］［y］ 式（10）
ここでorg［x］［y］とpred［x］［y］は、元のピクセル値と座標が（x，y）である現在の画像ブロックXの中にあるピクセルの予測ピクセル値とをそれぞれ表す。
S4．δx1、δx2、δx3、δy1、δy2、およびδy3がそれぞれ方向xと方向yにおける現在の画像ブロックXの3つの頂点の運動ベクトル変化であると仮定し、一次方程式セット（11）を解く計算でδx1、δx2、δx3、δy1、δy2、およびδy3を求める。
Hxklδxk＝gxk，k＝1，2，3
Hyklδyk＝gyk，k＝1，2，3 方程式セット（11）
ここで
Figure 0007123863000017
 である。
上述したステップS1～S4に基づき、この計算における現在の画像ブロックにある3つのピクセルサンプルの各々の方向xの運動ベクトル変化δxと各ピクセルサンプルの方向yの運動ベクトル変化δyは運動推定によって得られてよい。
上述したステップS1～S4の反復様態に基づいて1回以上の計算が遂行され、運動推定によって現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトルを得ることができる。
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルの運動ベクトル差（英語：motion vector difference、略してMVD）を得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。
さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。
303．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
現在の予測ブロックXのサイズがS1×S2であると仮定する。座標が（0，0）、（S1，0）、および（0，S2）である3つの頂点の運動ベクトル（vx0，vy0）、（vx1，vy1）、および（vx2，vy2）はステップ301およびステップ302を遂行することによって計算される。
3つの頂点の座標と運動ベクトルはアフィン変換式（12）に代入され、現在の画像ブロックにある各ピクセルの運動ベクトルを計算できる。図3eにアフィン変換の概略図を示すことができる。
座標が（x，y）であるピクセルの運動ベクトルは次の通りに計算される。
Figure 0007123863000018
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4のブロックごとに1個の運動情報が保管されてよく、4×4の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
304．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
図4aを参照し、図4aは本発明の別の実施形態による別の画像予測方法の概略流れ図である。図4aの一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
401．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
本実施形態の一例でK＝3である。
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
図4bの一例に見られるように、現在の画像ブロックの左上頂点の運動ベクトル予測子は現在の画像ブロックの左上にある隣接画像ブロックAの運動ベクトルに等しい。現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの上方にある隣接画像ブロックBの運動ベクトルに等しい。現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左側にある隣接画像ブロックDの運動ベクトルに等しくてよい。
402．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。
K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点の運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMVSである。MVSは次式を使った計算によって得られてよい。
Figure 0007123863000019
詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。
任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。具体的な反復探索アルゴリズムについては前述した実施形態で関連する説明を参照されたい。ここでは詳細を繰り返し説明しない。
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルのMVDを得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。
さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。
403．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
404．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
図5を参照し、図5は本発明の別の実施形態による別の画像予測方法の概略流れ図である。図5の一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
501．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
本実施形態の一例でK＝3である。
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
ステップ501で現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトル予測子を判断する具体的様態については、前述した実施形態のいずれかの様態を参照されたい。
502．前述したK個のピクセルサンプルの運動ベクトル予測子を前述したK個のピクセルサンプルの運動ベクトルとして使用し、且つアフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
503．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。前述の解決手段は、ビデオが非並進的内容、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
図6を参照し、図6は本発明の別の実施形態による別の画像予測方法の概略流れ図である。図6の一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
601．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
本実施形態の一例でK＝3である。
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
ステップ601で現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトル予測子を判断する具体的様態については、前述した実施形態のいずれかの様態を参照されたい。
602．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。
K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。
任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。具体的な反復探索アルゴリズムについては、前述した実施形態で関連する説明を参照されたい。ここでは詳細を繰り返し説明しない。
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルのMVDを得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。
さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。
603．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
604．現在の予測単位にアフィン変換方式のフレーム間予測モード（ステップ601～ステップ603）を使用するレート歪コストを計算し、且つそのレート歪コストをHEVCフレーム間予測モードを使用する計算レート歪コストに比較する。
アフィン変換方式のフレーム間予測モードを使用するレート歪コストがHEVCフレーム間予測モードを使用するレート歪コスト未満である場合は、現在の画像ブロックの最適フレーム間予測モードがアフィン変換方式のフレーム間予測モードに設定される。具体的に述べると、現在の画像ブロックの最適フレーム間予測モードがアフィン変換方式のフレーム間予測モードであることを指示するため、構文要素affine_MC_flagはtrueに設定されてよい。アフィン変換方式のフレーム間予測モードを使用するレート歪コストがHEVCフレーム間予測モードを使用するレート歪コスト以上である場合は、現在の画像ブロックの最適フレーム間予測モードがHEVCフレーム間予測モードであることを指示するため、構文要素affine_MC_flagはfalseに設定される。
605．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
例えば、ルミナンス成分の場合、ピクセルの運動ベクトルが1／4ピクセル精度である場合は、HEVC補間フィルタを使って各ピクセルの予測ピクセル値が得られてよく、あるいはピクセルの運動ベクトルが1／4ピクセル精度を上回る場合は、HEVC補間フィルタを使ってピクセルから最短距離にある4つの1／4ピクセルの予測ピクセル値が最初に得られ、その後ピクセルの予測ピクセル値を得るため双線形補間が遂行される。クロミナンス成分の場合、予測ピクセル値はHEVC補間フィルタを使って得られる。
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれる。具体的に述べると、現在の予測単位の残余は変換と量子化とエントロピー符号化とを経た後にビデオビットストリームに書き込まれる。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
図7を参照し、図7は本発明の一実施形態によるビデオ復号化方法の概略流れ図である。図7の一例に見られるように、本発明の本実施形態で提供されるビデオ復号化方法は下記ステップを含んでよい。
701．復号化器は、現在の画像ブロックにアフィン変換方式のフレーム間予測モードが使われているか否かを判断するため、ビデオビットストリームで構文要素affine_MC_flagを復号化する。
702．現在の画像ブロックにアフィン変換方式のフレーム間予測モードが使われている場合、復号化器は、現在の画像ブロックに使われているフレーム間予測方向を判断するため、ビデオビットストリームで構文要素affine_inter_dir_flagを復号化する。
703．復号化器は構文要素affine_inter_dir_flagに従って現在の画像ブロックにあるK個のピクセルサンプルのMVPを判断する。
現在の画像ブロックにあるK個のピクセルサンプルは、前述した実施形態のいずれか1つで説明されている現在の画像ブロックにあるK個のピクセルサンプルであってよい。
704．復号化器は、ビデオビットストリームにあって現在の画像ブロックに対応する構文要素affine_no_MVD_flagを復号化することによって、現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDが0であるか否かを判断する。affine_no_MVD_flagがtrueである場合、これは現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDはいずれも0であることを意味し、K個のピクセルサンプルの得られたMVPに対する運動ベクトルがK個のピクセルサンプルの運動ベクトルとして使用されてよい。affine_no_MVD_flagがfalseである場合、これはK個のピクセルサンプルに対応するMVDに0ではないものがあることを意味し、K個のピクセルサンプルに対応するMVDは別の復号化によって得られ、ピクセルサンプルの運動ベクトルを得るため、各ピクセルサンプルに対応するMVDと対応するMVPとが加えられる。
705．復号化器は現在の画像ブロックの残余係数を復号化し、且つ現在の画像ブロックにある残余ピクセルを得るため逆量子化と逆変換とを遂行する。
706．復号化器は、アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算し、且つ現在の画像ブロックの予測ピクセル値を得るため、現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
707．復号化器は現在の画像ブロックにある残余ピクセルと現在の画像ブロックの予測ピクセル値とに従って現在の画像ブロックを再構成する。
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
最新ビデオ符号化規格HEVCの符号化器を使って本発明の実施形態で提供されるいくつかの解決手段についてエミュレーション試験が行われた。例えば試験は低遅延（LDB）とランダムアクセス（RA）という2つの構成で行われ、本発明の実施形態の解決手段の性能がHM11.0解決手段の性能に比較された。アフィン特性が比較的明白な6つの試験シーケンスが試験に選ばれた。試験シーケンスは表1に列挙されており、エミュレーション結果は表2に示されている。
Figure 0007123863000020
Figure 0007123863000021
性能カウンタBD－rateはQPが22、27、32、および37である4つの点の結果を用いた計算によって得られてよく、3つの成分Y、U、およびVのピーク信号対ノイズ比（PSNR）がそれぞれ計算される。
本発明の実施形態の解決手段において、LDB構成では平均BD－rate（Y）性能が4.5％増加し、RA構成で平均BD－rate（Y）性能が5.0％増加し、17.8％も増加することは分かるであろう。つまり、PSNRの質が同じである場合にHM11.0解決手段と比べて本発明の解決手段は最大17.8％のビットレートを低減できる。
これ以降、いくつかの他の非並進運動モデルを説明する。
アフィン変換モデルは下記モデルに一致する運動モデルである。
Figure 0007123863000022
 ここでa、b、c、d、e、およびfは定数パラメータであり、（x，y）はピクセルの元の座標であり、（x’，y’）はピクセルに対しアフィン変換が遂行された後に得られる座標であり、Vxはx軸方向の運動ベクトルであり、Vyはy軸方向の運動ベクトルである。
回転運動モデルは次のように表すことができる。
Figure 0007123863000023
 ここでαは回転角であり、aおよびbはパラメータである。
パースペクティブ運動モデルは次のように表すことができる。
Figure 0007123863000024
 ここで
Figure 0007123863000025
 はパースペクティブ行列である。
せん断運動モデルは次のように表すことができる。
Figure 0007123863000026
 ここで
Figure 0007123863000027
 はせん断行列であり、その他は定数パラメータである。
拡大縮小運動モデルは次のように表すことができる。
Figure 0007123863000028
 ここでρx、ρy、θx、およびθyは定数パラメータである。
二次運動モデルは次のように表すことができる。
Figure 0007123863000029
 ここでuおよびvは元の座標を表し、xおよびyは変換後に得られる座標を表し、その他は定数パラメータである。
前述した例は様々な運動モデルのいくつかの可能な表現形式の例に過ぎず、当然ながら、様々な運動モデルが別の形式をとり得ることは理解できるであろう。
これ以降は前述した解決手段を実施する関連装置をさらに提示する。
図8を参照し、本発明の一実施形態は画像予測装置800を提供し、画像予測装置800は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニット810であって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニット810と、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニット820とを含んでよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
K個のピクセルサンプルを選択する様々な様態があり得る。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
図2を参照し、図2は画像ブロックX1と画像ブロックX2と画像ブロックX3と画像ブロックX4のいくつかの可能な位置の例を示すものである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、予測ユニット820は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。
任意に選べることとして、予測ユニット820は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、予測ユニット820はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールしてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、予測ユニット820は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含む。
画像予測装置800はビデオ符号化装置に応用され、あるいは画像予測装置800はビデオ復号化装置に応用される。
本実施形態における画像予測装置800の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置800はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
図9を参照し、図9は本発明の一実施形態による画像予測装置900の概略図である。画像予測装置900は少なくとも1つのバス901と、バス901へ接続された少なくとも1つのプロセッサ902と、バス901へ接続された少なくとも1つのメモリ903とを含んでよい。
プロセッサ902は、メモリ903に記憶されたコードをバス901を使って呼び出すことにより、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行し、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
K個のピクセルサンプルを選択する様々な様態があり得る。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合、プロセッサ902はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように構成されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。
本実施形態における画像予測装置900の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置900はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
図10を参照し、図10は本発明の別の実施形態による画像予測装置1000の構造的ブロック図である。画像予測装置1000は、少なくとも1つのプロセッサ1001と、少なくとも1つのネットワークインターフェース1004または他のユーザーインターフェース1003と、メモリ1005と、少なくとも1つの通信バス1002とを含んでよい。通信バス1002はこれらのコンポーネントの間で接続と通信を実施するように構成される。画像予測装置1000は、ディスプレイ（例えばタッチスクリーン、LCD、ホログラフィックイメージング装置（Holographic imaging device）、CRT、映写（Projector））、クリック装置（例えばマウス、トラックボール（trackball）、タッチパッド、またはタッチスクリーン）、カメラおよび／またはピックアップ装置等を含むユーザーインターフェース1003を任意に含んでよい。
メモリ1005は読み取り専用メモリとランダムアクセスメモリとを含んでよく、プロセッサ1001に命令とデータを提供してよい。メモリ1005の一部は不揮発性ランダムアクセスメモリ（NVRAM）をさらに含んでよい。
いくつかの実装様態において、メモリ1005は下記要素を、すなわち実行可能モジュールまたはデータ構造、またはこれのサブセット、またはこれの拡張セットを、記憶する。
様々なシステムプログラムを含み、様々な基本的サービスを実施しハードウェアベースのタスクを処理するために使われる、オペレーティングシステム10051
様々なアプリケーションプログラムを含み、様々なアプリケーションサービスを実施するために使われる、アプリケーションプログラムモジュール10052
本発明の本実施形態において、メモリ1005に記憶されたプログラムや命令を呼び出すことにより、プロセッサ1001は現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成され、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、且つプロセッサ1001は非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成される。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
K個のピクセルサンプルを選択する様々な様態があり得る。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合、プロセッサ1001はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように構成されてよい。
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。
本実施形態における画像予測装置1000の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置1000はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
尚、説明を簡単にするため、前述した方法の実施形態は一連の行為として表現されている。ただし、本発明によると一部のステップは別の順序で遂行されてよく、あるいは同時に遂行されてよいため、当業者なら本発明が記載された行為の順序に限定されないことを理解するであろう。加えて当業者は、明細書で説明されている実施形態がいずれも実施形態の例であって、関係する行為やモジュールが必ずしも本発明にとって必須ではないことを理解するであろう。
上記の実施形態ではどの実施形態も的を絞って説明されている。或る1つの実施形態で詳しく説明されていない部分については、他の実施形態に記載された関連する説明を参照されたい。
本願で提供される実施形態で開示されている装置が別の様態で実装されてよいことを理解されたい。例えば、説明されている装置の実施形態は一例に過ぎない。例えば、ユニットの分割は論理的な機能分割に過ぎず、実際の実装では別の分割であってもよい。例えば、複数のユニットやコンポーネントが組み合わされて別のシステムにまとめられてもよく、一部の機能は無視されてもよく、遂行されなくてもよい。加えて、表示もしくは論述された相互結合や直接結合や通信接続は何らかのインターフェースを用いて実装されてよい。装置またはユニット間の間接結合や通信接続は電子的形態やその他の形態で実装されてよい。
単独部分として説明されているユニットは物理的に単独であってもなくてもよく、ユニットとして表示されている部分は物理的なユニットであってもなくてもよく、1ヶ所に置かれてもよく、複数のネットワークユニットに分散されてもよい。実施形態の解決手段の目的を達成するため、ユニットの一部または全部が実際のニーズに応じて選ばれてよい。
加えて、本発明の実施形態の機能ユニットは1つの処理ユニットに統合されてよく、それぞれのユニットが物理的に単独で存在してもよく、2つ以上のユニットは1つのユニットに統合される。統合されたユニットはハードウェアの形で実装されてよく、あるいはソフトウェア機能ユニットの形で実装されてもよい。
前述の統合されたユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売もしくは使用される場合、統合されたユニットはコンピュータ可読記憶媒体に記憶されてよい。このような理解に基づき、本発明の技術的解決手段は、あるいは先行技術に寄与する部分は、あるいは技術的解決手段の全部または一部は、ソフトウェア製品の形で実装されてよい。ソフトウェア製品は記憶媒体に記憶され、本発明の実施形態で説明した方法のステップの全部または一部を遂行することをコンピュータ装置（パーソナルコンピュータ、サーバー、ネットワーク装置等であってよい）に命令する命令を含む。前述した記憶媒体は、USBフラッシュドライブ、読み取り専用メモリ（ROM、Read-Only Memory）、ランダムアクセスメモリ（RAM、Random Access Memory）、リムーバブルハードディスク、磁気ディスク、光ディスク等、プログラムコードを記憶できる媒体を含む。
上記の実施形態は、本発明の技術的解決手段を説明するためのものに過ぎず、本発明を制限するものではない。上記の実施形態を参照しながら本発明を詳しく説明したが、当業者は、本発明の実施形態の技術的解決手段の精神および範囲から逸脱することなく上記の実施形態で説明した技術的解決手段に変更を加えたり、その技術的要素に同等の差し替えを行うことができることを理解するであろう。
800 画像予測装置
810 判断ユニット
820 予測ユニット
900 画像予測装置
901 バス
902 プロセッサ
903 メモリ
1000 画像予測装置
1001 プロセッサ
1002 通信バス
1003 ユーザーインターフェース
1004 ネットワークインターフェース
1005 メモリ
10051 オペレーティングシステム
10052 アプリケーションプログラム

Claims (24)

  1. ビデオ符号化処理に使用される画像予測方法であって、
    現在の画像ブロックのK個のピクセルサンプルの運動ベクトル予測子（MVP）を判断するステップであって、Kは1よりも大きい整数である、ステップと、
    運動推定によって前記K個のピクセルサンプルの運動ベクトルを取得するステップと、
    前記K個のピクセルサンプルの前記運動ベクトルおよび対応するMVPに基づいて、前記K個のピクセルサンプルの運動ベクトル差（MVD）を取得するステップと、
    前記K個のピクセルサンプルの前記MVDに0でないものがある場合、フラグおよび前記K個のピクセルサンプルの前記MVDをビットストリームに書き込むステップであって、前記フラグの値は第1の値に設定される、ステップ、または前記K個のピクセルサンプルの前記MVDがいずれも0である場合、フラグをビットストリームに書き込むステップであって、前記フラグの値は第2の値に設定される、ステップと、
    非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの予測ピクセル値を取得するステップと
    を含み、
    前記フラグは、前記現在の画像ブロックの前記K個のピクセルサンプルのすべてのMVDが0であるか否かを1ビットで指示する、方法。
  2. 前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
    前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックである、請求項1に記載の方法。
  3. 非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの予測ピクセル値を取得する前記ステップは、
    前記非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの運動ベクトルを計算するステップと、
    前記現在の画像ブロックにある各ピクセルの計算された運動ベクトルに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行するステップと
    を含む、請求項1または2に記載の方法。
  4. 前記フラグの前記第1の値はfalseであり、前記フラグの前記第2の値はtrueである、請求項1から3のいずれか一項に記載の方法。
  5. 前記K個のピクセルサンプルの前記運動ベクトルおよび対応するMVPに基づいて、前記K個のピクセルサンプルの運動ベクトル差（MVD）を取得する前記ステップは、
    前記K個のピクセルサンプルの前記運動ベクトルと前記対応するMVPとの間で減算を遂行することによって、前記K個のピクセルサンプルの前記MVDを取得するステップ
    を含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項1から5のいずれか一項に記載の方法。
  7. ビデオ復号化処理に使用される画像予測方法であって、
    現在の画像ブロックのK個のピクセルサンプルの運動ベクトル予測子（MVP）を判断するステップであって、Kは1よりも大きい整数である、ステップと、
    ビットストリームから前記現在の画像ブロックのフラグを復号化するステップと、
    前記フラグの値が第1の値である場合、前記ビットストリームから前記K個のピクセルサンプルの運動ベクトル差（MVD）を復号化するか、または前記フラグの値が第2の値である場合、前記K個のピクセルサンプルの前記MVDがすべて0であると判断し、前記K個のピクセルサンプルの前記MVDおよび前記K個のピクセルサンプルの対応するMVPに基づいて、前記K個のピクセルサンプルの個々の運動ベクトルを取得するステップと、
    非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの予測ピクセル値を取得するステップと
    を含み、
    前記フラグは、前記現在の画像ブロックの前記K個のピクセルサンプルのすべてのMVDが0であるか否かを1ビットで指示する、方法。
  8. 前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
    前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックである、請求項7に記載の方法。
  9. 非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの予測ピクセル値を取得する前記ステップは、
    前記非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの運動ベクトルを計算するステップと、
    前記現在の画像ブロックにある各ピクセルの計算された運動ベクトルに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行するステップと
    を含む、請求項7または8に記載の方法。
  10. 前記フラグの前記第2の値はtrueであり、前記フラグの前記第2の値は、前記現在の画像ブロックの前記K個のピクセルサンプルの前記MVDがいずれも0であることを指示し、
    前記フラグの前記第1の値はfalseであり、前記フラグの前記第1の値は、前記K個のピクセルサンプルの前記MVDに0でないものがあることを指示する、請求項7から9のいずれか一項に記載の方法。
  11. 前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項7から10のいずれか一項に記載の方法。
  12. 符号化装置であって、
    現在の画像ブロックのK個のピクセルサンプルの運動ベクトル予測子（MVP）を判断するように構成された第1のユニットであって、Kは1よりも大きい整数である、第1のユニットと、
    運動推定によって前記K個のピクセルサンプルの運動ベクトルを取得するように構成された第2のユニットと、
    前記K個のピクセルサンプルの前記運動ベクトルおよび対応するMVPに基づいて、前記K個のピクセルサンプルの運動ベクトル差（MVD）を取得するように構成された第3のユニットと、
    前記K個のピクセルサンプルの前記MVDに0でないものがある場合、フラグおよび前記K個のピクセルサンプルの前記MVDをビットストリームに書き込むことであって、前記フラグの値は第1の値に設定される、こと、または前記K個のピクセルサンプルの前記MVDがいずれも0である場合、フラグをビットストリームに書き込むことであって、前記フラグの値は第2の値に設定される、ことを行うように構成された第4のユニットと、
    非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの予測ピクセル値を取得するように構成された第5のユニットと
    を含み、
    前記フラグは、前記現在の画像ブロックの前記K個のピクセルサンプルのすべてのMVDが0であるか否かを1ビットで指示する、装置。
  13. 前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
    前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックである、請求項12に記載の装置。
  14. 前記第5のユニットは、
    前記非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの運動ベクトルを計算することと、
    前記現在の画像ブロックにある各ピクセルの計算された運動ベクトルに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行することと
    を行うようにさらに構成される、請求項12または13に記載の装置。
  15. 前記フラグの前記第1の値はfalseであり、前記フラグの前記第2の値はtrueである、請求項12から14のいずれか一項に記載の装置。
  16. 前記第3のユニットは、
    前記K個のピクセルサンプルの前記運動ベクトルと前記対応するMVPとの間で減算を遂行することによって、前記K個のピクセルサンプルの前記MVDを取得すること
    を行うようにさらに構成される、請求項12から15のいずれか一項に記載の装置。
  17. 前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項12から16のいずれか一項に記載の装置。
  18. 復号化装置処理であって、
    現在の画像ブロックのK個のピクセルサンプルの運動ベクトル予測子（MVP）を判断するように構成された第1のユニットであって、Kは1よりも大きい整数である、第1のユニットと、
    ビットストリームから前記現在の画像ブロックのフラグを復号化するように構成された第2のユニットと、
    前記フラグの値が第1の値である場合、前記ビットストリームから前記K個のピクセルサンプルの運動ベクトル差（MVD）を復号化するか、または前記フラグの値が第2の値である場合、前記K個のピクセルサンプルの前記MVDがすべて0であると判断し、前記K個のピクセルサンプルの前記MVDおよび前記K個のピクセルサンプルの対応するMVPに基づいて、前記K個のピクセルサンプルの個々の運動ベクトルを取得することを行うように構成された第3のユニットと、
    非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの予測ピクセル値を取得するように構成された第4のユニットと
    を含み、
    前記フラグは、前記現在の画像ブロックの前記K個のピクセルサンプルのすべてのMVDが0であるか否かを1ビットで指示する、装置。
  19. 前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
    前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、
    前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックである、請求項18に記載の装置。
  20. 前記第4のユニットは、
    前記非並進運動モデルおよび前記K個のピクセルサンプルの前記運動ベクトルに基づいて、前記現在の画像ブロックにある各ピクセルの運動ベクトルを計算することと、
    前記現在の画像ブロックにある各ピクセルの計算された運動ベクトルに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行することと
    を行うようにさらに構成される、請求項18または19に記載の装置。
  21. 前記フラグの前記第2の値はtrueであり、前記フラグの前記第2の値は、前記現在の画像ブロックの前記K個のピクセルサンプルの前記MVDがいずれも0であることを指示し、
    前記フラグの前記第1の値はfalseであり、前記フラグの前記第1の値は、前記K個のピクセルサンプルの前記MVDに0でないものがあることを指示する、請求項18から20のいずれか一項に記載の装置。
  22. 前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項18から21のいずれか一項に記載の装置。
  23. 符号化装置であって、
    命令を格納した記憶装置と、
    前記記憶装置と通信する1つ以上のプロセッサと
    を含み、
    前記1つ以上のプロセッサは、前記命令を実行して請求項1から6のいずれか一項に記載の方法を実施する、装置。
  24. 復号化装置であって、
    命令を格納した記憶装置と、
    前記記憶装置と通信する1つ以上のプロセッサと
    を含み、
    前記1つ以上のプロセッサは、前記命令を実行して請求項7から11のいずれか一項に記載の方法を実施する、装置。
JP2019114759A 2014-09-30 2019-06-20 画像予測方法および関連装置 Active JP7123863B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021121469A JP7252282B2 (ja) 2014-09-30 2021-07-26 画像予測方法および関連装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410526608.8A CN104539966B (zh) 2014-09-30 2014-09-30 图像预测方法及相关装置
CN201410526608.8 2014-09-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017518250A Division JP6546277B2 (ja) 2014-09-30 2015-04-15 画像予測方法および関連装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021121469A Division JP7252282B2 (ja) 2014-09-30 2021-07-26 画像予測方法および関連装置

Publications (2)

Publication Number Publication Date
JP2019198092A JP2019198092A (ja) 2019-11-14
JP7123863B2 true JP7123863B2 (ja) 2022-08-23

Family

ID=52855412

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017518250A Active JP6546277B2 (ja) 2014-09-30 2015-04-15 画像予測方法および関連装置
JP2019114759A Active JP7123863B2 (ja) 2014-09-30 2019-06-20 画像予測方法および関連装置
JP2021121469A Active JP7252282B2 (ja) 2014-09-30 2021-07-26 画像予測方法および関連装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017518250A Active JP6546277B2 (ja) 2014-09-30 2015-04-15 画像予測方法および関連装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021121469A Active JP7252282B2 (ja) 2014-09-30 2021-07-26 画像予測方法および関連装置

Country Status (7)

Country Link
US (2) US10827194B2 (ja)
EP (3) EP3836546A1 (ja)
JP (3) JP6546277B2 (ja)
KR (3) KR102160564B1 (ja)
CN (4) CN112087629B (ja)
BR (2) BR112017006018B1 (ja)
WO (1) WO2016050051A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017019264B1 (pt) 2015-03-10 2023-12-12 Huawei Technologies Co., Ltd Método de predição de imagem e dispositivo relacionado
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN105163116B (zh) 2015-08-29 2018-07-31 华为技术有限公司 图像预测的方法及设备
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
US20190158870A1 (en) * 2016-01-07 2019-05-23 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
CN107027040B9 (zh) * 2016-01-29 2020-08-28 华为技术有限公司 一种去除块效应的滤波方法及装置
CN111526361B (zh) * 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
CN117354536A (zh) * 2016-02-25 2024-01-05 株式会社Kt 用于处理视频信号的方法和设备
SG11201806865YA (en) 2016-03-15 2018-09-27 Mediatek Inc Method and apparatus of video coding with affine motion compensation
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
US10659801B2 (en) 2016-03-24 2020-05-19 Lg Electronics Inc. Method and apparatus for inter prediction in video coding system
WO2017195914A1 (ko) * 2016-05-11 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
CN109076234A (zh) * 2016-05-24 2018-12-21 华为技术有限公司 图像预测方法和相关设备
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
CN108271023B (zh) 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
CN107071496B (zh) * 2017-05-14 2020-01-17 北京工业大学 一种h.265/hevc帧间编码单元深度快速选择方法
CN109391814B (zh) * 2017-08-11 2023-06-06 华为技术有限公司 视频图像编码和解码的方法、装置及设备
CN107454429B (zh) * 2017-08-21 2019-12-24 武汉兴图新科电子股份有限公司 基于运动向量外推和图像梯度加权的视频错误隐藏方法
CN109587479B (zh) * 2017-09-29 2023-11-10 华为技术有限公司 视频图像的帧间预测方法、装置及编解码器
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
CN112055205B (zh) 2017-12-12 2021-08-03 华为技术有限公司 视频数据的帧间预测方法和装置、视频编解码器、存储介质
US20190208211A1 (en) * 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
WO2019191867A1 (zh) * 2018-04-02 2019-10-10 华为技术有限公司 一种视频编解码方法和装置
KR102606146B1 (ko) 2018-07-02 2023-11-23 후아웨이 테크놀러지 컴퍼니 리미티드 모션 벡터 예측 방법 및 관련 장치
WO2020007093A1 (zh) * 2018-07-02 2020-01-09 华为技术有限公司 一种图像预测方法及装置
CN108960160B (zh) * 2018-07-10 2021-03-09 深圳地平线机器人科技有限公司 基于非结构化预测模型来预测结构化状态量的方法和装置
CN118301334A (zh) 2018-07-11 2024-07-05 华为技术有限公司 视频编码器、视频解码器及相应方法
WO2020024275A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 一种帧间预测的方法及装置
CN110971899B (zh) * 2018-10-01 2021-06-01 华为技术有限公司 一种确定运动信息的方法、帧间预测方法及装置
JP7189234B2 (ja) * 2018-12-21 2022-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
CN109672886B (zh) * 2019-01-11 2023-07-04 京东方科技集团股份有限公司 一种图像帧预测方法、装置及头显设备
WO2020191034A1 (en) * 2019-03-18 2020-09-24 Tencent America LLC Method and apparatus for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165278A (ja) 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923786A (en) * 1995-07-17 1999-07-13 Sony Corporation Method and device for encoding and decoding moving images
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
US7016539B1 (en) * 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
CN1194544C (zh) * 2003-04-25 2005-03-23 北京工业大学 基于时空域相关性运动矢量预测的视频编码方法
US20100215101A1 (en) * 2007-04-09 2010-08-26 Yong Joon Jeon Method and an apparatus for processing a video signal
CN101350920A (zh) * 2007-07-17 2009-01-21 北京华辰广正科技发展有限公司 一种面向全景视频的全局运动估计方法
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
CN101340583B (zh) * 2008-08-08 2010-07-28 浙江大学 基于h.264编码域的移动对象检测装置
WO2010093430A1 (en) * 2009-02-11 2010-08-19 Packetvideo Corp. System and method for frame interpolation for a compressed video bitstream
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
CN101771878B (zh) * 2010-01-14 2011-05-25 广西大学 面向全景视频编码的自适应选择全局运动估计方法
EP3703369B1 (en) * 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
EP2559243B1 (en) * 2010-04-13 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
JP5686018B2 (ja) * 2010-05-21 2015-03-18 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
KR20140139615A (ko) * 2010-10-08 2014-12-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 분할 및 블록 병합을 지원하는 픽처 코딩
ES2900107T3 (es) 2011-03-21 2022-03-15 Lg Electronics Inc Método para seleccionar un predictor de vector de movimiento
US20130170553A1 (en) * 2012-01-04 2013-07-04 Qualcomm Incorporated Coding motion vector difference
CN103475883B (zh) * 2013-09-26 2016-07-06 北京航空航天大学 一种基于运动区域划分的hevc运动估计提前终止方法
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN103905826A (zh) * 2014-04-10 2014-07-02 北京工业大学 一种自适应全局运动估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165278A (ja) 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ｈａｎ Ｈｕａｎｇ ｅｔ ａｌ．， "Ｃｏｎｔｒｏｌ－Ｐｏｉｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｃｏｄｉｎｇ Ａｆｆｉｎｅ－Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｏｃｔ． ２０１３， Ｖｏｌ．２３， Ｎｏ．１０， ｐｐ．１６５１－１６６０

Also Published As

Publication number Publication date
KR102160564B1 (ko) 2020-09-28
JP2019198092A (ja) 2019-11-14
JP2021182752A (ja) 2021-11-25
EP3197165B1 (en) 2020-09-16
KR102060184B1 (ko) 2019-12-27
KR20170044686A (ko) 2017-04-25
CN112087630A (zh) 2020-12-15
CN104539966B (zh) 2017-12-22
CN104539966A (zh) 2015-04-22
US20170188041A1 (en) 2017-06-29
BR112017006018A2 (pt) 2018-06-26
CN112087629B (zh) 2021-08-20
BR122020019754B1 (pt) 2023-12-12
JP2017535162A (ja) 2017-11-24
KR20190014590A (ko) 2019-02-12
KR20190143496A (ko) 2019-12-30
KR101945894B1 (ko) 2019-02-08
CN112087629A (zh) 2020-12-15
US10827194B2 (en) 2020-11-03
CN107734335A (zh) 2018-02-23
CN107734335B (zh) 2020-11-06
WO2016050051A1 (zh) 2016-04-07
BR112017006018B1 (pt) 2023-12-19
JP7252282B2 (ja) 2023-04-04
EP3836547A1 (en) 2021-06-16
CN112087630B (zh) 2022-04-08
EP3197165A1 (en) 2017-07-26
EP3836546A1 (en) 2021-06-16
JP6546277B2 (ja) 2019-07-17
US20210006818A1 (en) 2021-01-07
EP3197165A4 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP7123863B2 (ja) 画像予測方法および関連装置
JP7313816B2 (ja) 画像予測方法および関連装置
JP7558352B2 (ja) 画像予測方法および関連装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190718

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201104

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210726

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210804

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210810

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210910

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210921

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220509

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220613

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220711

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7123863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150