JP6776276B2 - 画像予測方法および画像予測装置 - Google Patents

画像予測方法および画像予測装置 Download PDF

Info

Publication number
JP6776276B2
JP6776276B2 JP2017567671A JP2017567671A JP6776276B2 JP 6776276 B2 JP6776276 B2 JP 6776276B2 JP 2017567671 A JP2017567671 A JP 2017567671A JP 2017567671 A JP2017567671 A JP 2017567671A JP 6776276 B2 JP6776276 B2 JP 6776276B2
Authority
JP
Japan
Prior art keywords
pixel
pixel unit
phase
accuracy
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017567671A
Other languages
English (en)
Other versions
JP2018524918A (ja
Inventor
四新 林
四新 林
若普 黄
若普 黄
▲海▼涛 ▲楊▼
▲海▼涛 ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2018524918A publication Critical patent/JP2018524918A/ja
Application granted granted Critical
Publication of JP6776276B2 publication Critical patent/JP6776276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像符号化および映像復号化の分野に関し、詳細には、画像予測方法および関連装置に関する。
光電子収集技術が発達し、高精細度デジタルビデオの要件が高まるにつれて、ビデオデータ量もますます大きくなっている。異種伝送帯域幅には限りがあり、映像アプリケーションが多様化しているために、映像符号化効率にはより高い要件が課される。この場合、必要に応じて高効率映像符号化（英語：high efficient video coding、略称：HEVC）規格の策定が開始される。
映像符号化圧縮の基本原理は、空間領域と時間領域と符号語との相関を用いて冗長性を可能な限り除去することである。目下、一般的な手法では、ブロックベースのハイブリッド映像符号化フレームワークを用いて、予測（フレーム内予測およびフレーム間予測を含む）、変換、量子化、エントロピー符号化などのステップによって映像符号化圧縮を実現している。この符号化フレームワークは強力であり、ブロックベースのハイブリッド映像符号化フレームワークはHEVCにも用いられる。
様々な映像符号化／復号化方式において、動き推定／動き補償は、符号化／復号化性能に影響を及ぼす重要な技術である。多くの既存の映像符号化／復号化方式では、オブジェクトの動きが並進運動モデルの要件を満たし、オブジェクト全体の様々な部分が同じ動きをするものと一般に仮定される。既存の動き推定／動き補償アルゴリズムは、基本的に、並進運動モデル（英語：translational motion model）に基づくブロックベースの動き補償アルゴリズムである。既存のフレーム間予測は、主として、並進運動モデルに基づくブロックベースの動き補償（英語：motion compensation）予測である。非並進運動用に設計されたいくつかの非並進運動モデル（例えば、アフィン運動モデル）が次第に浮上してきている。
アフィン運動モデルに基づく予測機構では、現在の画像ブロックの低精度の予測画素値を取得するように、現在の画像ブロックにおける2つの制御点の低精度の動きベクトルとアフィン運動モデルとを用いて先行技術における画素値予測が行われる。画素値予測のプロセスにおいては、補間フィルタを用いて補間フィルタリング操作を行う必要がある。現在の画像ブロックの取得される予測画素値の精度は2つの制御点の動きベクトルの精度と同じである。現在の画像ブロックの高精度の予測画素値を取得する必要がある場合には、現在の画像ブロックの取得された低精度の予測画素値に対して2次補間フィルタリングを行うために双一次補間フィルタがさらに必要である。
先行技術では、2つの制御点の低精度の動きベクトルとアフィン運動モデルとを用いて、現在の画像ブロックの高精度の予測画素値を取得する場合、少なくとも2回の補間フィルタリング操作を行う必要がある（比較的大容量の中間キャッシュとメモリ動作が補間フィルタリング操作ごとに必要である）。その結果、比較的大容量の中間キャッシュとメモリ動作が、画像予測プロセス全体において必要になり、計算の複雑さが相対的に高まる。
本発明の実施形態は、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュの量およびメモリ動作を低減させ、画像予測プロセスの間の計算の複雑さを低減させるために、画像予測方法および関連装置を提供する。
本発明の実施形態の第1の態様は画像予測方法を提供し、本画像予測方法は、
現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するステップと、
動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得するステップであって、W個の制御点の決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nであり、P個の画素単位は現在の画像ブロックの画素単位の一部または全部であり、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数である、ステップと、
P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いて、P個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップであって、Qはnより大きい整数である、ステップと
を含む。
第1の態様に関連して、第1の態様の第1の可能な実施態様において、Nの値は事前設定された固定値であり、QはN以下である。
第1の態様または第1の態様の第1の可能な実施態様に関連して、第1の態様の第2の可能な実施態様において、W個の制御点の動きベクトルのうちの1つの水平成分もしくは垂直成分は、Nを用いて動きモデルにおいてN回増幅され、またはW個の制御点のうちの任意の2つの動きベクトル間の成分差は、Nを用いて動きモデルにおいてN回増幅される。
第1の態様、第1の態様の第1の可能な実施態様または第1の態様の第2の可能な実施態様に関連して、第1の態様の第3の可能な実施態様において、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップと、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定するステップであって、補間フィルタによって用いられるフィルタ係数は位相に対応している、ステップと、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップと
を含む。
第1の態様の第3の可能な実施態様に関連して、第1の態様の第4の可能な実施態様において、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップは、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得するステップ、を含む。
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
第1の態様の第3の可能な実施態様または第1の態様の第4の可能な実施態様に関連して、第1の態様の第5の可能な実施態様において、位相は水平位相と垂直位相とを含み、各画素単位の位相に基づき、画素単位に対応しているQの位相を有する補間フィルタを決定するステップは、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定するステップと、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定するステップと、を含み、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
第1の態様の第5の可能な実施態様に関連して、第1の態様の第6の可能な実施態様において、画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
水平補間フィルタリングの結果を取得するために、画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行うステップであって、画素単位iがP個の画素単位のうちの任意の1つである、ステップ、または
垂直補間フィルタリングの結果を取得するために、画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行うステップであって、画素単位jがP個の画素単位のうちの任意の1つである、ステップ
を含む。
第1の態様、または第1の態様の第1から第6の可能な実施態様のいずれか1つに関連して、第1の態様の第7の可能な実施態様において、動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、放物運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、または双一次運動モデルである。
第1の態様、または第1の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第1の態様の第8の可能な実施態様において、Wが2に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
第1の態様、または第1の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第1の態様の第9の可能な実施態様において、Wが3に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
第1の態様、または第1の態様の第1から第9の可能な実施態様のいずれか1つに関連して、第1の態様の第10の可能な実施態様において、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測される。
第1の態様、または第1の態様の第1から第10の可能な実施態様のいずれか1つに関連して、第1の態様の第11の可能な実施態様において、本画像予測方法は、映像符号化プロセスに適用され、または映像復号化プロセスに適用される。
本発明の実施形態の第2の態様は画像予測装置を提供し、本画像予測装置は、
現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するように構成された、第1の決定部と、
動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得するように構成された計算部であって、W個の制御点の決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nであり、P個の画素単位は現在の画像ブロックの画素単位の一部または全部であり、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数である、計算部と、
P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うように構成された補間フィルタリング部であって、Qはnより大きい整数である、補間フィルタリング部と
を含む。
第2の態様に関連して、第2の態様の第1の可能な実施態様において、Nの値は事前設定された固定値であり、QはN以下である。
第2の態様または第2の態様の第1の可能な実施態様に関連して、第2の態様の第2の可能な実施態様において、W個の制御点の動きベクトルのうちの1つの水平成分もしくは垂直成分は、Nを用いて動きモデルにおいてN回増幅され、またはW個の制御点のうちの任意の2つの動きベクトル間の成分差は、Nを用いて動きモデルにおいてN回増幅される。
第2の態様、第2の態様の第1の可能な実施態様または第2の態様の第2の可能な実施態様に関連して、第2の態様の第3の可能な実施態様において、補間フィルタリング部は、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得し、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定し、補間フィルタによって用いられるフィルタ係数は位相に対応しており、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行う、ように特に構成されている。
第2の態様の第3の可能な実施態様に関連して、第2の態様の第4の可能な実施態様において、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得する局面で、補間フィルタリング部は、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得するように特に構成されており、
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
第2の態様の第3の可能な実施態様または第2の態様の第4の可能な実施態様に関連して、第2の態様の第5の可能な実施態様において、位相は水平位相と垂直位相とを含み、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定する局面で、補間フィルタリング部は、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定し、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定する、ように特に構成されており、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
第2の態様の第5の可能な実施態様に関連して、第2の態様の第6の可能な実施態様において、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行う局面で、補間フィルタリング部は、水平補間フィルタリングの結果を取得するために、画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行い、画素単位iがP個の画素単位のうちの任意の1つである、ように特に構成されており、または補間フィルタリング部は、垂直補間フィルタリングの結果を取得するために、画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行い、画素単位jがP個の画素単位のうちの任意の1つである、ように特に構成されている。
第2の態様、または第2の態様の第1から第6の可能な実施態様のいずれか1つに関連して、第2の態様の第7の可能な実施態様において、動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、ズーミング運動モデル、放物運動モデル、せん断運動モデル、射影運動モデル、または双一次運動モデルである。
第2の態様、または第2の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第2の態様の第8の可能な実施態様において、Wが2に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
第2の態様、または第2の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第2の態様の第9の可能な実施態様において、Wが3に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
第2の態様、または第2の態様の第1から第9の可能な実施態様のいずれか1つに関連して、第2の態様の第10の可能な実施態様において、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測される。
第2の態様、または第2の態様の第1から第10の可能な実施態様のいずれか1つに関連して、第2の態様の第11の可能な実施態様において、本画像予測装置は映像符号化装置に適用され、または本画像予測装置は映像復号化装置に適用される。
本発明の一実施形態は、プロセッサとメモリとを含む画像予測装置をさらに提供する。本画像予測装置は、例えば、ネットワークインターフェースをさらに含んでいてよい。メモリは、命令を記憶するように構成され、プロセッサは、命令を実行するように構成され、ネットワークインターフェースは、プロセッサの制御下で、別の機器と通信するように構成される。
例えば、プロセッサは、現在の画像ブロックにおけるW個の制御点の動きベクトルを決定し、動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得する、ように構成され、W個の制御点の決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nであり、P個の画素単位は現在の画像ブロックの画素単位の一部または全部であり、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数であり、またプロセッサは、P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うように構成され、Qはnより大きい整数である。
加えて、本発明の一実施形態はコンピュータ可読記憶媒体をさらに提供する。本コンピュータ可読記憶媒体は画像予測のためのプログラムコードを記憶している。プログラムコードは、画像予測方法を実行するための命令を含む。
本発明の実施形態で提供される画像予測方法では、現在の画像ブロックの各画素単位の、その精度が画素精度の1／Nである動きベクトルが、動きモデルと、W個の制御点の、その精度が画素精度の1／nである動きベクトルとを用いて計算によって取得され、Nはnより大きいことがわかる。言い換えると、計算によって取得される、現在の画像ブロックの各画素単位の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。高精度の動きベクトルがまず取得される。したがって、現在の画像ブロックの各画素単位の高精度の動きベクトルを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位が決定され、Qの位相を有する（Qはnより大きい）補間フィルタを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われて、現在の画像ブロックの各画素単位の予測画素値が取得される。前述の方法は、予測によって、現在の画像ブロックの高精度の予測画素値を取得するのに必要な補間フィルタリングの回数を低減させるのに役立ち（例えば、低精度の補間フィルタリングを行うことによって低精度の予測画素値を取得するための中間プロセスが不要となる）、そのため、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュの量およびメモリ動作が低減し、画像予測プロセスの間の計算の複雑さが低減することがわかる。
本発明の実施形態における技術的解決策をより明確に説明するために、以下で、これらの実施形態を説明するのに必要な添付の図面について簡単に述べる。明らかに、以下で説明する添付の図面は本発明のいくつかの実施形態を示しているにすぎず、当業者はこれら添付の図面から難なく他の図面をさらに得ることができる。
本発明の一実施形態による画像ブロックのいくつかの種類の分割の概略図である。 本発明の一実施形態による画像ブロックのいくつかの種類の分割の概略図である。 本発明の一実施形態による画像予測方法の概略流れ図である。 本発明の一実施形態による制御点の動きベクトルの予測の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による整数画素位置および副画素位置の概略図である。 本発明の一実施形態による別の画像予測方法の概略流れ図である。 本発明の一実施形態による画像予測装置の概略図である。 本発明の一実施形態による別の画像予測装置の概略図である。
本発明の実施形態は、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュの量およびメモリ動作を低減させ、画像予測プロセスの間の計算の複雑さを低減させるための、画像予測方法および関連装置を提供する。
本発明の明細書、特許請求の範囲および添付の図面において、「第1」、「第2」、「第3」、などの用語は、異なる対象を区別するためのものであり、特定の順序を示すものではない。加えて、「including」、「comprising」、およびそれらの任意の他の変形は、非排他的包含を対象として含むものであることが意図されている。例えば、一連のステップもしくはユニットを含むプロセス、方法、システム、製品、もしくは装置は、記載されたステップもしくはユニットだけに限定されず、任意選択で、記載されていないステップもしくはユニットをさらに含み、または任意選択で、プロセス、方法、製品、もしくは機器の別の固有のステップもしくはユニットをさらに含む。
以下ではまず、本発明の実施形態に関連しうるいくつかの概念について簡単に説明する。
ほとんどの符号化フレームワークにおいて、ビデオシーケンスは一連の画像を含み、画像はスライス（英語：slice）にさらに分割され、sliceはブロック（英語：block）にさらに分割される。映像符号化はブロックの単位に基づくものであり、符号化処理はpictureの左上隅の位置から開始され、次いで、左から右へ、上から下へとラインごとに行われる。いくつかの新しい映像符号化規格では、blockの概念がさらに拡張されている。H．264規格には、マクロブロック（英語：macroblock、略称：MB）が記載されており、MBは、予測符号化に用いられる複数の予測パーティション（英語：partition）にさらに分割される。HEVC規格では、符号化単位（英語：coding unit、略称：CU）、予測単位（英語：prediction unit、略称：PU）、変換単位（英語：transform unit、略称：TU）などの基本概念が用いられる。複数の種類の単位は機能分割によって得られ、新しい木構造を用いて記述される。例えば、CUは4分木に従ってより小さいCUに分割され、より小さいCUは4分木構造を形成するように引き続きさらに分割される。PUの木構造とTUの木構造とはCUの木構造に類似したものである。CU、PU、およびTUはすべて、本質的にblockの概念に属する。マクロブロックMBまたは符号化ブロックと同様に、CUは、符号化画像を分割し、符号化するための基本単位である。PUは、予測符号化のための基本単位であり、予測パーティションに対応させることができる。分割方式に従い、CUは複数のPUにさらに分割される。TUは、予測残差を変換するための基本単位であり、変換ブロックに対応させることができる。高効率映像符号化（英語：high efficiency video coding、略称：HEVC）規格では、CU、PU、およびTUは、符号化ツリーブロック（英語：coding tree block、略称：CTB）などと総称される。
HEVC規格では、符号化単位は、64×64、32×32、16×16、および8×8の4つのサイズレベルを含む。各レベルの符号化単位は、フレーム内予測およびフレーム間予測に従って異なるサイズの予測単位に分割される。例えば、図1−aと図1−bとに示すように、図1−aには、フレーム内予測に対応する予測単位分割方式が示されており、図1−bには、フレーム間予測に対応する予測単位分割方式が示されている。
映像符号化技術の開発および進化のプロセスにおいて、映像符号化の専門家らは、隣接する符号化／復号化ブロック間の時間的空間的相関を利用して符号化効率を向上させる様々な方法を考案している。H．264／高度映像符号化（英語：advanced video coding、略称：AVC）規格では、スキップモード（skip mode）およびダイレクトモード（direct mode）が符号化効率を向上させる有効な手段になる。低ビット速度の場合には、2つの符号化モードを用いるブロックの数が符号化シーケンス全体におけるブロックの半数を上回る。スキップモードを用いる場合には、スキップ・モード・タグがビットストリームにおいて転送されるという前提で周囲の動きベクトルを用いた導出によって現在の画像ブロックの動きベクトルを取得することができ、動きベクトルに従って参照ブロックの値が現在の画像ブロックの復元値として用いられる。代わりに、ダイレクトモードを用いる場合には、符号器が、周囲の動きベクトルを用いて、導出によって、現在の画像ブロックの動きベクトルを取得し、動きベクトルに従って参照ブロックの値を現在の画像ブロックの予測値として直接用い、予測値を用いて符号器側で現在の画像ブロックに対して予測符号化を行うことができる。目下、最新の高効率映像符号化（英語：high efficiency video coding、略称：HEVC）規格では、映像符号化性能をさらに向上させるためにいくつかの新しい符号化手段が用いられている。併合符号化モードおよび高度動きベクトル予測（英語：advanced motion vector prediction、略称：AMVP）モードが2つの重要なフレーム間予測手段である。併合符号化モードでは、現在の符号化ブロックを取り囲む符号化済みブロックの動き情報（動きベクトル（英語：motion vector、略称：MV）、予測方向、参照フレームインデックスなどを含む）が候補動き情報集合を形成するのに用いられる。最高の符号化効率を有する候補動き情報が、比較によって、現在の符号化ブロックの動き情報として選択される。現在の符号化ブロックの、参照フレームで見つかった予測値を用いて現在の符号化ブロックに対して予測符号化が行われる。加えて、その中から動き情報が選択される特定の周囲の符号化済みブロックに索引付けするインデックス値もビットストリームに書き込むことができる。高度動きベクトル予測を用いる場合には、周囲の符号化済みブロックの動きベクトルが現在の符号化ブロックの動きベクトルの予測値として用いられ、現在の符号化ブロックの符号化効率を予測するために最高の符号化効率を有する動きベクトルが選択され、特定の周囲の動きベクトルの選択を指示するインデックス値がビットストリームに書き込まれる。
以下で引き続き本発明の実施形態の技術的解決策について説明する。
以下ではまず、本発明の実施形態で提供される画像予測方法について説明する。本発明の実施形態で提供される画像予測方法は、映像符号化装置または映像復号化装置によって実行される。映像符号化装置または映像復号化装置は、映像を出力または記憶する必要のある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話、ビデオサーバ、または別の機器であってよい。
本発明で提供される画像予測方法の一実施形態において、画像予測方法は、現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するステップと、動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得するステップであって、W個の制御点の決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nであり、P個の画素単位は現在の画像ブロックの画素単位の一部または全部であり、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数である、ステップと、P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップであって、Qはnより大きい整数である、ステップとを含む。
図2−aを参照すると、図2−aは、本発明の一実施形態による画像予測方法の概略流れ図である。図2−aに示す例において、本発明の本実施形態で提供される画像予測方法は以下のステップを含む。
201．現在の画像ブロックにおけるW個の制御点の動きベクトルを決定する。
202．動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得する。
P個の画素単位は現在の画像ブロックの画素単位の一部または全部である。
P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられる。したがって、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いることができる。
W個の制御点の決定された動きベクトルの精度は画素精度の1／nである。
計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nである。
W、n、およびNは1より大きい整数である。
Nはnより大きい。Pは正の整数である。
Nはnより大きいため、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。すなわち、現在の画像ブロックのP個の画素単位のより高精度の動きベクトルが取得される。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測される。
図2−bに示す例において、W個の制御点には、制御点LT、制御点RT、および制御点LBが含まれている。制御点LTの動きベクトルは、その精度が、画像ブロックA、画像ブロックB、および画像ブロックCの画素精度の1／nである動きベクトルに基づいて予測することができる。制御点RTの動きベクトルは、その精度が、画像ブロックDおよび画像ブロックEの画素精度の1／nである動きベクトルに基づいて予測することができる。制御点LBの動きベクトルは、その精度が、画像ブロックFおよび画像ブロックGの画素精度の1／nである動きベクトルに基づいて予測することができる。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルが予測値に基づくものである場合、予測値の精度も画素精度の1／nであり、制御点の、その精度が画素精度の1／nである動きベクトルと対応する予測値との差をビットストリームに書き込むことができる。
本発明のいくつかの可能な実施態様では、動きモデルは、例えば、並進運動モデル、アフィン運動モデル、回転運動モデル、放物運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、または双一次運動モデルとすることができる。
203．P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における基準画素単位の画素に対して補間フィルタリングを行う。
Qはnより大きい整数である。
本発明のいくつかの可能な実施態様では、Nの値は事前設定された固定値とすることができ、QはN以下とすることができる。Nの値を事前設定された固定値とすることができる場合、これは、動きモデルとW個の制御点の動きベクトルとを用いて計算により取得される、現在の画像ブロックのP個の画素単位の動きベクトルの精度が、現在の画像ブロックのサイズに不必要に関連していることを示している。言い換えると、例えば、本実施形態の解決策によれば、事前設定された固定精度を有する予測画素値を、低精度の補間フィルタリングを行うことによる低精度の予測画素値を取得するための中間プロセスなしで取得することができる。
例えば、Wは、2、3、4、5、6、8、または別の値とすることができる。
例えば、Pは、1、2、3、4、5、6、8、10、15、16、21、32、64または別の値とすることができる。
例えば、Qは、128、9、18、24、256、8、10、15、16、21、32、64、または別の値とすることができる。
例えば、Nは、128、9、18、24、256、8、10、15、16、21、32、64、または別の値とすることができる。
例えば、nは、8、2、4、または別の値とすることができる
本発明のいくつかの可能な実施態様では、Nは2の整数べきとすることもでき、あるいは当然ながら、Nは別の正の整数とすることもできる。
本発明の実施形態における画素単位は、1つまたは複数の画素を含んでいてよい。例えば、画素単位は、2×2画素ブロック、2×1画素ブロック、2×1画素ブロック、4×4画素ブロック、または4×2画素ブロックとすることができる。
本発明の実施形態における制御点は、1つまたは複数の画素を含んでいてよい。例えば、制御点は、2×2画素ブロック、2×1画素ブロック、2×1画素ブロック、4×4画素ブロック、または4×2画素ブロックとすることができる。
以上からわかるように、本実施形態で提供される画像予測方法では、現在の画像ブロックの各画素単位の、その精度が画素精度の1／Nである動きベクトルが、動きモデルと、W個の制御点の、その精度が画素精度の1／nである動きベクトルとを用いて計算によって取得され、Nはnより大きい。言い換えると、計算によって取得される、現在の画像ブロックの各画素単位の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。高精度の動きベクトルがまず取得される。したがって、現在の画像ブロックの各画素単位の高精度の動きベクトルを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位が決定され、Qの位相を有する（Qはnより大きい）補間フィルタを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われて、現在の画像ブロックの各画素単位の予測画素値が取得される。前述の方法は、予測によって、現在の画像ブロックの高精度の予測画素値を取得するのに必要な補間フィルタリングの数量を低減させるのに役立ち（例えば、低精度の補間フィルタリングを行うことによって低精度の予測画素値を取得するための中間プロセスが不要となる）、そのため、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュの量およびメモリ動作が低減し、画像予測プロセスの間の計算の複雑さが低減することがわかる。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルのうちの1つの水平成分もしくは垂直成分は、Nを用いて動きモデルにおいてN回増幅され、またはW個の制御点のうちの任意の2つの動きベクトル間の成分差は、Nを用いて動きモデルにおいてN回増幅される。
例えば、本発明のいくつかの可能な実施態様では、Wが2に等しい場合、動きモデルは以下のように表すことができる。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
別の例として、本発明のいくつかの可能な実施態様では、Wが3に等しい場合、動きモデルは以下のように表すことができる。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
以上の例は、アフィン運動モデルを用いて説明される。並進運動モデル、回転運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、放物運動モデル、双一次運動モデルなどが用いられる場合、前述の例を参照することができる。ここでは詳細を繰り返さない。
例えば、動きモデルの一般的な表現形態は以下とすることができる。
（νNx，νNy）＝f（｛（νix，νiy）｜i＝0，1．．．，M｝，N，（x，y））
式中、制御点の動きベクトル（νix，νiy）の精度は画素精度の1／nであり、効果とビットオーバーヘッドとのバランスをとるために、nの値を4に設定することができ、Nは、フィルタの事前設定位相を表すことができ、（x，y）は、画像ブロックにおける任意の画素単位の座標値を表し、
νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定するステップは、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得するステップと、P個の画素単位の各々の動きベクトルを用いて、P個の画素単位の各々の整数画素位置に対応する基準画素単位を求めて基準画像をサーチするステップと、を含み、P個の画素単位の各々の整数画素位置に対応している、基準画像で見つかる基準画素単位は、P個の画素単位の各々の、基準画像における基準画素単位である。
具体的には、例えば、画素単位iの整数画素位置が、P個の画素単位の画素単位iの動きベクトルを用いて計算によって取得され、基準画像が、画素単位iの動きベクトルを用いて、画素単位iの整数画素位置に対応する基準画素単位を求めてサーチされ、画素単位iの整数画素位置に対応している、基準画像で見つかる基準画素単位は、画素単位iの、基準画像における基準画素単位である。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、P個の画素単位の各々の、基準画像における対応する基準画素単位は、画素単位iの、基準画像における基準画素単位を決定する方法と同様の方法で決定することができる。
本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得するステップは、
P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の整数画素位置を取得するステップ、を含む。
xInt＝［νNx／N］、またはxInt＝νNx≧M；
yInt＝［νNy／N］、またはyInt＝νNy≧M；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、（xInt，yInt）は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の整数画素位置座標を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
本発明のいくつかの可能な実施態様では、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップと、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定するステップであって、補間フィルタによって用いられるフィルタ係数は位相に対応している、ステップと、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップと
を含む。
具体的には、例えば、画素単位iの位相が、P個の画素単位の画素単位iの動きベクトルを用いて計算によって取得され、画素単位iに対応しているQの位相を有する補間フィルタが、画素単位iの位相に基づいて決定され、補間フィルタによって用いられるフィルタ係数は位相に対応しており、画素単位iに対応しているQの位相を有する決定された補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われる。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、補間フィルタリングは、画素単位iに対して補間フィルタリングを行う方法と同様の方法に従ってP個の画素単位の各々に対して行うことができる。
本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップは、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得するステップ、を含む。
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）.
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）.
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、位相は水平位相と垂直位相とを含み、各画素単位の位相に基づき、画素単位に対応しているQの位相を有する補間フィルタを決定するステップは、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定するステップと、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定するステップと、を含み、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
具体的には、例えば、画素単位iに対応しているQの位相を有する水平補間フィルタが、画素単位iの水平位相に基づいて決定され、画素単位iに対応しているQの位相を有する垂直補間フィルタが、画素単位iの垂直位相に基づいて決定され、水平補間フィルタによって用いられるフィルタ係数は画素単位iの水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は画素単位iの垂直位相に対応している。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、P個の画素単位の各々に対応しているQの位相を有する補間フィルタは、画素単位iに対応しているQの位相を有する補間フィルタを決定する方法と同様の方法に従って決定することができる。
任意選択で、本発明のいくつかの可能な実施態様では、画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
水平補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行うステップ、または
垂直補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行うステップ
を含む。
加えて、画素単位がただ1つの位相のみを有する（すなわち、水平位相または垂直位相のみを有する）場合には、画素単位の予測画素値を取得するために、画素単位の基準画素単位に対して補間フィルタリングを1回だけ行いさえすればよい。
任意選択で、本発明のいくつかの可能な実施態様では、現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するステップは、
現在の画像ブロックにおけるW個の制御点を決定し、W個の制御点の各々に対応する候補動き情報単位集合を決定するステップであって、各制御点に対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、ステップと、
W個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するステップであって、組み合わせ動き情報単位集合e内の各動き情報単位は、W個の制御点の各々に対応する候補動き情報単位集合内の少なくともいくつかの動き情報単位の中から選択され、組み合わせ動き情報単位集合e内の各組み合わせ動き情報単位は動きベクトルを含む、ステップと、
W個の制御点の動きベクトルを取得するために組み合わせ動き情報単位集合e内のW個の動きベクトルに対して予測もしくは動き推定を行い、または組み合わせ動き情報単位集合eに含まれるW個の動きベクトルをW個の制御点の動きベクトルとして使用するステップと
を含む。
本発明のいくつかの可能な実施態様では、候補動き情報単位集合内の各動きベクトルの精度は画素精度の1／nとすることができる。
本画像予測方法は映像符号化プロセスに適用することができ、または本画像予測方法は映像復号化プロセスに適用することができる。
本発明の実施形態の技術的解決策をよりよく理解するために、以下では、例を用いて符号器側と復号器側の視点から説明を行う。
以下ではまず、符号器側の視点からの解決策について説明する。
図3−aを参照すると、図3−aは、本発明の別の実施形態による別の画像予測方法の概略流れ図である。図3−aに示す例において、本発明の別の実施形態で提供される別の画像予測方法は以下のステップを含む。
301．映像符号化装置が、現在の画像ブロックにおけるW個の制御点を決定する。
302．映像符号化装置はW個の制御点の動きベクトルを決定する。
映像符号化装置が、W個の制御点の動きベクトルを決定するステップは、W個の制御点の各々に対応する候補動き情報単位集合を決定するステップであって、各制御点集合に対応する候補動き情報単位は少なくとも1つの候補動き情報単位を含む、ステップと、W個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するステップであって、組み合わせ動き情報単位集合e内の各動き情報単位は、W個の制御点の各々に対応する候補動き情報単位集合内の少なくともいくつかの動き情報単位の中から選択され、組み合わせ動き情報単位集合e内の各組み合わせ動き情報単位は動きベクトルを含む、ステップと、W個の制御点の動きベクトルを取得するために組み合わせ動き情報単位集合e内のW個の動きベクトルに対して予測もしくは動き推定を行い、または組み合わせ動き情報単位集合eに含まれるW個の動きベクトルをW個の制御点の動きベクトルとして使用するステップと、を含むことができる。
本発明のいくつかの可能な実施態様では、候補動き情報単位集合内の各動きベクトルの精度は画素精度の1／nとすることができる。
303．映像符号化装置は、動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得する。
Pは正の整数であり、WおよびNは1より大きい整数である。
P個の画素単位は現在の画像ブロックの画素単位の一部または全部である。
P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられる。したがって、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いることができる。
W個の制御点の決定された動きベクトルの精度は画素精度の1／nである。
計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nである。
W、n、およびNは1より大きい整数である。
Nはnより大きい。Pは正の整数である。
Nはnより大きいため、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。すなわち、現在の画像ブロックのP個の画素単位のより高精度の動きベクトルが取得される。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測される。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルが予測値に基づくものである場合、予測値の精度も画素精度の1／nであり、制御点の、その精度が画素精度の1／nである動きベクトルと対応する予測値との差をビットストリームに書き込むことができる。これに対応して、W個の制御点の、その精度が画素精度の1／nである動きベクトルは、W個の動きベクトルと予測動きベクトルの間の予測差と、現在の画像ブロックを取り囲む復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルとを用いて、復号器側で、予測によって取得することができ、予測差はビットストリームから取得される。
本発明のいくつかの可能な実施態様では、動きモデルは、例えば、並進運動モデル、アフィン運動モデル、回転運動モデル、放物運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、または双一次運動モデルとすることができる。
例えば、本発明のいくつかの可能な実施態様では、Wが2に等しい場合、動きモデルは以下のように表すことができる。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
別の例として、本発明のいくつかの可能な実施態様では、Wが3に等しい場合、動きモデルは以下のように表すことができる。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
以上の例は、アフィン運動モデルを用いて説明される。並進運動モデル、回転運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、放物運動モデル、双一次運動モデルなどが用いられる場合、前述の例を参照することができる。ここでは詳細を繰り返さない。
304．映像符号化装置は、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定する。
任意選択で、本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定するステップは、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得するステップと、P個の画素単位の各々の動きベクトルを用いて、P個の画素単位の各々の整数画素位置に対応する基準画素単位を求めて基準画像をサーチするステップと、を含み、P個の画素単位の各々の整数画素位置に対応している、基準画像で見つかる基準画素単位は、P個の画素単位の各々の、基準画像における基準画素単位である。
具体的には、例えば、画素単位iの整数画素位置が、P個の画素単位の画素単位iの動きベクトルを用いて計算によって取得され、基準画像が、画素単位iの動きベクトルを用いて、画素単位iの整数画素位置に対応する基準画素単位を求めてサーチされ、画素単位iの整数画素位置に対応している、基準画像で見つかる基準画素単位は、画素単位iの、基準画像における基準画素単位である。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、P個の画素単位の各々の、基準画像における対応する基準画素単位は、画素単位iの、基準画像における基準画素単位を決定する方法と同様の方法で決定することができる。
本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得するステップは、
P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の整数画素位置を取得するステップ、を含む。
xInt＝［νNx／N］、またはxInt＝νNx≧M.
yInt＝［νNy／N］、またはyInt＝νNy≧M.
式中、Mは、Nが2の整数べきである場合log2Nに等しく、（xInt，yInt）は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の整数画素位置座標を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
例えば、図3−bを参照すると、図3−bの四角は、現在の位置に隣接した整数画素位置のところの画素を表しており、三角は副画素を表している。
305．映像符号化装置は、P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行う。
Qはnより大きい整数である。
本発明のいくつかの可能な実施態様では、Nの値は事前設定された固定値とすることができ、QはN以上とすることができる。Nの値を事前設定された固定値とすることができる場合、これは、動きモデルとW個の制御点の動きベクトルとを用いて計算により取得される、現在の画像ブロックのP個の画素単位の動きベクトルの精度が、現在の画像ブロックのサイズに不必要に関連していることを示している。言い換えると、例えば、本実施形態の解決策によれば、事前設定された固定精度を有する予測画素値を、低精度の補間フィルタリングを行うことによる低精度の予測画素値を取得するための中間プロセスなしで取得することができる。
例えば、Wは、2、3、4、5、6、8、または別の値とすることができる。
例えば、Pは、1、2、3、4、5、6、8、10、15、16、21、32、64または別の値とすることができる。
例えば、Qは、128、9、18、24、256、8、10、15、16、21、32、64、または別の値とすることができる。
例えば、Nは、128、9、18、24、256、8、10、15、16、21、32、64、または別の値とすることができる。
例えば、nは、8、2、4、または別の値とすることができる
本発明のいくつかの可能な実施態様では、Nは2の整数べきとすることもでき、あるいは当然ながら、Nは別の正の整数とすることもできる。
本発明のいくつかの可能な実施態様では、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップと、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定するステップであって、補間フィルタによって用いられるフィルタ係数は位相に対応している、ステップと、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップと
を含む。
具体的には、例えば、画素単位iの位相が、P個の画素単位の画素単位iの動きベクトルを用いて計算によって取得され、画素単位iに対応しているQの位相を有する補間フィルタが、画素単位iの位相に基づいて決定され、補間フィルタによって用いられるフィルタ係数は位相に対応しており、画素単位iに対応しているQの位相を有する決定された補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われる。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、補間フィルタリングは、画素単位iに対して補間フィルタリングを行う方法と同様の方法に従ってP個の画素単位の各々に対して行うことができる。
本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップは、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得するステップ、を含む。
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、位相は水平位相と垂直位相とを含み、各画素単位の位相に基づき、画素単位に対応しているQの位相を有する補間フィルタを決定するステップは、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定するステップと、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定するステップと、を含み、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
具体的には、例えば、画素単位iに対応しているQの位相を有する水平補間フィルタが、画素単位iの水平位相に基づいて決定され、画素単位iに対応しているQの位相を有する垂直補間フィルタが、画素単位iの垂直位相に基づいて決定され、水平補間フィルタによって用いられるフィルタ係数は画素単位iの水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は画素単位iの垂直位相に対応している。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、P個の画素単位の各々に対応しているQの位相を有する補間フィルタは、画素単位iに対応しているQの位相を有する補間フィルタを決定する方法と同様の方法に従って決定することができる。
任意選択で、本発明のいくつかの可能な実施態様では、画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
水平補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行うステップ、または
垂直補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行うステップ
を含む。
加えて、画素単位がただ1つの位相のみを有する（すなわち、水平位相または垂直位相のみを有する）場合には、画素単位の予測画素値を取得するために、画素単位の基準画素単位に対して補間フィルタリングを1回だけ行いさえすればよい。
306．映像符号化装置は、P個の画素単位の元の画素値と現在の画像ブロックのP個の画素単位の予測画素値とを用いて現在の画像ブロックの予測残差を取得することができ、映像符号化装置は、現在の画像ブロックの予測残差をビデオビットストリームに書き込むことができる。
以上からわかるように、本実施形態の解決策では、映像符号化装置は、動きモデルと、W個の制御点の、その精度が画素精度の1／nである動きベクトルとを用いて、計算により、現在の画像ブロックの各画素単位の、その精度が画素精度の1／Nである動きベクトルを取得し、Nはnより大きい。言い換えると、計算によって取得される、現在の画像ブロックの各画素単位の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。高精度の動きベクトルがまず取得される。したがって、現在の画像ブロックの各画素単位の高精度の動きベクトルを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位が決定され、Qの位相を有する（Qはnより大きい）補間フィルタを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われて、現在の画像ブロックの各画素単位の予測画素値が取得される。前述の方法は、予測によって、現在の画像ブロックの高精度の予測画素値を取得するのに必要な補間フィルタリングの回数を低減させるのに役立ち（例えば、低精度の補間フィルタリングを行うことによって低精度の予測画素値を取得するための中間プロセスが不要となる）、そのため、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュおよびメモリ動作の量が低減し、画像予測プロセスの間の計算の複雑さが低減することがわかる。
以下で、復号器側の視点からの解決策について説明する。
図4を参照すると、図4は、本発明の別の実施形態による別の画像予測方法の概略流れ図である。図4に示す例において、本発明の別の実施形態で提供される別の画像予測方法は以下のステップを含む。
401．映像復号化装置が、現在の画像ブロックにおけるW個の制御点を決定する。
402．映像復号化装置はW個の制御点の動きベクトルを決定する。
映像復号化装置が、W個の制御点の動きベクトルを決定するステップは、W個の制御点の各々に対応する候補動き情報単位集合を決定するステップであって、各制御点に対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、ステップと、W個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するステップであって、組み合わせ動き情報単位集合e内の各動き情報単位は、W個の制御点の各々に対応する候補動き情報単位集合内の少なくともいくつかの動き情報単位の中から選択され、組み合わせ動き情報単位集合e内の各組み合わせ動き情報単位は動きベクトルを含む、ステップと、W個の制御点の動きベクトルを取得するために組み合わせ動き情報単位集合e内のW個の動きベクトルに対して予測もしくは動き推定を行い、または組み合わせ動き情報単位集合eに含まれるW個の動きベクトルをW個の制御点の動きベクトルとして使用するステップと、を含むことができる。
本発明のいくつかの可能な実施態様では、候補動き情報単位集合内の各動きベクトルの精度は画素精度の1／nとすることができる。
403．映像復号化装置は、動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得する。
Pは正の整数であり、WおよびNは1より大きい整数である。
P個の画素単位は現在の画像ブロックの画素単位の一部または全部である。
P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられる。したがって、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いることができる。
W個の制御点の決定された動きベクトルの精度は画素精度の1／nである。
計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nである。
W、n、およびNは1より大きい整数である。
Nはnより大きい。Pは正の整数である。
Nはnより大きいため、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。すなわち、現在の画像ブロックのP個の画素単位のより高精度の動きベクトルが取得される。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測され、nは正の整数であり、nはNより小さい。
本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルが予測値に基づくものである場合、予測値の精度も画素精度の1／nであり、制御点の、その精度が画素精度の1／nである動きベクトルと対応する予測値との差をビットストリームに書き込むことができる。
本発明のいくつかの可能な実施態様では、動きモデルは、例えば、並進運動モデル、アフィン運動モデル、回転運動モデル、放物運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、または双一次運動モデルとすることができる。
例えば、本発明のいくつかの可能な実施態様では、Wが2に等しい場合、動きモデルは以下のように表すことができる。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
別の例として、本発明のいくつかの可能な実施態様では、Wが3に等しい場合、動きモデルは以下のように表すことができる。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
以上の例は、アフィン運動モデルを用いて説明される。並進運動モデル、回転運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、放物運動モデル、双一次運動モデルなどが用いられる場合、前述の例を参照することができる。ここでは詳細を繰り返さない。
404．映像復号化装置は、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定する。
任意選択で、本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定するステップは、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得するステップと、P個の画素単位の各々の動きベクトルを用いて、P個の画素単位の各々の整数画素位置に対応する基準画素単位を求めて基準画像をサーチするステップと、を含み、P個の画素単位の各々の整数画素位置に対応している、基準画像で見つかる基準画素単位は、P個の画素単位の各々の、基準画像における基準画素単位である。
具体的には、例えば、画素単位iの整数画素位置が、P個の画素単位の画素単位iの動きベクトルを用いて計算によって取得され、基準画像が、画素単位iの動きベクトルを用いて、画素単位iの整数画素位置に対応する基準画素単位を求めてサーチされ、画素単位iの整数画素位置に対応している、基準画像で見つかる基準画素単位は、画素単位iの、基準画像における基準画素単位である。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、P個の画素単位の各々の、基準画像における対応する基準画素単位は、画素単位iの、基準画像における基準画素単位を決定する方法と同様の方法で決定することができる。
本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得するステップは、
P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の整数画素位置を取得するステップ、を含む。
xInt＝［νNx／N］、またはxInt＝νNx≧M；
yInt＝［νNy／N］、またはyInt＝νNy≧M；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、（xInt，yInt）は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の整数画素位置座標を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
405．映像復号化装置は、P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における基準画素単位の画素に対して補間フィルタリングを行う。
Qはnより大きい整数である。
本発明のいくつかの可能な実施態様では、Nの値は事前設定された固定値とすることができ、QはN以上とすることができる。Nの値を事前設定された固定値とすることができる場合、これは、動きモデルとW個の制御点の動きベクトルとを用いて計算により取得された、現在の画像ブロックのP個の画素単位の動きベクトルの精度が、現在の画像ブロックのサイズに不必要に関連していることを示している。言い換えると、例えば、本実施形態の解決策によれば、事前設定された固定精度を有する予測画素値を、低精度の補間フィルタリングを行うことによる低精度の予測画素値を取得するための中間プロセスなしで取得することができる。
例えば、Wは、2、3、4、5、6、8、または別の値とすることができる。
例えば、Pは、1、2、3、4、5、6、8、10、15、16、21、32、64または別の値とすることができる。
例えば、Qは、128、9、18、24、256、8、10、15、16、21、32、64、または別の値とすることができる。
例えば、Nは、128、9、18、24、256、8、10、15、16、21、32、64、または別の値とすることができる。
例えば、nは、8、2、4、または別の値とすることができる
本発明のいくつかの可能な実施態様では、Nは2の整数べきとすることもでき、あるいは当然ながら、Nは別の正の整数とすることもできる。
本発明のいくつかの可能な実施態様では、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップと、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定するステップであって、補間フィルタによって用いられるフィルタ係数は位相に対応している、ステップと、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップと
を含む。
具体的には、例えば、画素単位iの位相が、P個の画素単位の画素単位iの動きベクトルを用いて計算によって取得され、画素単位iに対応しているQの位相を有する補間フィルタが、画素単位iの位相に基づいて決定され、補間フィルタによって用いられるフィルタ係数は位相に対応しており、画素単位iに対応しているQの位相を有する決定された補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われる。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、補間フィルタリングは、画素単位iに対して補間フィルタリングを行う方法と同様の方法に従ってP個の画素単位の各々に対して行うことができる。
本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得するステップは、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得するステップ、を含む。
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）.
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）.
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、位相は水平位相と垂直位相とを含み、各画素単位の位相に基づき、画素単位に対応しているQの位相を有する補間フィルタを決定するステップは、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定するステップと、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定するステップと、を含み、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
具体的には、例えば、画素単位iに対応しているQの位相を有する水平補間フィルタが、画素単位iの水平位相に基づいて決定され、画素単位iに対応しているQの位相を有する垂直補間フィルタが、画素単位iの垂直位相に基づいて決定され、水平補間フィルタによって用いられるフィルタ係数は画素単位iの水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は画素単位iの垂直位相に対応している。画素単位iは、P個の画素単位のうちの任意の1つとすることができる。例えば、P個の画素単位の各々に対応しているQの位相を有する補間フィルタは、画素単位iに対応しているQの位相を有する補間フィルタを決定する方法と同様の方法に従って決定することができる。
任意選択で、本発明のいくつかの可能な実施態様では、画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うステップは、
水平補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行うステップ、または
垂直補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行うステップ
を含む。
加えて、画素単位がただ1つの位相のみを有する（すなわち、水平位相または垂直位相のみを有する）場合には、画素単位の予測画素値を取得するために、画素単位の基準画素単位に対して補間フィルタリングを1回だけ行いさえすればよい。
406．映像復号化装置は、現在の画像ブロックの予測画素値および現在の画像ブロックの、ビデオビットストリームにおける予測残差を用いて現在の画像ブロックを復元する。
以上からわかるように、本実施形態の解決策では、映像復号化装置は、動きモデルと、W個の制御点の、その精度が画素精度の1／nである動きベクトルとを用いて、計算により、現在の画像ブロックの各画素単位の、その精度が画素精度の1／Nである動きベクトルを取得し、Nはnより大きい。言い換えると、計算によって取得される、現在の画像ブロックの各画素単位の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。高精度の動きベクトルがまず取得される。したがって、現在の画像ブロックの各画素単位の高精度の動きベクトルを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位が決定され、Qの位相を有する（Qはnより大きい）補間フィルタを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われて、現在の画像ブロックの各画素単位の予測画素値が取得される。前述の方法は、予測によって、現在の画像ブロックの高精度の予測画素値を取得するのに必要な補間フィルタリングの回数を低減させるのに役立ち（例えば、低精度の補間フィルタリングを行うことによって低精度の予測画素値を取得するための中間プロセスが不要となる）、そのため、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュおよびメモリ動作の量が低減し、画像予測プロセスの間の計算の複雑さが低減することがわかる。
以下では、例を用いて、前述の実施形態におけるW個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するいくつかの可能な具体的実施態様について説明する。
W個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するステップは、A個の候補組み合わせ動き情報単位集合の中から、W個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するステップであって、A個の候補組み合わせ動き情報単位集合の各々に含まれる各動き情報単位は、W個の制御点の各々に対応する候補動き情報単位集合内の、制約条件を満たす少なくともいくつかの動き情報単位の中から選択され、Aは正の整数であり、A個の候補組み合わせ動き情報単位集合は相互に異なり、A個の候補組み合わせ動き情報単位集合の各々はW個の動き情報単位を含む、ステップ、を含む。
任意選択で、本発明のいくつかの可能な実施態様では、A個の候補組み合わせ動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たす。
第1の条件は、現在の画像ブロックの、A個の候補組み合わせ動き情報単位集合のいずれか1つにおける動き情報単位によって示される動き方が非並進運動であること、を含む。
第2の条件は、A個の候補組み合わせ動き情報単位集合のいずれか1つにおける2つの動き情報単位に対応する予測方向が同じであること、を含む。
第3の条件は、A個の候補組み合わせ動き情報単位集合のいずれか1つにおける2つの動き情報単位に対応する参照フレームインデックスが同じであること、を含む。
第4の条件は、A個の候補組み合わせ動き情報単位集合のいずれか1つにおける2つの動き情報単位の動きベクトルの水平成分間の差の絶対値が水平成分閾値以下であること、または制御点Zの動きベクトルと、A個の候補組み合わせ動き情報単位集合のいずれか1つにおける1つの動き情報単位の動きベクトルとの水平成分間の差の絶対値が水平成分閾値以下であり、現在の画像ブロックの制御点ZはW個の制御点のどの1つとも異なること、を含む。
第5の条件は、A個の候補組み合わせ動き情報単位集合のいずれか1つにおける2つの動き情報単位の動きベクトルの垂直成分間の差の絶対値が垂直成分閾値以下であること、または制御点Zの動きベクトルと、A個の候補組み合わせ動き情報単位集合の1つにおける任意の動き情報単位の動きベクトルとの垂直成分間の差の絶対値が垂直成分閾値以下であり、現在の画像ブロックの制御点ZはW個の制御点のどの1つとも異なること、を含む。
任意選択で、本発明のいくつかの可能な実施態様では、映像符号化／復号化装置がA個の候補組み合わせ動き情報単位集合の中から、W個の動き情報単位を含む組み合わせ動き情報単位集合eを決定するステップは、A個の候補組み合わせ動き情報単位集合の中から、歪みまたはレート歪みコストに基づいて、W個の動きベクトルを含む組み合わせ動き情報単位集合eを決定するステップ、を含む。
任意選択で、組み合わせ動き情報単位集合eに対応するレート歪みコストは、A個の候補組み合わせ動き情報単位集合内の、組み合わせ動き情報単位集合e以外の任意の組み合わせ動き情報単位集合に対応するレート歪みコスト以下である。
任意選択で、組み合わせ動き情報単位集合eに対応する歪みは、A個の候補組み合わせ動き情報単位集合内の、組み合わせ動き情報単位集合e以外の任意の組み合わせ動き情報単位集合に対応する歪み以下である。
A個の候補組み合わせ動き情報単位集合の候補組み合わせ動き情報単位集合（例えば、A個の候補組み合わせ動き情報単位集合の組み合わせ動き情報単位集合e）に対応するレート歪みコストは、例えば、画像ブロック（例えば、現在の画像ブロック）の、候補組み合わせ動き情報単位集合（例えば、組み合わせ動き情報単位集合e）を用いて画像ブロックに対して行われる画素値予測によって取得される予測画素値に対応するレート歪みコストとすることができる。
A個の候補組み合わせ動き情報単位集合の候補組み合わせ動き情報単位集合（例えば、A個の候補組み合わせ動き情報単位集合の組み合わせ動き情報単位集合e）に対応するレート歪みコストは、例えば、画像ブロック（例えば、現在の画像ブロック）の元の画素値と、画像ブロックの、候補組み合わせ動き情報単位集合（例えば、組み合わせ動き情報単位集合e）を用いて画像ブロックに対して行われる画素値予測によって取得される予測画素値との間の歪み（すなわち、画像ブロックの元の画素値と予測画素値との間の歪み）とすることができる。
本発明のいくつかの可能な実施態様では、画像ブロック（例えば、現在の画像ブロック）の元の画素値と、画像ブロックの、候補組み合わせ動き情報単位集合（例えば、組み合わせ動き情報単位集合e）を用いて画像ブロックに対して行われる画素値予測によって取得される予測画素値との間の歪みは、具体的には例えば、差分二乗和（SSD）、差分絶対値の和（SAD）、差分和、または画像ブロック（例えば、現在の画像ブロック）の元の画素値と、画像ブロックの、候補組み合わせ動き情報単位集合（例えば、組み合わせ動き情報単位集合e）を用いて画像ブロックに対して行われる画素値予測によって取得される予測画素値との間の歪みを測定できる別の歪みパラメータ値とすることができる。
以下では、例を用いて、現在の画像ブロックにおけるW個の制御点を決定するいくつかの可能な方法について説明する。
任意選択で、本発明のいくつかの可能な実施態様では、W個の制御点は、現在の画像ブロックにおける左上制御点、右上制御点、左下制御点、および中心制御点a1のW個の制御点を含む。
現在の画像ブロックの左上制御点は、現在の画像ブロックの左上頂点、または現在の画像ブロックの左上頂点を含む、現在の画像ブロック内の画素ブロックである。現在の画像ブロックの左下制御点は、現在の画像ブロックの左下頂点、または現在の画像ブロックの左下頂点を含む、現在の画像ブロック内の画素ブロックである。現在の画像ブロックの右上制御点は、現在の画像ブロックの右上頂点、または現在の画像ブロックの右上頂点を含む、現在の画像ブロック内の画素ブロックである。現在の画像ブロックの中心制御点a1は、現在の画像ブロックの中心画素、または現在の画像ブロックの中心画素を含む、現在の画像ブロック内の画素ブロックである。
任意選択で、本発明のいくつかの可能な実施態様では、現在の画像ブロックの左上制御点に対応する候補動き情報単位集合は、x1個の画素単位の動き情報単位を含む。x1個の画素単位は、現在の画像ブロックにおいて左上制御点に空間的に隣接する少なくとも1つの画素単位（例えば、図2−bの画像ブロックA、B、およびC）、および／または現在の画像ブロックにおいて左上制御点に時間的に隣接する少なくとも1つの画素単位を含み、x1は正の整数である。
例えば、x1個の画素単位は、以下のうちの少なくとも1つを含む：その位置が現在の画像ブロックにおける左上制御点の位置と同じである、現在の画像ブロックが属するビデオフレームに時間的に隣接したビデオフレーム内の画素単位、現在の画像ブロックに空間的に隣接した、現在の画像ブロックの左側にある画素単位、現在の画像ブロックに空間的に隣接した、現在の画像ブロックの左上にある画素単位、または現在の画像ブロックに空間的に隣接した、現在の画像ブロックの上側にある画素単位。
任意選択で、本発明のいくつかの可能な実施態様では、現在の画像ブロックの右上制御点に対応する候補動き情報単位集合は、x2個の画素単位を含む。x2個の画素単位は、現在の画像ブロックにおいて右上制御点に空間的に隣接する少なくとも1つの画素単位（例えば、図2−bの画像ブロックDおよびE）、および／または現在の画像ブロックにおいて右上制御点に時間的に隣接する少なくとも1つの画素単位を含み、x2は正の整数である。
例えば、x2個の画素単位は、以下のうちの少なくとも1つを含む：その位置が現在の画像ブロックにおける右上制御点の位置と同じである、現在の画像ブロックが属するビデオフレームに時間的に隣接したビデオフレーム内の画素単位、現在の画像ブロックに空間的に隣接した、現在の画像ブロックの右側にある画素単位、現在の画像ブロックに空間的に隣接した、現在の画像ブロックの右上にある画素単位、または現在の画像ブロックに空間的に隣接した、現在の画像ブロックの上側にある画素単位。
任意選択で、本発明のいくつかの可能な実施態様では、
現在の画像ブロックの左下制御点に対応する候補動き情報単位集合は、x3個の画素単位の動き情報単位を含む。x3個の画素単位は、現在の画像ブロックにおいて左下制御点に空間的に隣接する少なくとも1つの画素単位、および／または現在の画像ブロックにおいて左下制御点に時間的に隣接する少なくとも1つの画素単位を含み、x3は正の整数である。
例えば、x3個の画素単位は、以下のうちの少なくとも1つを含む：その位置が現在の画像ブロックにおける左下制御点の位置と同じである、現在の画像ブロックが属するビデオフレームに時間的に隣接したビデオフレーム内の画素単位、現在の画像ブロックに空間的に隣接した、現在の画像ブロックの左側にある画素単位、現在の画像ブロックに空間的に隣接した、現在の画像ブロックの左下にある画素単位、または現在の画像ブロックに空間的に隣接した、現在の画像ブロックの下側にある画素単位。
任意選択で、本発明のいくつかの可能な実施態様では、現在の画像ブロックの中心制御点a1に対応する候補動き情報単位集合は、x5個の画素単位の動き情報単位を含む。x5画素単位のうちの1つが画素単位a2である。
現在の画像ブロックが属するビデオフレーム内の中心制御点a1の位置は、現在の画像ブロックが属するビデオフレームに隣接したビデオフレーム内の画素単位a2の位置と同じであり、x5は正の整数である。
以下の表に、画素単位の位相とフィルタ係数との間の対応関係を示す。
表1には、256のゲイン倍率を有する64位相補間フィルタのフィルタ係数と画素単位の位相との間の対応関係を示す。
表2には、64のゲイン倍率を有する64位相補間フィルタのフィルタ係数と画素単位の位相との間の対応関係を示す。
Figure 0006776276
Figure 0006776276
Figure 0006776276
Figure 0006776276
Figure 0006776276
Figure 0006776276
例えば、画素単位の水平位相がx＝12であるとき、256のゲイン倍率を有する64位相補間フィルタを使用した場合、水平補間フィルタリングの結果Sは以下のように表すことができる。
S＝（（−2）×x0＋10×x1＋（−31）×x2＋239×x2＋52×x4＋（−17）×x5＋5×x6＋0×x7）＋offset）／256
画素単位の予測画素値は、水平補間フィルタリング結果Sを用いて取得することができ、式中、offsetは任意の整数とすることができる。
以下では、いくつかの試験データを用いて、本発明の実施形態の解決策の技術的効果を提示する。
表3および表4に、従来の解決策と本発明の実施形態の解決策との間のいくつかの試験性能の対比を示す。表3には、従来の解決策の試験性能を示し、表4には本発明のいくつかの実施形態の解決策の試験性能を示す。
Figure 0006776276
Figure 0006776276
前述の2つの表間の対比からわかるように、本発明の実施形態の技術的解決策では、先行技術と比べて、符号化性能および復号化性能が大きく向上する。
以下では、前述の解決策を実施するように構成された関連装置をさらに示す。
図5を参照すると、本発明の一実施形態は画像予測装置500を提供し、画像予測装置500は、第1の決定部510と、計算部520と、補間フィルタリング部540とを含む。
第1の決定部510は、現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するように構成されている。
計算部520は、動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得するように構成されており、W個の制御点の決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nであり、P個の画素単位は現在の画像ブロックの画素単位の一部または全部である。
P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられる。W、n、およびNは1より大きい整数である。Nはnより大きい。Pは正の整数である。
補間フィルタリング部540は、P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における基準画素単位の画素に対して補間フィルタリングを行うように構成されている。
画像予測装置500は、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定するように構成された、第2の決定部530をさらに含んでいてよい。
任意選択で、本発明のいくつかの可能な実施態様では、Nの値は事前設定された固定値であり、QはN以下である。
任意選択で、本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルのうちの1つの水平成分もしくは垂直成分は、Nを用いて動きモデルにおいてN回増幅され、またはW個の制御点のうちの任意の2つの動きベクトル間の成分差は、Nを用いて動きモデルにおいてN回増幅される。
任意選択で、本発明のいくつかの可能な実施態様では、
第2の決定部530は、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得し、P個の画素単位の各々の動きベクトルを用いて、P個の画素単位の各々の整数画素位置に対応する基準画素単位を求めて基準画像をサーチする、ように特に構成されており、P個の画素単位の各々の整数画素位置に対応している、基準画像で見つかる基準画素単位は、P個の画素単位の各々の、基準画像における基準画素単位である。
任意選択で、本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得する局面で、第2の決定部530は、
P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の整数画素位置を取得する、ように特に構成されている。
xInt＝［νNx／N］、またはxInt＝νNx≧M；
yInt＝［νNy／N］、またはyInt＝νNy≧M；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、（xInt，yInt）は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の整数画素位置座標を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、
補間フィルタリング部は、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得し、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタであって、位相に対応しているフィルタ係数を用いる補間フィルタを決定し、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行う、ように特に構成されている。
任意選択で、本発明のいくつかの可能な実施態様では、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得する局面で、補間フィルタリング部は、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得するように特に構成されている。
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、位相は水平位相と垂直位相とを含み、
各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタを決定する局面で、補間フィルタリング部は、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定し、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定する、ように特に構成されており、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
任意選択で、本発明のいくつかの可能な実施態様では、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行う局面で、補間フィルタリング部は、
水平補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行い、または
垂直補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行う、
ように特に構成されている。
任意選択で、本発明のいくつかの可能な実施態様では、動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、ズーミング運動モデル、放物運動モデル、せん断運動モデル、射影運動モデル、または双一次運動モデルである。
任意選択で、本発明のいくつかの可能な実施態様では、
Wが2に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、
Wが3に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
任意選択で、本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測される。
任意選択で、本発明のいくつかの可能な実施態様では、画像予測装置500は映像符号化装置に適用され、または画像予測装置500は映像復号化装置に適用される。
本実施形態の画像予測装置500の機能モジュールの機能は、前述の方法実施形態の方法に従って具体的に実施されうることが理解されよう。画像予測装置500の具体的な実現プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像予測装置500は、映像を出力し、または再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話、または別の機器であってよい。
本実施形態では、画像予測装置500は、現在の画像ブロックの各画素単位の、動きモデルと、W個の制御点の、その精度が画素精度の1／nである動きベクトルとを用いて、計算により、その精度が画素精度の1／Nである動きベクトルを取得し、Nはnより大きいことがわかる。言い換えると、計算によって取得される、現在の画像ブロックの各画素単位の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。高精度の動きベクトルがまず取得される。したがって、現在の画像ブロックの各画素単位の高精度の動きベクトルを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位が決定され、Qの位相を有する（Qはnより大きい）補間フィルタを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われて、現在の画像ブロックの各画素単位の予測画素値が取得される。前述の方法は、予測によって、現在の画像ブロックの高精度の予測画素値を取得するのに必要な補間フィルタリングの回数を低減させるのに役立ち（例えば、低精度の補間フィルタリングを行うことによって低精度の予測画素値を取得するための中間プロセスが不要となる）、そのため、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュおよびメモリ動作の量が低減し、画像予測プロセスの間の計算の複雑さが低減することがわかる。
図6を参照すると、図6は、本発明の別の実施形態による画像予測装置600の構造ブロック図である。画像予測装置600は、少なくとも1つのプロセッサ601と、メモリ605と、少なくとも1つの通信バス602とを含む。通信バス602は、構成要素間の接続および通信を実現するように構成されている。
画像予測装置600は、任意選択で、少なくとも1つのネットワークインターフェース604および／またはユーザインターフェース603を含んでいてもよいユーザインターフェース603には、ディスプレイ（例えば、ホログラフィックイメージング装置、陰極線管、プロジェクタ）、ポインティングデバイス（例えば、マウス、トラックボール、タッチパネル、タッチスクリーン）、カメラ、および／または収音装置などを含むことができる。
メモリ605は、読取り専用メモリおよびランダム・アクセス・メモリを含み、プロセッサ601のための命令およびデータを提供することができる。メモリ605の一部は、不揮発性ランダム・アクセス・メモリをさらに含んでいてよい。
いくつかの実施態様では、メモリ605は、実行可能モジュールまたはデータ構造、それらのサブセット、またはそれらの拡張セットを含み、メモリ605は、
様々なシステムプログラムを含み、様々な基本サービスを実施し、ハードウェアベースのタスクを処理するように構成された、オペレーティングシステム6051と、
様々なアプリケーションプログラムを含み、様々なアプリケーションサービスを実施するように構成された、アプリケーション・プログラム・モジュール6052と
を含む。
本発明の本実施形態では、メモリ605に記憶されているプログラムまたは命令を呼び出すことによって、プロセッサ601は、現在の画像ブロックにおけるW個の制御点の動きベクトルを決定し、動きモデルとW個の制御点の動きベクトルとを用いて、計算により、現在の画像ブロックのP個の画素単位の動きベクトルを取得する、ように構成され、W個の制御点の決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、P個の画素単位の各々の動きベクトルの精度は画素精度の1／Nであり、P個の画素単位は現在の画像ブロックの画素単位の一部または全部であり、P個の画素単位の各々の動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数であり、またプロセッサは、P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うように構成され、Qはnより大きい整数である。
任意選択で、本発明のいくつかの可能な実施態様では、Nの値は事前設定された固定値であり、QはN以下である。
任意選択で、本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルのうちの1つの水平成分もしくは垂直成分は、Nを用いて動きモデルにおいてN回増幅され、またはW個の制御点のうちの任意の2つの動きベクトル間の成分差は、Nを用いて動きモデルにおいてN回増幅される。
任意選択で、本発明のいくつかの可能な実施態様では、プロセッサが、P個の画素単位の各々の動きベクトルを用いてP個の画素単位の各々の、基準画像における対応する基準画素単位を決定することは、
P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得することと、P個の画素単位の各々の動きベクトルを用いて、P個の画素単位の各々の整数画素位置に対応する基準画素単位を求めて基準画像をサーチすることと、を含み、P個の画素単位の各々の整数画素位置に対応している、基準画像で見つかる基準画素単位は、P個の画素単位の各々の、基準画像における基準画素単位である。
任意選択で、本発明のいくつかの可能な実施態様では、プロセッサが、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の整数画素位置を取得することは、
P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の整数画素位置を取得すること、を含む。
xInt＝［νNx／N］、またはxInt＝νNx≧M；
yInt＝［νNy／N］、またはyInt＝νNy≧M；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、（xInt，yInt）は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の整数画素位置座標を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、プロセッサが、Qの位相を有する補間フィルタを用いてP個の画素単位の各々の、基準画像における基準画素単位の画素に対して補間フィルタリングを行うことは、
P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得することと、各画素単位の位相に基づき、対応する画素単位に対応しているQの位相を有する補間フィルタであって、位相に対応しているフィルタ係数を用いる補間フィルタを決定することと、対応する画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うことと
を含む。
任意選択で、本発明のいくつかの可能な実施態様では、プロセッサが、P個の画素単位の各々の動きベクトルを用いて、計算により、P個の画素単位の各々の位相を取得することは、P個の画素単位の各々の動きベクトルを用いて以下の式に従って、計算により、P個の画素単位の各々の位相を取得すること、を含む。
X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の垂直位相を表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、位相は水平位相と垂直位相とを含み、プロセッサが、各画素単位の位相に基づき、画素単位に対応しているQの位相を有する補間フィルタを決定することは、各画素単位の水平位相に基づき、対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定することと、各画素単位の垂直位相に基づき、対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定することとを含み、水平補間フィルタによって用いられるフィルタ係数は水平位相に対応しており、垂直補間フィルタによって用いられるフィルタ係数は垂直位相に対応している。
任意選択で、本発明のいくつかの可能な実施態様では、プロセッサが、画素単位に対応しているQの位相を有する決定された補間フィルタを用いて各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングを行うことは、
水平補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて画素単位iの、基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、画素単位iの予測画素値を取得するために、画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて水平補間フィルタリングの結果に対して垂直補間フィルタリングを行うこと、または
垂直補間フィルタリングの結果を取得するために、P個の画素単位のうちの任意の1つである画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて画素単位jの、基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、画素単位jの予測画素値を取得するために、画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて垂直補間フィルタリングの結果に対して水平補間フィルタリングを行うこと
を含む。
任意選択で、本発明のいくつかの可能な実施態様では、動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、放物運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、または双一次運動モデルである。
任意選択で、本発明のいくつかの可能な実施態様では、
Wが2に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、Lは、現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表す。
任意選択で、本発明のいくつかの可能な実施態様では、
Wが3に等しい場合、動きモデルは以下のように表される。
Figure 0006776276
式中、νNxは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が画素精度の1／Nである動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が画素精度の1／nである動きベクトルを表し、wは、現在の画像ブロックの幅を表し、hは、現在の画像ブロックの高さを表す。
任意選択で、本発明のいくつかの可能な実施態様では、W個の制御点の動きベクトルは、現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が画素精度の1／nである動きベクトルに基づいて予測される。
任意選択で、本発明のいくつかの可能な実施態様では、Nの値は事前設定された固定値である。
任意選択で、本発明のいくつかの可能な実施態様では、画像予測装置600は映像符号化装置に適用され、または画像予測装置600は映像復号化装置に適用される。
本実施形態の画像予測装置600の機能モジュールの機能は、前述の方法実施形態の方法に従って具体的に実施されうることが理解されよう。画像予測装置600の具体的な実現プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像予測装置600は、映像を出力し、または再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話、または別の機器であってよい。
本実施形態で提供される画像予測方法では、画像予測装置600は、現在の画像ブロックの各画素単位の、動きモデルと、W個の制御点の、その精度が画素精度の1／nである動きベクトルとを用いて、計算により、その精度が画素精度の1／Nである動きベクトルを取得し、Nはnより大きいことがわかる。言い換えると、計算によって取得される、現在の画像ブロックの各画素単位の動きベクトルの精度は、W個の制御点の決定された動きベクトルの精度より高い。高精度の動きベクトルがまず取得される。したがって、現在の画像ブロックの各画素単位の高精度の動きベクトルを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位が決定され、Qの位相を有する（Qはnより大きい）補間フィルタを用いて現在の画像ブロックの各画素単位の、基準画像における対応する基準画素単位の画素に対して補間フィルタリングが行われて、現在の画像ブロックの各画素単位の予測画素値が取得される。前述の方法は、予測によって、現在の画像ブロックの高精度の予測画素値を取得するのに必要な補間フィルタリングの回数を低減させるのに役立ち（例えば、低精度の補間フィルタリングを行うことによって低精度の予測画素値を取得するための中間プロセスが不要となる）、そのため、画像予測プロセスの間に補間フィルタリングに必要とされる中間キャッシュおよびメモリ動作の量が低減し、画像予測プロセスの間の計算の複雑さが低減することがわかる。
前述の各実施形態において、各実施形態の記述にはそれぞれの視点がある。ある実施形態で詳細に記載されていない部分については、他の実施形態の関連説明を参照されたい。
本出願で提供されるいくつかの実施形態では、開示の装置を他のやり方で実現することもできることを理解されたい。例えば、説明した装置実施形態は単なる例にすぎない。例えば、ユニット分割は単なる論理的機能分割にすぎず、実際の実装に際しては他の分割とすることもできる。例えば、複数のユニットまたはコンポーネントを組み合わせ、または統合して別のシステムとする場合もあり、いくつかの特徴を無視し、または実行しない場合もある。加えて、図示の、または上述の相互結合または直接結合または通信接続を、いくつかのインターフェースを使用して実現することもできる。装置間またはユニット間の間接結合または通信接続は、電子的形態、または他の形態として実現することができる。
別々の部品として記述されたユニットは物理的に分離している場合もそうではない場合もあり、ユニットとして図示された部品は物理的ユニットである場合もそうではない場合もあり、一箇所に位置する場合もあり、複数のネットワークユニット上に分散される場合もある。ユニットの一部または全部を、各実施形態の解決策の目的を達成するための実際の要件に従って選択することもできる。
加えて、本発明の実施形態における機能ユニットを1つの処理ユニットに統合することもでき、ユニットの各々が物理的に独立して存在していてもよく、または少なくとも2つのユニットを1つのユニットに統合することもできる。統合ユニットはハードウェアの形態で実現することもでき、ソフトウェア機能ユニットの形態で実現することもできる。
統合ユニットがソフトウェア機能ユニットの形態で実現され、独立した製品として販売または使用される場合、その統合ユニットはコンピュータ可読記憶媒体に記憶されていてよい。そうした理解に基づき、本発明の技術解決策を本質的に、または先行技術に寄与する部分を、または技術解決策の全部もしくは一部を、ソフトウェア製品の形態で実現することもできる。コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワークデバイスなどとすることができる）に、本発明の実施形態において記述されている方法のステップの全部または一部を実行するよう命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、読取り専用メモリ（ROM、Read−Only Memory）、ランダム・アクセス・メモリ（RAM、Random Access Memory）、リムーバブル・ハード・ディスク、磁気ディスク、光ディスクといった、プログラムコードを記憶することができる任意の媒体を含む。
前述の実施形態は、単に本発明の技術的解決策を説明するためのものにすぎず、本発明を限定するためのものではない。本発明は前述の実施形態に関連して詳細に説明されているが、当業者は、本発明の実施形態の技術的解決策の範囲を逸脱することなく、前述の実施形態で記述されている技術的解決策にさらに改変を加え、または前述の実施形態のいくつかの技術的特徴に対する等価の置換を行うことができることを理解するはずである。
500 画像予測装置
510 第1の決定部
520 計算部
530 第2の決定部
540 補間フィルタリング部
600 画像予測装置
601 プロセッサ
602 通信バス
603 ユーザインターフェース
604 ネットワークインターフェース
605 メモリ
6051 オペレーティングシステム
6052 アプリケーション・プログラム・モジュール

Claims (37)

  1. 現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するステップと、
    動きモデルと前記W個の制御点の前記動きベクトルとを用いて、計算により、前記現在の画像ブロックのP個の画素単位の動きベクトルを取得するステップであって、前記W個の制御点の前記決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、前記P個の画素単位の各々の前記動きベクトルの精度は前記画素精度の1／Nであり、前記P個の画素単位は前記現在の画像ブロックの画素単位の一部または全部であり、前記P個の画素単位の各々の前記動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数である、ステップと、
    前記P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いて前記P個の画素単位の各々の、前記基準画像における前記対応する基準画素単位の画素に対して補間フィルタリングを行うステップであって、Qはnより大きい整数である、ステップと
    を含む、画像予測方法。
  2. Nの値は事前設定された固定値であり、QはN以下である、請求項1に記載の方法。
  3. 前記W個の制御点の前記動きベクトルのうちの1つの水平成分もしくは垂直成分が前記Nを用いて前記動きモデルにおいてN回増幅され、または前記W個の制御点のうちの任意の2つの動きベクトル間の成分差がNを用いて前記動きモデルにおいてN回増幅される、請求項1または2に記載の方法。
  4. Qの位相を有する補間フィルタを用いて前記P個の画素単位の各々の、前記基準画像における前記対応する基準画素単位の画素に対して補間フィルタリングを行う前記ステップは、
    前記P個の画素単位の各々の前記動きベクトルを用いて、計算により、前記P個の画素単位の各々の位相を取得するステップと、各画素単位の前記位相に基づき、前記画素単位に対応している前記Qの位相を有する前記補間フィルタを決定するステップであって、前記補間フィルタによって用いられるフィルタ係数は前記位相に対応している、ステップと、前記対応する画素単位に対応している前記Qの位相を有する前記決定された補間フィルタを用いて各画素単位の、前記基準画像における前記対応する基準画素単位の前記画素に対して補間フィルタリングを行うステップと
    を含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記P個の画素単位の各々の前記動きベクトルを用いて、計算により、前記P個の画素単位の各々の位相を取得する前記ステップは、前記P個の画素単位の各々の前記動きベクトルを用いて以下の式に従って、計算により、前記P個の画素単位の各々の前記位相を取得するステップ、を含み、
    X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
    Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
    式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の垂直位相を表し、νNxは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表す、請求項4に記載の方法。
  6. 前記位相は水平位相と垂直位相とを含み、各画素単位の前記位相に基づき、前記画素単位に対応している前記Qの位相を有する前記補間フィルタを決定する前記ステップは、各画素単位の前記水平位相に基づき、前記対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定するステップと、各画素単位の前記垂直位相に基づき、前記対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定するステップと、を含み、前記水平補間フィルタによって用いられるフィルタ係数は前記水平位相に対応しており、前記垂直補間フィルタによって用いられるフィルタ係数は前記垂直位相に対応している、請求項4または5に記載の方法。
  7. 前記画素単位に対応している前記Qの位相を有する前記決定された補間フィルタを用いて各画素単位の、前記基準画像における前記対応する基準画素単位の前記画素に対して補間フィルタリングを行う前記ステップは、
    水平補間フィルタリングの結果を取得するために、画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて前記画素単位iの、前記基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、前記画素単位iの予測画素値を取得するために、前記画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて前記水平補間フィルタリングの結果に対して垂直補間フィルタリングを行うステップであって、前記画素単位iが前記P個の画素単位のうちの任意の1つである、ステップ、または
    垂直補間フィルタリングの結果を取得するために、画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて前記画素単位jの、前記基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、前記画素単位jの予測画素値を取得するために、前記画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて前記垂直補間フィルタリングの結果に対して水平補間フィルタリングを行うステップであって、前記画素単位jが前記P個の画素単位のうちの任意の1つである、ステップ
    を含む、請求項6に記載の方法。
  8. 前記動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、放物運動モデル、せん断運動モデル、ズーミング運動モデル、射影運動モデル、または双一次運動モデルである、請求項1から7のいずれか一項に記載の方法。
  9. Wが2に等しい場合、前記動きモデルは以下のように表され、
    Figure 0006776276
     式中、Lは、前記現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が前記画素精度の1／nである動きベクトルを表し、νNxは、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表す、請求項1から8のいずれか一項に記載の方法。
  10. Wが3に等しい場合、前記動きモデルは以下のように表され、
    Figure 0006776276
     式中、νNxは、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が前記画素精度の1／nである動きベクトルを表し、wは、前記現在の画像ブロックの幅を表し、hは、前記現在の画像ブロックの高さを表す、請求項1から8のいずれか一項に記載の方法。
  11. 前記W個の制御点の前記動きベクトルは、前記現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が前記画素精度の1／nである動きベクトルに基づいて予測される、請求項1から10のいずれか一項に記載の方法。
  12. 前記画像予測方法は、映像符号化プロセスに適用され、または映像復号化プロセスに適用される、請求項1から11のいずれか一項に記載の方法。
  13. 現在の画像ブロックにおけるW個の制御点の動きベクトルを決定するように構成された、第1の決定部と、
    動きモデルと前記W個の制御点の前記動きベクトルとを用いて、計算により、前記現在の画像ブロックのP個の画素単位の動きベクトルを取得するように構成された計算部であって、前記W個の制御点の前記決定された動きベクトルの精度は画素精度の1／nであり、計算によって取得される、前記P個の画素単位の各々の前記動きベクトルの精度は前記画素精度の1／Nであり、前記P個の画素単位は前記現在の画像ブロックの画素単位の一部または全部であり、前記P個の画素単位の各々の前記動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数である、計算部と、
    前記P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いて前記P個の画素単位の各々の、前記基準画像における前記対応する基準画素単位の画素に対して補間フィルタリングを行うように構成された補間フィルタリング部であって、Qはnより大きい整数である、補間フィルタリング部と
    を含む、画像予測装置。
  14. Nの値は事前設定された固定値であり、QはN以下である、請求項13に記載の画像予測装置。
  15. 前記W個の制御点の前記動きベクトルのうちの1つの水平成分もしくは垂直成分がNを用いて前記動きモデルにおいてN回増幅され、または前記W個の制御点のうちの任意の2つの動きベクトル間の成分差がNを用いて前記動きモデルにおいてN回増幅される、請求項13または14に記載の画像予測装置。
  16. 前記補間フィルタリング部は、前記P個の画素単位の各々の前記動きベクトルを用いて、計算により、前記P個の画素単位の各々の位相を取得し、各画素単位の前記位相に基づき、前記対応する画素単位に対応している前記Qの位相を有する前記補間フィルタを決定し、前記補間フィルタによって用いられるフィルタ係数は前記位相に対応しており、前記対応する画素単位に対応している前記Qの位相を有する前記決定された補間フィルタを用いて各画素単位の、前記基準画像における前記対応する基準画素単位の前記画素に対して補間フィルタリングを行う、ように特に構成されている、
    請求項13から15のいずれか一項に記載の画像予測装置。
  17. 前記P個の画素単位の各々の前記動きベクトルを用いて、計算により、前記P個の画素単位の各々の位相を取得する局面で、前記補間フィルタリング部は、前記P個の画素単位の各々の前記動きベクトルを用いて以下の式に従って、計算により、前記P個の画素単位の各々の前記位相を取得するように特に構成されており、
    X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
    Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
    式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の垂直位相を表し、νNxは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表す、
    請求項16に記載の画像予測装置。
  18. 前記位相は水平位相と垂直位相とを含み、
    各画素単位の前記位相に基づき、前記対応する画素単位に対応している前記Qの位相を有する前記補間フィルタを決定する局面で、前記補間フィルタリング部は、各画素単位の前記水平位相に基づき、前記対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定し、各画素単位の前記垂直位相に基づき、前記対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定する、ように特に構成されており、前記水平補間フィルタによって用いられるフィルタ係数は前記水平位相に対応しており、前記垂直補間フィルタによって用いられるフィルタ係数は前記垂直位相に対応している、請求項16または17に記載の画像予測装置。
  19. 前記対応する画素単位に対応している前記Qの位相を有する前記決定された補間フィルタを用いて各画素単位の、前記基準画像における前記対応する基準画素単位の前記画素に対して補間フィルタリングを行う局面で、前記補間フィルタリング部は、
    水平補間フィルタリングの結果を取得するために、画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて前記画素単位iの、前記基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、前記画素単位iの予測画素値を取得するために、前記画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて前記水平補間フィルタリングの結果に対して垂直補間フィルタリングを行い、前記画素単位iが前記P個の画素単位のうちの任意の1つであり、または
    垂直補間フィルタリングの結果を取得するために、画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて前記画素単位jの、前記基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、前記画素単位jの予測画素値を取得するために、前記画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて前記垂直補間フィルタリングの結果に対して水平補間フィルタリングを行い、前記画素単位jが前記P個の画素単位のうちの任意の1つである
    ように特に構成されている、請求項18に記載の画像予測装置。
  20. 前記動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、ズーミング運動モデル、放物運動モデル、せん断運動モデル、射影運動モデル、または双一次運動モデルである、請求項13から19のいずれか一項に記載の画像予測装置。
  21. Wが2に等しい場合、前記動きモデルは以下のように表され、
    Figure 0006776276
     式中、Lは、前記現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が前記画素精度の1／nである動きベクトルを表し、νNxは、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表す、請求項13から20のいずれか一項に記載の画像予測装置。
  22. Wが3に等しい場合、前記動きモデルは以下のように表され、
    Figure 0006776276
     式中、νNxは、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が前記画素精度の1／nである動きベクトルを表し、wは、前記現在の画像ブロックの幅を表し、hは、前記現在の画像ブロックの高さを表す、請求項13から20のいずれか一項に記載の画像予測装置。
  23. 前記W個の制御点の前記動きベクトルは、前記現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が前記画素精度の1／nである動きベクトルに基づいて予測される、請求項13から22のいずれか一項に記載の画像予測装置。
  24. 前記画像予測装置は映像符号化装置に適用され、または前記画像予測装置は映像復号化装置に適用される、請求項13から23のいずれか一項に記載の画像予測装置。
  25. メモリとプロセッサとを含む、画像予測装置であって、
    前記プロセッサは、現在の画像ブロックにおけるW個の制御点の動きベクトルを決定し、動きモデルと前記W個の制御点の前記動きベクトルとを用いて、計算により、前記現在の画像ブロックのP個の画素単位の動きベクトルを取得する、ように構成され、前記W個の制御点の前記決定される動きベクトルの精度は画素精度の1／nであり、計算によって取得される、前記P個の画素単位の各々の前記動きベクトルの精度は前記画素精度の1／Nであり、前記P個の画素単位は前記現在の画像ブロックの画素単位の一部または全部であり、前記P個の画素単位の各々の前記動きベクトルは、対応する画素単位の、基準画像における対応する基準画素単位を決定するのに用いられ、W、n、およびNは1より大きい整数であり、Nはnより大きく、Pは正の整数であり、また前記プロセッサは、前記P個の画素単位の各々の予測画素値を取得するために、Qの位相を有する補間フィルタを用いて前記P個の画素単位の各々の、前記基準画像における前記対応する基準画素単位の画素に対して補間フィルタリングを行うように構成され、Qはnより大きい整数である、画像予測装置。
  26. Nの値は事前設定された固定値であり、QはN以下である、請求項25に記載の画像予測装置。
  27. 前記W個の制御点の前記動きベクトルのうちの1つの水平成分もしくは垂直成分がNを用いて前記動きモデルにおいてN回増幅され、または前記W個の制御点のうちの任意の2つの動きベクトル間の成分差がNを用いて前記動きモデルにおいてN回増幅される、請求項25または26に記載の画像予測装置。
  28. 前記プロセッサは、前記P個の画素単位の各々の前記動きベクトルを用いて、計算により、前記P個の画素単位の各々の位相を取得し、各画素単位の前記位相に基づき、前記対応する画素単位に対応している前記Qの位相を有する前記補間フィルタを決定し、前記補間フィルタによって用いられるフィルタ係数が前記位相に対応しており、前記対応する画素単位に対応している決定された前記Qの位相を有する前記補間フィルタを用いて各画素単位の、前記基準画像における前記対応する基準画素単位の前記画素に対して補間フィルタリングを行う、ように構成される、請求項25から27のいずれか一項に記載の画像予測装置。
  29. 前記P個の画素単位の各々の前記動きベクトルを用いて、計算により、前記P個の画素単位の各々の位相を取得する局面で、前記プロセッサは、前記P個の画素単位の各々の前記動きベクトルを用いて以下の式に従って、計算により、前記P個の画素単位の各々の前記位相を取得する、ように構成され、
    X’＝abs（νNx）％N、またはX’＝νNx＆（（1≦M）−1）；
    Y’＝abs（νNy）％N、またはY’＝νNy＆（（1≦M）−1）；
    式中、Mは、Nが2の整数べきである場合log2Nに等しく、X’は、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の水平位相を表し、Y’は、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の垂直位相を表し、νNxは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表す、
    請求項28に記載の画像予測装置。
  30. 前記位相は水平位相と垂直位相とを含み、
    各画素単位の前記位相に基づき、前記対応する画素単位に対応している前記Qの位相を有する前記補間フィルタを決定する局面で、前記プロセッサは、各画素単位の前記水平位相に基づき、前記対応する画素単位に対応しているQの位相を有する水平補間フィルタを決定し、各画素単位の前記垂直位相に基づき、前記対応する画素単位に対応しているQの位相を有する垂直補間フィルタを決定する、ように構成され、前記水平補間フィルタによって用いられるフィルタ係数は前記水平位相に対応しており、前記垂直補間フィルタによって用いられるフィルタ係数は前記垂直位相に対応している、請求項28または29に記載の画像予測装置。
  31. 前記対応する画素単位に対応している決定された前記Qの位相を有する前記補間フィルタを用いて各画素単位の、前記基準画像における前記対応する基準画素単位の前記画素に対して補間フィルタリングを行う局面で、前記プロセッサは、水平補間フィルタリングの結果を取得するために、画素単位iに対応しているQの位相を有する決定された水平補間フィルタを用いて前記画素単位iの、前記基準画像における対応する基準画素単位の画素に対して水平補間フィルタリングを行い、前記画素単位iの予測画素値を取得するために、前記画素単位iに対応しているQの位相を有する決定された垂直補間フィルタを用いて前記水平補間フィルタリングの結果に対して垂直補間フィルタリングを行い、前記画素単位iが前記P個の画素単位のうちの任意の1つである、ように特に構成され、または
    前記プロセッサは、垂直補間フィルタリングの結果を取得するために、画素単位jに対応しているQの位相を有する決定された垂直補間フィルタを用いて前記画素単位jの、前記基準画像における対応する基準画素単位の画素に対して垂直補間フィルタリングを行い、前記画素単位jの予測画素値を取得するために、前記画素単位jに対応しているQの位相を有する決定された水平補間フィルタを用いて前記垂直補間フィルタリングの結果に対して水平補間フィルタリングを行い、前記画素単位jが前記P個の画素単位のうちの任意の1つである、ように特に構成される、
    請求項30に記載の画像予測装置。
  32. 前記動きモデルは、並進運動モデル、アフィン運動モデル、回転運動モデル、ズーミング運動モデル、放物運動モデル、せん断運動モデル、射影運動モデル、または双一次運動モデルである、請求項25から31のいずれか一項に記載の画像予測装置。
  33. Wが2に等しい場合、前記動きモデルは以下のように表され、
    Figure 0006776276
     式中、Lは、前記現在の画像ブロックの幅または高さを表し、（ν0x，ν0y）と（ν1x，ν1y）とは、2つの制御点の、その精度が前記画素精度の1／nである動きベクトルを表し、νNxは、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表す、請求項25から32のいずれか一項に記載の画像予測装置。
  34. Wが3に等しい場合、前記動きモデルは以下のように表され、
    Figure 0006776276
     式中、νNxは、前記現在の画像ブロックにおいて（x，y）の座標を有する画素単位の、その精度が前記画素精度の1／Nである動きベクトルの水平成分を表し、νNyは、前記現在の画像ブロックにおいて前記（x，y）の座標を有する前記画素単位の、その精度が前記画素精度の1／Nである前記動きベクトルの垂直成分を表し、（ν0x，ν0y）と（ν1x，ν1y）と（ν2x，ν2y）とは、3つの制御点の、その精度が前記画素精度の1／nである動きベクトルを表し、wは、前記現在の画像ブロックの幅を表し、hは、前記現在の画像ブロックの高さを表す、請求項25から32のいずれか一項に記載の画像予測装置。
  35. 前記W個の制御点の前記動きベクトルは、前記現在の画像ブロックを取り囲む符号化画像ブロックまたは復号化画像ブロックの、その精度が前記画素精度の1／nである動きベクトルに基づいて予測される、請求項25から34のいずれか一項に記載の画像予測装置。
  36. 前記画像予測装置は映像符号化装置に適用され、または前記画像予測装置は映像復号化装置に適用される、請求項25から35のいずれか一項に記載の画像予測装置。
  37. コンピュータに請求項1から12のいずれか一項に記載の方法を実行させるプログラム。
JP2017567671A 2015-07-03 2016-06-29 画像予測方法および画像予測装置 Active JP6776276B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510391765.7 2015-07-03
CN201510391765.7A CN106331722B (zh) 2015-07-03 2015-07-03 图像预测方法和相关设备
PCT/CN2016/087750 WO2017005128A1 (zh) 2015-07-03 2016-06-29 图像预测方法和相关设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020169052A Division JP7004782B2 (ja) 2015-07-03 2020-10-06 画像予測方法および関連装置

Publications (2)

Publication Number Publication Date
JP2018524918A JP2018524918A (ja) 2018-08-30
JP6776276B2 true JP6776276B2 (ja) 2020-10-28

Family

ID=57684872

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2017567671A Active JP6776276B2 (ja) 2015-07-03 2016-06-29 画像予測方法および画像予測装置
JP2020169052A Active JP7004782B2 (ja) 2015-07-03 2020-10-06 画像予測方法および関連装置
JP2021212785A Active JP7335315B2 (ja) 2015-07-03 2021-12-27 画像予測方法および関連装置
JP2021212784A Active JP7335314B2 (ja) 2015-07-03 2021-12-27 画像予測方法および関連装置
JP2023133095A Pending JP2023164435A (ja) 2015-07-03 2023-08-17 画像予測方法および関連装置
JP2023133093A Pending JP2023164434A (ja) 2015-07-03 2023-08-17 画像予測方法および関連装置

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2020169052A Active JP7004782B2 (ja) 2015-07-03 2020-10-06 画像予測方法および関連装置
JP2021212785A Active JP7335315B2 (ja) 2015-07-03 2021-12-27 画像予測方法および関連装置
JP2021212784A Active JP7335314B2 (ja) 2015-07-03 2021-12-27 画像予測方法および関連装置
JP2023133095A Pending JP2023164435A (ja) 2015-07-03 2023-08-17 画像予測方法および関連装置
JP2023133093A Pending JP2023164434A (ja) 2015-07-03 2023-08-17 画像予測方法および関連装置

Country Status (12)

Country Link
US (4) US10560714B2 (ja)
EP (2) EP3306934B1 (ja)
JP (6) JP6776276B2 (ja)
KR (4) KR102390695B1 (ja)
CN (2) CN106331722B (ja)
AU (1) AU2016290017B2 (ja)
MX (3) MX2018000067A (ja)
MY (1) MY191714A (ja)
RU (2) RU2675092C1 (ja)
SG (1) SG11201710800QA (ja)
WO (1) WO2017005128A1 (ja)
ZA (1) ZA201800017B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
EP3497932A4 (en) 2016-08-15 2020-03-25 Nokia Technologies Oy VIDEO CODING AND DECODING
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
CN109729352B (zh) * 2017-10-27 2020-07-21 华为技术有限公司 确定仿射编码块的运动矢量的方法和装置
CN109756737B (zh) * 2017-11-07 2020-11-17 华为技术有限公司 图像预测方法和装置
SG11202003260WA (en) 2017-11-07 2020-05-28 Huawei Tech Co Ltd Interpolation filter for an inter prediction apparatus and method for video coding
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
CN118042151A (zh) * 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
CN110166778A (zh) * 2018-02-12 2019-08-23 华为技术有限公司 视频解码方法、视频解码器以及电子设备
WO2019194506A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 어파인 인터 예측에 기반한 영상 코딩 방법 및 그 장치
WO2019244719A1 (en) * 2018-06-18 2019-12-26 Sharp Kabushiki Kaisha Systems and methods for performing affine motion compensation prediction for coding of video data
WO2019244051A1 (en) 2018-06-19 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Selected mvd precision without mvp truncation
WO2020009449A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
TWI752341B (zh) 2018-08-04 2022-01-11 大陸商北京字節跳動網絡技術有限公司 不同解碼器側運動矢量推導模式之間的交互
CN110868602B (zh) * 2018-08-27 2024-04-12 华为技术有限公司 视频编码器、视频解码器及相应方法
CN110876065A (zh) * 2018-08-29 2020-03-10 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
CN112055970B (zh) 2018-08-28 2024-04-09 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
CN111294601A (zh) * 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置
EP3895429A4 (en) 2019-01-31 2022-08-10 Beijing Bytedance Network Technology Co., Ltd. CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE
EP3700210A1 (en) 2019-02-21 2020-08-26 Ateme Method and apparatus for image encoding
SG11202110650WA (en) 2019-04-01 2021-10-28 Beijing Bytedance Network Technology Co Ltd Using interpolation filters for history based motion vector prediction
EP3997881A4 (en) 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING
CN111260693B (zh) * 2020-01-20 2023-07-28 北京中科晶上科技股份有限公司 一种高空抛物的检测方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
JP4253881B2 (ja) * 1998-07-17 2009-04-15 ソニー株式会社 撮像装置
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
US8175159B2 (en) * 2002-01-24 2012-05-08 Hitachi, Ltd. Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
CN100496130C (zh) * 2006-01-26 2009-06-03 深圳艾科创新微电子有限公司 视频快速运动估计方法
JP4380638B2 (ja) * 2006-01-31 2009-12-09 トヨタ自動車株式会社 色再現方法
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
CN101540902B (zh) * 2008-03-20 2011-02-02 华为技术有限公司 运动矢量的缩放方法和装置、编解码方法和系统
FR2933565A1 (fr) * 2008-07-01 2010-01-08 France Telecom Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants
US8374444B2 (en) * 2008-08-06 2013-02-12 Sony Corporation Method and apparatus for providing higher resolution images in an embedded device
CN101902632B (zh) * 2009-05-25 2013-03-20 华为技术有限公司 像素插值滤波方法及装置,解码方法及系统
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
CN108462874B (zh) * 2010-04-09 2022-06-07 三菱电机株式会社 运动图像编码装置以及运动图像解码装置
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
JP5686018B2 (ja) * 2010-05-21 2015-03-18 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム
CN102316317B (zh) 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
JP5606625B2 (ja) * 2010-07-21 2014-10-15 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための高度な動きモデルを使った参照処理
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
JP2012104945A (ja) 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
US8761245B2 (en) * 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
CA3208227A1 (en) * 2011-06-24 2012-12-27 Mitsubishi Electric Corporation Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block
SG11201400288VA (en) 2011-10-17 2014-05-29 Toshiba Kk Encoding device, decoding device, encoding method, and decoding method
US9521409B2 (en) * 2011-11-24 2016-12-13 Nec Corporation Video encoding device, video encoding method, and program
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US20130329806A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Bi-layer texture prediction for video coding
PL4033764T3 (pl) * 2012-09-26 2023-12-27 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
US9959631B2 (en) * 2014-02-21 2018-05-01 Samsung Electronics Co., Ltd. Tomography apparatus and method for reconstructing tomography image thereof
CN104219520B (zh) * 2014-09-10 2018-11-20 华为技术有限公司 确定图像补偿模式的方法和装置
CN107734335B (zh) 2014-09-30 2020-11-06 华为技术有限公司 图像预测方法及相关装置
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
CN104661031B (zh) 2015-02-16 2017-12-22 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
KR101775556B1 (ko) * 2015-04-06 2017-09-06 삼성전자주식회사 단층 촬영 장치 및 그에 따른 단층 영상 처리 방법
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US20190028731A1 (en) * 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
RU2696551C1 (ru) * 2016-03-15 2019-08-02 МедиаТек Инк. Способ и устройство для кодирования видео с компенсацией аффинного движения
CN109792535B (zh) * 2016-05-13 2023-03-28 夏普株式会社 预测图像生成装置、运动图像解码装置以及运动图像编码装置
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10873744B2 (en) * 2017-01-03 2020-12-22 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
WO2018128380A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
US10757417B2 (en) * 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US10652571B2 (en) * 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
US20200120335A1 (en) * 2018-10-12 2020-04-16 Qualcomm Incorporated Affine candidate derivation for video coding
JP7189069B2 (ja) 2019-04-05 2022-12-13 レンゴー株式会社 蓋体およびこれを備えた包装箱

Also Published As

Publication number Publication date
MX2021003800A (es) 2023-02-01
RU2018143851A3 (ja) 2019-07-17
JP2023164435A (ja) 2023-11-10
KR102549824B1 (ko) 2023-06-30
RU2675092C1 (ru) 2018-12-14
JP7004782B2 (ja) 2022-01-21
US10771809B2 (en) 2020-09-08
JP2022044612A (ja) 2022-03-17
KR102390695B1 (ko) 2022-04-26
US11831902B2 (en) 2023-11-28
SG11201710800QA (en) 2018-01-30
WO2017005128A1 (zh) 2017-01-12
US10560714B2 (en) 2020-02-11
KR102173475B1 (ko) 2020-11-03
EP3306934B1 (en) 2024-03-06
KR20180019688A (ko) 2018-02-26
MX2023000807A (es) 2023-02-27
JP7335314B2 (ja) 2023-08-29
US20210058641A1 (en) 2021-02-25
AU2016290017B2 (en) 2019-07-11
CN107710761A (zh) 2018-02-16
KR20220057639A (ko) 2022-05-09
KR20200125760A (ko) 2020-11-04
CN107710761B (zh) 2020-02-14
RU2018143851A (ru) 2019-02-21
JP2022044613A (ja) 2022-03-17
KR20200013266A (ko) 2020-02-06
CN106331722A (zh) 2017-01-11
US20200145689A1 (en) 2020-05-07
BR112018000085A2 (pt) 2018-08-28
JP7335315B2 (ja) 2023-08-29
MX2018000067A (es) 2018-03-16
MY191714A (en) 2022-07-09
EP4373087A2 (en) 2024-05-22
JP2021022936A (ja) 2021-02-18
US20220116647A1 (en) 2022-04-14
EP3306934A4 (en) 2018-05-23
US11240529B2 (en) 2022-02-01
EP4373087A3 (en) 2024-05-29
EP3306934A1 (en) 2018-04-11
ZA201800017B (en) 2019-08-28
JP2018524918A (ja) 2018-08-30
RU2699258C2 (ru) 2019-09-04
JP2023164434A (ja) 2023-11-10
CN106331722B (zh) 2019-04-26
KR102073638B1 (ko) 2020-02-05
US20180139468A1 (en) 2018-05-17
AU2016290017A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
JP7004782B2 (ja) 画像予測方法および関連装置
JP7252282B2 (ja) 画像予測方法および関連装置
JP7313816B2 (ja) 画像予測方法および関連装置
JP6689499B2 (ja) 画像予測方法および関連装置
CN117280691A (zh) 增强的运动向量预测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201007

R150 Certificate of patent or registration of utility model

Ref document number: 6776276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250