JP7311619B2 - コーデック方法及び装置、符号化デバイス及び復号化デバイス - Google Patents

コーデック方法及び装置、符号化デバイス及び復号化デバイス Download PDF

Info

Publication number
JP7311619B2
JP7311619B2 JP2021552234A JP2021552234A JP7311619B2 JP 7311619 B2 JP7311619 B2 JP 7311619B2 JP 2021552234 A JP2021552234 A JP 2021552234A JP 2021552234 A JP2021552234 A JP 2021552234A JP 7311619 B2 JP7311619 B2 JP 7311619B2
Authority
JP
Japan
Prior art keywords
motion vector
block
pixel
sub
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021552234A
Other languages
English (en)
Other versions
JP2022522376A (ja
Inventor
陳方棟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Publication of JP2022522376A publication Critical patent/JP2022522376A/ja
Priority to JP2023111468A priority Critical patent/JP2023126940A/ja
Application granted granted Critical
Publication of JP7311619B2 publication Critical patent/JP7311619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Description

本願はコーデック技術、特にコーデック方法及び装置、符号化デバイス及び復号化デバイスに関する。
空間節約の目的を達成するために、ビデオ画像はいずれも符号化済み後に伝送されたものであり、完全なビデオ符号化方法は予測、変換、量子化、エントロピー符号化、フィルタリング等の過程を含んでよい。ここで、予測符号化はイントラ符号化及びインター符号化を含み、インター符号化はビデオの時間領域の相関性を利用し、符号化済み画像に隣接する画素を使用して現在の画像の画素を予測することで、ビデオの時間領域冗長度を効率的に削減することを図る。
インター符号化では、現在のフレームのビデオ画像の現在の画像ブロックと参照フレームのビデオ画像の参照画像ブロックとの間の相対変位を動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ，ＭＶ）で表すことができる。例えば、現在のフレームのビデオ画像Ａと参照フレームのビデオ画像Ｂとは強い時間領域相関性が存在する場合、ビデオ画像Ａの画像ブロックＡ１（現在の画像ブロック）を伝送する必要がある時に、ビデオ画像Ｂにおいて動き探索を行って、画像ブロックＡ１に最もマッチングする画像ブロックＢ１（即ち参照画像ブロック）を検出して、画像ブロックＡ１と画像ブロックＢ１との間の相対変位、即ち画像ブロックＡ１の動きベクトルを確定する。
符号化側は、画像ブロックＡ１を復号化側に送信する代わりに、動きベクトルを復号化側に送信してよい。復号化側は、動きベクトルと画像ブロックＢ１に基づいて画像ブロックＡ１を取得してよい。明らかに、動きベクトルが占めるビット数は画像ブロックＡ１が占めるビット数より少ないため、上記方式では大量のビットを節約できる。
従来の方式では、現在のブロックが単方向ブロックである場合、現在のブロックの動きベクトル（以下、オリジナル動きベクトルという）を獲得した後、オリジナル動きベクトルを調整して、調整された動きベクトルに基づいて符号化／復号化を行うことによって、符号化性能を向上させることができる。しかし、現在のブロックが双方向ブロックである場合、現在のブロックの第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルを取得した後、どのように第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルを調整するかについては、現在合理的な解決手段がない。即ち、双方向ブロックの状況については、予測品質不良や、予測ミスなどの問題の可能性があるため、符号化性能が低い。
符号化性能を向上させるコーデック方法、装置及びデバイスを提供する。
本願は復号化方法を提供し、前記方法は、現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを含み、前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、最適動きベクトルを取得するステップであって、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含むステップと、前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含む。
前記オリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することは、前記オリジナル動きベクトルを中心として、探索範囲を２とし、前記オリジナル動きベクトル含む２５個の動きベクトルを探索し、前記２５個の動きベクトルを候補動きベクトルと確定することを含み、前記２５個の動きベクトルの探索順序は、｛Ｍｖ（－２，－２）、Ｍｖ（－１，－２）、Ｍｖ（０，－２）、Ｍｖ（１、－２）、Ｍｖ（２、－２）、Ｍｖ（－２、－１）、Ｍｖ（－１、－１）、Ｍｖ（０、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（－２、０）、Ｍｖ（－１、０）、Ｍｖ（０、０）、Ｍｖ（１、０）、Ｍｖ（２、０）、Ｍｖ（－２、１）、Ｍｖ（－１、１）、Ｍｖ（０、１）、Ｍｖ（１、１）、Ｍｖ（２、１）、Ｍｖ（－２、２）、Ｍｖ（－１、２）、Ｍｖ（０、２）、Ｍｖ（１、２）、Ｍｖ（２、２）｝であってよい。
前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することにおいて、候補動きベクトルに対応するコスト値を取得することは、第１の参照ブロックに基づいて、前記候補動きベクトルに対応する第１のサブ参照ブロックを確定し、第２の参照ブロックに基づいて、前記候補動きベクトルに対応する第２のサブ参照ブロックを確定することと、垂直２倍のダウンサンプリングを行い、前記第１の参照ブロック及び前記第２の参照ブロックの各画素値の差分絶対値和を取得することと、取得した差分絶対値和に基づいて、前記候補動きベクトルに対応するコスト値を確定することと、を含み、オリジナル動きベクトルに対応するコスト値を取得することは、第１の参照ブロックに基づいて、前記オリジナル動きベクトルに対応する第３のサブ参照ブロックを確定し、第２の参照ブロックに基づいて、前記オリジナル動きベクトルに対応する第４のサブ参照ブロックを確定することと、垂直２倍のダウンサンプリングを行い、前記第１のサブ参照ブロック及び前記第２のサブ参照ブロックの各画素値の差分絶対値和を取得することと、取得した差分絶対値和に基づいて、前記オリジナル動きベクトルに対応するコスト値を確定することと、を含んでよい。
前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップは、前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第２の整数画素動きベクトル調整値とを確定することと、前記第１の整数画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルを取得することと、前記第２の整数画素動きベクトル調整値に基づいて、前記第２のオリジナル動きベクトルを調整し、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得することと、を含んでよい。
前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第２の整数画素動きベクトル調整値とを確定することは、前記最適動きベクトルに基づいて、前記最適動きベクトルと前記オリジナル動きベクトルとの差である第１の整数画素動きベクトル調整値を確定することと、前記第１の整数画素動きベクトル調整値に基づいて、第２の整数画素動きベクトル調整値を確定し、前記第２の整数画素動きベクトル調整値と前記第１の整数画素動きベクトル調整値とは互いに反数であることと、を含んでよい。
前記第１の整数画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルを取得することと、前記第２の整数画素動きベクトル調整値に基づいて、前記第２のオリジナル動きベクトルを調整し、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得することとは、前記第１の目標動きベクトルは、前記第１のオリジナル動きベクトルと前記第１の整数画素動きベクトル調整値との和であることと、前記第２の目標動きベクトルは、前記第２のオリジナル動きベクトルと前記第２の整数画素動きベクトル調整値との和であることと、を含んでよい。
前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップは、前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と、第１のサブ画素動きベクトル調整値と、第２の整数画素動きベクトル調整値と、第２のサブ画素動きベクトル調整値とを確定することと、第１の整数画素動きベクトル調整値及び第１のサブ画素動きベクトル調整値に基づいて、第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを取得することと、第２の整数画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値に基づいて、第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを取得することと、を含んでよい。
前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップは、前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第１のサブ画素動きベクトル調整値とを確定することと、第１の整数画素動きベクトル調整値及び第１のサブ画素動きベクトル調整値を基づいて、最適オフセット動きベクトルを取得することと、前記最適オフセット動きベクトルに基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１の目標動きベクトルを取得することと、前記最適オフセット動きベクトルの反数に基づいて、前記第２のオリジナル動きベクトルを調整し、前記第２の目標動きベクトルを取得することと、を含んでよい。
前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第１のサブ画素動きベクトル調整値とを確定することは、前記最適動きベクトルに基づいて、前記最適動きベクトルと前記第１のオリジナル動きベクトルとの差である第１の整数画素動きベクトル調整値を確定することと、前記最適動きベクトルに対応するコスト値、前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定することと、を含んでよい。
前記最適動きベクトルに対応するコスト値、前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定することは、前記最適動きベクトルを中心とした５つの整数画素動きベクトルのコスト値を順次に確定し、前記５つの整数画素動きベクトルは、前記最適動きベクトルを中心として、それぞれ、水平に左へ、水平に右へ、垂直に上へ、垂直に下へシフトするにより取得した５つのエッジ動きベクトルであることと、前記５つの整数画素動きベクトルのコスト値に基づいて、前記第１のサブ画素動きベクトル調整値を確定することと、を含んでよい。
第１の目標動きベクトルは、第１のオリジナル動きベクトルと、第１の整数画素動きベクトル調整値と、第１のサブ画素動きベクトル調整値との和であってよく、第２の目標動きベクトルは、第２のオリジナル動きベクトルと、第２の整数画素動きベクトル調整値と、第２のサブ画素動きベクトル調整値との和であってよく、前記第２の整数画素動きベクトル調整値と、前記第１の整数画素動きベクトル調整値とは、互いに反数であってよく、前記第２のサブ画素動きベクトル調整値と、前記第１のサブ画素動きベクトル調整値とは、互いに反数である。
前記最適動きベクトルは、前記オリジナル動きベクトル及び各候補動きベクトルから選択されたコスト値が最も小さい動きベクトルであってよい。
第１の整数画素動きベクトル調整値における垂直及び／又は水平方向の絶対値が予て設定された値に等しい場合、前記第１の整数画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルを取得してよい。
第１の整数画素動きベクトル調整値における垂直及び／又は水平方向の絶対値が予て設定された値に等しくない場合、前記第１の整数画素動きベクトル調整値及び前記第１のサブ画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルを取得してよい。
オリジナル動きベクトルに対応するコスト値が予て設定された閾値以上である場合、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択するステップを実行してよく、オリジナル動きベクトルに対応するコスト値が予て設定された閾値小さい場合、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択するステップを実行しなくてよく、前記予て設定された閾値は、前記サブブロックの幅及び高さにより確定される。
前記現在のブロックが１つのサブブロックのみを含む場合、当該サブブロックは現在のブロック自体であってよい。
前記第１の参照ブロック及び第２の参照ブロックは、輝度成分に基づいて確定した参照ブロックであってよい。
前記第１の参照ブロックの画素値及び第２の参照ブロックの画素値のどちらも、バイリニア補間で取得されるものであってよい。
前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップは、前記第１のオリジナル動きベクトル及び前記現在のブロックの第１の参照フレームに基づいて、バイリニア補間で第１の参照ブロックを確定することと、前記第２のオリジナル動きベクトル及び前記現在のブロックの第２の参照フレームに基づいて、バイリニア補間で第２の参照ブロックを確定することと、を含んでよく、前記第１の参照ブロックのサイズと前記第２の参照ブロックのサイズとは同じであり、前記第１の参照ブロックの幅値は、前記サブブロックの幅値及び探索範囲に基づいて確定され、前記第１の参照ブロックの高さ値は、前記サブブロックの高さ値及び探索範囲に基づいて確定される。
前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップは、前記第１のオリジナル動きベクトルに基づいて、前記現在のブロックの第１の参照フレームから第１の整数画素ブロックを取得し、前記第１の整数画素ブロックに対してバイリニア補間を行って前記第１の参照ブロックを取得することと、前記第２のオリジナル動きベクトルに基づいて、前記現在のブロックの第２の参照フレームから第２の整数画素ブロックを取得し、前記第２の整数画素ブロックに対してバイリニア補間を行って前記第２の参照ブロックを取得することと、を含んでよく、Ｗは前記サブブロックの幅であり、Ｈは前記現在のブロックの高さであり、ＳＲは探索範囲である場合、第１の参照ブロック及び第２の参照ブロックの幅値はＷ＋２＊ＳＲであり、第１の参照ブロック及び第２の参照ブロックの高さ値はＨ＋２＊ＳＲであり、ＳＲの値は２としてよい。
第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行う際に、重みが同じであってよい。
前記第３の参照ブロックの画素値及び前記第４の参照ブロックの画素値は、８タップの補間フィルタにより補間して取得されてよい。
前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することは、前記第１の目標動きベクトルに基づいて、前記現在のブロックの第１の参照フレームから前記サブブロックに対応する第５の参照ブロックを確定し、８タップの補間フィルタにより前記第５の参照ブロックにおける画素値を補間して、前記第３の参照ブロックを取得することと、前記第２の目標動きベクトルに基づいて、前記現在のブロックの第２の参照フレームから前記サブブロックに対応する第６の参照ブロックを確定し、８タップの補間フィルタにより前記第６の参照ブロックにおける画素値を補間して、前記第４の参照ブロックを取得することと、を含んでよく、前記第５の参照ブロックのサイズは、前記サブブロックより大きいであり、前記第６の参照ブロックのサイズは、前記サブブロックより大きいであり、前記サイズは、幅と高さとを含んでよい。
前記サブブロックは、輝度成分を含んでよく、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップは、前記サブブロックの輝度成分に対して、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックに対して重み付け動き補償を行い、前記サブブロックの輝度予測値を取得することを含んでよい。
前記サブブロックは、色度成分を含んでよく、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップは、前記サブブロックの色度成分に対して、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックに対して重み付け動き補償を行い、前記サブブロックの色度予測値を取得することを含んでよい。
現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックの特徴情報が特定の条件を満たしてよく、前記特徴情報は、現在のブロックに対応する動き情報予測モードと、現在のブロックに対応する動き情報属性と、現在のブロックのサイズ情報とを含んでよく、前記現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックの特徴情報が満たす特定の条件は、少なくとも、現在のブロックはＭＭＶＤモードを使用しないことと、現在のブロックはＭｅｒｇｅモードを使用することと、現在のブロックのサイズは限定範囲内であることと、現在のブロックの動き情報は２つの異なる方向の動き情報を含み、且つ、２つの異なる方向の動き情報に対応する２つの参照フレームが現在のフレームとの距離は同じであってよい。
現在のブロックはＭＭＶＤモードを使用しないことと、現在のブロックはＭｅｒｇｅモードを使用することと、現在のブロックのサイズは限定範囲内であることと、現在のブロックの動き情報属性は２つの異なる方向の動き情報を含み、且つ、２つの異なる方向の動き情報に対応する２つの参照フレームが現在のフレームとの距離は同じであることとの中の何れか１つの条件を満たさない場合、現在のブロックは、動きベクトルリファインメントモードを有効にしないこと、をさらに含んでよい。
前記現在のブロックが所在する現在のフレームと、第１の参照フレーム、第２の参照フレームのそれぞれとの間の距離は同じであってよい。
前記現在のブロックが１つのサブブロックのみを含む場合、当該サブブロックは前記現在のブロック自体であり、前記第１のオリジナル動きベクトル及び前記第２のオリジナル動きベクトルは、前記現在のブロックのオリジナル動きベクトルであってよい。
前記現在のブロックが複数のサブブロックを含む場合、前記複数のサブブロックのそれぞれの前記第１のオリジナル動きベクトル及び前記第２のオリジナル動きベクトルは、前記現在のブロックの２つの異なる方向のオリジナル動きベクトルを共用してよい。
本願は符号化方法を提供し、前記方法は、
現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを含み、前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、最適動きベクトルを取得するステップであって、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含むステップと、前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含む。
本願はコーデック装置を提供し、前記装置は、現在のブロックの特徴情報が特定の条件を満たす場合、前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記現在のブロックに対応する第１の参照ブロックを確定し、前記現在のブロックの第２のオリジナル動きベクトルに基づいて前記現在のブロックに対応する第２の参照ブロックを確定する確定モジュールと、前記第１の参照ブロックの第１の画素値と前記第２の参照ブロックの第２の画素値とに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得る処理モジュールと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて前記現在のブロックを符号化又は復号化するコーデックモジュールと、を含む。
本願は符号化デバイスを提供し、前記符号化デバイスはプロセッサ及び機械可読記憶媒体を含み、前記プロセッサは、機械実行可能な命令を実行することで、現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを、実現し、前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含む、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記最適動きベクトルを取得するステップと、前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含む。
本願は復号化デバイスを提供し、前記復号化デバイスはプロセッサ及び機械可読記憶媒体を含み、前記プロセッサは、機械実行可能な命令を実行することで、現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを、実現し、前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含む、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記最適動きベクトルを取得するステップと、前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含む。
本願は機械可読記憶媒体を提供し、前記機械可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに前記方法を実現させるコンピュータ命令が格納される。
上記した技術案から分かるように、本願の実施例において、直接に第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルに基づいて現在のブロックを符号化又は復号化するのではなく、第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルに基づいて現在のブロックの第１の目標動きベクトル及び第２の目標動きベクトルを確定して、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて現在のブロックを符号化又は復号化できるため、予測品質不良や、予測ミスなどの問題を解決しつつ、符号化性能及び符号化効率を向上させる。
本願の実施例又は従来の技術における技術案をより明確に説明するために、以下では本願の実施例又は従来の技術の説明に使用する必要がある図面を簡単に紹介する。明らかに、以下の説明における図面は本願に記載されているいくつかの実施例に過ぎず、当業者であれば、これらの本願の実施例の図面に基づいて他の図面をさらに取得できる。
図１Ａは本願の一実施形態における補間の模式図である。 図１Ｂは本願の一実施形態におけるビデオ符号化アーキテクチャの模式図である。 図２は本願の一実施形態におけるコーデック方法のフローチャートである。 図３は本願の一実施形態におけるコーデック方法のフローチャートである。 図４は本願の一実施形態におけるコーデック方法のフローチャートである。 図５は本願の実施形態における参照画素の模式図である。 図６は本願の一実施形態における動きベクトルの反復の模式図である。 図７Ａ～図７Ｅは本願の一実施形態における候補点の順序の模式図である。 図８は本願の一実施形態における現在のブロックの空間領域の参照の模式図である。 図９は本発明の一実施形態におけるコーデック装置の構成図である。 図１０は本願の一実施形態における復号化デバイスのハードウェア構成図である。 図１１は本願の一実施形態における符号化デバイスのハードウェア構成図である。
本願の実施形態で用いられる用語は、特定の実施例を説明するためのものに過ぎず、本願を限定するものではない。本願および特許請求の範囲で用いられる「一」や「前記」、「当該」は、その意味が文脈で明示されていない限り、単数形とされる以外、複数形ともされる。本明細書で用いられる用語「及び／又は」とは、互いに関連する項目のうち、任意の１つ又は複数の組合せ、あるいはその全ての可能な組合せを含むこと意味することが理解される。
第１、第２、第３などの用語がいろんな情報の説明に用いられるが、これらの情報はこれらの用語に限定されていないことが理解される。これらの用語は、単に同一類型の情報を互いに区別するために用いられる。例えば、本願の範囲から逸脱しない場合であれば、第１の情報を第２の情報と呼ぶことができ、同様に、第２の情報を第１の情報と呼ぶこともできる。用いられる用語「…と」は、文脈に基づいて、「…場合」、「…時」、又は「…の確定に応じて」と解釈され得る。
本願の実施例はコーデック方法を提供し、以下の概念に関しうる。
イントラ予測とインター予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）技術において、イントラ予測はビデオの空間領域の相関性を利用し、現在の画像の符号化済みブロックの画素を利用して現画素を予測し、ビデオの空間領域の冗長度を削減することを図る。イントラ予測では、複数の予測モードが定義されており、各予測モードはそれぞれ１種類のテクスチャ方向に対応する（ＤＣモードを除く）。現在のブロックの予測画素は、予測方向にそれと隣接するブロックの境界再構成画素値から生成される。例えば、画像のテクスチャが水平配置の場合、水平予測モードを選択すると、画像情報をより良好に予測できる。インター符号化は、ビデオの時間領域の相関性を利用し、ビデオシーケンスは通常強い時間領域相関性があるため、隣接する符号化済み画像画素を用いて現在の画像の画素を予測することで、ビデオの時間領域冗長度を効率的に削減することを図る。主なビデオ符号化標準におけるインター符号化の部分はいずれもブロックに基づく動き補償技術を用いる。主な原理は、現在の画像の各画素ブロックに対して、その前の符号化済み画像において最適ブロックを探索することであり、当該過程は動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ，ＭＥ）と呼ばれる。
動きベクトル（ＭＶ，Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）は、インター符号化において、現在の符号化ブロックとその参照画像における最適マッチングブロックの間との相対変位を表すことに用いられる。区画された各ブロックは、いずれも対応する動きベクトルが復号化側に伝送される。各ブロックの動きベクトルをそれぞれ別々に符号化と伝送を行う場合、特に小サイズのブロックに区画する場合、相当なビットを消費する必要がある。動きベクトルの符号化に用いられるビット数を低減するために、隣接する画像ブロックの間の空間領域の相関性を利用し、隣接する符号化済みブロックの動きベクトルに基づいて、現在符号化されるブロックの動きベクトルを予測して、予測差分を符号化する。これにより、動きベクトルを表すビット数を効果的に低減させることができる。現在のブロックの動きベクトルの符号化処理において、まず、隣接する符号化済みブロックの動きベクトルを用いて現在のブロックの動きベクトルを予測して、動きベクトルの予測値（ＭＶＰ，ＭｏｔｉｏｎＶｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）と動きベクトルの真の推定値との差分（ＭＶＤ，ＭｏｔｉｏｎＶｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を符号化することで、ＭＶの符号化ビット数を効果的に低減させる。
動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルが現在の画像ブロックとある参照画像ブロックとの位置オフセットを示すため、画像ブロックを指す情報を正確に取得するために、動きベクトルに加えて、どの参照フレーム画像を使用するかを示す参照フレーム画像のインデックス情報も必要である。ビデオ符号化技術において、現在のフレーム画像に対して、一般的に１つの参照フレーム画像リストを確立してよい。参照フレーム画像のインデックス情報は、現在の画像ブロックが、参照フレーム画像リストにおける何番目の参照フレーム画像が用いられているかを示す。また、多くの符号化技術では、複数の参照画像リストがあることサポートする。そのため、もう１つのインデックス値を用いて、どの参照画像リストが用いられているかを示してよい。このインデックス値は参照方向と呼べる。ビデオ符号化技術において、動きベクトル、参照フレームインデックス、参照方向等の動きに関連する情報を動き情報と総称してよい。
予測画素（Ｐｒｅｄｉｃｔｉｏｎ Ｓｉｇｎａｌ）は、符号化・復号化済み画素から導出された画素値であり、原画素と予測画素との差分から残差を得て、残差変換量子化及び係数符号化を行う。特殊の場合、インター予測画素は現在のブロックが参照フレーム（再構成画素フレーム）から導出した画素値であり、画素位置が離散的であるため、補間演算で最終的な予測画素を取得する必要がある。予測画素と原画素が近いほど、両者を減算して得た残差エネルギーが小さくなり、符号化圧縮性能が高くなる。
補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）については、現在のＭＶが非整数画素精度である場合、対応する参照フレームから既存の画素値を直接コピーできず、必要な画素値を補間することで取得することしかできない。図１Ａに示すように、オフセットが１／２画素の画素値Ｙ１／２を取得しようとする場合、周囲の既存の画素値Ｘを補間して取得する必要がある。タップ数がＮである補間フィルタを用いると、周囲Ｎ個の整数画素を補間して取得する必要がある。
動き補償は、補間又はコピーによって現在のブロックの全ての画素値を取得する処理である。
ビデオ符号化アーキテクチャは、図１Ｂに示すように、本願の実施例の符号化側の処理を実現することに用いられる。また、ビデオ復号化アーキテクチャの模式図が図１Ｂと類似しているため、ここでの説明を省略する。また、ビデオ復号化アーキテクチャは、本願の実施例の復号化側の処理を実現することに用いられる。具体的には、ビデオ符号化アーキテクチャ及びビデオ復号化アーキテクチャは、イントラ予測、動き推定／動き補償、参照画像バッファー、ループ内フィルタリング、再構成、変換、量子化、逆変換、逆量子化、エントロピーエンコーダ等のモジュールを含む。符号化側では、これらのモジュール間の協働により、符号化側の処理を実現できる。復号化側では、これらのモジュール間の協働により、復号化側の処理を実現できる。
従来の方式では、現在のブロックが双方向ブロックである場合、現在のブロックの第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルを取得した後、どのように第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルを調整するかについては、合理的な解決手段がない。本願の実施例において、現在のブロックが双方向ブロックである時に、まず現在のブロックの特徴情報が特定の条件を満たすか否かを判断し、特定の条件を満たす場合、現在のブロックの第１のオリジナル動きベクトルに基づいて現在のブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて現在のブロックに対応する第２の参照ブロックを確定して、第１の参照ブロックの第１の画素値と前記第２の参照ブロックの第２の画素値とに基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得る。
このように、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整して第１の目標動きベクトルと第２の目標動きベクトルとを得ることで、第１の目標動きベクトルと第２の目標動きベクトルとに基づいて現在のブロックを符号化又は復号化できて、符号化性能及び符号化効率を向上させることができる。
以下、いくつかの具体的な実施例を参照しながら、本願のコーデック方法を詳細に説明する。
実施例１では、図２が本願の実施例に係るコーデック方法のフローチャートであり、当該方法は復号化側又は符号化側に適用でき、以下のステップを含んでよい。
ステップ２０１では、現在のブロックの特徴情報が特定の条件を満たす場合、現在のブロックの第１のオリジナル動きベクトルに基づいて、現在のブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて、現在のブロックに対応する第２の参照ブロックを確定する。当該特徴情報は、現在のブロックに対応する動き情報予測モードと、現在のブロックに対応する動き情報属性と、現在のブロックのサイズ情報とのうちの１つ又は複数を含むが、これらに限定されない。
一例では、当該特徴情報が現在のブロックに対応する動き情報予測モードである場合、現在のブロックの特徴情報が特定の条件を満たすことは、現在のブロックに対応する動き情報予測モードが通常マージモードである場合、現在のブロックに対応する動き情報予測モードが特定の条件を満たすことを確定すること、又は、現在のブロックに対応する動き情報予測モードがインター予測値とイントラ予測値を統合して新たな予測値を生成するマージモードである場合、現在のブロックに対応する動き情報予測モードが特定の条件を満たすことを確定することを含むが、これらに限定されない。
一例では、特徴情報が現在のブロックに対応する動き情報属性である場合、現在のブロックの特徴情報が特定の条件を満たすことは、現在のブロックに対応する動き情報属性が、現在のブロックの動き情報が２つの異なる方向の動き情報を含むことである場合、現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、又は、現在のブロックに対応する動き情報属性が、現在のブロックの動き情報が２つの異なる方向の動き情報を含み、２つの異なる方向の動き情報に対応する２つの参照フレームと現在のフレームとの距離が同じであることである場合、現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、又は、現在のブロックに対応する動き情報属性が、現在のブロックの周囲ブロックを利用したことである場合、現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、又は、現在のブロックに対応する動き情報属性が現在のブロックの各サブブロックの動き情報と同じであることである場合、現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定することを含むが、これらに限定されない。
例示的に、現在のブロックの動き情報が２つの異なる方向の動き情報を含むこととは、現在のブロックの２つの異なる方向の動き情報がそれぞれ第１の参照フレーム及び第２の参照フレームに対応し、第１の参照フレームが現在のブロックが所在する現在のフレームの前方向に位置し、第２の参照フレームは現在のブロックが所在する現在のフレームの後方向に位置することである。
一例では、当該特徴情報が現在のブロックの幅値及び現在のブロックの高さ値を含む現在のブロックのサイズ情報である場合、現在のブロックの特徴情報が特定の条件を満たすことは、現在のブロックの幅値が第１の区間［第１の閾値，第２の閾値］の範囲内である場合、現在のブロックのサイズ情報が特定の条件を満たすことを確定できること、又は、現在のブロックの高さ値が第２の区間［第３の閾値，第４の閾値］の範囲内である場合、現在のブロックのサイズ情報が特定の条件を満たすことを確定できること、又は、現在のブロックの幅値及び現在のブロックの高さ値によって得られた面積が第３の区間［第５の閾値，第６の閾値］の範囲内である場合、現在のブロックのサイズ情報が特定の条件を満たすことを確定できること、又は、前記幅値が第１の区間［第１の閾値，第２の閾値］の範囲内であり、かつ、前記高さ値が第２の区間［第３の閾値，第４の閾値］の範囲内であり、かつ、前記面積が第３の区間［第５の閾値，第６の閾値］の範囲内である場合、現在のブロックのサイズ情報が特定の条件を満たすことを確定できることを含むが、これらに限定されない。
例示的に、第１の閾値は第２の閾値より小さくてよく、これらの第１の閾値及び第２の閾値はいずれも限定されず、例えば、第１の閾値が４であり、第２の閾値が１２８であってよい。第３の閾値は第４の閾値より小さくてよく、これらの第３の閾値及び第４の閾値はいずれも限定されず、例えば、第３の閾値が８であり、第４の閾値が１２８であってよい。第５の閾値は第６の閾値より小さくてよく、これらの第５の閾値及び第６の閾値はいずれも限定されず、例えば、第５の閾値が６４であり、第６の閾値が１２８＊１２８であってよい。
一例では、現在のブロックの第１のオリジナル動きベクトルに基づいて現在のブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて現在のブロックに対応する第２の参照ブロックを確定することは、現在のブロックの第１のオリジナル動きベクトルに基づいて、第１の参照フレームから現在のブロックに対応する第１の参照ブロックを確定することと、現在のブロックの第２のオリジナル動きベクトルに基づいて、第２の参照フレームから現在のブロックに対応する第２の参照ブロックを確定することとを含むが、これらに限定されない。第１の参照ブロックにおける各画素点の第１の画素値は、第１の参照ブロックにおける隣接する画素点の画素値を補間することにより得られ、又は、第１の参照ブロックにおける隣接する画素点の画素値をコピーすることにより得られるものである。第２の参照ブロックにおける各画素点の第２の画素値は、第２の参照ブロックにおける隣接する画素点の画素値を補間することにより得られ、又は、第２の参照ブロックにおける隣接する画素点の画素値をコピーすることにより得られるものである。第１の参照ブロックのサイズは、第２の参照ブロックのサイズと同じであり、第１の参照ブロックの幅値は、現在のブロックの幅値及び探索範囲に基づいて確定され、第１の参照ブロックの高さ値は、現在のブロックの高さ値及び探索範囲に基づいて確定される。
ステップ２０２では、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得る。
一例では、現在のブロックが少なくとも１つのサブブロックを含む場合、現在のブロックの各サブブロックに対して、第１の画素値及び第２の画素値に基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルを得ることができる。
一例では、第１の画素値及び第２の画素値に基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルを取得することは、第１の画素値及び第２の画素値に基づいて、サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値、及び／又は、サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定することを含むことができる。そして、第１の整数画素動きベクトル調整値及び／又は第１のサブ画素動きベクトル調整値に基づいて、第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを得ることができる。第２の整数画素動きベクトル調整値及び／又は第２のサブ画素動きベクトル調整値に基づいて、第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを得る。
一例では、第１の画素値及び第２の画素値に基づいて、サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値、サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定することは、第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルを中心動きベクトルとして確定することと、中心動きベクトルに対応するエッジ動きベクトルを確定することと、第１の画素値及び第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値及びエッジ動きベクトルに対応する第２のコスト値を取得することと、第１のコスト値及び第２のコスト値に基づいて、中心動きベクトル及びエッジ動きベクトルから１つの動きベクトルを選択して最適動きベクトルとし、終了条件が満たされるか否かを判断することと、終了条件が満たされない場合、最適動きベクトルを中心動きベクトルとして確定し、中心動きベクトルに対応するエッジ動きベクトルを確定することに戻ることと、満たされる場合、最適動きベクトルに基づいてサブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値を確定することと、最適動きベクトルに基づいてサブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定することとを含んでよい。
一例では，中心動きベクトルに対応するエッジ動きベクトルを確定することは、中心動きベクトル（ｘ，ｙ）を異なる方向にＳだけシフトし、異なる方向のエッジ動きベクトル（ｘ，ｙ＋Ｓ）、エッジ動きベクトル（ｘ，ｙ－Ｓ）、エッジ動きベクトル（ｘ＋Ｓ，ｙ）、エッジ動きベクトル（ｘ－Ｓ，ｙ）、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）を順次得ること、又は、中心動きベクトル（ｘ，ｙ）を異なる方向にＳだけシフトし異なる方向のエッジ動きベクトル（ｘ，ｙ－Ｓ）、エッジ動きベクトル（ｘ，ｙ＋Ｓ）、エッジ動きベクトル（ｘ－Ｓ，ｙ）、エッジ動きベクトル（ｘ＋Ｓ，ｙ）、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）を、順次得ることを含む。エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）のデフォルト値は（ｘ－Ｓ，ｙ－Ｓ）である。エッジ動きベクトル（ｘ＋Ｓ，ｙ）のコスト値がエッジ動きベクトル（ｘ－Ｓ，ｙ）のコスト値より小さい場合、ｒｉｇｈｔはＳであり、エッジ動きベクトル（ｘ，ｙ＋Ｓ）のコスト値がエッジ動きベクトル（ｘ，ｙ－Ｓ）のコスト値より小さい場合、ｄｏｗｎはＳである。又は、エッジ動きベクトル（ｘ＋Ｓ，ｙ）のコスト値がエッジ動きベクトル（ｘ－Ｓ，ｙ）のコスト値以下である場合、ｒｉｇｈｔはＳであり、エッジ動きベクトル（ｘ，ｙ＋Ｓ）のコスト値がエッジ動きベクトル（ｘ，ｙ－Ｓ）のコスト値以下である場合、ｄｏｗｎはＳである。
一例では、第１の画素値及び第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値、エッジ動きベクトルに対応する第２のコスト値を取得することは、ダウンサンプリングされていない第１の画素値及びダウンサンプリングされていない第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値及びエッジ動きベクトルに対応する第２のコスト値を取得すること、又は、第１の画素値に対してダウンサンプリング操作を行い、第２の画素値に対してダウンサンプリング操作を行い、そして、ダウンサンプリングされた第１の画素値及びダウンサンプリングされた第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値及びエッジ動きベクトルに対応する第２のコスト値を取得すること、又は、第１の画素値に対してシフト及びダウンサンプリングを行い、第２の画素値に対してシフト及びダウンサンプリング操作を行い、そして、処理済みの第１の画素値及び処理された第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値及びエッジ動きベクトルに対応する第２のコスト値を取得することを含んでよいが、これらに限定されない。
一例では、第１の画素値及び第２の画素値に基づいて、サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値と、サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値とを確定することは、第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルを中心として、周囲の動きベクトルから一部又は全ての動きベクトルを選択し、選択された動きベクトルを候補動きベクトルとすることと、第１の画素値及び第２の画素値に基づいて、第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルに対応する第３のコスト値と、候補動きベクトルに対応する第４のコスト値とを取得することと、第３のコスト値及び第４のコスト値に基づいて、最適動きベクトルとして、第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルと、候補動きベクトルとの中から１つの動きベクトルを選択することと、最適動きベクトルに基づいて、サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値を確定することと、最適動きベクトルに基づいて、サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定することとを含んでよい。
最適動きベクトルに基づいて、サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値を確定することは、当該最適動きベクトル及び第１のオリジナル動きベクトルに基づいて、サブブロックの第１の整数画素動きベクトル調整値を確定し、第１の整数画素動きベクトル調整値に基づいて、サブブロックの第２の整数画素動きベクトル調整値を確定することを含んでよいが、これらに限定されない。
最適動きベクトルに基づいて、サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定することは、最適動きベクトルに対応するコスト値と、最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値とに基づいて、サブブロックの第１のサブ画素動きベクトル調整値を確定し、第１のサブ画素動きベクトル調整値に基づいて、サブブロックの第２のサブ画素動きベクトル調整値を確定することを含む。
ステップ２０３では、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて、現在のブロックを符号化又は復号化する。例えば、符号化側の場合、符号化側は、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて現在のブロックを符号化処理してよい、復号化側の場合、復号化側は、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて現在のブロックを復号化処理してよい。
一例では、現在のブロックの各サブブロックに対して、サブブロックの第１の目標動きベクトルに基づいて、サブブロックに対応する第３の参照ブロックを確定し、サブブロックの第２の目標動きベクトルに基づいて、サブブロックに対応する第４の参照ブロックを確定し、第３の参照ブロックの第３の画素値及び第４の参照ブロックの第４の画素値に基づいて重み付けを行い、サブブロックの予測値を得て、各サブブロックの予測値に基づいて現在のブロックの予測値を確定する。
一例では、サブブロックの第１の目標動きベクトルに基づいて、サブブロックに対応する第３の参照ブロックを確定し、サブブロックの第２の目標動きベクトルに基づいて、サブブロックに対応する第４の参照ブロックを確定することは、以下の方式を含んでよい。
方式１は、サブブロックの第１の目標動きベクトルに基づいて、第１の参照フレームからサブブロックに対応する第５の参照ブロックを確定し、第５の参照ブロックにおける画素値を補間し、第３の参照ブロックを得る。及び、サブブロックの第２の目標動きベクトルに基づいて、第２の参照フレームからサブブロックに対応する第６の参照ブロックを確定し、第６の参照ブロックにおける画素値を補間し、第４の参照ブロックを得る。
方式２は、サブブロックの第１の目標動きベクトルに基づいて、第１の参照フレームからサブブロックに対応する第７の参照ブロックを確定し、第７の参照ブロックにおける画素値を利用して第８の参照ブロックを構築し、第８の参照ブロックにおける画素値を補間し、第３の参照ブロックを得て、サブブロックの第２の目標動きベクトルに基づいて、第２の参照フレームからサブブロックに対応する第９の参照ブロックを確定し、第９の参照ブロックにおける画素値を利用して第１０の参照ブロックを構築し、第１０の参照ブロックにおける画素値を補間し、第４の参照ブロックを得る。
一例では、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて現在のブロックを符号化又は復号化した後、現在のブロックに対して第１の目標動きベクトル及び第２の目標動きベクトルを格納してよい。このように、当該第１の目標動きベクトルと当該第２の目標動きベクトルは現在のフレームのループフィルタリングに用いられ、当該第１の目標動きベクトルと当該第２の目標動きベクトルは後続のフレームの時間領域の参照に用いられ、及び／又は、当該第１の目標動きベクトルと当該第２の目標動きベクトルは現在のフレームの空間領域の参照に用いられる。
上記した技術案から分かるように、本願の実施例において、直接に第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルに基づいて現在のブロックを符号化又は復号化するのではなく、第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルに基づいて現在のブロックの第１の目標動きベクトル及び第２の目標動きベクトルを確定して、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて現在のブロックを符号化又は復号化できるため、予測品質不良や、予測ミスなどの問題を解決しつつ、符号化性能及び符号化効率を向上させる。
実施例２では、図３が本願の実施例に係るコーデック方法のフローチャートであり、当該コーデック方法は符号化側に適用でき、当該コーデック方法は以下のステップを含んでよい。
ステップ３０１では、符号化側は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断する。特定の条件を満たす場合、ステップ３０２を実行し、特定の条件を満たさない場合、本願に係る動きベクトル調整方式を用いる必要がないため、その処理方式を限定しない。
一例では、符号化側は、符号化済み情報に基づいて現在のブロックの特性情報が所定の条件を満たすか否かを判断してよい。現在のブロックの特徴情報が特定の条件を満たす場合、現在のブロックの動き情報が正確ではないことを示すため、動きベクトルリファインメントモードを有効にして、ステップ３０２を実行する。
現在のブロックの特徴情報が特定の条件を満たさない場合、現在のブロックの動き情報が正確であることを示すため、動きベクトルリファインメントモードを有効にせず、本願に係る動きベクトル調整方式を用いる必要がない。
一例では、現在のブロックの特徴情報は、現在のブロックに対応する動き情報予測モードと、現在のブロックに対応する動き情報属性と、現在のブロックのサイズ情報とのうちの１つ又は複数を含むが、これらに限定されない。
現在のブロックの特徴情報が特定の条件を満たすか否かを判断する方式については、後述の実施例を参照する。
ステップ３０２では、符号化側は、現在のブロックの第１のオリジナル動きベクトルに基づいて、第１の参照フレームから現在のブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて、第２の参照フレームから現在のブロックに対応する第２の参照ブロックを確定する。区別が容易になるために、第１の参照ブロックにおける各画素点の画素値を第１の画素値とし、第２の参照ブロックにおける各画素点の画素値を第２の画素値とする。
一例では、現在のブロックが双方向予測のブロックである場合、現在のブロックには、２つの参照フレームおよび２つのオリジナル動きベクトルを含む双方向動き情報が存在する。例えば、符号化側は従来の方式で双方向動き情報を取得してよく、この取得方式を限定しない。当該双方向動き情報は、第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む。
符号化側は、第１のオリジナル動きベクトルに基づいて、第１の参照フレームから現在のブロックに対応する第１の参照ブロックを確定してよく、第１の参照ブロックにおける各画素点の画素値は第１の画素値とされる。
符号化側は、第２のオリジナル動きベクトルに基づいて、第２の参照フレームから現在のブロックに対応する第２の参照ブロックを確定してよく、第２の参照ブロックにおける各画素点の画素値は第２の画素値とされる。
一例では、現在のブロックが所在する現在のフレームと第１の参照フレームとの距離、及び第２の参照フレームと現在のブロックが所在する現在のフレームとの距離は同じであってよい。例えば、第１の参照フレームは第１のフレームであり、現在のフレームは第５のフレームであり、第２の参照フレームは第９のフレームである。勿論、上記は一例に過ぎず、両者の距離は異なってもよい。
第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとは、鏡像対称の関係にあってよく、例えば、第１のオリジナル動きベクトルが（４，４）であり、第２のオリジナル動きベクトルが（－４，－４）であり、第１のオリジナル動きベクトルは（２．５，３．５）であり、第２のオリジナル動きベクトルは（－２．５，－３．５）である。勿論、上記は一例に過ぎず、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとは鏡像対称の関係になくてもよい。
第１の参照ブロック及び第２の参照ブロックを確定する方式については、後述の実施例を参照できる。
ステップ３０３では、現在のブロックの各サブブロックに対して、符号化側は第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルを調整し、当該サブブロックの第１の目標動きベクトルを得る。符号化側は第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第２のオリジナル動きベクトルを調整し、当該サブブロックの第２の目標動きベクトルを得る。
一例では、現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、符号化側は第１の画素値及び第２の画素値に基づいて、局所探索の方法により、第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルを微調整することで、より良い第１の目標動きベクトル及び第２の目標動きベクトルを取得して、第１の目標動きベクトル及び第２の目標動きベクトルを利用して歪みがより少ない予測値を生成する。
一例では、現在のブロックは少なくとも１つのサブブロックを含むことができ、１つのサブブロックのみを含む場合、そのサブブロックは現在のブロック自体である。当該サブブロックに対して、当該サブブロックは第１のオリジナル動きベクトル及び第２のオリジナル動きベクトルに対応し、調整を行った後、当該サブブロックは第１の目標動きベクトル及び第２の目標動きベクトルに対応する。
現在のブロックがサブブロックＡ及びサブブロックＢを含む場合、サブブロックＡは、第１のオリジナル動きベクトルＡ１及び第２のオリジナル動きベクトルＡ２に対応し、調整を行った後、サブブロックＡは第１の目標動きベクトルＡ３及び第２の目標動きベクトルＡ４に対応する。サブブロックＢは、第１のオリジナル動きベクトルＢ１及び第２のオリジナル動きベクトルＢ２に対応し、調整を行った後、サブブロックＢは第１の目標動きベクトルＢ３及び第２の目標動きベクトルＢ４に対応する。
サブブロックＡに対応する第１のオリジナル動きベクトルＡ１とサブブロックＢに対応する第１のオリジナル動きベクトルＢ１とは、いずれも現在のブロックの第１のオリジナル動きベクトルであるように、同じであってよい。サブブロックＡに対応する第２のオリジナル動きベクトルＡ２とサブブロックＢに対応する第２のオリジナル動きベクトルＢ２とは、いずれも現在のブロックの第２のオリジナル動きベクトルであるように、同じであってよい。
各サブブロックの第１のオリジナル動きベクトルに対してそれぞれに調整を行うため、サブブロックＡに対応する第１の目標動きベクトルＡ３とサブブロックＢに対応する第１の目標動きベクトルＢ３とは、同じであっても、異なってもよい。各サブブロックの第２のオリジナル動きベクトルに対してそれぞれに調整を行うため、サブブロックＡに対応する第２の目標動きベクトルＡ４とサブブロックＢに対応する第２の目標動きベクトルＢ４は、同じであっても、異なってもよい。
オリジナル動きベクトルに対する調整方式は、後述の実施例を参照できるため、ここでの説明を省略する。
ステップ３０４では、符号化側は、第１の目標動きベクトル及び第２の目標動きベクトルに基づいて、現在のブロックの各サブブロックに対して動き補償を行う。例えば、現在のブロックがサブブロックＡとサブブロックＢとを含む場合、サブブロックＡに対して、サブブロックＡの第１の目標動きベクトル及び第２の目標動きベクトルを用いて動き補償を行い、サブブロックＢに対して、サブブロックＢの第１の目標動きベクトル及び第２目標動きベクトルを用いて動き補償を行ってよい。
動き補償の方式については、後述の実施例を参照できるため、ここでの説明を省略する。
ステップ３０５では、符号化側は、現在のブロックの各サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルを保存し、第１の目標動きベクトル及び第２の目標動きベクトルは後続のブロックの符号化の参照に用いられる。
符号化の参照の実現方式については、後述の実施例を参照できるため、ここでの説明を省略する。
実施例３では、図４が本願の実施例に係るコーデック方法のフローチャートであり、当該コーデック方法は復号化側に適用でき、当該コーデック方法は以下のステップを含んでよい。
ステップ４０１では、復号化側は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断する。特定の条件を満たす場合、ステップ４０２を実行し、特定の条件を満たさない場合、本願が提供する動きベクトル調整方式を用いる必要がなく、その処理方式を限定しない。
一例では、復号化側は、符号化側から伝送された符号化ビットストリームを受信し、復号化ずみ情報に基づいて現在のブロックの特性情報が特定条件を満たすか否かを判断できる。現在のブロックの特徴情報が特定の条件を満たす場合、現在のブロックの動き情報が正確ではないことを示すため、動きベクトルリファインメントモードを有効にして、ステップ４０２を実行する。現在のブロックの特徴情報が特定の条件を満たさない場合、現在のブロックの動き情報が正確であることを示すため、動きベクトルリファインメントモードを有効にせず、本願に係る動きベクトル調整方式を用いる必要がない。
ステップ４０２では、復号化側は、現在のブロックの第１のオリジナル動きベクトルに基づいて、第１の参照フレームから現在のブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて、第２の参照フレームから現在のブロックに対応する第２の参照ブロックを確定する。区別が容易になるために、第１の参照ブロックにおける各画素点の画素値を第１の画素値とし、第２の参照ブロックにおける各画素点の画素値を第２の画素値とする。
ステップ４０３では、現在のブロックの各サブブロックに対して、復号化側は、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルを調整し、当該サブブロックの第１の目標動きベクトルを得る。復号化側は、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第２のオリジナル動きベクトルを調整し、当該サブブロックの第２の目標動きベクトルを得る。
ステップ４０４では、現在のブロックの各サブブロックに対して、復号化側は、当該サブブロックの第１の目標動きベクトル及び当該サブブロックの第２の目標動きベクトルに基づいて、当該サブブロックに対して動き補償を行う。
ステップ４０５では、復号化側は、現在のブロックの各サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルを保存し、第１の目標動きベクトル及び第２の目標動きベクトルは後続のブロックの復号化の参照に用いられる。
実施例４では、ステップ３０１及びステップ４０１は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断することに関する。本実施例において、特徴情報が以下の全ての条件を満たす場合、現在のブロックの特徴情報が特定の条件を満たすことを確定し、動きベクトルリファインメントモードを有効にする。満たさない場合、動きベクトルリファインメントモードを有効にしない。
現在のブロックに対応する動き情報属性は、現在のブロックは周囲ブロックの動き情報を直接に利用し、動き情報の差分値を符号化しないことを含む。現在のブロックに対応する動き情報属性は、現在のブロックの各サブブロックの動き情報が同じであり、即ちサブブロック動き情報予測モードは不要であることを含む。現在のブロックに対応する動き情報属性は、現在のブロックの動き情報は２つの異なる方向の動き情報を含むことを含む。現在のブロックのサイズ情報は、現在のブロックのサイズが限定範囲内であることを含む。このサイズが限定範囲内であることについては、後続の実施例で説明する。
実施例５では、ステップ３０１及びステップ４０１は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断することに関する。本実施例において、特徴情報が以下の全ての条件を満たす場合、現在のブロックの特徴情報が特定の条件を満たすことを確定し、動きベクトルリファインメントモードを有効にする。満たさない場合、動きベクトルリファインメントモードを有効にしない。
現在のブロックに対応する動き情報予測モードは、Ｎｏｒｍａｌ Ｍｅｒｇｅモード（即ち、通常マージモード）又はＣＩＩＰモード（即ち、インター予測子とイントラ予測子とを統合して新たな予測子を生成するためのマージモード）を使用する。又は、現在のブロックに対応する動き情報予測モードは、ＭＭＶＤモード（即ち、動き情報の差分値を符号化するためのマージモード）、ＳＢ Ｍｅｒｇｅモード（即ち、サブブロック動き情報を使用するマージモード）、又はＴＰＭモード（即ち、３角予測のためのマージモード）を使用しない。
現在のブロックに対応する動き情報属性は、現在のブロックの動き情報は２つの異なる方向の動き情報を含み、２つの異なる方向の動き情報に対応する２つの参照フレームが、現在のフレームとの距離は同じであることを含む。現在のブロックのサイズ情報は、現在のブロックのサイズが限定範囲内であることを含む。
なお、マージモード（即ち、Ｍｅｒｇｅモード）は、通常マージモード（Ｎｏｒｍａｌ Ｍｅｒｇｅモードと呼ばれる）、３角予測のためのマージモード（ＴＰＭモードと呼ばれる）、動き情報の差分値を符号化するためのマージモード（ＭＭＶＤモードと呼ばれる）、サブブロック動き情報を使用するマージモード（ＳＢ Ｍｅｒｇｅモードと呼ばれる）、及び、インター予測子とイントラ予測子を統合して新たな予測子を生成するためのマージモード（ＣＩＩＰモードと呼ばれる）を含むが、これらの類型のマージモードに限定されない。
一例では、Ｎｏｒｍａｌ Ｍｅｒｇｅモードは、残差を符号化しない通常マージモード（即ち、ｓｋｉｐモード）と、残差を符号化する通常マージモードとを含む。ＭＭＶＤモードは、残差を符号化しないＭＭＶＤモードを含む。
実施例６では、ステップ３０１及びステップ４０１は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断することに関する。本実施例において、特徴情報が以下の全ての条件を満たす場合、現在のブロックの特徴情報が特定の条件を満たすことを確定し、動きベクトルリファインメントモードを有効にする。満たさない場合、動きベクトルリファインメントモードを有効にしない。
現在のブロックに対応する動き情報予測モードは、Ｎｏｒｍａｌ Ｍｅｒｇｅモード（即ち、通常マージモード）、ＣＩＩＰモード（即ち、インター予測子とイントラ予測子とを統合して新たな予測子を生成するためのマージモード）、又はＴＰＭモード（即ち、３角予測のためのマージモード）を用いる。又は、現在のブロックに対応する動き情報予測モードは、ＭＭＶＤモード（即ち、動き情報の差分値を符号化するためのマージモード）又はＳＢ Ｍｅｒｇｅモード（即ち、サブブロック動き情報を使用するマージモード）を用いない。
現在のブロックに対応する動き情報属性は、現在のブロックの動き情報は２つの異なる方向の動き情報を含み、２つの異なる方向の動き情報に対応する２つの参照フレームが、現在のフレームとの距離は同じであることを含む。現在のブロックのサイズ情報は、現在のブロックのサイズが限定範囲内であることを含む。
実施例７では、ステップ３０１及びステップ４０１は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断することに関する。本実施例において、特徴情報が以下の全ての条件を満たす場合、現在のブロックの特徴情報が特定の条件を満たすことを確定し、動きベクトルリファインメントモードを有効にする。満たさない場合、動きベクトルリファインメントモードを有効にしない。
現在のブロックに対応する動き情報予測モードは、Ｎｏｒｍａｌ Ｍｅｒｇｅモード（即ち、通常マージモード）、ＣＩＩＰモード（即ち、インター予測子とイントラ予測子とを統合して新たな予測子を生成するためのマージモード）、ＴＰＭモード（即ち、３角予測のためのマージモード）を用いる。又は、現在のブロックに対応する動き情報予測モードは、ＭＭＶＤモード（即ち、動き情報の差分値を符号化するためのマージモード）又はＳＢ Ｍｅｒｇｅモード（即ち、サブブロック動き情報を使用するマージモード）を用いない。
現在のブロックに対応する動き情報属性は、現在のブロックの動き情報は２つの異なる方向の動き情報を含み、２つの異なる方向の動き情報に対応する２つの参照フレームが、現在のフレームとの距離は同じであることを含む。現在のブロックのサイズ情報は、現在のブロックのサイズが限定範囲内であることを含む。
実施例８では、ステップ３０１及びステップ４０１は、現在のブロックの特徴情報が特定の条件を満たすか否かを判断することに関する。本実施例において、特徴情報が以下の全ての条件を満たす場合、現在のブロックの特徴情報が特定の条件を満たすことを確定し、動きベクトルリファインメントモードを有効にする。満たさない場合、動きベクトルリファインメントモードを有効にしない。
現在のブロックに対応する動き情報予測モードは、Ｎｏｒｍａｌ Ｍｅｒｇｅモード又はＣＩＩＰモードを用い、現在のブロックに対応する動き情報予測モードは、ＭＭＶＤモード、ＳＢ Ｍｅｒｇｅモード、又はＴＰＭモードを用いない。又は、現在のブロックに対応する動き情報予測モードはＮｏｒｍａｌ Ｍｅｒｇｅモード、ＣＩＩＰモード、又はＴＰＭモードを用い、現在のブロックに対応する動き情報予測モードは、ＭＭＶＤモード、又はＳＢ Ｍｅｒｇｅモードを用いない。又は、現在のブロックに対応する動き情報予測モードはＮｏｒｍａｌ Ｍｅｒｇｅモード、ＣＩＩＰモード、ＴＰＭモード、又はＭＭＶＤモードを用い、現在のブロックに対応する動き情報予測モードはＳＢ Ｍｅｒｇｅモードを用いない。
現在のブロックに対応する動き情報属性は、現在のブロックの動き情報は２つの異なる方向の動き情報を含み、２つの異なる方向の動き情報に対応する２つの参照フレームが、現在のフレームとの距離が同じであることを制限する必要がないこと、即ち、この制限条件を除去することを含む。現在のブロックのサイズ情報は、現在のブロックのサイズが限定範囲内であることを含む。
実施例９では、上記実施例４～実施例８における「現在のブロックのサイズが限定範囲内である」については、現在のブロックのサイズが以下の条件を満たす場合、現在のブロックのサイズが限定範囲内であることを確定する。
現在のブロックの幅は［第１の閾値，第２の閾値］の範囲内であり、第１の閾値は４であってよく、第２の閾値は１２８であってよい。現在のブロックの高さは［第３の閾値，第４の閾値］の範囲内であり、第３の閾値は８であってよく、第４の閾値は１２８であってよい。例示的に、第１の閾値、第２の閾値、第３の閾値、第４の閾値は、いずれも２のｎ乗であってよく、ｎは１以上の整数である。現在のブロックの面積は［第５の閾値，第６の閾値］の範囲内であり、第５の閾値は６４であってよく、第６の閾値は１２８＊１２８＝１６３８４であってよい。例示的に、第５の閾値、第６の閾値は、いずれも４のｍ乗であってよく、ｍは１以上の整数である。上記の例において、［ａ，ｂ］は、ａ以上ｂ以下を表すことができる。
実施例１０では、ステップ３０２及びステップ４０２は、第１のオリジナル動きベクトルに基づいて、第１の参照フレームから現在のブロックに対応する第１の参照ブロックを確定し、第１の参照ブロックにおける各画素点の画素値は第１の画素値とされ、第２のオリジナル動きベクトルに基づいて、第２の参照フレームから現在のブロックに対応する第２の参照ブロックを確定し、第２の参照ブロックにおける各画素点の画素値は第２の画素値とされる。これについては以下に説明する。
第１の参照ブロックにおける各画素点の第１の画素値は、第１の参照ブロックにおける隣接する画素点の画素値を補間することにより得られ、又は、第１の参照ブロックにおける隣接する画素点の画素値をコピーすることにより得られるものである。第２の参照ブロックにおける各画素点の第２の画素値は、第２の参照ブロックにおける隣接する画素点の画素値を補間することにより得られ、又は、第２の参照ブロックにおける隣接する画素点の画素値をコピーすることにより得られるものである。第１の参照ブロックのサイズは、第２の参照ブロックのサイズと同じであり、第１の参照ブロック／第２の参照ブロックの幅値は、現在のブロックの幅値及び探索範囲に基づいて確定され、第１の参照ブロック／第２の参照ブロックの高さ値は、現在のブロックの高さ値及び探索範囲に基づいて確定される。
図５に示すように、仮に現在のブロックの幅がＷであり、高さがＨであると、第１のオリジナル動きベクトルをＭＶ０とし、第２のオリジナル動きベクトルをＭＶ１とする。第１のオリジナル動きベクトルＭＶ０の第１の参照フレームにおける対応位置から、面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）の整数画素ブロックを得て、この整数画素ブロックを整数画素ブロックＡとする。第２のオリジナル動きベクトルＭＶ１の第２の参照フレームにおける対応位置から、面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である整数画素ブロックを得て、この整数画素ブロックを整数画素ブロックＢとする。
一例では、面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である整数画素ブロックＡに基づいて、バイリニア補間でサイズが（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）である初期参照画素ブロックを取得してよく、この初期参照画素ブロックを第１の参照ブロックとしてよい。面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である整数画素ブロックＢに基づいて、バイリニア補間でサイズが（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）である初期参照画素ブロックを取得してよく、この初期参照画素ブロックを第２の参照ブロックとしてよい。
別の例では、面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）の整数画素ブロックＡに基づいて、直接にコピーする（補間不要）ことで、サイズが（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）の初期参照画素ブロックを取得し、この初期参照画素ブロックを第１の参照ブロックとする。面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である整数画素ブロックＢに基づいて、直接にコピーすることで、サイズが（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）である初期参照画素ブロックを取得でき、この初期参照画素ブロックを第２の参照ブロックとする。
例示的に、輝度成分のみ（複雑度を低減するために、以下、輝度成分のみを使用してコスト値を計算する）に対して、面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である整数画素ブロック（例えば、整数画素ブロックＡ及び整数画素ブロックＢ）に基づいて、サイズが（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）である初期参照画素ブロック、即ち第１の参照ブロック（例えば、Ｐｒｅｄ＿Ｉｎｔｅｒ０）及び第２の参照ブロック（例えば、Ｐｒｅｄ＿Ｉｎｔｅｒ１）を取得してよい。
一例では、ＦＳは補間フィルタのタップ数であってよく、例えば８などであってよい。
バイリニア補間で第１の参照ブロック／第２の参照ブロックを取得することとは、第１の参照ブロック／第２の参照ブロックにおける各画素点の画素値は、第１の参照ブロック／第２の参照ブロックにおける隣接する画素点の画素値を補間することで取得されるものであることを意味するが、これに対しては限定しない。コピーすることで第１の参照ブロック／第２の参照ブロックを取得することとは、第１の参照ブロック／第２の参照ブロックにおける各画素点の画素値は、第１の参照ブロック／第２の参照ブロックにおける隣接する画素点の画素値をコピーすることで取得されるものであることを意味するが、これに対して限定しない。
上記実施例を参照し、第１の参照ブロックの面積は（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）であり、第２の参照ブロックの面積は（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）であり、即ち、第１の参照ブロック／第２の参照ブロックの幅値はＷ＋２＊ＳＲであり、第１の参照ブロック／第２の参照ブロックの高さ値はＨ＋２＊ＳＲである。Ｗは現在のブロックの幅であり、Ｈは現在のブロックの高さであり、ＳＲは探索範囲であり、即ち、後述の実施例の反復回数である。即ち、ＳＲは、目標動きベクトルとオリジナル動きベクトルとの最大水平／垂直成分の補間であり、例えばＳＲは２などであってよい。
第１の参照ブロック及び第２の参照ブロックについては、後続処理における動きベクトル調整に用いられる。
実施例１１では、ステップ３０３及びステップ４０３は、現在のブロックの各サブブロックに対して、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを得て、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを得る。
１つのサブブロック（現在のブロックにおけるサイズがｄｘ＊ｄｙである各サブブロックのような、例えばサイズが１６＊１６であるサブブロック、又はそれよりの小さい１つの整数ブロック）に対する処理を例として、オリジナル動きベクトルの調整処理を説明する。
ステップａ１では、第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルを中心動きベクトルとして確定する。
例えば、第１のオリジナル動きベクトルを（４，４）、第２のオリジナル動きベクトルを（－４，－４）と仮定する場合、第１のオリジナル動きベクトル（４，４）又は第２のオリジナル動きベクトル（－４，－４）を中心動きベクトルとして確定できる。説明の便宜上、第１のオリジナル動きベクトル（４，４）を中心動きベクトルとして確定することを例として説明する。第２のオリジナル動きベクトル（－４，－４）を中心動きベクトルとして確定する流れも同様である。
ステップａ２では、中心動きベクトルに対応するエッジ動きベクトルを確定する。
例えば、中心動きベクトル（ｘ，ｙ）を異なる方向にＳでシフトし、異なる方向のエッジ動きベクトル（ｘ，ｙ＋Ｓ）と、エッジ動きベクトル（ｘ，ｙ－Ｓ）と、エッジ動きベクトル（ｘ＋Ｓ，ｙ）と、エッジ動きベクトル（ｘ－Ｓ，ｙ）と、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）とを得ることができる。ｒｉｇｈｔはＳ又は－Ｓであってよく、ｄｏｗｎはＳ又は－Ｓであってよく、ｒｉｇｈｔ及びｄｏｗｎの確定方式は、後続の実施例を参照する。
図６に示すように、中心動きベクトル（ｘ，ｙ）を中心とし、即ち中心動きベクトルは（０，０）である。Ｓが１であり、ｒｉｇｈｔ及びｄｏｗｎがいずれも１であることを例として、中心動きベクトル（０，０）に対応するエッジ動きベクトルは、エッジ動きベクトル（０，１）と、エッジ動きベクトル（０，－１）と、エッジ動きベクトル（１，０）と、エッジ動きベクトル（－１，０）と、エッジ動きベクトル（１，１）とを含む。
ステップａ３では、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値と、各エッジ動きベクトルに対応する第２のコスト値とを取得する。
例えば、中心動きベクトル（０，０）に対応するサブ参照ブロックＡ１は、第１の参照ブロックからコピーによって取得されるものであり、第１の参照ブロックにおける中心動きベクトル（０，０）のサブ参照ブロックである。サブ参照ブロックＡ１のサイズは、現在のブロックのサイズであり、サブ参照ブロックＡ１は、第１の参照ブロックの中で最も中心に位置するＷ＊Ｈのブロックである。
中心動きベクトル（０，０）に対応するサブ参照ブロックＢ１は、第２の参照ブロックからコピーによって取得されるものであり、第２の参照ブロックにおける中心動きベクトル（０，０）のサブ参照ブロックである。サブ参照ブロックＢ１のサイズは、現在のブロックのサイズであり、サブ参照ブロックＢ１は、第２の参照ブロックにおける最も中央に位置するＷ＊Ｈのブロックである。
そして、サブ参照ブロックＡ１の第１の画素値及びサブ参照ブロックＢ１の第２の画素値を利用し、中心動きベクトル（０、０）に対応するコスト値１を取得し、コスト値の確定方式は後続の実施例を参照する。
エッジ動きベクトル（０，１）に対応するサブ参照ブロックＡ２は、第１の参照ブロックからコピーによって取得されるものであり、第１の参照ブロックにおけるエッジ動きベクトル（０，１）のサブ参照ブロックである。サブ参照ブロックＡ２のサイズは、現在のブロックのサイズであり、サブ参照ブロックＡ２は、第１の参照ブロックにおけるＷ＊Ｈのブロックである。
エッジ動きベクトル（０，１）の対称動きベクトル（０，－１）に対応するサブ参照ブロックＢ２は、第２の参照ブロックからコピーによって取得されるものであり、第２の参照ブロックにおける対称動きベクトル（０，－１）のサブ参照ブロックである。サブ参照ブロックＢ２のサイズは、現在のブロックのサイズであり、第２の参照ブロックにおけるＷ＊Ｈのブロックである。
そして、サブ参照ブロックＡ２の第１の画素値及びサブ参照ブロックＢ２の第２の画素値を利用し、エッジ動きベクトル（０，１）に対応するコスト値２を取得し、コスト値の確定方式は後続の実施例を参照する。
エッジ動きベクトル（０，１）に対応するコスト値２の確定方式に基づいて、エッジ動きベクトル（０，－１）に対応するコスト値３と、エッジ動きベクトル（１，０）に対応するコスト値４と、エッジ動きベクトル（－１，０）に対応するコスト値５と、エッジ動きベクトル（１，１）に対応するコスト値６とを確定できる。
ステップａ４では、第１のコスト値及び第２のコスト値に基づいて、最適動きベクトルとして、中心動きベクトル及びエッジ動きベクトルから１つの動きベクトルを選択する。例えば、コスト値が最も小さい動きベクトルを最適動きベクトルとしてよい。例えば、仮に、エッジ動きベクトル（０，１）に対応するコスト値２が最小である場合、コスト値２に対応するエッジ動きベクトル（０，１）を最適動きベクトルとしてよい。
ステップａ５では、終了条件を満たすか否かを判断する。終了条件を満たさない場合、最適動きベクトルを中心動きベクトルとして確定し、ステップａ２に戻る。終了条件を満たす場合、ステップａ６を実行してよい。
一例では、反復回数／探索範囲が閾値に達すると終了条件が満たされ、反復回数／探索範囲が閾値に達しないと終了条件が満たされない。例えば、仮に、ＳＲが２である、即ち閾値が２である場合、２回の反復が許容される。反復回数／探索範囲が２回に達した、即ちステップａ２～ステップａ４が２回実行された場合、終了条件は満たされる。それ以外の場合、終了条件は満たされない。
別の例では、中心動きベクトルとエッジ動きベクトルから１つの動きベクトルを選択して最適動きベクトルとした後、最適動きベクトルとして、中心動きベクトルが選択された場合、終了条件が満たされる。
ステップａ６では、最適動きベクトルに基づいて第１の整数画素動きベクトル調整値（第１のオリジナル動きベクトルを調整することに用いられる）及び第２の整数画素動きベクトル調整値（第２のオリジナル動きベクトルを調整することに用いられる）を確定する。
一例では、最適動きベクトルと第１のオリジナル動きベクトルとに基づいて第１の整数画素動きベクトル調整値を確定し、第１の整数画素動きベクトル調整値に基づいて第２の整数画素動きベクトル調整値を確定し、第２の整数画素動きベクトル調整値と第１の整数画素動きベクトル調整値とは対称する。
例えば、１回目の反復では、最適動きベクトルはエッジ動きベクトル（０，１）であり、エッジ動きベクトル（０，１）を中心として２回目の反復を行い、２回目の反復では、最適動きベクトルはエッジ動きベクトル（０，１）である。仮に、これで反復処理が完了した場合、第１の整数画素動きベクトル調整値は（０，２）であり、即ちエッジ動きベクトル（０，１）とエッジ動きベクトル（０，１）との和である。
これにより、仮に、第１のオリジナル動きベクトルが（４，４）である場合、１回目の反復では、最適動きベクトルがエッジ動きベクトル（０，１）であり、即ち、最適動きベクトルが最適動きベクトル（４，５）に対応できる。エッジ動きベクトル（０，１）を中心として２回目の反復を行い、２回目の反復では、最適動きベクトルがエッジ動きベクトル（０，１）であり、即ち最適動きベクトルが最適動きベクトル（４，６）に対応できる。
以上をまとめると、最適動きベクトル（４，６）及び第１のオリジナル動きベクトル（４，４）に基づいて第１の整数画素動きベクトル調整値を確定し、第１の整数画素動きベクトル調整値は最適動きベクトル（４，６）と第１のオリジナル動きベクトル（４，４）との差であり、即ち第１の整数画素動きベクトル調整値は（０，２）である。
そして、第１の整数画素動きベクトル調整値（０，２）に基づいて第２の整数画素動きベクトル調整値を確定し、第２の整数画素動きベクトル調整値は（０，－２）であってよく、即ち（０，２）の反数であってよい。
ステップａ７では、最適動きベクトルに基づいて第１のサブ画素動きベクトル調整値（第１のオリジナル動きベクトルを調整することに用いられる）及び第２のサブ画素動きベクトル調整値（第２のオリジナル動きベクトルを調整することに用いられる）を確定する。
一例では、最適動きベクトルに対応するコスト値、最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定し、そして、前記第１のサブ画素動きベクトル調整値に基づいて第２のサブ画素動きベクトル調整値を確定する。
例えば、ｘ０＝Ｎ＊（Ｅ（－１，０）－Ｅ（１，０））／（Ｅ（－１，０）＋Ｅ（１，０）－２＊Ｅ（０，０））、ｙ０＝Ｎ＊（Ｅ（０，－１）－Ｅ（０，１））／（Ｅ（０，－１）＋Ｅ（０，１）－２＊Ｅ（０，０））であり、１／２、１／４、１／８及び１／１６の動きベクトル画素精度に対して、Ｎ＝１、２、４及び８である。そして、（ｘ０，ｙ０）にｄｅｌｔａＭｖを代入し、ＳＰＭＶ＝ｄｅｌｔａＭｖ／２Ｎとし、現在の動きベクトル画素精度が１／１６である場合、ＳＰＭＶは（ｘ０／１６，ｙ０／１６）となる。
上記の式において、ＳＰＭＶは第１のサブ画素動きベクトル調整値であり、Ｎは動きベクトル画素精度に関連し、例えば、動きベクトル画素精度が１／２でＮが１であり、動きベクトル画素精度が１／４でＮが２であり、動きベクトル画素精度が１／８でＮが４であり、動きベクトル画素精度が１／１６でＮが８である。
上記の式において、Ｅ（０，０）は最適動きベクトルのコスト値を示す。Ｅ（－１，０）は、最適動きベクトルを中心として、最適動きベクトル（０，０）のエッジ動きベクトル（－１，０）のコスト値である。Ｅ（１，０）は、最適動きベクトルを中心として、最適動きベクトル（０，０）のエッジ動きベクトル（１，０）のコスト値である。Ｅ（０，－１）は、最適動きベクトルを中心として、最適動きベクトル（０，０）のエッジ動きベクトル（０，－１）のコスト値である。Ｅ（０，１）は、最適動きベクトルを中心として、最適動きベクトル（０，０）のエッジ動きベクトル（０，１）のコスト値である。各動きベクトルのコスト値に対して、その確定方式は上記実施例を参照できるため、ここでの説明を省略する。
上記方式で第１のサブ画素動きベクトル調整値を確定した後、第１のサブ画素動きベクトル調整値に基づいて第２のサブ画素動きベクトル調整値を確定できる。第２のサブ画素動きベクトル調整値は第１のサブ画素動きベクトル調整値の反数である。例えば、第１のサブ画素動きベクトル調整値が（１，０）である場合、第２のサブ画素動きベクトル調整値は（－１，０）であり、即ち（１，０）の反数である。
ステップａ８では、第１の整数画素動きベクトル調整値及び／又は第１のサブ画素動きベクトル調整値に基づいて、第１のオリジナル動きベクトルを調整し、第１の目標動きベクトルを得る。
例えば、第１の目標動きベクトル＝第１のオリジナル動きベクトル＋第１の整数画素動きベクトル調整値＋第１のサブ画素動きベクトル調整値である。勿論、上記は例示に過ぎず、これに対して限定しない。
ステップａ９では、第２の整数画素動きベクトル調整値及び／又は第２のサブ画素動きベクトル調整値に基づいて、第２のオリジナル動きベクトルを調整し、第２の目標動きベクトルを得る。
例えば、第２の目標動きベクトル＝第２のオリジナル動きベクトル＋第２の整数画素動きベクトル調整値＋第２のサブ画素動きベクトル調整値である。勿論、上記は例示に過ぎず、これに対して限定しない。
実施例１２では、ステップ３０３及びステップ４０３は、現在のブロックの各サブブロックに対して、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを得て、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを得る。
１つのサブブロック（現在のブロックにおけるサイズがｄｘ＊ｄｙである各サブブロックのような、例えばサイズが１６＊１６であるサブブロック、又はそれより小さいブロック）の処理を例として、オリジナル動きベクトルの調整処理を説明する。第１のオリジナル動きベクトルをＯｒｇ＿ＭＶ０とし、第２のオリジナル動きベクトルをＯｒｇ＿ＭＶ１とし、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０を調整した後、得られた第１の目標動きベクトルをＲｅｆｉｎｅｄ＿ＭＶ０とし、第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を調整した後、得られた第２の目標動きベクトルをＲｅｆｉｎｅｄ＿ＭＶ１とする。
ステップｂ１では、ＳＲ回の反復を行い、最適な整数画素ＭＶ点の整数画素オフセットを取得し、ＩｎｔｅｇｅｒＤｅｌｔａＭＶとし。ＩｎｔｅｇｅｒＤｅｌｔａＭＶは上記実施例における第１の整数画素動きベクトル調整値である。例えば、まずＩｎｔｅｇｅｒＤｅｌｔａＭＶを（０，０）に初期化し、毎回の反復で以下の処理を実行する。
ステップｂ１１では、ｄｅｌｔａＭＶを（０，０）に設定する。初回の反復の場合、第１の参照ブロックにおける第１のオリジナル動きベクトルの参照画素に基づいて、予測値ブロックＡ１（即ち、第１の参照ブロックの最も中心にあるＷ＊Ｈのブロック）をコピーによって取得し、第２の参照ブロックにおける第２のオリジナル動きベクトルの参照画素に基づいて、予測値ブロックＢ１（即ち、第２の参照ブロックの最も中心にあるＷ＊Ｈのブロック）をコピーによって取得する。予測値ブロックＡ１及び予測値ブロックＢ１に基づいて、初期コスト値ｃｏｓｔ（初期コスト値は予測値ブロックＡ１及び予測値ブロックＢ１に基づくＳＡＤ（差分絶対値和、ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｓｔｏｒｔｉｏｎ）であり、確定方式は後続の実施例を参照する）を取得する。当該初期コスト値ｃｏｓｔが４＊ｄｘ＊ｄｙ／２より小さい場合、ｄｘ及びｄｙは現在のサブブロックの幅及び高さであり、後続の探索処理を直接にスキップし、ステップｂ２を実行し、ｎｏｔＺｅｒｏＣｏｓｔをｆａｌｓｅに設定する。
ステップｂ１２では、図６に示すように、上記初期点を中心として、｛Ｍｖ（０，１），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（－１，０），Ｍｖ（ｒｉｇｈｔ，ｄｏｗｎ）｝の５つのオフセットＭＶ（これら５つのオフセットＭＶはいずれもＭＶＯｆｆｓｅｔとされる）を順次得て、これら５つのオフセットＭＶのコスト値の計算及び比較処理を行う。
例えば、あるＭＶＯｆｆｓｅｔ（例えば、Ｍｖ（０，１）など）に基づいて、第１の参照ブロックと第２の参照ブロックにおいて、このＭＶＯｆｆｓｅｔにより２つの予測値ブロック（例えば、第１の参照ブロックにおいて中心位置のオフセットがＭＶＯｆｆｓｅｔであるＷ＊Ｈのブロック、第２の参照ブロックにおいて中心位置のオフセットが－ＭＶＯｆｆｓｅｔ（ＭＶＯｆｆｓｅｔとは逆）であるＷ＊Ｈのブロック）を取得し、２つの予測値ブロックのダウンサンプリングＳＡＤを計算してＭＶＯｆｆｓｅｔのコスト値とする。
そして、最小コスト値を有するＭＶＯｆｆｓｅｔを保留し、最小コスト値を有するＭＶＯｆｆｓｅｔをｄｅｌｔａＭＶの値に更新し、最小コスト値を有するＭＶＯｆｆｓｅｔを次回の反復の新しい中心オフセット点とする。
ｄｅｌｔａＭＶに基づいてＩｎｔｅｇｅｒＤｅｌｔａＭＶの値を更新し、更新後のＩｎｔｅｇｅｒＤｅｌｔａＭＶ＝更新前のＩｎｔｅｇｅｒＤｅｌｔａＭＶ＋ｄｅｌｔａＭＶであり、即ち現在のＩｎｔｅｇｅｒＤｅｌｔａＭＶの上にｄｅｌｔａＭＶを加える。
ステップｂ１３では、反復を行った後、最適ＭＶが依然として初期ＭＶ（即ちＭＶＯｆｆｓｅｔではない）であるか又は最小コスト値が０である場合、次回の反復探索処理を行わず、ステップｂ２を実行し、ｎｏｔＺｅｒｏＣｏｓｔをｆａｌｓｅに設定する。それ以外の場合、反復回数がＳＲに達すると、ステップｂ２を実行し、反復回数がＳＲに達しないと、最適ＭＶを中心として、次回の反復探索処理を行い、即ちステップｂ１１に戻る。
反復探索処理が終了した後、ＩｎｔｅｇｅｒＤｅｌｔａＭＶの値、即ちＩｎｔｅｇｅｒＤｅｌｔａＭＶの最終値、即ち第１の整数画素の動きベクトル調整値が得られ、以下、ＩｎｔｅｇｅｒＤｅｌｔａＭＶとされる。
ステップｂ２では、ステップｂ１の最適整数画素ＭＶ点を中心として、最適サブ画素オフセットＭＶを取得し、ＳＰＭＶとする。ＳＰＭＶは、上記実施例における第１のサブ画素動きベクトル調整値である。例えば、ＳＰＭＶを（０，０）に初期化してから、以下の処理を実行してよい。
ステップｂ２１では、ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅでなく、且つｄｅｌｔａＭＶが（０、０）である場合のみ、後続処理を行う（即ち、ＳＰＭＶを取得する必要がある）。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶ及びＳＰＭＶを利用してオリジナル動きベクトルを調整するのではなく、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する。
ステップｂ２２では、Ｅ（ｘ，ｙ）はステップｂ１によって得られた最適ＭＶ点オフセット（ｘ，ｙ）のＭＶ対応コスト値（ステップｂ１で計算されたコスト値）を表す。中心及び上下左右の５つの点のＥ（ｘ，ｙ）に基づいて、Ｅ（ｘ，ｙ）が最小である点のオフセット（ｘ０，ｙ０）を得ることができる。ここで、ｘ０＝Ｎ＊（Ｅ（－１，０）－Ｅ（１，０））／（Ｅ（－１，０）＋Ｅ（１，０）－２＊Ｅ（０，０））であり、ｙ０＝Ｎ＊（Ｅ（０，－１）－Ｅ（０，１））／（Ｅ（０，－１）＋Ｅ（０，１）－２＊Ｅ（０，０））である。
一例では、１／２、１／４、１／８及び１／１６の動きベクトル画素精度に対して、Ｎ＝１、２、４及び８である。そして、（ｘ０，ｙ０）にｄｅｌｔａＭｖを代入でき、ＳＰＭＶ＝ｄｅｌｔａＭｖ／２Ｎであり、現在の動きベクトル画素精度が１／１６であると、ＳＰＭＶは（ｘ０／１６，ｙ０／１６）である。
Ｅ（－１，０）＝Ｅ（０，０）である場合、水平に左へ半画素分シフトする（ｄｅｌｔａＭｖ［０］＝－Ｎ）。
Ｅ（１，０）＝Ｅ（０，０）である場合、水平に右へ半画素分シフトする（ｄｅｌｔａＭｖ［０］＝Ｎ）。
Ｅ（０，－１）＝Ｅ（０，０）である場合、垂直に上へ半画素分シフトする（ｄｅｌｔａＭｖ［１］＝－Ｎ）。
Ｅ（０，１）＝Ｅ（０，０）である場合、垂直に下へ半画素分シフトする（ｄｅｌｔａＭｖ［１］＝Ｎ）。
以上の処理により、ＳＰＭＶの値、即ち第１のサブ画素動きベクトル調整値を得ることができる。
ステップｂ３では、ステップｂ１の整数画素オフセットＩｎｔｅｇｅｒＤｅｌｔａＭＶ及びステップｂ２のサブ画素オフセットＳＰＭＶに基づいて、最適オフセットＭＶを取得する。この最適オフセットＭＶをＢｅｓｔＭＶｏｆｆｓｅｔとしてよい。なお、ＢｅｓｔＭＶｏｆｆｓｅｔ＝ＩｎｔｅｇｅｒＤｅｌｔａＭＶ＋ＳＰＭＶである。
ＢｅｓｔＭＶｏｆｆｓｅｔに基づいて２つの方向の目標動きベクトルを取得できる。ここで、Ｒｅｆｉｎｅｄ＿ＭＶ０＝Ｏｒｇ＿ＭＶ０＋ＢｅｓｔＭＶｏｆｆｓｅｔ、Ｒｅｆｉｎｅｄ＿ＭＶ１＝Ｏｒｇ＿ＭＶ１－ＢｅｓｔＭＶｏｆｆｓｅｔである。
明らかに、ＢｅｓｔＭＶｏｆｆｓｅｔ＝ＩｎｔｅｇｅｒＤｅｌｔａＭＶ＋ＳＰＭＶであり、即ち、ＢｅｓｔＭＶｏｆｆｓｅｔは第１の整数画素の動きベクトル調整値と第１のサブ画素の動きベクトル調整値との和である。また、－ＩｎｔｅｇｅｒＤｅｌｔａＭＶは、ＩｎｔｅｇｅｒＤｅｌｔａＭＶの反数、即ち第２の整数画素動きベクトル調整値であり、－ＳＰＭＶは、ＳＰＭＶの反数、即ち第２のサブ画素動きベクトル調整値である。そのため、－ＢｅｓｔＭＶｏｆｆｓｅｔ＝（－ＩｎｔｅｇｅｒＤｅｌｔａＭＶ）＋（－ＳＰＭＶ）であり、即ち、－ＢｅｓｔＭＶｏｆｆｓｅｔは第２の整数画素動きベクトル調整値と第２のサブ画素動きベクトル調整値との和である。
実施例１３では、ステップ３０３及びステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０及び第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及び第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１に調整するため実現方式は、実施例１２と類似するが、異なる点は以下のとおりである。
ステップｂ１１における「当該初期コスト値ｃｏｓｔが４＊ｄｘ＊ｄｙ／２より小さい場合、後続の探索処理を直接にスキップする」ことを取り除き、即ち、初期コスト値ｃｏｓｔが４＊ｄｘ＊ｄｙ／２より小さい場合、「後続の探索処理を直接にスキップする」ことなく、後続の探索処理を継続し、即ちステップｂ１２を実行する必要がある。
実施例１４では、ステップ３０３及びステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０及び第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及び第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１に調整するために、実現方式は実施例１２と類似するが、異なる点は以下のとおりである。
ステップｂ１１における「当該初期コスト値ｃｏｓｔが４＊ｄｘ＊ｄｙ／２より小さい場合、後続の探索処理を直接にスキップする」ことを取り除き、即ち、初期コスト値ｃｏｓｔが４＊ｄｘ＊ｄｙ／２より小さい場合、「後続の探索処理を直接にスキップする」ことなく、後続の探索処理を継続し、即ちステップｂ１２を実行する必要がある。
ステップｂ１３における「最適ＭＶが依然として初期ＭＶ（即ちＭＶＯｆｆｓｅｔではない）であるか又は最小コスト値が０である場合、次回の反復探索処理を行わない」ことを取り除き、即ち、最適ＭＶが依然として初期ＭＶであり、又は最小コスト値が０であっても、次回の反復探索処理を行うことができる。
実施例１５では、ステップ３０３及びステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０及び第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及び第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１に調整するために、実現方式は実施例１２と類似するが、異なる点は以下のとおりである。
「ｎｏｔＺｅｒｏＣｏｓｔ」に関連する処理を取り除き、即ち、ステップｂ１１およびｂ１３は、ｎｏｔＺｅｒｏＣｏｓｔの値の設定及び保存がされない。ステップｂ２１では、サブ画素オフセット計算処理（即ち、ステップｂ２２）は、ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅではなく、かつ、ｄｅｌｔａＭＶが（０、０）である場合に限られず、ｄｅｌｔａＭＶが（０、０）である場合も行うことができる。
実施例１６では、ステップ３０３及びステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０及び第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及び第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１に調整するために、実現方式は実施例１２と類似するが、異なる点は以下のとおりである。
ステップｂ２１における「ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅではなく、且つ、ｄｅｌｔａＭＶが（０、０）である場合のみ、後続処理を行う。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する」を、「ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅでなく、且つ、現在の最適整数画素の上下左右に１つの整数画素だけ離れた４つの点のコスト値が既にステップｂ１で計算によって取得された場合のみ、後続処理を行う。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する」に変更する。
一例では、「後続処理」は、ステップｂ２２におけるサブ画素オフセット計算処理を指す。
一例では、ステップｂ２２におけるサブ画素オフセット計算処理は、最適整数画素の上下左右に１整数画素だけ離れた４つの点のコスト値を使用する必要があるので、ステップｂ１で既に「最適整数画素の上下左右に１整数画素だけ離れた４つの点のコスト値」を計算して得ることは必要条件である。
実施例１７では、ステップ３０３及びステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０及び第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及び第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１に調整するために、実現方式は実施例１２と類似するが、異なる点は以下のとおりである。
ステップｂ２１における「ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅではなく、且つ、ｄｅｌｔａＭＶが（０，０）である場合のみ、後続処理を行う。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する」ことを、「現在の最適整数画素の上下左右に１つの整数画素だけ離れた４つの点のコスト値が既にステップｂ１で計算によって取得された場合のみ、後続処理（即ちサブ画素オフセット計算処理）を行う。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する」に変更する。
実施例１８では、ステップ３０３及びステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０及び第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１を第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及び第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１に調整するために、実現方式は実施例１２と類似するが、異なる点は以下のとおりである。
ステップｂ２１における「ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅではなく、且つ、ｄｅｌｔａＭＶが（０，０）である場合のみ、後続処理を行う。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する」ことを、「現在の最適整数画素の上下左右に１つの整数画素だけ離れた４つの点のコスト値が既にステップｂ１で計算によって取得された場合、後続処理（ステップｂ２２におけるサブ画素オフセット計算処理）を行う。それ以外の場合、ステップｂ２４で処理する」に変更する。
ステップｂ２３では、現在の最適整数画素点ＭＶ＿ｉｎｔｅｒ＿ｏｒｇを、それに最も近き且つ周囲の上下左右に１つの整数画素だけ離れた４つの点のコスト値が既にステップｂ１で計算によって取得された整数画素点ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔに設定する。次に、ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔを中心にステップｂ２２におけるサブ画素オフセット計算処理を行う、即ち、ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔを中心にＳＰＭＶを取得する。
例えば、現在の最適整数画素点ＭＶ＿ｉｎｔｅｒ＿ｏｒｇの上下左右に１つの整数画素だけ離れた４つの点のコスト値が、全てステップｂ１で計算によって取得されていない場合、最適整数画素点ＭＶ＿ｉｎｔｅｒ＿ｏｒｇの周囲から１つの整数画素点ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔを選択し、この整数画素点ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔの上下左右に１つの整数画素だけ離れた４つの点のコスト値は、ステップｂ１で既に計算によって取得されている。
そして、整数画素点ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔを現在の最適整数画素点とし、整数画素点ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔを中心としてＳＰＭＶを取得し、具体的な取得方式はステップｂ２２を参照する。
整数画素点ＭＶ＿ｉｎｔｅｒ＿ｎｅａｒｅｓｔを中心としてＳＰＭＶを取得する時、ステップｂ２２参照して、ｘ０及びｙ０を計算する際に、ｘ０及びｙ０は［－２Ｎ，２Ｎ］の範囲内に限定されることができる。ｘ０／ｙ０が２Ｎより大きい場合、ｘ０／ｙ０に２Ｎを代入し、ｘ０／ｙ０が－２Ｎより小さい場合、ｘ０／ｙ０に－２Ｎを代入する。１／２、１／４、１／８及び１／１６の動きベクトル画素精度に対して、Ｎ＝１、２、４及び８である。
実施例１９では、上述の実施例において、中心動きベクトルに対応するエッジ動きベクトル、例えば５つのエッジ動きベクトルを確定する必要がある。例えば、中心動きベクトル（ｘ，ｙ）を異なる方向にＳだけシフトし、異なる方向のエッジ動きベクトル（ｘ，ｙ＋Ｓ）と、エッジ動きベクトル（ｘ，ｙ－Ｓ）と、エッジ動きベクトル（ｘ＋Ｓ，ｙ）と、エッジ動きベクトル（ｘ－Ｓ，ｙ）と、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）とを順次得ることができる。又は、中心動きベクトル（ｘ，ｙ）を異なる方向にＳだけシフトし、異なる方向のエッジ動きベクトル（ｘ，ｙ－Ｓ）と、エッジ動きベクトル（ｘ，ｙ＋Ｓ）と、エッジ動きベクトル（ｘ－Ｓ，ｙ）と、エッジ動きベクトル（ｘ＋Ｓ，ｙ）と、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）とを順次得ることができる。
例えば、仮に、（ｘ，ｙ）が（０，０）であり、Ｓが１である場合、（０，１）、（０，－１）、（１，０）、（－１，０）、（ｒｉｇｈｔ，ｄｏｗｎ）の５つのエッジ動きベクトルを順次得ることができる。又は、（０，－１）、（０，１）、（－１，０）、（１，０）、（ｒｉｇｈｔ，ｄｏｗｎ）の５つのエッジ動きベクトルを順次得ることができる。
実施例２０では、上記実施例において、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）のデフォルト値は（ｘ－Ｓ，ｙ－Ｓ）である。エッジ動きベクトル（ｘ＋Ｓ，ｙ）のコスト値がエッジ動きベクトル（ｘ－Ｓ，ｙ）のコスト値より小さい場合、ｒｉｇｈｔはＳ（－ＳをＳに変更する）であり、エッジ動きベクトル（ｘ，ｙ＋Ｓ）のコスト値がエッジ動きベクトル（ｘ，ｙ－Ｓ）のコスト値より小さい場合、ｄｏｗｎはＳ（－ＳをＳに変更する）である。又は、エッジ動きベクトル（ｘ＋Ｓ，ｙ）のコスト値がエッジ動きベクトル（ｘ－Ｓ，ｙ）のコスト値以下の場合、ｒｉｇｈｔはＳ（－ＳをＳに変更する）であり、エッジ動きベクトル（ｘ，ｙ＋Ｓ）のコスト値がエッジ動きベクトル（ｘ，ｙ－Ｓ）のコスト値以下の場合、ｄｏｗｎはＳ（－ＳをＳに変更する）である。
例えば、（０，１）、（０，－１）、（１，０）、（－１，０）、（ｒｉｇｈｔ，ｄｏｗｎ）の５つのエッジ動きベクトルを順次得て、（ｒｉｇｈｔ，ｄｏｗｎ）のデフォルト値は（－１，－１）である。エッジ動きベクトル（１，０）のコスト値がエッジ動きベクトル（－１，０）のコスト値より小さい場合、ｒｉｇｈｔは１であり、エッジ動きベクトル（０，１）のコスト値がエッジ動きベクトル（０，－１）のコスト値より小さい場合、ｄｏｗｎは１である。又は、エッジ動きベクトル（１，０）のコスト値がエッジ動きベクトル（－１，０）のコスト値以下の場合、ｒｉｇｈｔは１であり、エッジ動きベクトル（０，１）のコスト値がエッジ動きベクトル（０，－１）のコスト値以下の場合、ｄｏｗｎは１である。
例えば、（０，－１）、（０，１）、（－１，０）、（１，０）、（ｒｉｇｈｔ，ｄｏｗｎ）の５つのエッジ動きベクトルが順次得られ、（ｒｉｇｈｔ，ｄｏｗｎ）のデフォルト値は（－１，－１）である。エッジ動きベクトル（１，０）のコスト値がエッジ動きベクトル（－１，０）のコスト値より小さい場合、ｒｉｇｈｔは１であり、エッジ動きベクトル（０，１）のコスト値がエッジ動きベクトル（０，－１）のコスト値より小さい場合、ｄｏｗｎは１である。又は、エッジ動きベクトル（１，０）のコスト値がエッジ動きベクトル（－１，０）のコスト値以下の場合、ｒｉｇｈｔは１であり、エッジ動きベクトル（０，１）のコスト値がエッジ動きベクトル（０，－１）のコスト値以下の場合、ｄｏｗｎは１である。
実施例２１では、ステップ３０３及びステップ４０３は、現在のブロックの各サブブロックに対して、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを得て、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを得る。
１つのサブブロック（現在のブロックにおけるサイズがｄｘ＊ｄｙである各サブブロックのような、例えばサイズが１６＊１６であるサブブロック、又はそれよりの小さい１つの整数ブロック）に対する処理を例として、オリジナル動きベクトルの調整処理を説明する。
ステップｃ１では、第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルを中心として、周囲の動きベクトルから一部又は全ての動きベクトルを選択し、選択された動きベクトルを候補動きベクトルとする。
例えば、第１のオリジナル動きベクトルを中心として、周囲の動きベクトルから一部又は全ての動きベクトルを選択し、候補動きベクトルとしてよく、この選択方式については後述の実施例を参照する。
説明の便宜上、後述の実施例において、第１のオリジナル動きベクトルを中心とすることを例として説明する。
ステップｃ２では、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルに対応する第３のコスト値と、各候補動きベクトルに対応する第４のコスト値とを取得する。
例えば、第１のオリジナル動きベクトルに対応するサブ参照ブロックＡ１は、第１の参照ブロックからコピーによって取得されるものであり、サブ参照ブロックＡ１は第１の参照ブロックにおける第１のオリジナル動きベクトルのサブ参照ブロックであり、サブ参照ブロックＡ１のサイズは現在のブロックのサイズである。第２のオリジナル動きベクトルに対応するサブ参照ブロックＢ１は、第２の参照ブロックからコピーによって取得されるものであり、サブ参照ブロックＢ１は第２のオリジナル動きベクトルの第２の参照ブロックにおけるサブ参照ブロックであり、サブ参照ブロックＢ１のサイズは現在のブロックのサイズである。次に、サブ参照ブロックＡ１の第１の画素値とサブ参照ブロックＢ１の第２の画素値とを用いて、第１のオリジナル動きベクトルに対応する第３のコスト値を取得する。
各候補動きベクトルに対して、候補動きベクトルに対応するサブ参照ブロックＡ２は、第１の参照ブロックからコピーによって取得されるものであり、サブ参照ブロックＡ２は候補動きベクトルの第１の参照ブロックにおけるサブ参照ブロックであり、サブ参照ブロックＡ２のサイズは現在のブロックのサイズである。候補動きベクトルの対称動きベクトルに対応するサブ参照ブロックＢ２は、第２の参照ブロックからコピーによって取得されるものであり、サブ参照ブロックＢ２は対称動きベクトルの第２の参照ブロックにおけるサブ参照ブロックであり、サブ参照ブロックＢ２のサイズは現在のブロックのサイズである。サブ参照ブロックＡ２の第１の画素値とサブ参照ブロックＢ２の第２の画素値とを利用して、候補動きベクトルに対応する第４のコスト値を取得する。
ステップｃ３では、第３のコスト値及び第４のコスト値に基づいて、最適動きベクトルとして、第１のオリジナル動きベクトル及び候補動きベクトルから１つの動きベクトルを選択する。例えば、コスト値が最も小さい動きベクトル（例えば、第１のオリジナル動きベクトル、又は任意１つの候補動きベクトル）を最適動きベクトルとする。
ステップｃ４では、最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値（第１のオリジナル動きベクトルを調整することに用いられる）及び第２の整数画素動きベクトル調整値（第２のオリジナル動きベクトルを調整することに用いられる）を確定する。一例では、最適動きベクトルおよび第１のオリジナル動きベクトルに基づいて、第１の整数画素動きベクトル調整値を確定してよく、第１の整数画素動きベクトル調整値に基づいて、第２の整数画素動きベクトル調整値を確定してよく、第２の整数画素動きベクトル調整値は、第１の整数画素動きベクトル調整値と対称する。
例えば、仮に、最適動きベクトルが（４，６）であり、第１のオリジナル動きベクトルが（４，４）である場合、最適動きベクトル（４，６）と第１のオリジナル動きベクトル（４，４）とに基づいて、第１の整数画素動きベクトル調整値を確定する。第１の整数画素動きベクトル調整値は、最適動きベクトル（４，６）と第１のオリジナル動きベクトル（４，４）との差であり、即ち、第１の整数画素動きベクトル調整値は（０，２）である。
そして、第１の整数画素動きベクトル調整値（０，２）に基づいて第２の整数画素動きベクトル調整値を確定し、第２の整数画素動きベクトル調整値は（０，－２）であってよく、即ち（０，２）の反数であってよい。
ステップｃ５では、最適動きベクトルに基づいて第１のサブ画素動きベクトル調整値（第１のオリジナル動きベクトルを調整することに用いられる）及び第２のサブ画素動きベクトル調整値（第２のオリジナル動きベクトルを調整することに用いられる）を確定する。
一例では、最適動きベクトルに対応するコスト値と、最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値とに基づいて、第１のサブ画素動きベクトル調整値を確定し、そして、前記第１のサブ画素動きベクトル調整値に基づいて第２のサブ画素動きベクトル調整値を確定する。
例えば、ｘ０＝Ｎ＊（Ｅ（－１，０）－Ｅ（１，０））／（Ｅ（－１，０）＋Ｅ（１，０）－２＊Ｅ（０，０））、ｙ０＝Ｎ＊（Ｅ（０，－１）－Ｅ（０，１））／（Ｅ（０，－１）＋Ｅ（０，１）－２＊Ｅ（０，０））であり、１／２、１／４、１／８及び１／１６の動きベクトル画素精度に対して、Ｎ＝１、２、４及び８である。次に、（ｘ０，ｙ０）にｄｅｌｔａＭｖを代入し、ＳＰＭＶ＝ｄｅｌｔａＭｖ／２Ｎとし、現在のが１／１６の動きベクトル画素精度である場合、ＳＰＭＶは（ｘ０／１６，ｙ０／１６）となる。
ＳＰＭＶは、第１のサブ画素動きベクトル調整値である。Ｅ（０，０）は、最適動きベクトルのコスト値を表し、Ｅ（－１，０）は、最適動きベクトルを中心とする最適動きベクトル（０，０）のエッジ動きベクトル（－１，０）のコスト値であり、Ｅ（１，０）は、最適動きベクトルを中心とする最適動きベクトル（０，０）のエッジ動きベクトル（１，０）のコスト値であり、Ｅ（０，－１）は、最適動きベクトルを中心とする最適動きベクトル（０，０）のエッジ動きベクトル（０，－１）のコスト値であり、Ｅ（０，１）は、最適動きベクトルを中心とする最適動きベクトル（０，０）のエッジ動きベクトル（０，１）のコスト値である。各動きベクトルのコスト値に対して、その確定方式は上記実施例を参照できるため、ここでの説明を省略する。
上記方式で第１のサブ画素動きベクトル調整値を確定した後、第１のサブ画素動きベクトル調整値に基づいて第２のサブ画素動きベクトル調整値を確定できる。第２のサブ画素動きベクトル調整値は第１のサブ画素動きベクトル調整値の反数である。例えば、第１のサブ画素動きベクトル調整値が（１，０）である場合、第２のサブ画素動きベクトル調整値は（－１，０）であり、即ち（１，０）の反数である。
ステップｃ６では、第１の整数画素動きベクトル調整値及び／又は第１のサブ画素動きベクトル調整値に基づいて、第１のオリジナル動きベクトルを調整し、第１の目標動きベクトルを得る。
例えば、第１の目標動きベクトル＝第１のオリジナル動きベクトル＋第１の整数画素動きベクトル調整値＋第１のサブ画素動きベクトル調整値である。勿論、上記は例示に過ぎず、これに対して限定しない。
ステップｃ７では、第２の整数画素動きベクトル調整値及び／又は第２のサブ画素動きベクトル調整値に基づいて、第２のオリジナル動きベクトルを調整し、第２の目標動きベクトルを得る。
例えば、第２の目標動きベクトル＝第２のオリジナル動きベクトル＋第２の整数画素動きベクトル調整値＋第２のサブ画素動きベクトル調整値である。勿論、上記は例示に過ぎず、これに対して限定しない。
実施例２２では、ステップ３０３及びステップ４０３は、現在のブロックの各サブブロックに対して、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを得て、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを得る。
１つのサブブロック（現在のブロックにおけるサイズがｄｘ＊ｄｙである各サブブロックのような、例えばサイズが１６＊１６であるサブブロック、又はそれより小さいブロック）の処理を例として、オリジナル動きベクトルの調整処理を説明する。第１のオリジナル動きベクトルをＯｒｇ＿ＭＶ０とし、第２のオリジナル動きベクトルをＯｒｇ＿ＭＶ１とし、第１の目標動きベクトルをＲｅｆｉｎｅｄ＿ＭＶ０とし、第２の目標動きベクトルをＲｅｆｉｎｅｄ＿ＭＶ１としてよい。
ステップｄ１では、第１のオリジナル動きベクトルを中心として、前記第１のオリジナル動きベクトルの周囲の（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）個の点から、一部又は全ての動きベクトルを選択する。例えば、ＳＲ＝２である場合、候補動きベクトルとして、第１のオリジナル動きベクトルの周囲の２５個の点の中から一部又は全ての動きベクトルを選択する。次に、第１のオリジナル動きベクトルのコスト値を確定して、各候補動きベクトルのコスト値を確定する。次に、コスト値が最も小さい動きベクトルを最適動きベクトルとする。
上記実施例のステップｂ１と比べて、ステップｄ１は、反復処理を行う必要がなく、即ち、反復処理によって、１回目の反復で一部の動きベクトルを選択して２回目の反復でさらに一部の動きベクトルを選択するのではなく、１回目で処理対象の全ての候補動きベクトルを選択できる。これにより、全ての処理対象の候補動きベクトルを一度に選択するため、これらの候補動きベクトルに対して並列処理を行って、各候補動きベクトルのコスト値を取得できる。これにより、計算の複雑さを低減し、符号化性能を向上させる。
ステップｄ２では、最適動きベクトルに基づいてＩｎｔｅｇｅｒＤｅｌｔａＭＶの値を確定し、ＩｎｔｅｇｅｒＤｅｌｔａＭＶの最終値は第１の全画素動きベクトル調整値である。確定方式については説明を省略する。
ステップｄ３では、最適動きベクトルを中心として、最適サブ画素オフセットＭＶを取得して、ＳＰＭＶとする。ＳＰＭＶの値は第１のサブ画素動きベクトル調整値である。
ステップｄ３の実現は、上記ステップｂ２を参照してよいため、ここでの説明を省略する。
ステップｄ４では、ＩｎｔｅｇｅｒＤｅｌｔａＭＶ及びＳＰＭＶに基づいて、ＢｅｓｔＭＶｏｆｆｓｅｔを取得する。例えば、ＢｅｓｔＭＶｏｆｆｓｅｔ＝ＩｎｔｅｇｅｒＤｅｌｔａＭＶ＋ＳＰＭＶである。
ＢｅｓｔＭＶｏｆｆｓｅｔに基づいて目標動きベクトルを取得する。ここで、Ｒｅｆｉｎｅｄ＿ＭＶ０＝Ｏｒｇ＿ＭＶ０＋ＢｅｓｔＭＶｏｆｆｓｅｔであり、Ｒｅｆｉｎｅｄ＿ＭＶ１＝Ｏｒｇ＿ＭＶ１－ＢｅｓｔＭＶｏｆｆｓｅｔである。
実施例２３では、ステップ３０３とステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０と第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１とを第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０と第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１とに調整するために、実現方式は実施例２１、実施例２２と類似する。
本実施例では、オリジナル動きベクトルを中心として、オリジナル動きベクトルの周囲の合計（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）個の点から、全ての動きベクトルを選択する。例えば、ＳＲ＝２である場合、オリジナル動きベクトルの周囲の２５個の点から全ての動きベクトルを選択し、これらの動きベクトルのコスト値を確定して、各動きベクトルのコスト値を確定する。そして、コスト値が最も小さい動きベクトルを最適動きベクトルとする。
実施例２４では、ステップ３０３とステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０と第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１とを第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０と第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１とに調整するために、実現方式は実施例２１、実施例２２と類似する。本実施例において、処理対象の全ての候補動きベクトルを一度に選択するため、これらの候補動きベクトルに対して並列処理を行うことができ、各候補動きベクトルのコスト値を取得し、それにより計算の複雑さを減少させ、符号化性能を向上させる。
本実施例では、オリジナル動きベクトルを中心として、オリジナル動きベクトルの周囲の合計（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）個の点の中から、オフセットがＳＲを超えない範囲内の一部の動きベクトルを選択する。例えば、オリジナル動きベクトルを含む（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）個の点の中から、Ｎ個（Ｎは１以上、（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）以下である）の候補点を選択する。これらのＮ個の点に対応する動きベクトルのコスト値を確定する。これらのＮ点のコスト値を一定の順序でスキャンし、最適動きベクトルとして、コスト値が最も小さい動きベクトルを選択する。コスト値が同じである場合、順序の上位にある候補点を優先的に選択する。
一例では、仮にＳＲ＝２である場合、候補点は２５個であってよく、これらの候補点の順序は、左から右へ、上から下への順序であってよい。図７Ａに示すように、これらの候補点の順序は、｛Ｍｖ（－２，－２）、Ｍｖ（－１，－２）、Ｍｖ（０，－２）、Ｍｖ（１、－２）、Ｍｖ（２、－２）、Ｍｖ（－２、－１）、Ｍｖ（－１、－１）、Ｍｖ（０、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（－２、０）、Ｍｖ（－１、０）、Ｍｖ（０、０）、Ｍｖ（１、０）、Ｍｖ（２、０）、Ｍｖ（－２、１）、Ｍｖ（－１、１）、Ｍｖ（０、１）、Ｍｖ（１、１）、Ｍｖ（２、１）、Ｍｖ（－２、２）、Ｍｖ（－１、２）、Ｍｖ（０、２）、Ｍｖ（１、２）、Ｍｖ（２、２）｝であってよい。
これらの２５個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
別の例では、仮にＳＲ＝２である場合、候補点は２１個であってよく、これらの候補点の順序は、左から右へ、上から下への順序であってよい。図７Ｂに示すように、これらの候補点の順序は、｛Ｍｖ（－１，－２），Ｍｖ（０，－２），Ｍｖ（１，－２），Ｍｖ（－２，－１），Ｍｖ（－１，－１），Ｍｖ（０，－１），Ｍｖ（１，－１），Ｍｖ（２，－１），Ｍｖ（－２，０），Ｍｖ（－１，０），Ｍｖ（０，０），Ｍｖ（１，０），Ｍｖ（２，０），Ｍｖ（－２，１），Ｍｖ（－１，１），Ｍｖ（０，１），Ｍｖ（１，１），Ｍｖ（２，１），Ｍｖ（－１，２），Ｍｖ（０，２），Ｍｖ（１，２）｝であってよい。これらの２１個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
別の例では、仮にＳＲ＝２である場合、候補点は２５個であってよく、これらの候補点の順序は、動きベクトル（０、０）を中心として、中心から近い順である。図７Ｃに示すように、これらの候補点の順序は、｛Ｍｖ（０，０），Ｍｖ（－１，０），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（０，１），Ｍｖ（－１，１），Ｍｖ（－１，－１），Ｍｖ（１，－１），Ｍｖ（１，１），Ｍｖ（０，２），Ｍｖ（－２，０），Ｍｖ（０，－２），Ｍｖ（２，０），Ｍｖ（１，２），Ｍｖ（－１，２），Ｍｖ（－２，１），Ｍｖ（－２，－１），Ｍｖ（－１，－２），Ｍｖ（１，－２），Ｍｖ（２，－１），Ｍｖ（２，１），Ｍｖ（－２，２），Ｍｖ（－２，－２），Ｍｖ（２，－２），Ｍｖ（２，２）｝であってよい。これらの２５個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
別の例では、仮にＳＲ＝２である場合、候補点は２１個であってよく、これらの候補点の順序は、動きベクトル（０、０）を中心として、中心から近い順である。図７Ｄに示すように、これらの候補点の順序は、｛Ｍｖ（０，０），Ｍｖ（－１，０），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（０，１），Ｍｖ（－１，１），Ｍｖ（－１，－１），Ｍｖ（１，－１），Ｍｖ（１，１），Ｍｖ（０，２），Ｍｖ（－２，０），Ｍｖ（０，－２），Ｍｖ（２，０），Ｍｖ（１，２），Ｍｖ（－１，２），Ｍｖ（－２，１），Ｍｖ（－２，－１），Ｍｖ（－１，－２），Ｍｖ（１，－２），Ｍｖ（２，－１），Ｍｖ（２，１）｝であってよい。
これらの２１個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
別の例では、ＳＲ＝２であると仮定する場合、候補点は１３個であってよく、これらの候補点の順序は、動きベクトル（０，０）を中心として、中心から近い順である。図７Ｅに示すように、これらの候補点の順序は、｛Ｍｖ（０，０），Ｍｖ（－１，０），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（０，１），Ｍｖ（－１，１），Ｍｖ（－１，－１），Ｍｖ（１，－１），Ｍｖ（１，１），Ｍｖ（０，２），Ｍｖ（－２，０），Ｍｖ（０，－２），Ｍｖ（２，０）｝であってよい。これらの１３個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
実施例２５では、ステップ３０３とステップ４０３に対して、第１のオリジナル動きベクトルＯｒｇ＿ＭＶ０と第２のオリジナル動きベクトルＯｒｇ＿ＭＶ１とを第１の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０と第２の目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ１とに調整するために、実現方式は実施例２１、実施例２２と類似する。本実施例において、処理対象の全ての候補動きベクトルを一度に選択するため、これらの候補動きベクトルに対して並列処理を行うことができ、各候補動きベクトルのコスト値を取得し、それにより計算の複雑さを減少させ、符号化性能を向上させる。
本実施例では、オリジナル動きベクトルを中心として、オリジナル動きベクトルの周囲の合計（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）個の点の中から、オフセットがＳＲを超えない範囲内の一部の動きベクトルを選択する。例えば、オリジナル動きベクトルを含む（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）個の点の中から、Ｎ個（Ｎは１以上、（２＊ＳＲ＋１）＊（２＊ＳＲ＋１）以下である）の候補点を選択する。これらのＮ個の点に対応する動きベクトルのコスト値を確定する。これらのＮ点のコスト値を一定の順序でスキャンし、最適動きベクトルとして、コスト値が最も小さい動きベクトルを選択する。コスト値が同じである場合、順序の上位にある候補点を優先的に選択する。
実施例２５が実施例２４と異なる点は、実施例２４の候補点の位置がいずれも固定され、即ちオリジナル動きベクトルに依存しないことに対して、実施例２５の候補点の位置がオリジナル動きベクトルに依存することである。以下、いくつかの具体例を参照しながら説明する。
一例では、仮にＳＲ＝２である場合、候補点は１３個であってよく、これらの候補点の順序は、動きベクトル（０，０）を中心として、中心から近い順である。また、中心から第１層の候補点は、順序がオリジナル動きベクトルのサイズに依存しないが、中心から第２層の候補点は、順序がオリジナル動きベクトルのサイズに依存する。これらの候補点の順序は、｛Ｍｖ（０，０），Ｍｖ（－１，０），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（０，１），Ｍｖ（－１，１），Ｍｖ（－１，－１），Ｍｖ（１，－１），Ｍｖ（１，１），Ｍｖ（ｓｉｇｎ＿Ｈ＊２，０），Ｍｖ（ｓｉｇｎ＿Ｈ＊２，ｓｉｇｎ＿Ｖ＊１），Ｍｖ（ｓｉｇｎ＿Ｈ＊１，ｓｉｇｎ＿Ｖ＊２），Ｍｖ（０，ｓｉｇｎ＿Ｖ＊２）｝である。第１のオリジナル動きベクトルはＭＶ０とされ、水平成分はＭＶ０＿Ｈｏｒとされ、垂直成分はＭＶ０＿Ｖｅｒとされる。ＭＶ０＿Ｈｏｒが０以上である場合、ｓｉｇｎ＿Ｈ＝１であり、それ以外の場合、ｓｉｇｎ＿Ｈ＝－１である。ＭＶ０＿Ｖｅｒが０以上である場合、ｓｉｇｎ＿Ｖ＝１であり、それ以外の場合、ｓｉｇｎ＿Ｖ＝－１である。
これらの１３個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
別の例では、仮にＳＲ＝２である場合、候補点は１３個であってよく、これらの候補点の順序は、動きベクトル（０，０）を中心として、中心から近い順である。中心から第１層の候補点は、順序がオリジナル動きベクトルのサイズに依存しないが、中心から第２層の候補点は、順序がオリジナル動きベクトルのサイズに依存する。これらの候補点の順序は、｛Ｍｖ（０，０），Ｍｖ（－１，０），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（０，１），Ｍｖ（－１，１），Ｍｖ（－１，－１），Ｍｖ（１，－１），Ｍｖ（１，１），Ｍｖ（ｓｉｇｎ＿Ｈ＊２，０），Ｍｖ（ｓｉｇｎ＿Ｈ＊２，ｓｉｇｎ＿Ｖ＊１），Ｍｖ（ｓｉｇｎ＿Ｈ＊１，ｓｉｇｎ＿Ｖ＊２），Ｍｖ（０，ｓｉｇｎ＿Ｖ＊２）｝である。第１のオリジナル動きベクトルはＭＶ０とされ、水平成分はＭＶ０＿Ｈｏｒとされ、垂直成分はＭＶ０＿Ｖｅｒとされる。ＭＶ０＿Ｈｏｒが０より大きい場合、ｓｉｇｎ＿Ｈ＝１であり、それ以外の場合、ｓｉｇｎ＿Ｈ＝－１である。ＭＶ０＿Ｖｅｒが０より大きい場合、ｓｉｇｎ＿Ｖ＝１であり、それ以外の場合、ｓｉｇｎ＿Ｖ＝－１である。
これらの１３個の点の動きベクトルに対応するコスト値を確定し、上記順序でスキャンし、最適オフセットＭＶとして、コスト値が最も小さい動きベクトルを取得する。最適オフセットＭＶを利用して、整数画素動きベクトル調整値及びサブ画素動きベクトル調整値を確定できる。確定方式は上記実施例を参照する。
実施例２６では、上記実施例において、第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値と、エッジ動きベクトルに対応する第２のコスト値とを取得する。第１の参照ブロックの第１の画素値及び第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルに対応する第３のコスト値と、候補動きベクトルに対応する第４のコスト値とを取得する。
一例では、ダウンサンプリングされていない第１の画素値及びダウンサンプリングされていない第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値と、エッジ動きベクトルに対応する第２のコスト値と、第１のオリジナル動きベクトルに対応する第３のコスト値と、候補動きベクトルに対応する第４のコスト値とを取得してよい。
別の例では、第１の画素値に対してダウンサンプリング操作を行い、第２の画素値に対してダウンサンプリング操作を行ってよい。そして、ダウンサンプリング操作された第１の画素値とダウンサンプリング操作された第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値と、エッジ動きベクトルに対応する第２のコスト値と、第１のオリジナル動きベクトルに対応する第３のコスト値と、候補動きベクトルに対応する第４のコスト値とを取得する。
別の例では、第１の画素値に対してシフト及びダウンサンプリング操作を行い、第２の画素値に対してシフト及びダウンサンプリング操作を行ってよい。そして、処理された第１の画素値及び処理された第２の画素値に基づいて、中心動きベクトルに対応する第１のコスト値と、エッジ動きベクトルに対応する第２のコスト値と、第１のオリジナル動きベクトルに対応する第３のコスト値と、候補動きベクトルに対応する第４のコスト値とを取得する。
異なる状況に対して、コスト値を確定する方式は類似する。例えば、中心動きベクトルに対応するコスト値を取得するためには、中心動きベクトルに対応するサブ参照ブロックＡ１を第１の参照ブロックからコピーによって取得し、中心動きベクトルに対応する対称動きベクトルに対応するサブ参照ブロックＢ１を第２の参照ブロックからコピーによって取得し、サブ参照ブロックＡ１の第１の画素値及びサブ参照ブロックＢ１の第２の画素値を利用して、中心動きベクトルに対応するコスト値を取得してよい。エッジ動きベクトルに対応するコスト値を取得するためには、エッジ動きベクトルに対応するサブ参照ブロックＡ２を第１の参照ブロックからコピーによって取得し、エッジ動きベクトルの対称動きベクトルに対応するサブ参照ブロックＢ２を第２の参照ブロックからコピーによって取得し、サブ参照ブロックＡ２の第１の画素値及びサブ参照ブロックＢ２の第２の画素値を利用し、エッジ動きベクトルに対応するコスト値を取得してよい。
以上をまとめると、動きベクトルに対応するコスト値を取得するためには、第１の参照ブロックから当該動きベクトルに対応するサブ参照ブロックを取得し、第２の参照ブロックから当該動きベクトルの対称動きベクトルに対応するサブ参照ブロックを取得してから、２つのサブ参照ブロックの画素値を利用して、当該動きベクトルに対応するコスト値を取得する。
実施例２７では、実施例２６の上で、ダウンサンプリングされていない第１の画素値（即ち、第１の参照ブロックにおけるサブ参照ブロックのダウンサンプリングされていない画素値）とダウンサンプリングされていない第２の画素値（即ち、第２の参照ブロックにおけるサブ参照ブロックのダウンサンプリングされていない画素値）とに基づいて、動きベクトルに対応するコスト値を取得する。
一例では、仮に、第１の参照ブロックにおけるサブ参照ブロックがｐｒｅｄ０であり、第２の参照ブロックにおけるサブ参照ブロックがｐｒｅｄ１である場合、サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の画素を垂直ダウンサンプリングする必要がなく、サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の全ての画素値のＳＡＤによってコスト値を確定する。
サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の全ての画素値に基づいて、コスト値の計算式は以下のとおりである。
上記の式において、ｃｏｓｔはコスト値を表し、Ｗはサブ参照ブロックの幅値を表し、Ｈはサブ参照ブロックの高さ値を表し、ｐｒｅｄ０（ｉ，ｊ）はサブ参照ブロックｐｒｅｄ０のｉ列ｊ行目の画素値を表し、ｐｒｅｄ１（ｉ，ｊ）はサブ参照ブロックｐｒｅｄ１のｉ列ｊ行目の画素値を表し、ａｂｓ（ｘ）はｘの絶対値を表す。
実施例２８では、実施例２６の上で、第１の画素値に対してダウンサンプリング操作を行い、第２の画素値に対してダウンサンプリング操作を行ってよい。ダウンサンプリング操作された第１の画素値（即ち、第１の参照ブロックにおけるサブ参照ブロックのダウンサンプリング操作された画素値）及びダウンサンプリング操作された第２の画素値（即ち、第２の参照ブロックにおけるサブ参照ブロックのダウンサンプリング操作された画素値）に基づいて、動きベクトルに対応するコスト値を取得してよい。
一例では、仮に、第１の参照ブロックにおけるサブ参照ブロックがｐｒｅｄ０であり、第２の参照ブロックにおけるサブ参照ブロックがｐｒｅｄ１である場合、サブ参照ブロックｐｒｅｄ０およびサブ参照ブロックｐｒｅｄ１の全ての画素値のＳＡＤによって、コスト値を確定する。全ての画素値のＳＡＤを利用してコスト値を確定する時に、サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の画素値に対して、垂直Ｎ倍（Ｎは、０より大きい整数であり、２であってよい）のダウンサンプリングを行う。
サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の全ての画素値に基づいて、コスト値の計算式は以下のとおりである。
上記の式において、ｃｏｓｔはコスト値を表し、Ｗはサブ参照ブロックの幅値を表し、Ｈはサブ参照ブロックの高さ値を表し、ｐｒｅｄ０（ｉ，ｊ）はサブ参照ブロックｐｒｅｄ０のｉ列ｊ行目の画素値を表し、ｐｒｅｄ１（ｉ，ｊ）はサブ参照ブロックｐｒｅｄ１のｉ列ｊ行目の画素値を表し、ａｂｓ（ｘ）はｘの絶対値を表す。
実施例２９では、実施例２６の上で、第１の画素値に対してシフト及びダウンサンプリング操作を行い、第２の画素値に対してシフト及びダウンサンプリング操作を行い、処理された第１の画素値（第１の参照ブロックにおけるサブ参照ブロックのシフト及びダウンサンプリングされた画素値）及び処理された第２の画素値（第２の参照ブロックにおけるサブ参照ブロックのシフト及びダウンサンプリングされた画素値）に基づいて、動きベクトルに対応するコスト値を取得する。
一例では、仮に、第１の参照ブロックにおけるサブ参照ブロックがｐｒｅｄ０であり、第２の参照ブロックにおけるサブ参照ブロックがｐｒｅｄ１であり、ｐｒｅｄ０及びｐｒｅｄ１はいずれもＤビットで格納する。即ち、ｐｒｅｄ０における各画素値に対していずれもｐｒｅｄ０（ｉ，ｊ）格納し、ｐｒｅｄ１における各画素値に対していずれもｐｒｅｄ０（ｉ，ｊ）格納する。
Ｄが８以下である場合、サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の全ての画素値のＳＡＤによって、コスト値を確定する。全ての画素値のＳＡＤを利用してコスト値を確定する時に、サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の画素値に対して、垂直Ｎ倍（Ｎは、０より大きい整数であり、２であってよい）のダウンサンプリングを行う。サブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の全ての画素値に基づいて、コスト値の計算式は以下のとおりである。
上記の式において、ｃｏｓｔはコスト値を表し、Ｗはサブ参照ブロックの幅値を表し、Ｈはサブ参照ブロックの高さ値を表し、Ｎはダウンサンプリングのパラメータ、Ｎは０より大きい整数であり、２であってよく、ｐｒｅｄ０（１＋Ｎ（ｉ－１），ｊ）はサブ参照ブロックｐｒｅｄ０の１＋Ｎ（ｉ－１）列ｊ行目の画素値を表し、ｐｒｅｄ１（１＋Ｎ（ｉ－１），ｊ）はサブ参照ブロックｐｒｅｄ１の１＋Ｎ（ｉ－１）列ｊ行目の画素値を表し、ａｂｓ（ｘ）はｘの絶対値を表す。以上から分かるように、即ち１行目、Ｎ＋１行目、２Ｎ＋１行目…の差の絶対値和のみを計算する。
Ｄが８より大きい場合、まずサブ参照ブロックｐｒｅｄ０及びサブ参照ブロックｐｒｅｄ１の全ての画素値を８ビットにシフトすることで、８ビットのｐｒｅｄ０及び８ビットのｐｒｅｄ１が取得され、ｐｒｅｄ０－８ｂｉｔ（ｉ，ｊ）及びｐｒｅｄ１－８ｂｉｔ（ｉ，ｊ）とされる。その目的は、ＳＡＤ計算の記憶コストを節約するためであり、８ビットで格納することはさらに高い並列度を図れる
そして、８ビットのｐｒｅｄ０及び８ビットのｐｒｅｄ１の画素値に対して、垂直Ｎ倍（Ｎは、０より大きい整数であり、２であってよい）のダウンサンプリングを行う。この場合、コスト値の計算式は以下のとおりである。
上記の式において、各部の意味は上記実施例を参照し、ここでの説明を省略する。
実施例３０では、ステップ３０４及びステップ４０４は、現在のブロックの各サブブロックに対して、当該サブブロックの第１の目標動きベクトル及び当該サブブロックの第２の目標動きベクトルに基づいて、当該サブブロックに対して動き補償を行う。具体的には、当該サブブロックの第１の目標動きベクトルに基づいて、当該サブブロックに対応する第３の参照ブロックを確定し、当該サブブロックの第２の目標動きベクトルに基づいて、当該サブブロックに対応する第４の参照ブロックを確定する。第３の参照ブロックの第３の画素値及び第４の参照ブロックの第４の画素値に基づいて、重み付けを行い、当該サブブロックの予測値を得る。
例えば、サブブロックの２つの目標動きベクトルに基づいて、補間（例えば、８タップの補間）により、２つの方向の参照ブロックを取得する（即ち、３成分の予測値を含む第３の参照ブロック及び第４の参照ブロックを取得する。目標動きベクトルがサブ画素である可能性があるため、補間が必要である）。第３の参照ブロックの第３の画素値及び第４の参照ブロックの第４の画素値に基づいて、重み付けを行い、最終的な予測値（３成分）を得る。
一例では、サブブロックの第１の目標動きベクトルに基づいて、第１の参照フレームから当該サブブロックに対応する第５の参照ブロックを確定し、第５の参照ブロックにおける画素値を補間し、第３の参照ブロックを得てよい。サブブロックの第２の目標動きベクトルに基づいて、第２の参照フレームから当該サブブロックに対応する第６の参照ブロックを確定し、第６の参照ブロックにおける画素値を補間し、第４の参照ブロックを得てよい。
例えば、仮に、現在のブロックのサイズがＷ＊Ｈである場合、第１の目標動きベクトルに基づいて、第１の参照フレームからサイズがＡ＊Ｂである第５の参照ブロックを確定してよい。第５の参照ブロックのサイズＡ＊Ｂは、補間方式に依存しており、ＡがＷより大きく、ＢがＨより大きいが、これらに対して限定しない。第５の参照ブロックにおける画素値を補間することにより、サイズがＷ＊Ｈである第３の参照ブロックを取得してよく、ここでの補間方式を限定しない。第２の目標動きベクトルに基づいて第２の参照フレームからサイズＡ＊Ｂの第６の参照ブロックを確定してよい。第６の参照ブロックのサイズＡ＊Ｂは補間方式に依存し、ＡはＷより大きく、ＢはＨより大きい。第６の参照ブロックにおける画素値を補間することにより、サイズがＷ＊Ｈである第４の参照ブロックを取得してよく、ここでの補間方式を限定しない。
別の例では、サブブロックの第１の目標動きベクトルに基づいて、第１の参照フレームから当該サブブロックに対応する第７の参照ブロックを確定し、第７の参照ブロックにおける画素値を利用して第８の参照ブロックを構築し、第８の参照ブロックにおける画素値を補間し、第３の参照ブロックを得る。サブブロックの第２の目標動きベクトルに基づいて、第２の参照フレームから当該サブブロックに対応する第９の参照ブロックを確定し、第９の参照ブロックにおける画素値を利用して第１０の参照ブロックを構築し、第１０の参照ブロックにおける画素値を補間し、第４の参照ブロックを得る。
例えば、仮に、現在のブロックのサイズがＷ＊Ｈである場合、第１の目標動きベクトルに基づいて、第１の参照フレームからサイズがＷ＊Ｈである第７参照ブロックを確定してよい。第７の参照ブロックにおける画素値に基づいて、サイズがＡ＊Ｂである第８の参照ブロックを構築し、ここでの構築方式を限定しない。第８の参照ブロックのサイズＡ＊Ｂは補間方式に依存し、ＡはＷより大きく、ＢはＨより大きいが、これらに対して限定しない。第８の参照ブロックにおける画素値を補間することにより、サイズがＷ＊Ｈである第３の参照ブロックを得てよい、ここでの補間方式を限定しない。
また例えば、仮に、現在のブロックのサイズがＷ＊Ｈである場合、第２の目標動きベクトルに基づいて、サイズがＷ＊Ｈである第９の参照ブロックを第２の参照フレームから確定してよい。第９の参照ブロックにおける画素値に基づいて、サイズがＡ＊Ｂである第１０の参照ブロックを構築し、ここでの構築方式を限定しない。第１０の参照ブロックのサイズＡ＊Ｂは補間方式に依存し、ＡはＷより大きく、ＢはＨより大きいが、これらに対して限定しない。第１０の参照ブロックにおける画素値を補間することにより、サイズがＷ＊Ｈである第４の参照ブロックを得てよい、ここでの補間方式を限定しない。
実施例３１では、目標動きベクトルを取得した後、各サブブロックの目標動きベクトルに基づいて、８タップの補間フィルタにより２つの方向の予測値（即ち、ＹＵＶの３成分、即ち、上記第３の参照ブロックの予測値と第４の参照ブロックの予測値）を取得して、重み付け予測値を取得する。図５に示すように、黒領域及び白領域は、参照フレームから取得された画素値であり、灰領域における画素値については、参照フレームから取得する必要がなく、隣接する画素値をコピーすることによって取得してよい。
一例では、まず、白領域における１行目のＷ＋ＦＳ－１個の画素値を、灰領域における最初のＳＲ行の画素値にコピーしてよい。白領域における最終行のＷ＋ＦＳ－１個の画素値を、灰領域における最終のＳＲ行の画素値にコピーする。次に、白領域における１列目のＨ＋ＦＳ－１個の画素及び上下のそれぞれのＳＲ個の取得された灰領域における画素値を、灰領域における最初のＳＲ列の画素値にコピーしてよい。白領域における最終列のＨ＋ＦＳ－１個の画素値及び上下のそれぞれのＳＲ個の取得された灰領域の画素値を、灰領域における最終のＳＲ列の画素値にコピーする。
別の例では、まず、白領域における１列目のＨ＋ＦＳ－１個の画素値を、灰領域における最初のＳＲ列の画素値にコピーできる。白領域における最終列のＨ＋ＦＳ－１個の画素値を、灰領域における最終のＳＲ列の画素値にコピーする。次に、白領域における１行目のＷ＋ＦＳ－１個の画素値及び左右のそれぞれのＳＲ個の取得された灰領域における画素値を、灰領域における最初のＳＲ行の画素値にコピーする。白領域における最終行のＷ＋ＦＳ－１個の画素値及び左右のそれぞれのＳＲ個の取得された灰領域の画素値を、灰領域における最終のＳＲ行の画素値にコピーする。
実施例３２では、目標動きベクトルを取得した後、各サブブロックの目標動きベクトルに基づいて、８タップの補間フィルタにより、２つの方向の予測値（即ち、ＹＵＶの３成分、即ち、第３の参照ブロックの予測値と第４の参照ブロックの予測値）を取得して、重み付けして最終的な予測値を取得する。図５に示すように、黒領域及び白領域は、参照フレームから取得された画素値であり、灰領域の画素値に対して、隣接する画素値をコピーすることによって取得するのではなく、参照フレームの対応する領域から直接にコピーして取得する。この方法は簡単であり、より良い性能を有しうるが、参照フレームに対するアクセスデータ量を増加させる。
実施例３３では、目標動きベクトルを取得した後、各サブブロックの目標動きベクトルに基づいて、バイリニア補間フィルタ（ここで、８タップの補間フィルタではない）により２つの方向の予測値（即ち、ＹＵＶの３成分、即ち、上述した第３の参照ブロックの予測値と第４の参照ブロックの予測値）を取得して、重み付けして最終的な予測値を取得する。図５に示すように、黒領域および白領域は、参照フレームから取得された画素値であってよい。タップ数が比較的少ないため、灰領域における画素値は不要である。
実施例３４では、実施例３０～実施例３３において、２つの方向の予測値を取得した後、均等加重平均（即ち、２つの方向の予測値の重みが同じである）で最終予測値を取得する。又は、２つの方向の予測値を取得した後、加重平均で最終的な予測値を取得し、２つの予測値の重みは異なってもよい。例えば、２つの予測値の重み比率は１：２や１：３、２：１等であってもよい。
符号化側に対して、重みテーブルは１：２、１：３、２：１等の重み比率を含んでよく、符号化側は各重み比率のコスト値を確定して、最小の重み比率を確定してよい。このように、符号化側はコスト値が最小の重み比率に基づいて、加重平均で最終予測値を取得できる。
符号化側が復号化側に符号化ビットストリームを送信する時、当該符号化ビットストリームは、重み値比率の重みテーブルにおけるインデックス値を含む。これにより、復号化側は、符号化ビットストリームのインデックス値を解析することにより、そのインデックス値に対応する重み割合を重みテーブルから取得し、重み割合に基づいて加重平均で最終的な予測値を取得する。
一例では、重みテーブルは、｛－２，３，４，５，１０｝を含んでよいが、これに限定されない。重み「－２」は、最終予測値＝（予測値１＊（－２）＋予測値２＊（８－（－２）））、即ち（－２＊予測値１＋１０＊予測値２）／８を示す。重み「１０」は、重み比が１０：－２、即ち最終予測値＝（予測値１＊（１０）＋予測値２＊（－２））、即ち（１０＊予測値１－２＊予測値２）／８であることを示す。重み「３」は、重み比が３：５であることを示す。重み「５」は、重み比が５：３であることを示す。重み「４」は、重み比が４：４、即ち、重みが同じであることを示す。
実施例３５では、ステップ３０５及びステップ４０５は、現在のブロックの各サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルを保存する必要があり、第１の目標動きベクトル及び第２の目標動きベクトルは後続のブロックの符号化／復号化の参照に用いられる。例えば、第１の目標動きベクトルと第２の目標動きベクトルとは現在のフレームのループフィルタリングに用いられる。第１の目標動きベクトルと第２の目標動きベクトルとは後続のフレームの時間領域の参照に用いられる。及び／又は、第１の目標動きベクトルと第２の目標動きベクトルとは現在のフレームの空間領域の参照に用いられる。
例えば、現在のブロックの各サブブロックの第１目標動きベクトル及び第２目標動きベクトルは、現在のブロックの動き補償のために用いられるが、後続のフレームの時間領域の参照のためにも用いられる。また例えば、現在のブロックの各サブブロックの第１目標動きベクトルと第２目標動きベクトルは、現在のブロックの動き補償に用いられるが、現在のブロックのループフィルタリング過程にも用いられ、さらに、後続のフレームの時間領域の参照に用いられる。
また例えば、現在のブロックの各サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルは、現在のブロックの動き補償に用いられるが、現在のブロックのループフィルタリングにも用いられて、さらに、後続のフレームの時間領域参照にも用いられ、現在のフレームの空間領域の参照にも用いられる。これについて、以下に説明する。
現在のブロックの各サブブロックの第１目標動きベクトル及び第２目標動きベクトルは、空間領域でのいくつかのＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）内のブロックの空間領域の参照に用いられる。コーデック順序が上から下へ、左から右へであるため、現在のブロックの動きベクトルは、現在のＬＣＵ内の他のブロックによって参照されてもよく、後続の隣接するＬＣＵ内のブロックによって参照されてもよい。目標動きベクトルを取得するために必要な計算量が大きいため、後続のブロックが現在のブロックの目標動きベクトルを参照すると、待ち時間が長くなってしまう。長い待ち時間による遅延を回避するように、少数の空間領域で隣接するブロックのみに対して現在のブロックの目標動きベクトルを参照することを許容し、他のブロックは現在のブロックのオリジナル動きベクトルを参照する。図８を参照して、これらの少数のブロックは、現在のＬＣＵの下側に位置する下側のＬＣＵ及び右下側のＬＣＵ内のサブブロックを含み、右側のＬＣＵ及び左下側のＬＣＵ内のサブブロックは、現在のブロックの目標動きベクトルを参照することができない。
実施例３６では、以下、一具体例を参照しながら、動きベクトルの調整過程を説明する。動きベクトル調整の具体的なステップは以下のとおりである。後述の「コピー」とは、補間不要で取得できることを意味し、ＭＶが整数画素オフセットである場合、参照フレームから直接にコピーできるが、それ以外の場合、補間で取得する必要がある。
ステップｅ１では、現在のブロックがｍｅｒｇｅ又はｓｋｉｐモードを用いる場合、以下の処理を実行する。
ステップｅ２では、参照画素値を用意する（仮に、現在のブロックの幅がＷであり、高さがＨである）。
ステップｅ３に用いられる整数画素ブロックを用意することは、オリジナル動きベクトル（リスト０のオリジナル動きベクトルはＯｒｇ＿ＭＶ０とされ，リスト１のオリジナル動きベクトルはＯｒｇ＿ＭＶ１とされる）に基づいて、２つの面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である３成分の整数画素ブロックを、対応する参照フレームに対応する位置にコピーすることを含む。
ステップｅ４に用いられる整数画素ブロックを用意することは、図５に示すように、上記（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）の整数画素ブロックに基づいて、（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）の３成分の整数画素ブロックを、上下左右にそれぞれＳＲ行／列だけ拡張し、その後、面積が（Ｗ＋ＦＳ－１＋２＊ＳＲ）＊（Ｈ＋ＦＳ－１＋２＊ＳＲ）の３成分の整数画素ブロックが得られ、Ｐｒｅｄ＿Ｉｎｔｅｒ０及びＰｒｅｄ＿Ｉｎｔｅｒ１とされることを含む。
２つの異なる方向の動き情報に基づいて、第１の動き補償を行う。例えば、輝度成分（後続の探索処理は輝度成分を用いてコスト値を計算するので、複雑さが低減される）に対して、２つの面積が（Ｗ＋ＦＳ－１）＊（Ｈ＋ＦＳ－１）である整数画素参照ブロックに基づいて、バイリニア補間で、サイズが（Ｗ＋２＊ＳＲ）＊（Ｈ＋２＊ＳＲ）である２つの初期参照予測値（Ｐｒｅｄ＿Ｂｉｌｉｎｅａｒ０及びＰｒｅｄ＿Ｂｉｌｉｎｅａｒ１とする）を取得し、ＦＳはフィルタのタップ数であり、デフォルトで８であり、ＳＲは探索範囲であり、即ち、目標動きベクトルおよびオリジナル動きベクトルの最大水平／垂直成分の補間であり、デフォルトで２である。Ｐｒｅｄ＿Ｂｉｌｉｎｅａｒ０／１は、ステップｅ３に用いられる。
ステップｅ３では、現在のブロックの各ｄｘ＊ｄｙのサブブロック（１６＊１６以下の整数ブロック）に対して、それぞれ目標動きベクトル（２つの目標動きベクトルはそれぞれＲｅｆｉｎｅｄ＿ＭＶ０及びＲｅｆｉｎｅｄ＿ＭＶ１とする）を取得する。
ステップｅ３１では、ＳＲ回の反復を行い、最適整数画素のＭＶ点の整数画素オフセットを取得し、ＩｎｔｅｇｅｒＤｅｌｔａＭＶとし、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを（０，０）に初期化する。毎回の反復では、以下の処理が実行される。
ステップｅ３１１では、ｄｅｌｔａＭＶを（０，０）に設定する。最初の反復である場合、オリジナル動きベクトルに基づいて、参照画素Ｐｒｅｄ＿Ｂｉｌｉｎｅａｒ０／１から、コピーすることにより２つの予測値ブロック（実際にはＰｒｅｄ＿Ｂｉｌｉｎｅａｒ０／１の最も中心にあるＷ＊Ｈのブロック）を取得し、これら２つの予測値ブロックに基づいて、初期コスト値、即ち２つの方向予測値ブロックの垂直２倍のダウンサンプリングされたＳＡＤを取得する。
当該初期コスト値が４＊ｄｘ＊ｄｙ／２より小さい場合、ｄｘ及びｄｙは現サブブロックの幅及び高さであり、後続の探索処理を直接にスキップして、ステップｅ３２を実行し、ｎｏｔＺｅｒｏＣｏｓｔをｆａｌｓｅに設定する。
ステップｅ３１２では、図６に示すように、上記初期点を中心として、｛Ｍｖ（０，１），Ｍｖ（０，－１），Ｍｖ（１，０），Ｍｖ（－１，０），Ｍｖ（ｒｉｇｈｔ，ｄｏｗｎ）｝の５つのオフセットＭＶ（これらの５つのオフセットＭＶはいずれもＭＶＯｆｆｓｅｔとされる）を順次得て、これらの５つのオフセットＭＶのコスト値の計算及び比較処理を行う。
例えば、あるＭＶＯｆｆｓｅｔに基づいて、参照画素Ｐｒｅｄ＿Ｂｉｌｉｎｅａｒ０／１から、ＭＶＯｆｆｓｅｔにより２つの予測ブロック（実際には、Ｐｒｅｄ＿Ｂｉｌｉｎｅａｒ０において中心位置をＭＶＯｆｆｓｅｔだけシフトされたＷ＊Ｈのブロックと、Ｐｒｅｄ＿Ｂｉｌｉｎｅａｒ１において中心位置を－ＭＶＯｆｆｓｅｔ（ｌｉｓｔ０とは逆）だけシフトされたＷ＊Ｈのブロック）を取得し、ＭＶＯｆｆｓｅｔのコスト値として、これらの２つのブロックのダウンサンプリングＳＡＤを計算する。次回の反復の新たな中心オフセット点として、最小コスト値を有するＭＶＯｆｆｓｅｔ（ｄｅｌｔａＭＶに保存する）を保留する
Ｍｖ（ｒｉｇｈｔ，ｄｏｗｎ）のデフォルト値は、（－１，－１）である。Ｍｖ（１，０）のコスト値がＭｖ（－１，０）のコスト値より小さい場合、ｒｉｇｈｔは１である。Ｍｖ（０，１）のコスト値がＭｖ（０，－１）のコスト値より小さい場合、ｄｏｗｎは１である。
ｄｅｌｔａＭＶ値に基づいてＩｎｔｅｇｅｒＤｅｌｔａＭＶを更新する。即ち、＝ＩｎｔｅｇｅｒＤｅｌｔａＭＶ＋ｄｅｌｔａＭＶ。
ステップｅ３１３では、反復を行った後、最適ＭＶが依然として初期ＭＶであるか又は最小コスト値が０である場合、次回の反復探索処理を行わず、ステップｅ３２を実行し、ｎｏｔＺｅｒｏＣｏｓｔをｆａｌｓｅに設定する。それ以外の場合、反復回数がＳＲに達すると、ステップｅ３２を実行し、反復回数がＳＲに達しないと、最適ＭＶを中心として、次回の反復探索処理を行い、即ちステップｅ３１１に戻る。
ステップｅ３２では、ステップｅ３１の最適整数画素のＭＶ点を中心として、最適サブ画素のオフセットＭＶを取得し、ＳＰＭＶとする。ＳＰＭＶを（０，０）に初期化して、以下の処理を実行する。
ステップｅ３２１では、ｎｏｔＺｅｒｏＣｏｓｔがｆａｌｓｅでなく、且つｄｅｌｔａＭＶが（０，０）である場合のみ、後続処理を行う。それ以外の場合、ＩｎｔｅｇｅｒＤｅｌｔａＭＶを直接に利用してオリジナル動きベクトルを調整する。
ステップｅ３２２では、Ｅ（ｘ，ｙ）をステップｅ３１で得られた最適ＭＶ点オフセット（ｘ，ｙ）のＭＶ対応コスト値（ステップｅ３１で計算されたコスト値）とする。中心及び上下左右の５つの点のＥ（ｘ，ｙ）に基づいて、Ｅ（ｘ，ｙ）が最小である点のオフセット（ｘ０，ｙ０）を得ることができる。ここで、ｘ０＝Ｎ＊（Ｅ（－１，０）－Ｅ（１，０））／（Ｅ（－１，０）＋Ｅ（１，０）－２＊Ｅ（０，０））、ｙ０＝Ｎ＊（Ｅ（０，－１）－Ｅ（０，１））／（Ｅ（０，－１）＋Ｅ（０，１）－２＊Ｅ（０，０））。
一例では、１／２、１／４、１／８及び１／１６の動きベクトル画素精度に対して、Ｎ＝１、２、４及び８である。そして、（ｘ０，ｙ０）にｄｅｌｔａＭｖを代入してよく、ＳＰＭＶ＝ｄｅｌｔａＭｖ／２Ｎである。現在の動きベクトル画素精度が１／１６である場合、ＳＰＭＶは、（ｘ０／１６，ｙ０／１６）である。
Ｅ（－１，０）＝Ｅ（０，０）である場合、水平に左へ半画素分シフトする（ｄｅｌｔａＭｖ［０］＝－Ｎ）。
Ｅ（１，０）＝Ｅ（０，０）である場合、水平に右へ半画素分シフトする（ｄｅｌｔａＭｖ［０］＝Ｎ）。
Ｅ（０，－１）＝Ｅ（０，０）である場合、垂直に上へ半画素分シフトする（ｄｅｌｔａＭｖ［１］＝－Ｎ）。
Ｅ（０，１）＝Ｅ（０，０）である場合、垂直に下へ半画素分シフトする（ｄｅｌｔａＭｖ［１］＝Ｎ）。
ステップｅ３３では、ステップｅ３１の整数画素オフセットＩｎｔｅｇｅｒＤｅｌｔａＭＶ及びステップｅ３２のサブ画素オフセットＳＰＭＶに基づいて、最適オフセットＭＶを取得し、ＢｅｓｔＭＶｏｆｆｓｅｔとする。ＢｅｓｔＭＶｏｆｆｓｅｔ＝ＩｎｔｅｇｅｒＤｅｌｔａＭＶ＋ＳＰＭＶである。ＢｅｓｔＭＶｏｆｆｓｅｔに基づいて２つの方向の目標動きベクトルを取得してよい。ここで、Ｒｅｆｉｎｅｄ＿ＭＶ０＝Ｏｒｇ＿ＭＶ０＋ＢｅｓｔＭＶｏｆｆｓｅｔであり、Ｒｅｆｉｎｅｄ＿ＭＶ１＝Ｏｒｇ＿ＭＶ１－ＢｅｓｔＭＶｏｆｆｓｅｔである。
ステップｅ４では、各サブブロックの目標動きベクトルに基づいて、８タップの補間を行って２つの方向の予測値を取得し、重み付けを行って最終的な予測値（３成分）を取得する。例えば、各サブブロックの目標動きベクトルＲｅｆｉｎｅｄ＿ＭＶ０及びＲｅｆｉｎｅｄ＿ＭＶ１に基づいて、ステップｅ２で用意されたＰｒｅｄ＿Ｉｎｔｅｒ０／１において、補間によって対応する予測ブロックを取得する（動きベクトルはがサブ画素である可能性があるため、対応する画素ブロックを取得するように、補間は必要である）。
ステップｅ５では、目標動きベクトルは、現在のブロックの動き補償及び後続のフレームの時間領域の参照に用いられる。
実施例３７では、上記実施例は、個別にまたは任意の組み合わせで実施されてもよい。例えば、実施例１３、実施例１５、実施例２４、実施例２９はそれぞれ個別に実施されてよい。実施例１３と実施例１５、実施例１３と実施例２４、実施例１３と実施例２９、実施例１５と実施例２４、実施例１５と実施例２９、実施例２４と実施例２９、実施例１３と実施例１５と実施例２４、実施例１３と実施例１５と実施例２９、実施例１５と実施例２４と実施例２９、実施例１３と実施例１５と実施例２４と実施例２９などの組み合わせなどで実施されてよい。勿論、上記はいくつかの例に過ぎず、これに対して限定しない。本願に係る全ての実施例は、いずれも個別にまたは任意の組み合わせで実施できる。
実施例３８では、
上記方法と同様な発明概念に基づいて、本願の実施例は、さらに、符号化側又は復号化側に適用されるコーデック装置を提供する。図９は前記装置の構成図であり、図９に示すように、前記装置は、
現在のブロックの特徴情報が特定の条件を満たす場合、前記現在のブロックの第１のオリジナル動きベクトルに基づいて、前記現在のブロックに対応する第１の参照ブロックを確定し、前記現在のブロックの第２のオリジナル動きベクトルに基づいて、前記現在のブロックに対応する第２の参照ブロックを確定する、確定モジュール９１と、前記第１の参照ブロックの第１の画素値と前記第２の参照ブロックの第２の画素値とに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得る、処理モジュール９２と、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記現在のブロックを符号化又は復号化する、コーデックモジュール９３と、を含む。
前記特徴情報は、前記現在のブロックに対応する動き情報予測モードと、前記現在のブロックに対応する動き情報属性と、前記現在のブロックのサイズ情報とのうちの１つ又は複数を含む。
前記特徴情報が前記現在のブロックに対応する動き情報予測モードである場合、前記確定モジュール９１は、さらに、前記現在のブロックに対応する動き情報予測モードが通常マージモードである場合、前記現在のブロックに対応する動き情報予測モードが特定の条件を満たすことを確定すること、又は、前記現在のブロックに対応する動き情報予測モードがインター予測値とイントラ予測値を統合して新たな予測値を生成するためのマージモードである場合、前記現在のブロックに対応する動き情報予測モードが特定の条件を満たすことを確定すること、に用いられる。
前記特徴情報が前記現在のブロックに対応する動き情報属性である場合、前記確定モジュール９１は、さらに、前記現在のブロックに対応する動き情報属性が、前記現在のブロックの動き情報が２つの異なる方向の動き情報を含むことである場合、前記現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、又は、前記現在のブロックに対応する動き情報属性が、前記現在のブロックの動き情報が２つの異なる方向の動き情報を含み、前記２つの異なる方向の動き情報に対応する２つの参照フレームと現在のフレームとの距離が同じであることである場合、前記現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、又は、前記現在のブロックに対応する動き情報属性が、前記現在のブロックの周囲ブロックを利用したことである場合、前記現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、又は、前記現在のブロックに対応する動き情報属性が、前記現在のブロックの各サブブロックの動き情報が同じであることである場合、前記現在のブロックに対応する動き情報属性が特定の条件を満たすことを確定すること、に用いられる。
前記特徴情報が前記現在のブロックの幅値及び前記現在のブロックの高さ値を含む前記現在のブロックのサイズ情報である場合、前記確定モジュール９１は、さらに、前記現在のブロックの幅値が第１の区間［第１の閾値，第２の閾値］の範囲内である場合、前記現在のブロックのサイズ情報が特定の条件を満たすことを確定すること、又は、前記現在のブロックの高さ値が第２の区間［第３の閾値，第４の閾値］の範囲内である場合、前記現在のブロックのサイズ情報が特定の条件を満たすことを確定すること、又は、前記現在のブロックの幅値及び前記現在のブロックの高さ値によって得られた面積が第３の区間［第５の閾値，第６の閾値］の範囲内である場合、前記現在のブロックのサイズ情報が特定の条件を満たすことを確定すること、又は、前記幅値が第１の区間［第１の閾値，第２の閾値］の範囲内であり、かつ、前記高さ値が第２の区間［第３の閾値，第４の閾値］の範囲内であり、かつ、前記面積が第３の区間［第５の閾値，第６の閾値］の範囲内である場合、現在のブロックのサイズ情報が特定の条件を満たすことを確定すること、に用いられる。
前記確定モジュール９１は、前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記現在のブロックに対応する第１の参照ブロックを確定し、前記現在のブロックの第２のオリジナル動きベクトルに基づいて前記現在のブロックに対応する第２の参照ブロックを確定する時に、具体的に、前記現在のブロックの第１のオリジナル動きベクトルに基づいて、第１の参照フレームから前記現在のブロックに対応する第１の参照ブロックを確定することと、前記現在のブロックの第２のオリジナル動きベクトルに基づいて、第２の参照フレームから前記現在のブロックに対応する第２の参照ブロックを確定することと、に用いられる。前記第１の参照ブロックにおける各画素点の第１の画素値は、前記第１の参照ブロックにおける隣接する画素点の画素値を補間することにより得られ、又は、前記第１の参照ブロックにおける隣接する画素点の画素値をコピーすることにより得られる。前記第２の参照ブロックにおける各画素点の第２の画素値は、前記第２の参照ブロックにおける隣接する画素点の画素値を補間することにより得られ、又は、前記第２の参照ブロックにおける隣接する画素点の画素値をコピーすることにより得られる。
前記処理モジュール９２は、前記第１の参照ブロックの第１の画素値及び前記第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得る時に、具体的に、
前記現在のブロックが少なくとも１つのサブブロックを含む場合、前記現在のブロックの各サブブロックに対して、前記第１の画素値及び前記第２の画素値に基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記サブブロックの第１の目標動きベクトル及び第２の目標動きベクトルを得ること、に用いられる。
例えば、前記第１の画素値及び前記第２の画素値に基づいて、前記サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値、及び／又は、前記サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定し、前記第１の整数画素動きベクトル調整値及び／又は第１のサブ画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記サブブロックの第１の目標動きベクトルを得て、前記第２の整数画素動きベクトル調整値及び／又は第２のサブ画素動きベクトル調整値に基づいて、前記第２のオリジナル動きベクトルを調整し、前記サブブロックの第２の目標動きベクトルを得る。
前記処理モジュール９２は、前記第１の画素値及び前記第２の画素値に基づいて、前記サブブロックの第１の整数画素の動きベクトル調整値及び第２の整数画素の動きベクトル調整値と、前記サブブロックの第１のサブ画素の動きベクトル調整値及び第２のサブ画素の動きベクトル調整値とを確定する時に、具体的に、
前記第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルを中心動きベクトルに確定し、
前記中心動きベクトルに対応するエッジ動きベクトルを確定し、
前記第１の画素値及び前記第２の画素値に基づいて、前記中心動きベクトルに対応する第１のコスト値及び前記エッジ動きベクトルに対応する第２のコスト値を取得し、
前記第１のコスト値及び前記第２のコスト値に基づいて、最適動きベクトルとして、前記中心動きベクトル及び前記エッジ動きベクトルから１つの動きベクトルを選択し、
終了条件が満たされるか否かを判断し、終了条件が満たされない場合、前記最適動きベクトルを中心動きベクトルに確定し、前記中心動きベクトルに対応するエッジ動きベクトルを確定することに戻り、
終了条件が満たされる場合、前記最適動きベクトルに基づいて、前記サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値を確定し、前記最適動きベクトルに基づいて、前記サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定すること、に用いられる。
前記処理モジュール９２は、前記中心動きベクトルに対応するエッジ動きベクトルを確定する時に、具体的に、
前記中心動きベクトル（ｘ，ｙ）を異なる方向にＳだけシフトし、異なる方向のエッジ動きベクトル（ｘ，ｙ＋Ｓ）と、エッジ動きベクトル（ｘ，ｙ－Ｓ）と、エッジ動きベクトル（ｘ＋Ｓ，ｙ）と、エッジ動きベクトル（ｘ－Ｓ，ｙ）と、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）とを順次得ること、又は、
前記中心動きベクトル（ｘ、ｙ）を異なる方向にＳだけシフトし、異なる方向のエッジ動きベクトル（ｘ、ｙ－Ｓ）と、エッジ動きベクトル（ｘ、ｙ＋Ｓ）と、エッジ動きベクトル（ｘ－Ｓ、ｙ）と、エッジ動きベクトル（ｘ＋Ｓ、ｙ）と、エッジ動きベクトル（ｘ＋ｒｉｇｈｔ、ｙ＋ｄｏｗｎ）とを順次得ること、に用いられ、
エッジ動きベクトル（ｘ＋ｒｉｇｈｔ，ｙ＋ｄｏｗｎ）のデフォルト値は（ｘ－Ｓ，ｙ－Ｓ）であり、
エッジ動きベクトル（ｘ＋Ｓ、ｙ）のコスト値がエッジ動きベクトル（ｘ－Ｓ、ｙ）のコスト値より小さい場合、ｒｉｇｈｔはＳであり、エッジ動きベクトル（ｘ、ｙ＋Ｓ）のコスト値がエッジ動きベクトル（ｘ、ｙ－Ｓ）のコスト値より小さい場合、ｄｏｗｎはＳであり、又は、エッジ動きベクトル（ｘ＋Ｓ、ｙ）のコスト値がエッジ動きベクトル（ｘ－Ｓ、ｙ）のコスト値以下の場合、ｒｉｇｈｔはＳであり、エッジ動きベクトル（ｘ、ｙ＋Ｓ）のコスト値がエッジ動きベクトル（ｘ、ｙ－Ｓ）のコスト値以下の場合、ｄｏｗｎはＳである。
前記処理モジュール９２は、前記第１の画素値及び前記第２の画素値に基づいて、前記中心動きベクトルに対応する第１のコスト値及び前記エッジ動きベクトルに対応する第２のコスト値を取得する時に、具体的に、
ダウンサンプリングされていない第１の画素値及びダウンサンプリングされていない第２の画素値に基づいて、前記中心動きベクトルに対応する第１のコスト値及び前記エッジ動きベクトルに対応する第２のコスト値を取得すること、又は、
前記第１の画素値に対してダウンサンプリング操作を行い、前記第２の画素値に対してダウンサンプリング操作を行い、ダウンサンプリングされた第１の画素値及びダウンサンプリングされた第２の画素値に基づいて、前記中心動きベクトルに対応する第１のコスト値及び前記エッジ動きベクトルに対応する第２のコスト値を取得すること、又は、
前記第１の画素値に対してシフト及びダウンサンプリング操作を行い、前記第２の画素値に対してシフト及びダウンサンプリング操作を行い、処理された第１の画素値及び処理された第２の画素値に基づいて、前記中心動きベクトルに対応する第１のコスト値及び前記エッジ動きベクトルに対応する第２のコスト値を取得すること、に用いられる。
前記処理モジュール９２は、前記第１の画素値及び前記第２の画素値に基づいて、前記サブブロックの第１の整数画素の動きベクトル調整値及び第２の整数画素の動きベクトル調整値と、前記サブブロックの第１のサブ画素の動きベクトル調整値及び第２のサブ画素の動きベクトル調整値とを確定する時に、具体的に、
前記第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルを中心として、周囲の動きベクトルから一部又は全ての動きベクトルを選択し、選択された動きベクトルを候補動きベクトルとすることと、
前記第１の画素値及び前記第２の画素値に基づいて、前記第１のオリジナル動きベクトル又は第２のオリジナル動きベクトルに対応する第３のコスト値及び前記候補動きベクトルに対応する第４のコスト値を取得することと、
前記第３のコスト値及び前記第４のコスト値に基づいて、最適動きベクトルとして、前記第１のオリジナル動きベクトル又は第２のオリジナル動きベクトル及び前記候補動きベクトルから１つの動きベクトルを選択することと、
前記最適動きベクトルに基づいて、前記サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値を確定し、前記最適動きベクトルに基づいて、前記サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定することと、に用いられる。
前記処理モジュール９２は、前記最適動きベクトルに基づいて前記サブブロックの第１の整数画素動きベクトル調整値及び第２の整数画素動きベクトル調整値を確定する時に、具体的に、前記最適動きベクトル及び前記第１のオリジナル動きベクトルに基づいて、前記サブブロックの第１の整数画素動きベクトル調整値を確定し、前記第１の整数画素動きベクトル調整値に基づいて、前記サブブロックの第２の整数画素動きベクトル調整値を確定すること、に用いられる。
前記処理モジュール９２は、前記最適動きベクトルに基づいて前記サブブロックの第１のサブ画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値を確定する時に、具体的に、前記最適動きベクトルに対応するコスト値及び前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、前記サブブロックの第１のサブ画素動きベクトル調整値を確定し、第１のサブ画素動きベクトル調整値に基づいて、前記サブブロックの第２のサブ画素動きベクトル調整値を確定すること、に用いられる。
前記コーデックモジュール９３は、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて前記現在のブロックを符号化又は復号化する時に、具体的に、前記現在のブロックが少なくとも１つのサブブロックを含む場合、前記現在のブロックの各サブブロックに対して、前記サブブロックの第１の目標動きベクトルに基づいて前記サブブロックに対応する第３の参照ブロックを確定し、前記サブブロックの第２の目標動きベクトルに基づいて前記サブブロックに対応する第４の参照ブロックを確定することと、前記第３の参照ブロックの第３の画素値及び前記第４の参照ブロックの第４の画素値に基づいて、重み付けを行い、サブブロックの予測値を得ることと、各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することと、に用いられる。
前記コーデックモジュール９３は、前記サブブロックの第１の目標動きベクトルに基づいて前記サブブロックに対応する第３の参照ブロックを確定し、前記サブブロックの第２の目標動きベクトルに基づいて前記サブブロックに対応する第４の参照ブロックを確定する時に、具体的に、前記サブブロックの第１の目標動きベクトルに基づいて、第１の参照フレームから前記サブブロックに対応する第５の参照ブロックを確定し、前記第５の参照ブロックにおける画素値を補間し、前記第３の参照ブロックを得ることと、
前記サブブロックの第２の目標動きベクトルに基づいて、第２の参照フレームから前記サブブロックに対応する第６の参照ブロックを確定し、前記第６の参照ブロックにおける画素値を補間し、前記第４の参照ブロックを得ることと、に用いられる。
前記コーデックモジュール９３は、前記サブブロックの第１の目標動きベクトルに基づいて前記サブブロックに対応する第３の参照ブロックを確定し、前記サブブロックの第２の目標動きベクトルに基づいて前記サブブロックに対応する第４の参照ブロックを確定する時に、具体的に、前記サブブロックの第１の目標動きベクトルに基づいて、第１の参照フレームから前記サブブロックに対応する第７の参照ブロックを確定し、前記第７の参照ブロックにおける画素値を利用して第８の参照ブロックを構築し、前記第８の参照ブロックにおける画素値を補間し、前記第３の参照ブロックを得ることと、前記サブブロックの第２の目標動きベクトルに基づいて、第２の参照フレームから前記サブブロックに対応する第９の参照ブロックを確定し、前記第９の参照ブロックにおける画素値を利用して第１０の参照ブロックを構築し、前記第１０の参照ブロックにおける画素値を補間し、前記第４の参照ブロックを得ることと、に用いられる。
前記装置は、さらに、前記現在のブロックのために、前記第１の目標動きベクトル及び第２の目標動きベクトルを格納する、記憶モジュールを含み、前記第１の目標動きベクトル及び第２の目標動きベクトルは、現在のフレームのループフィルタリングに用いられ、前記第１の目標動きベクトル及び前記第２の目標動きベクトルは後続のフレームの時間領域の参照に用いられ、及び／又は、前記第１の目標動きベクトル及び前記第２の目標動きベクトルは、現在のフレームの空間領域の参照に用いられる。
実施例３９：
本願の実施例に係る復号化デバイスは、ハードウェア的に、そのハードウェア構成模式図について、具体的に図１０を参照できる。前記復号化デバイスは、プロセッサ１０１と機械可読記憶媒体１０２とを含み、前記機械可読記憶媒体１０２は前記プロセッサ１０１によって実行可能な機械実行可能な命令を格納し、前記プロセッサ１０１は、機械実行可能な命令を実行し、本願の上記例示で開示された方法を実現する。例えば、プロセッサは、機械実行可能な命令を実行することに用いられ、
現在のブロックの特徴情報が特定の条件を満たす場合、前記現在のブロックの第１のオリジナル動きベクトルに基づいて、前記現在のブロックに対応する第１の参照ブロックを確定し、前記現在のブロックの第２のオリジナル動きベクトルに基づいて、前記現在のブロックに対応する第２の参照ブロックを確定するステップと、前記第１の参照ブロックの第１の画素値及び前記第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得るステップと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記現在のブロックを復号化するステップと、を実現する。
本願の実施例に係る符号化デバイスは、ハードウェア的に、そのハードウェア構成模式図は、具体的に図１１を参照できる。前記符号化デバイスは、プロセッサ１１１及び機械可読記憶媒体１１２を含み、前記機械可読記憶媒体１１２は前記プロセッサ１１１によって実行可能な機械実行可能な命令を格納し、前記プロセッサ１１１は、機械実行可能な命令を実行し、本願の上記例示で開示された方法を実現する。例えば、プロセッサ１１１は、機械実行可能な命令を実行することに用いられ、現在のブロックの特徴情報が特定の条件を満たす場合、前記現在のブロックの第１のオリジナル動きベクトルに基づいて、前記現在のブロックに対応する第１の参照ブロックを確定し、前記現在のブロックの第２のオリジナル動きベクトルに基づいて、前記現在のブロックに対応する第２の参照ブロックを確定するステップと、前記第１の参照ブロックの第１の画素値及び前記第２の参照ブロックの第２の画素値に基づいて、第１のオリジナル動きベクトルと第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルと、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルとを得るステップと、前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて前記現在のブロックを符号化するステップと、を実現する。
上記方法と同様な発明概念に基づいて、本願の実施例は、さらに、機械可読記憶媒体を提供する。前記機械可読記憶媒体には、複数のコンピュータ命令が格納されており、前記コンピュータ命令がプロセッサによって実行されると、本願の上記例示で開示されたコーデック方法を実現できる。ここで、上記機械可読記憶媒体は、任意の電気、磁気、光学又は他の物理的記憶装置であってよく、例えば実行可能な命令、データ等の情報を含むか又は格納できる。例えば、機械可読記憶媒体は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、メモリドライブ（例えばハードディスクドライブ）、ソリッドステートドライブ、任意のタイプのメモリディスク（例えば光ディスク、ＤＶＤ等）、あるいは、類似の記憶媒体、又はそれらの組み合わせであってもよい。
上記実施例に説明されたシステム、装置、モジュール又はユニットは、具体的にはコンピュータチップ又はエンティティで実現されてもよく、又はある機能を有する製品で実現されてもよい。典型的な実現するデバイスは、コンピュータであり、コンピュータは、具体的に、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、カメラ付き携帯電話、スマートフォン、携帯情報端末、メディアプレーヤ、ナビゲーションデバイス、電子メール送受信デバイス、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイス、又はこれらのデバイスの任意のいくつかの組み合わせであってもよい。
説明の便宜上、以上の装置を説明する時に、機能により、様々な要素に分けてそれぞれ説明した。勿論、本願を実施する時に、同一又は複数のソフトウェア及び／又はハードウェアで、各要素の機能を実現できる。
当業者であれば、本願の実施例は方法、システム、又はコンピュータプログラム製品として提供できることを理解できる。従って、本願は、完全にハードウェアの実施例、完全にソフトウェアの実施例、又はソフトウェアとハードウェアを組み合わせた実施例の形態であってもよい。さらに、本願の実施例は、コンピュータに使用可能なプログラムコードを含む１つ又は複数のコンピュータ使用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなど）に実装されるコンピュータプログラム製品の形であってもよい。
本願は、本願の実施例係る方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明されるものである。フローチャート図及び／又はブロック図における各処理及び／又は各ブロック、そしてフローチャート図及び／又はブロック図における処理及び／又はブロックの組み合わせは、コンピュータプログラム命令で実現できることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラミング可能なデータ処理デバイスのプロセッサに提供して１つの機械を生成できて、コンピュータ又は他のプログラミング可能なデータ処理デバイスのプロセッサによって実行される命令がフローチャートの１つ又は複数の処理及び／又はブロック図の１つ又は複数のブロックに指定された機能を実現するための装置を生成するように構成される。
また、これらのコンピュータプログラム命令はコンピュータ又は他のプログラミング可能なデータ処理デバイスにおける特定の方式で動作するコンピュータ可読メモリに記憶されることができて、当該コンピュータ可読メモリに記憶された命令が、命令装置を含む製品を生成し、当該命令装置がフローチャートの１つ又は複数の処理及び／又はブロック図の１つ又は複数のブロックに指定された機能を実現するように構成される。
これらのコンピュータプログラム命令はコンピュータ又は他のプログラミング可能なデータ処理デバイスにインストールされることができて、コンピュータ又は他のプログラミング可能なデータ処理デバイスで一連の処理ステップを実行してコンピュータで処理を実現することで、コンピュータ又は他のプログラミング可能なデータ処理デバイスで実行される命令がフローチャートの１つ又は複数の処理及び／又はブロック図の１つ又は複数のブロックに指定された機能を実現するように構成される。
以上は本願の実施例に過ぎず、本願を限定するものではない。当業者にとって、本願に対して様々な変更及び変化を行うことができる。本願の精神及び原理を逸脱しない範囲で行われる任意の変更、等価置換、改良等は、いずれも本願の特許請求の範囲内に含まれる。

Claims (14)

  1. 現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを含む、復号化方法であって、
    前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、
    第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、
    前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、
    前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、最適動きベクトルを取得するステップであって、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含むステップと、
    前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、
    前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、
    前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、
    を含み、
    前記オリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することは、
    前記オリジナル動きベクトルを中心として、探索範囲を２とし、前記オリジナル動きベクトル含む２５個の動きベクトルを探索し、前記２５個の動きベクトルを候補動きベクトルと確定することを含み、前記２５個の動きベクトルの探索順序は、｛Ｍｖ（－２，－２）、Ｍｖ（－１，－２）、Ｍｖ（０，－２）、Ｍｖ（１、－２）、Ｍｖ（２、－２）、Ｍｖ（－２、－１）、Ｍｖ（－１、－１）、Ｍｖ（０、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（－２、０）、Ｍｖ（－１、０）、Ｍｖ（０、０）、Ｍｖ（１、０）、Ｍｖ（２、０）、Ｍｖ（－２、１）、Ｍｖ（－１、１）、Ｍｖ（０、１）、Ｍｖ（１、１）、Ｍｖ（２、１）、Ｍｖ（－２、２）、Ｍｖ（－１、２）、Ｍｖ（０、２）、Ｍｖ（１、２）、Ｍｖ（２、２）｝である、
    復号化方法。
  2. 前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することにおいて、
    候補動きベクトルに対応するコスト値を取得することは、
    第１の参照ブロックに基づいて、前記候補動きベクトルに対応する第１のサブ参照ブロックを確定し、第２の参照ブロックに基づいて、前記候補動きベクトルに対応する第２のサブ参照ブロックを確定することと、
    垂直２倍のダウンサンプリングを行い、前記第１の参照ブロック及び前記第２の参照ブロックの各画素値の差分絶対値和を取得することと、
    取得した差分絶対値和に基づいて、前記候補動きベクトルに対応するコスト値を確定することと、を含み、
    オリジナル動きベクトルに対応するコスト値を取得することは、
    第１の参照ブロックに基づいて、前記オリジナル動きベクトルに対応する第３のサブ参照ブロックを確定し、第２の参照ブロックに基づいて、前記オリジナル動きベクトルに対応する第４のサブ参照ブロックを確定することと、
    垂直２倍のダウンサンプリングを行い、前記第１のサブ参照ブロック及び前記第２のサブ参照ブロックの各画素値の差分絶対値和を取得することと、
    取得した差分絶対値和に基づいて、前記オリジナル動きベクトルに対応するコスト値を確定することと、を含む、
    請求項１に記載の復号化方法。
  3. 前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップは、
    前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第２の整数画素動きベクトル調整値とを確定することと、
    前記第１の整数画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルを取得することと、
    前記第２の整数画素動きベクトル調整値に基づいて、前記第２のオリジナル動きベクト
    ルを調整し、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得することと、を含み、
    前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第２の整数画素動きベクトル調整値とを確定することは、
    前記最適動きベクトルに基づいて、前記最適動きベクトルと前記オリジナル動きベクトルとの差である第１の整数画素動きベクトル調整値を確定することと、
    前記第１の整数画素動きベクトル調整値に基づいて、第２の整数画素動きベクトル調整値を確定し、前記第２の整数画素動きベクトル調整値と前記第１の整数画素動きベクトル調整値とは互いに反数であることと、を含み、
    前記第１の整数画素動きベクトル調整値に基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトルを取得することと、前記第２の整数画素動きベクトル調整値に基づいて、前記第２のオリジナル動きベクトルを調整し、前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得することとは、
    前記第１の目標動きベクトルは、前記第１のオリジナル動きベクトルと前記第１の整数画素動きベクトル調整値との和であることと、
    前記第２の目標動きベクトルは、前記第２のオリジナル動きベクトルと前記第２の整数画素動きベクトル調整値との和であることと、を含む、
    請求項１に記載の復号化方法。
  4. 前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップは、
    前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と、第１のサブ画素動きベクトル調整値と、第２の整数画素動きベクトル調整値と、第２のサブ画素動きベクトル調整値とを確定することと、
    第１の整数画素動きベクトル調整値及び第１のサブ画素動きベクトル調整値に基づいて、第１のオリジナル動きベクトルを調整し、サブブロックの第１の目標動きベクトルを取得することと、
    第２の整数画素動きベクトル調整値及び第２のサブ画素動きベクトル調整値に基づいて、第２のオリジナル動きベクトルを調整し、サブブロックの第２の目標動きベクトルを取得することと、を含み、
    前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第１のサブ画素動きベクトル調整値とを確定することは、
    前記最適動きベクトルに基づいて、前記最適動きベクトルと前記第１のオリジナル動きベクトルとの差である第１の整数画素動きベクトル調整値を確定することと、
    前記最適動きベクトルに対応するコスト値、前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定することと、を含み、
    前記最適動きベクトルに対応するコスト値、前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定することは、
    前記最適動きベクトルを中心とした５つの整数画素動きベクトルのコスト値を順次に確定し、前記５つの整数画素動きベクトルは、前記最適動きベクトルを中心として、それぞれ、水平に左へ、水平に右へ、垂直に上へ、垂直に下へシフトするにより取得した５つのエッジ動きベクトルであることと、
    前記５つの整数画素動きベクトルのコスト値に基づいて、前記第１のサブ画素動きベクトル調整値を確定することと、を含む、
    請求項１に記載の復号化方法。
  5. 前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップは、
    前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第１のサブ画素動きベクトル調整値とを確定することと、
    第１の整数画素動きベクトル調整値及び第１のサブ画素動きベクトル調整値を基づいて、最適オフセット動きベクトルを取得することと、
    前記最適オフセット動きベクトルに基づいて、前記第１のオリジナル動きベクトルを調整し、前記第１の目標動きベクトルを取得することと、
    前記最適オフセット動きベクトルの反数に基づいて、前記第２のオリジナル動きベクトルを調整し、前記第２の目標動きベクトルを取得することと、を含み、
    前記最適動きベクトルに基づいて、第１の整数画素動きベクトル調整値と第１のサブ画素動きベクトル調整値とを確定することは、
    前記最適動きベクトルに基づいて、前記最適動きベクトルと前記第１のオリジナル動きベクトルとの差である第１の整数画素動きベクトル調整値を確定することと、
    前記最適動きベクトルに対応するコスト値、前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定することと、を含み、
    前記最適動きベクトルに対応するコスト値、前記最適動きベクトルに対応するエッジ動きベクトルに対応するコスト値に基づいて、第１のサブ画素動きベクトル調整値を確定することは、
    前記最適動きベクトルを中心とした５つの整数画素動きベクトルのコスト値を順次に確定し、前記５つの整数画素動きベクトルは、前記最適動きベクトルを中心として、それぞれ、水平に左へ、水平に右へ、垂直に上へ、垂直に下へシフトするにより取得した５つのエッジ動きベクトルであることと、
    前記５つの整数画素動きベクトルのコスト値に基づいて、前記第１のサブ画素動きベクトル調整値を確定することと、を含む、
    請求項１に記載の復号化方法。
  6. 第１の目標動きベクトルは、第１のオリジナル動きベクトルと、第１の整数画素動きベクトル調整値と、第１のサブ画素動きベクトル調整値との和であることと、
    第２の目標動きベクトルは、第２のオリジナル動きベクトルと、第２の整数画素動きベクトル調整値と、第２のサブ画素動きベクトル調整値との和であることと、
    前記第２の整数画素動きベクトル調整値と、前記第１の整数画素動きベクトル調整値とは、互いに反数であることと、
    前記第２のサブ画素動きベクトル調整値と、前記第１のサブ画素動きベクトル調整値とは、互いに反数であることと、を特徴とする、
    請求項４に記載の復号化方法。
  7. 前記最適動きベクトルは、前記オリジナル動きベクトル及び各候補動きベクトルから選択されたコスト値が最も小さい動きベクトルであること、を特徴とする、
    請求項１に記載の復号化方法。
  8. 前記現在のブロックが１つのサブブロックのみを含む場合、当該サブブロックは現在のブロック自体であること、を特徴とする、
    請求項１に記載の復号化方法。
  9. 現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記
    現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを含む、符号化方法であって、
    前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、
    第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、
    前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、
    前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、最適動きベクトルを取得するステップであって、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含むステップと、
    前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、
    前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含み、
    前記オリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することは、
    前記オリジナル動きベクトルを中心として、探索範囲を２とし、前記オリジナル動きベクトル含む２５個の動きベクトルを探索し、前記２５個の動きベクトルを候補動きベクトルと確定することを含み、前記２５個の動きベクトルの探索順序は、｛Ｍｖ（－２，－２）、Ｍｖ（－１，－２）、Ｍｖ（０，－２）、Ｍｖ（１、－２）、Ｍｖ（２、－２）、Ｍｖ（－２、－１）、Ｍｖ（－１、－１）、Ｍｖ（０、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（－２、０）、Ｍｖ（－１、０）、Ｍｖ（０、０）、Ｍｖ（１、０）、Ｍｖ（２、０）、Ｍｖ（－２、１）、Ｍｖ（－１、１）、Ｍｖ（０、１）、Ｍｖ（１、１）、Ｍｖ（２、１）、Ｍｖ（－２、２）、Ｍｖ（－１、２）、Ｍｖ（０、２）、Ｍｖ（１、２）、Ｍｖ（２、２）｝である、
    符号化方法。
  10. プロセッサと、前記プロセッサによって実行可能な機械実行可能な命令を格納する機械可読記憶媒体とを含み、
    前記プロセッサは、機械実行可能な命令を実行することで、
    請求項１～８のいずれか１項に記載の方法を実現する
    復号化デバイス。
  11. プロセッサと、前記プロセッサによって実行可能な機械実行可能な命令を格納する機械可読記憶媒体とを含み、前記プロセッサは、機械実行可能な命令を実行することで、現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを、実現する符号化デバイスであって、
    前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、
    第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、
    前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、
    前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、最適動きベクトルを取得するステップであって、前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含むステップと、
    前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、
    前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含み、
    前記オリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することは、
    前記オリジナル動きベクトルを中心として、探索範囲を２とし、前記オリジナル動きベクトル含む２５個の動きベクトルを探索し、前記２５個の動きベクトルを候補動きベクトルと確定することを含み、前記２５個の動きベクトルの探索順序は、｛Ｍｖ（－２，－２）、Ｍｖ（－１，－２）、Ｍｖ（０，－２）、Ｍｖ（１、－２）、Ｍｖ（２、－２）、Ｍｖ（－２、－１）、Ｍｖ（－１、－１）、Ｍｖ（０、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（－２、０）、Ｍｖ（－１、０）、Ｍｖ（０、０）、Ｍｖ（１、０）、Ｍｖ（２、０）、Ｍｖ（－２、１）、Ｍｖ（－１、１）、Ｍｖ（０、１）、Ｍｖ（１、１）、Ｍｖ（２、１）、Ｍｖ（－２、２）、Ｍｖ（－１、２）、Ｍｖ（０、２）、Ｍｖ（１、２）、Ｍｖ（２、２）｝である、
    符号化デバイス。
  12. 請求項１～８のいずれか１項に記載の方法を実現できるように構成された
    復号化装置。
  13. 現在のブロックに対して動きベクトルリファインメントモードを有効にする場合、前記現在のブロックに含まれる各サブブロックの予測値を確定し、前記現在のブロックに含まれる各サブブロックの予測値に基づいて、前記現在のブロックの予測値を確定することを、実現できるように構成された、符号化装置であって、
    前記現在のブロックに含まれるサブブロックのそれぞれに対して、予測値を確定することは、
    第１の参照フレームおよび第１のオリジナル動きベクトルと、第２の参照フレームおよび第２のオリジナル動きベクトルとを含む前記現在のブロックの動き情報を取得するステップと、
    前記現在のブロックの第１のオリジナル動きベクトルに基づいて前記サブブロックに対応する第１の参照ブロックを確定し、現在のブロックの第２のオリジナル動きベクトルに基づいて前記サブブロックに対応する第２の参照ブロックを確定するステップと、
    前記第１のオリジナル動きベクトル又は前記第２のオリジナル動きベクトルであるオリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することと、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記オリジナル動きベクトルに対応するコスト値と前記候補動きベクトルに対応するコスト値とを取得することと、前記オリジナル動きベクトルに対応するコスト値及び前記候補動きベクトルに対応するコスト値に基づいて、最適動きベクトルとして、前記オリジナル動きベクトルと前記候補動きベクトルとの中から１つの動きベクトルを選択することと、を含む、前記第１の参照ブロックの画素値及び前記第２の参照ブロックの画素値に基づいて、前記最適動きベクトルを取得するステップと、
    前記最適動きベクトルに基づいて、前記第１のオリジナル動きベクトルと前記第２のオリジナル動きベクトルとを調整し、前記第１のオリジナル動きベクトルに対応する第１の目標動きベクトル及び前記第２のオリジナル動きベクトルに対応する第２の目標動きベクトルを取得するステップと、
    前記第１の目標動きベクトル及び前記第２の目標動きベクトルに基づいて、前記サブブロックの予測値を確定するステップであって、前記第１の目標動きベクトルに基づいて、前記サブブロックに対応する第３の参照ブロックを確定し、前記第２の目標動きベクトルに基づいて、前記サブブロックに対応する第４の参照ブロックを確定することと、第３の参照ブロックの画素値及び第４の参照ブロックの画素値に基づいて重み付けを行い、前記サブブロックの予測値を取得することと、を含むステップと、を含み、
    前記オリジナル動きベクトルを中心として、前記オリジナル動きベクトルの周囲にある前記オリジナル動きベクトルを含む動きベクトルから動きベクトルを選択して候補動きベクトルと確定することは、
    前記オリジナル動きベクトルを中心として、探索範囲を２とし、前記オリジナル動きベクトル含む２５個の動きベクトルを探索し、前記２５個の動きベクトルを候補動きベクトルと確定することを含み、前記２５個の動きベクトルの探索順序は、｛Ｍｖ（－２，－２）、Ｍｖ（－１，－２）、Ｍｖ（０，－２）、Ｍｖ（１、－２）、Ｍｖ（２、－２）、Ｍｖ（－２、－１）、Ｍｖ（－１、－１）、Ｍｖ（０、－１）、Ｍｖ（１、－１）、Ｍｖ（２、－１）、Ｍｖ（－２、０）、Ｍｖ（－１、０）、Ｍｖ（０、０）、Ｍｖ（１、０）、Ｍｖ（２、０）、Ｍｖ（－２、１）、Ｍｖ（－１、１）、Ｍｖ（０、１）、Ｍｖ（１、１）、Ｍｖ（２、１）、Ｍｖ（－２、２）、Ｍｖ（－１、２）、Ｍｖ（０、２）、Ｍｖ（１、２）、Ｍｖ（２、２）｝である、
    符号化装置。
  14. プロセッサによって実行されると、前記プロセッサに請求項１～８のいずれか１項に記載の方法を実現させるコンピュータ命令が格納される、機械可読記憶媒体。
JP2021552234A 2019-03-11 2020-03-11 コーデック方法及び装置、符号化デバイス及び復号化デバイス Active JP7311619B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023111468A JP2023126940A (ja) 2019-03-11 2023-07-06 コーデック方法及び装置、符号化デバイス及び復号化デバイス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910182197.8 2019-03-11
CN201910182197.8A CN111698509B (zh) 2019-03-11 2019-03-11 一种编解码方法、装置及其设备
PCT/CN2020/078849 WO2020182161A1 (zh) 2019-03-11 2020-03-11 编解码方法与装置、编码端设备和解码端设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023111468A Division JP2023126940A (ja) 2019-03-11 2023-07-06 コーデック方法及び装置、符号化デバイス及び復号化デバイス

Publications (2)

Publication Number Publication Date
JP2022522376A JP2022522376A (ja) 2022-04-18
JP7311619B2 true JP7311619B2 (ja) 2023-07-19

Family

ID=68084067

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021552234A Active JP7311619B2 (ja) 2019-03-11 2020-03-11 コーデック方法及び装置、符号化デバイス及び復号化デバイス
JP2023111468A Pending JP2023126940A (ja) 2019-03-11 2023-07-06 コーデック方法及び装置、符号化デバイス及び復号化デバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023111468A Pending JP2023126940A (ja) 2019-03-11 2023-07-06 コーデック方法及び装置、符号化デバイス及び復号化デバイス

Country Status (12)

Country Link
US (1) US11902563B2 (ja)
EP (1) EP3941056A4 (ja)
JP (2) JP7311619B2 (ja)
KR (1) KR102619925B1 (ja)
CN (67) CN112468812B (ja)
AU (1) AU2020236452B2 (ja)
BR (1) BR112021017777A2 (ja)
CA (2) CA3131447C (ja)
MX (1) MX2021010608A (ja)
SG (1) SG11202109366VA (ja)
WO (3) WO2020182161A1 (ja)
ZA (2) ZA202106161B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468812B (zh) 2019-03-11 2022-07-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP7456441B2 (ja) * 2019-06-11 2024-03-27 ソニーグループ株式会社 画像処理装置及び画像処理方法
CN112135127B (zh) * 2019-11-05 2021-09-21 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及机器可读存储介质
CN112135145B (zh) * 2019-11-14 2022-01-25 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP4072135A4 (en) * 2019-12-02 2023-06-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD FOR PREDICTING ATTRIBUTE INFORMATION, ENCODER, DECODER AND STORAGE MEDIA
CN113709500B (zh) * 2019-12-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113709460B (zh) * 2020-03-25 2023-03-24 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113766222B (zh) * 2020-06-01 2023-03-24 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112738522A (zh) * 2020-12-17 2021-04-30 腾讯科技（深圳）有限公司 视频编码方法、装置
CN114650423B (zh) * 2020-12-30 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN116156174B (zh) * 2023-02-23 2024-02-13 格兰菲智能科技有限公司 数据编码处理方法、装置、计算机设备和存储介质
CN116074533B (zh) * 2023-04-06 2023-08-22 湖南国科微电子股份有限公司 运动矢量预测方法、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121506A1 (en) 2016-12-27 2018-07-05 Mediatek Inc. Method and apparatus of bilateral template mv refinement for video coding
JP2020053723A (ja) 2018-09-21 2020-04-02 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778190A (en) * 1995-07-21 1998-07-07 Intel Corporation Encoding video signals using multi-phase motion estimation
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
CN1181691C (zh) * 2003-01-24 2004-12-22 杭州国芯科技有限公司 视频运动估计方法
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
KR20050045746A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
US20050259878A1 (en) 2004-05-20 2005-11-24 Broadcom Corporation Motion estimation algorithm
EP1662799A3 (en) * 2004-11-30 2012-05-30 Humax Co., Ltd. Video down-sampling transcoding method and device
JP2006279573A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 符号化装置と方法、ならびに復号装置と方法
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
JP2008011158A (ja) * 2006-06-29 2008-01-17 Matsushita Electric Ind Co Ltd 動きベクトル探索方法及び動きベクトル探索装置
CN101188772B (zh) * 2006-11-17 2010-09-22 中兴通讯股份有限公司 一种视频解码的时域错误隐蔽方法
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
KR101403343B1 (ko) * 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
CN101477690B (zh) * 2008-12-30 2011-04-27 清华大学 一种视频帧序列中物体轮廓跟踪的方法和装置
US9654792B2 (en) * 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
KR20110017302A (ko) * 2009-08-13 2011-02-21 삼성전자주식회사 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
CN101699865B (zh) * 2009-10-28 2011-06-01 山东大学 一种块运动自适应的亚像素快速搜索方法
US8315310B2 (en) 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
CN101815218B (zh) * 2010-04-02 2012-02-08 北京工业大学 基于宏块特征的快速运动估计视频编码方法
US9300970B2 (en) * 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
CN102316317B (zh) * 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
CN101895762A (zh) * 2010-07-30 2010-11-24 天津大学 基于零检测和矢量滤波的帧频提升算法
CN102387360B (zh) * 2010-09-02 2016-05-11 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
PL2661892T3 (pl) * 2011-01-07 2022-08-16 Nokia Technologies Oy Przewidywanie ruchu w kodowaniu wideo
EP2479994B1 (en) * 2011-01-19 2017-03-15 BlackBerry Limited Method and device for improved multi-layer data compression
CN102611886A (zh) 2011-01-22 2012-07-25 华为技术有限公司 一种运动预测或补偿方法
CN102685504B (zh) * 2011-03-10 2015-08-19 华为技术有限公司 视频图像的编解码方法、编码装置、解码装置及其系统
KR101242560B1 (ko) * 2011-03-30 2013-03-19 한양대학교 산학협력단 탐색 영역 조정 장치 및 방법
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
CN102447904A (zh) * 2011-10-24 2012-05-09 成都虢电智能电力科技有限公司 一种快速对视频序列进行运动估计的方法
CN102395030B (zh) * 2011-11-18 2014-05-07 杭州海康威视数字技术股份有限公司 基于视频压缩码流的运动分析方法、码流转换方法及其装置
CN103260020A (zh) * 2012-02-18 2013-08-21 张新安 一种avs-m视频编码快速整像素运动估计方法
CN102769748B (zh) * 2012-07-02 2014-12-24 华为技术有限公司 运动矢量预测方法、装置及系统
CN102833583B (zh) * 2012-07-27 2015-07-01 北京视博云科技有限公司 一种视频图像的处理方法及装置
US9357195B2 (en) * 2012-08-16 2016-05-31 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
KR101560186B1 (ko) * 2013-03-18 2015-10-14 삼성전자주식회사 움직임 예측에 있어 적응적 탐색 범위 결정을 이용한 부호화, 복호화 방법 및 장치
CN103297778B (zh) * 2013-05-27 2017-04-19 华为技术有限公司 一种对图像进行编、解码的方法及设备
CN104244002B (zh) * 2013-06-14 2019-02-05 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
US20150036747A1 (en) 2013-07-30 2015-02-05 Electronics And Telecommunications Research Institute Encoding and decoding apparatus for concealing error in video frame and method using same
CN104427345B (zh) * 2013-09-11 2019-01-08 华为技术有限公司 运动矢量的获取方法、获取装置、视频编解码器及其方法
US10009629B2 (en) * 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
CN103974077B (zh) * 2014-05-14 2017-04-19 东南大学 一种用于h.264编码的整数运动估计快速搜索方法
CN105493505B (zh) * 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
CN107809642B (zh) 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
CN106331703B (zh) * 2015-07-03 2020-09-08 华为技术有限公司 视频编码和解码方法、视频编码和解码装置
EP3319317B1 (en) * 2015-07-30 2021-04-28 Huawei Technologies Co., Ltd. Video encoding and decoding method and device
EP3340620A4 (en) * 2015-08-23 2019-04-17 LG Electronics Inc. IMAGE PROCESSING METHOD BASED ON INTER-PREDICTION MODE AND APPARATUS THEREOF
WO2017036399A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
EP3364655A4 (en) * 2015-11-11 2018-10-10 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
CN105681807B (zh) * 2016-01-06 2018-11-02 福州瑞芯微电子股份有限公司 一种基于h264协议的分像素运动矢量计算方法和装置
US11153600B2 (en) 2016-02-08 2021-10-19 Sharp Kabushiki Kaisha Motion vector generation device, prediction image generation device, video decoding device, and video coding device
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
CN105939475A (zh) * 2016-06-06 2016-09-14 中国矿业大学 一种高质量边信息生成方法
CN116708784A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US10136155B2 (en) * 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
CN108134939B (zh) * 2016-12-01 2020-08-07 北京金山云网络技术有限公司 一种运动估计方法及装置
JP2018093346A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
US11051033B2 (en) * 2017-01-04 2021-06-29 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN108419082B (zh) * 2017-02-10 2020-09-11 北京金山云网络技术有限公司 一种运动估计方法及装置
CN107027029B (zh) * 2017-03-01 2020-01-10 四川大学 基于帧率变换的高性能视频编码改进方法
CN106878737B (zh) * 2017-03-02 2019-10-08 西安电子科技大学 高效视频编码中的运动估计加速方法
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
CN109005412B (zh) * 2017-06-06 2022-06-07 北京三星通信技术研究有限公司 运动矢量获取的方法及设备
US10477237B2 (en) * 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
CN109218733B (zh) * 2017-06-30 2022-03-29 华为技术有限公司 一种确定预测运动矢量预测的方法以及相关设备
WO2019001741A1 (en) 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
CN117615153A (zh) * 2017-08-29 2024-02-27 株式会社Kt 视频解码和编码方法及用于存储压缩视频数据的装置
WO2019084801A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 运动估计方法和装置
CN108259912A (zh) * 2018-03-28 2018-07-06 天津大学 一种分像素运动估计的并行实现方法
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
CN108833923B (zh) * 2018-06-20 2022-03-29 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN115250350B (zh) * 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
CN112468812B (zh) * 2019-03-11 2022-07-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121506A1 (en) 2016-12-27 2018-07-05 Mediatek Inc. Method and apparatus of bilateral template mv refinement for video coding
JP2020053723A (ja) 2018-09-21 2020-04-02 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fangdong Chen, and Li Wang，CE9: Unidirectional Template based DMVR and its Combination with Simplified Bidirectional DMVR (Test 9.2.10 and Test 9.2.11)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0188_v3，12th Meeting: Macao, CN，2018年10月，pp.1-5
Jianle Chen, Yan Ye, and Seung Hwan Kim，Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M1002-v1，13th Meeting: Marrakech, MA，2019年02月，pp.35-38
Semih Esenlik, et al.，CE9: DMVR with Motion Vector Difference Mirroring (Test 1.6)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0216-v3，11th Meeting: Ljubljana, SI，2018年07月，pp.1-5

Also Published As

Publication number Publication date
CN112954342A (zh) 2021-06-11
CN112492308A (zh) 2021-03-12
CN112954342B (zh) 2022-01-25
CN112954340B (zh) 2022-08-26
CN112866699B (zh) 2022-11-01
CN112866709B (zh) 2022-07-29
CN112954340A (zh) 2021-06-11
CN112866707A (zh) 2021-05-28
CN112866705B (zh) 2022-08-26
CN112532983A (zh) 2021-03-19
CN112468809A (zh) 2021-03-09
CN112866698A (zh) 2021-05-28
CN112954330A (zh) 2021-06-11
CN112672156B (zh) 2022-07-29
CN112969072B (zh) 2022-08-26
CN112511831A (zh) 2021-03-16
CN112954339A (zh) 2021-06-11
CN113709465A (zh) 2021-11-26
CN113709467B (zh) 2022-11-01
CN112866701A (zh) 2021-05-28
CA3131447C (en) 2024-03-19
CN112866709A (zh) 2021-05-28
CN113709469A (zh) 2021-11-26
CN112866699A (zh) 2021-05-28
CN113709468A (zh) 2021-11-26
CN112866698B (zh) 2022-08-26
MX2021010608A (es) 2021-09-28
CN112565759A (zh) 2021-03-26
CN112969071B (zh) 2022-08-26
SG11202109366VA (en) 2021-09-29
CN112954341A (zh) 2021-06-11
CA3131447A1 (en) 2020-09-17
CN112954333A (zh) 2021-06-11
CN112866700A (zh) 2021-05-28
CN112954329B (zh) 2022-08-26
CN112511826A (zh) 2021-03-16
CN112468812B (zh) 2022-07-01
WO2020182164A1 (zh) 2020-09-17
CN110312132B (zh) 2020-05-12
CN112468813A (zh) 2021-03-09
CN113709473B (zh) 2022-11-25
CN113709467A (zh) 2021-11-26
CN112866703A (zh) 2021-05-28
CN112511828B (zh) 2022-07-29
CN112954335B (zh) 2022-09-30
JP2023126940A (ja) 2023-09-12
CN112954325A (zh) 2021-06-11
CN111698509B (zh) 2022-09-30
CN112866703B (zh) 2022-09-30
CN112468811B (zh) 2022-07-01
BR112021017777A2 (pt) 2021-11-16
CN112866702A (zh) 2021-05-28
WO2020182162A1 (zh) 2020-09-17
CN112468814A (zh) 2021-03-09
CN112866708B (zh) 2022-09-30
CN113709475A (zh) 2021-11-26
CN112954332A (zh) 2021-06-11
CN112866701B (zh) 2022-08-26
CN112954341B (zh) 2022-08-26
CN110312132A (zh) 2019-10-08
CN112954339B (zh) 2022-08-26
CN113709472B (zh) 2022-11-01
CN112511830A (zh) 2021-03-16
CN112954326A (zh) 2021-06-11
CN112954334A (zh) 2021-06-11
CN112866706A (zh) 2021-05-28
CN112969070B (zh) 2022-08-26
CN112887715B (zh) 2022-03-25
CN113709466B (zh) 2022-11-01
CA3228568A1 (en) 2020-09-17
ZA202106161B (en) 2024-01-31
CN113709465B (zh) 2022-11-01
CN112887716B (zh) 2022-05-31
CN112969069A (zh) 2021-06-15
CN113709472A (zh) 2021-11-26
CN112954331A (zh) 2021-06-11
CN110557644B (zh) 2020-11-06
CN112511827A (zh) 2021-03-16
CN112887716A (zh) 2021-06-01
CN112954338A (zh) 2021-06-11
CN113709474A (zh) 2021-11-26
CN112511827B (zh) 2022-07-01
CN112954331B (zh) 2022-07-29
CN112866708A (zh) 2021-05-28
US11902563B2 (en) 2024-02-13
JP2022522376A (ja) 2022-04-18
CN112954335A (zh) 2021-06-11
CN112954325B (zh) 2022-09-30
CN113709471A (zh) 2021-11-26
CN112954327B (zh) 2022-09-30
CN113709468B (zh) 2022-11-01
ZA202209597B (en) 2022-12-21
CN112866705A (zh) 2021-05-28
WO2020182161A1 (zh) 2020-09-17
CN112969070A (zh) 2021-06-15
CN112511829B (zh) 2022-07-01
CN112954326B (zh) 2022-09-30
KR20210129206A (ko) 2021-10-27
CN112954327A (zh) 2021-06-11
CN112954336A (zh) 2021-06-11
CN113709469B (zh) 2022-11-01
CN112866704A (zh) 2021-05-28
CN112954338B (zh) 2022-08-26
CN112954329A (zh) 2021-06-11
CN113709470A (zh) 2021-11-26
CN112954328B (zh) 2022-08-26
CN112954336B (zh) 2022-09-30
CN112468812A (zh) 2021-03-09
CN112468809B (zh) 2022-07-01
CN111698509A (zh) 2020-09-22
US20220167004A1 (en) 2022-05-26
CN112672156A (zh) 2021-04-16
CN112887715A (zh) 2021-06-01
CN112468810A (zh) 2021-03-09
CN113709470B (zh) 2022-11-01
CN113709474B (zh) 2022-11-01
CN112954337A (zh) 2021-06-11
KR20240005123A (ko) 2024-01-11
CN113709475B (zh) 2022-11-01
CN112511825A (zh) 2021-03-16
CN112866700B (zh) 2022-07-29
CN112866704B (zh) 2022-07-29
CN112511828A (zh) 2021-03-16
CN112954332B (zh) 2022-08-26
CN110557644A (zh) 2019-12-10
CN113709473A (zh) 2021-11-26
CN112866707B (zh) 2022-01-25
CN112969069B (zh) 2022-08-26
CN112866706B (zh) 2022-07-29
AU2020236452A1 (en) 2021-09-23
CN112954328A (zh) 2021-06-11
CN113709466A (zh) 2021-11-26
CN112969072A (zh) 2021-06-15
CN112511829A (zh) 2021-03-16
KR102619925B1 (ko) 2023-12-29
EP3941056A1 (en) 2022-01-19
AU2020236452B2 (en) 2023-03-30
EP3941056A4 (en) 2022-10-05
CN112866702B (zh) 2022-03-01
CN112532983B (zh) 2022-07-01
CN112954337B (zh) 2022-07-29
CN112969071A (zh) 2021-06-15
CN112954333B (zh) 2022-07-01
CN113709471B (zh) 2022-11-01
CN112468811A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
JP7311619B2 (ja) コーデック方法及び装置、符号化デバイス及び復号化デバイス
JP2022550592A (ja) 符号化及び復号方法、装置及びデバイス

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230706

R150 Certificate of patent or registration of utility model

Ref document number: 7311619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150