WO2019049684A1 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- WO2019049684A1 WO2019049684A1 PCT/JP2018/031284 JP2018031284W WO2019049684A1 WO 2019049684 A1 WO2019049684 A1 WO 2019049684A1 JP 2018031284 W JP2018031284 W JP 2018031284W WO 2019049684 A1 WO2019049684 A1 WO 2019049684A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- block
- matching
- motion vector
- unit
- sub
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Definitions
- FRUC Frame Rate Up Conversion
- JVET Joint Video Exploration Team
- the motion vector information is information including at least one of the motion vector candidate and the differential motion vector described above.
- the prediction unit 30 acquires, as a reference image, a decoded image of a time different from the block to be encoded, which is stored in the frame memory 29, based on the mode information pred_mode_flag of the prediction information Pinfo and the reference image identification information.
- the prediction unit 30 performs inter prediction processing in a mode determined by the FRUC_flag on the reference image based on the FRUC_flag, the FRUC_Mode_flag, the motion vector information, and the like.
- the horizontal direction indicates time
- the picture PIC12 is a frame at a time earlier than the picture PIC11 in display order
- the picture PIC13 is new time in display order than the picture PIC11 It is a frame of
- TD0 indicates the time distance between the picture PIC11 and the picture PIC12
- TD1 indicates the time distance between the picture PIC11 and the picture PIC13.
- the time distance TD0 and the time distance TD1 are equal.
- an area TM12-1 and an area TM12-2 having the same size and shape as the area TM11-1 and the area TM11-2 are used as templates.
- template matching is used to derive motion information of a CU
- template matching is also used in subblocks to derive motion information of subblocks.
- FIG. 5 is a diagram showing, among the subblocks, a subblock in which a template is present and a subblock in which no template is present.
- parts corresponding to those in FIG. 4 are given the same reference numerals, and the description thereof will be omitted as appropriate.
- the subblocks in which the template exists and the subblocks in which the template do not exist are hatched differently.
- the prediction unit 30 has a configuration shown in FIG. 6 as a configuration for deriving a motion vector by template matching or bilateral matching.
- the difference between the finally obtained motion vector and the adjacent motion vector, which is a candidate for the motion vector used for deriving the motion vector, is a CU to be encoded Or sub-block) is calculated.
- the motion vector derivation unit 72 calculates the difference between the difference calculation blocks of the two reference pictures by bilateral matching, and calculates the cost obtained from the calculation result . For example, the cost obtained for the difference calculation block is made smaller as the difference for the difference calculation block is smaller.
- the prediction unit 30 sets an image generated by motion compensation using each of the blocks indicated by the motion vector, which is motion information in each of the two reference pictures, as a predicted image P.
- the prediction unit 30 sets an image of a block indicated by a motion vector, which is motion information in a reference picture, as a predicted image P.
- step S172 the motion vector deriving unit 72 calculates, for each candidate of the start point, the difference between difference calculation blocks determined by the candidate of the start point in two reference pictures by bilateral matching.
- the motion vector derivation unit 72 calculates the cost obtained from the calculation result of the difference. In this case, reference pictures at different times which are decoded images read from the frame memory 29 are used to perform bilateral matching.
- step S175 the prediction control unit 51 divides the CU to be encoded into sub blocks. For example, a CU to be encoded is divided into 16 subblocks.
- the image decoding apparatus 201 shown in FIG. 14 decodes the coded stream generated by the image coding apparatus 11 by a decoding method corresponding to the coding method in the image coding apparatus 11.
- the image decoding apparatus 201 implements the technology proposed for HEVC and the technology proposed for JVET.
- FIG. 14 shows main processing units, data flows, and the like, and the items shown in FIG. 14 are not limited to all. That is, in the image decoding apparatus 201, there may be a processing unit that is not shown as a block in FIG. 14, or there may be processing or data flow that is not shown as an arrow or the like in FIG.
- the prediction unit 216 supplies the predicted image P of the block to be decoded generated as a result of the intra prediction process or the inter prediction process to the calculation unit 214.
- the decoding unit 211 supplies the encoding parameter to each unit of the image decoding apparatus 201, and supplies the quantization conversion coefficient level level to the inverse quantization unit 212.
- step S212 the decoding unit 211 divides the CTU based on the split flag included in the coding parameter, and sets a block corresponding to each quantized transform coefficient level level, that is, a CU or a sub block as a block to be decoded.
- the processing of the subsequent steps S213 to S217 is performed for each block to be decoded.
- the image decoding apparatus 201 decodes the block to be decoded according to the coding parameter. By decoding the image in such a proper mode, it is possible to obtain a good quality image even with a coded stream with a small amount of code.
- step S 251 the inverse quantization unit 212 inversely quantizes the quantized transformation coefficient level level obtained by the process of step S 211 in FIG. 16 to derive a transformation coefficient Coeff_IQ, and supplies the transformation coefficient Coeff_IQ to the inverse transformation unit 213.
- FRUC_Mode_flag is read out from the coded stream by the decoding unit 211 in step S211 in FIG.
- the prediction information Pinfo including the read FRUC_Mode_flag is supplied from the decoding unit 211 to the prediction unit 216.
- the prediction unit 216 acquires the FRUC_Mode_flag from the prediction information Pinfo thus supplied.
- step S256 the prediction unit 216 derives motion information by template matching. Thereby, a motion vector is obtained as motion information of the block to be decoded.
- step S258 the process of step S258 is performed thereafter.
- the prediction unit 216 performs motion compensation based on the motion information derived by the process of step S256 or step S257, that is, the motion vector to generate a predicted image P, and supplies the predicted image P to the calculation unit 214.
- steps S311 to S316 are the same as the processes of steps S171 to S176 of FIG. 13, and thus the description thereof will be omitted.
- the size of the sub block to which each block matching in the case of specifying by the size corresponds is shown.
- the size corresponds to 16 or more subblocks.
- the size corresponds to four or more subblocks.
- the size of the sub block here is a size in units of pixels.
- the designation of the size of the sub block or the number of divisions of the CU is performed by the image encoding device 11 at the time of block division of motion information derivation processing by template matching shown in FIG. 24 by the prediction unit 30 of FIG.
- the size of the sub block for each block matching or the division number of CU described above may be set in advance in the split flag of the prediction information Pinfo.
- the split flag of the prediction information Pinfo is referred to at the time of block division.
- the candidate acquisition unit 251 performs the process of step S371. Also, the motion vector derivation unit 252 performs the processing of steps S372 to S374, and the prediction control unit 231 performs the processing of steps S375 to S377.
- the bilateral matching processing unit 233 performs the process of step S378, the template matching processing unit 232 performs the process of step S379, and the prediction control unit 231 performs the process of step S380.
- POC can be obtained from slice_pic_order_cnt_lsb information of a slice header in the case of HEVC as an example.
- a of FIG. 30 shows an example of template matching in the case where the POC distance is one.
- the size of the corresponding sub-block is 32. If the POC distance is 2, the size of the corresponding sub-block is 16. When the POC distance is 3, the size of the corresponding sub-block is 8. When the POC distance is 4 or more, the size of the corresponding sub-block is 4.
- the size of the subblock is a size in units of pixels.
- step S405 in the motion information derivation process by template matching in FIG. 24 and in step S175 in the motion information derivation process by bilateral matching in FIG.
- FIG. 35 is a diagram showing a correspondence example of template matching, CU size, POC distance, and division into sub blocks.
- FIG. 36 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
- the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
Abstract
本技術は、動き補償の精度を高くすることができるようにする画像処理装置および方法に関する。 画像処理装置は、参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、そのブロックを構成するサブブロックの一部の動きベクトルを、第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する予測部を備える。本技術は画像符号化装置および画像復号装置に適用することができる。
Description
本技術は画像処理装置および方法に関し、特に、動き補償の精度を高くすることができるようにした画像処理装置および方法に関する。
例えば、画像の符号化や復号に関する技術としてFRUC（Frame Rate Up Conversion）と呼ばれる技術が提案されている。このFRUC技術はJVET（Joint Video Exploration Team）で提案されている技術であり、FRUC技術ではインター予測の際にデコーダ側で動き情報の予測が行われる（例えば、非特許文献１参照）。
FRUC技術では、デコーダにおいてテンプレートマッチングまたはバイラテラルマッチングによってブロックマッチング処理が行われ、動き情報が導出される。このようにデコーダにおいて動き情報を導出すれば、ビットストリームに格納する動き情報に関する情報を削減することができるようになる。
Joint Video Exploration Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, "Algorithm Description of Joint Exploration Test Model 4" , JVET-D1001_v3, 4th Meeting: Chengdu, CN, 15-21 October 2016
上述したFRUC技術では、Coding Unit(CU)でブロックマッチングを用いて動き情報の導出を行い、続いて、ブロックを分割してサブブロックの単位でブロックマッチングを行って、サブブロックの単位で動き情報の導出が行われていた。
その際、CUで行われたブロックマッチングの方式が、サブブロックでも採用されるため、ブロックにおけるサブブロックの位置によっては、動きベクトルの導出精度が低くなってしまうことがあった。
本技術は、このような状況に鑑みてなされたものであり、動き補償の精度を高くすることができるようにするものである。
本技術の第１の側面の画像処理装置は、参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する予測部を備える。
本技術の第１の側面においては、参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルが導出される。また、前記ブロックを構成するサブブロックの一部の動きベクトルが、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出される。
本技術の第２の側面の画像処理装置は、参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する予測部を備える。
本技術の第２の側面においては、参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルが導出される。また、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割が禁止されるか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数が加減される。
本技術によれば、動き補償の精度を高くすることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、図面を参照して、本技術を適用した実施の形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（テンプレートマッチングの場合のサブブロックのブロックマッチング）
２．第２の実施の形態（テンプレートマッチングにおけるサブブロックのサイズ）
３．第３の実施の形態（バイラテラルマッチングの場合のサブブロックのブロックマッチング）
４．第４の実施の形態（サブブロックのサイズとPOC距離）
５．第５の実施の形態（CUのサイズと分割数）
６．第６の実施の形態（ブロックマッチング種類およびCUのサイズと分割数）
７．コンピュータの構成例
１．第１の実施の形態（テンプレートマッチングの場合のサブブロックのブロックマッチング）
２．第２の実施の形態（テンプレートマッチングにおけるサブブロックのサイズ）
３．第３の実施の形態（バイラテラルマッチングの場合のサブブロックのブロックマッチング）
４．第４の実施の形態（サブブロックのサイズとPOC距離）
５．第５の実施の形態（CUのサイズと分割数）
６．第６の実施の形態（ブロックマッチング種類およびCUのサイズと分割数）
７．コンピュータの構成例
〈第１の実施の形態〉
〈画像符号化装置の構成例〉
本技術を適用した画像処理装置としての画像符号化装置について説明する。
〈画像符号化装置の構成例〉
本技術を適用した画像処理装置としての画像符号化装置について説明する。
図１は、本技術を適用した画像符号化装置の一実施の形態の構成例を示す図である。
図１に示す画像符号化装置１１は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）のように、画像とその予測画像との予測残差を符号化するエンコーダである。例えば、画像符号化装置１１は、HEVCの技術やJVETにて提案された技術を実装している。
画像符号化装置１１では、処理対象となる動画像がインター予測モードまたはイントラ予測モードにより符号化される。動画像の符号化時や復号時には、動画像を構成するフレームに対応するピクチャがスライスに分割され、さらにそのスライスがCU（Coding Unit）と呼ばれる処理単位（符号化単位）に分割されてCU単位で符号化および復号される。CUは、PU(Prediction Unit)と呼ばれるブロックに分割される。次世代の規格化で検討中の技術においては、CUとPUは同じブロックサイズになっているため、特に断りのない場合、CU（＝PU）として説明する。
CUは、最大符号化単位であるCTU(Coding Tree Unit)を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。以下では、特に断りのない場合には、CTUを単にCUと称し、CTUを分割して得られたCUをサブブロックと称することとする。また、以下ではCUとサブブロックを特に区別する必要がないときには、単にブロックとも称することとする。
さらに、インター予測モードには、例えば、AMVP（Advanced Motion Vector Prediction）モードや、FRUC(Frame Rate Up Conversion)モードなどの複数のモードがあり、それらの複数のモードのうちのいずれかのモードに従って符号化および復号が行われる。
AMVPモードは、ピクチャ内のブロックについて、予測残差、動きベクトルを得るための動きベクトルの候補、および差分動きベクトルがビットストリームに格納されるモードである。すなわち、動き情報として動きベクトルの候補と差分動きベクトルがビットストリームに格納される。
ここでは動きベクトルの候補を示す情報として、処理対象のブロックの周囲にある複数の周辺領域のうちの１つの周辺領域を示すインデックス等がビットストリームに格納されている。AMVPモードでは、復号時には、動きベクトルの候補とされた周辺領域の動きベクトルに対して差分動きベクトルを加算して得られるベクトルが処理対象のブロックの動きベクトルとして用いられる。
FRUCモードは、ピクチャ内のブロックについて、テンプレートマッチングとバイラテラルマッチングのいずれにより動き情報を導出するかを示すFRUC_Mode_flagと、予測残差と、差分動きベクトルとがビットストリームに格納されるモードである。このFRUCモードは、AMVPモードを基本としてデコーダ側で動き情報を導出するモードである。また、FRUCモードでは、必ずしも差分動きベクトルがビットストリームに格納されなくてもよい。
なお、図１においては、処理部やデータの流れ等の主なものを示しており、図１に示されるものが全てとは限らない。つまり、画像符号化装置１１において、図１においてブロックとして示されていない処理部が存在したり、図１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
画像符号化装置１１は、制御部２１、演算部２２、変換部２３、量子化部２４、符号化部２５、逆量子化部２６、逆変換部２７、演算部２８、フレームメモリ２９、および予測部３０を有する。画像符号化装置１１は、入力されるフレーム単位の動画像であるピクチャに対してCUごとまたはサブブロックごとに符号化を行う。
具体的には、画像符号化装置１１の制御部２１は、外部からの入力等に基づいて、ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等からなる符号化パラメータを設定する。
ヘッダ情報Hinfoは、例えば、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、スライスヘッダ（SH）等の情報を含む。
予測情報Pinfoには、例えば、サブブロック（PU（Prediction Unit））の形成時の各分割階層における水平方向または垂直方向の分割の有無を示すsplit flagが含まれる。また、予測情報Pinfoには、ブロックごとに、そのブロックの予測処理がイントラ予測処理であるか、またはインター予測処理であるかを示すモード情報pred_mode_flagが含まれる。
モード情報pred_mode_flagがインター予測処理を示す場合、予測情報Pinfoには、FRUC_flag、FRUC_Mode_flag、動きベクトル情報、参照画像（参照ピクチャ）を特定する参照画像特定情報などが含まれる。
FRUC_flagは、FRUCモードであるか否かを示すフラグ情報であり、例えばFRUCモードである場合にはFRUC_flagの値は１とされ、FRUCモードでない場合にはFRUC_flagの値は０とされる。
FRUC_Mode_flagは、FRUCモードである場合に、テンプレートマッチングまたはバイラテラルマッチングのいずれにより動き情報を導出するかを示すフラグ情報である。例えばバイラテラルマッチングにより動き情報を導出する場合にはFRUC_Mode_flagの値は1とされ、テンプレートマッチングにより動き情報を導出する場合にはFRUC_Mode_flagの値は0とされる。
動きベクトル情報は、上述した動きベクトルの候補と差分動きベクトルのうちの少なくともいずれか一方からなる情報である。
モード情報pred_mode_flagがイントラ予測処理を示す場合、予測情報Pinfoには、そのイントラ予測処理のモードであるイントラ予測モードを示すイントラ予測モード情報などが含まれる。もちろん、予測情報Pinfoの内容は任意であり、上述した例以外のどのような情報がこの予測情報Pinfoに含まれるようにしてもよい。
変換情報Tinfoには、TB(Transform Block)と呼ばれる処理単位（変換ブロック）のサイズを示すTBSizeなどが含まれる。輝度（Ｙ）および色差（Cb,Cr）ごとのTBにより、直交変換処理の処理単位であるTU（Transform Unit）が構成されるが、ここではTUはサブブロックと同じであるとされる。
また、画像符号化装置１１では、符号化対象となる動画像のピクチャが演算部２２に供給される。
演算部２２は、入力されるピクチャを順に符号化対象のピクチャとし、予測情報Pinfoのsplit flagに基づいて、符号化対象のピクチャに対して符号化対象のブロック、すなわちCUまたはサブブロックを設定する。演算部２２は、符号化対象のブロックの画像Ｉ（以下、カレントブロックとも称する）から、予測部３０から供給されたブロック単位の予測画像Ｐを減算して予測残差Ｄを求め、変換部２３に供給する。
変換部２３は、制御部２１から供給された変換情報Tinfoに基づいて、演算部２２から供給された予測残差Ｄに対して直交変換等を行い、変換係数Coeffを導出し、量子化部２４に供給する。
量子化部２４は、制御部２１から供給された変換情報Tinfoに基づいて、変換部２３から供給された変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部２４は、量子化変換係数レベルlevelを符号化部２５および逆量子化部２６に供給する。
符号化部２５は、量子化部２４から供給された量子化変換係数レベルlevel等を所定の方法で符号化する。例えば、符号化部２５は、シンタックステーブルの定義に沿って、制御部２１から供給された符号化パラメータと、量子化部２４から供給された量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換する。符号化パラメータは、ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等からなる。そして、符号化部２５は、各シンタックス値を算術符号化等により符号化する。
符号化部２５は、例えば符号化の結果得られた各シンタックス要素のビット列である符号化データを多重化し、符号化ストリームとして出力する。
逆量子化部２６は、制御部２１から供給された変換情報Tinfoに基づいて、量子化部２４から供給された量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。逆量子化部２６は、変換係数Coeff_IQを逆変換部２７に供給する。この逆量子化部２６により行われる逆量子化は、量子化部２４により行われる量子化の逆処理であり、後述する画像復号装置において行われる逆量子化と同様の処理である。
逆変換部２７は、制御部２１から供給された変換情報Tinfoに基づいて、逆量子化部２６から供給された変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ’を導出する。逆変換部２７は、予測残差Ｄ’を演算部２８に供給する。
この逆変換部２７により行われる逆直交変換は、変換部２３により行われる直交変換の逆処理であり、後述する画像復号装置において行われる逆直交変換と同様の処理である。
演算部２８は、逆変換部２７から供給された予測残差Ｄ’と、予測部３０から供給された、その予測残差Ｄ’に対応する予測画像Ｐとを加算して局所的な復号画像Recを導出する。演算部２８は、局所的な復号画像Recをフレームメモリ２９に供給する。
フレームメモリ２９は、演算部２８から供給された局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ２９内のバッファへ格納する。
フレームメモリ２９は、予測部３０により指定される復号画像を参照画像（参照ピクチャ）としてバッファより読み出し、予測部３０に供給する。また、フレームメモリ２９は、復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどを、フレームメモリ２９内のバッファに格納するようにしてもよい。
予測部３０は、予測情報Pinfoのモード情報pred_mode_flagに基づいて、フレームメモリ２９に格納された、符号化対象のブロックと同一時刻の復号画像を参照画像として取得する。そして、予測部３０は、参照画像を用いて符号化対象のブロックに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。
また、予測部３０は、予測情報Pinfoのモード情報pred_mode_flagと参照画像特定情報に基づいて、フレームメモリ２９に格納された、符号化対象のブロックとは異なる時刻の復号画像を参照画像として取得する。予測部３０は、FRUC_flag、FRUC_Mode_flag、動きベクトル情報等に基づいて、参照画像に対してFRUC_flagにより定まるモードでのインター予測処理を行う。
予測部３０は、イントラ予測処理またはインター予測処理の結果生成された符号化対象のブロックの予測画像Ｐを演算部２２および演算部２８に供給する。
〈FRUCモードについて〉
ここで、FRUCモードについて説明する。
ここで、FRUCモードについて説明する。
例えばインター予測では、動き補償を行うためにデコーダ側において動きベクトルや参照インデックスといった動き情報が必要となる。
通常、動き情報は、動きベクトルの候補との差分動きベクトル情報といった形で符号化ストリームに含められ、デコーダは動きベクトルの候補と差分動きベクトル情報に基づいて動きベクトルを再構成する。
符号化ストリームに差分動きベクトルを格納すると、符号化ストリームの符号量が増加することになるため、符号化効率が悪化することになる。
FRUC技術は、動き情報の予測、すなわち動き情報の導出の方法の１つである。FRUC技術によりデコーダ側で動き情報を導出することで、高精度に動きベクトルを予測できるようになるだけでなく動き情報の符号量を削減することができ、符号化効率を向上させることができる。
上述したようにFRUCモードでは、エンコーダ側においてバイラテラルマッチングとテンプレートマッチングのうちのいずれかのブロックマッチングを選択することができ、デコーダ側ではエンコーダ側で指定された方法により動き情報を導出することになる。
バイラテラルマッチングでは、図２に示すようにピクチャPIC11と、ピクチャPIC12およびピクチャPIC13とが用いられて、ピクチャPIC11上のカレントブロックCB11の動きベクトルが導出される。ピクチャPIC11は、符号化対象のピクチャ（フレーム）である。ピクチャPIC12およびピクチャPIC13は、参照ピクチャである。
なお、図２において横方向は時間を示しており、この例ではピクチャPIC12は、ピクチャPIC11よりも表示順で古い時刻のフレームとなっており、ピクチャPIC13は、ピクチャPIC11よりも表示順で新しい時刻のフレームとなっている。
特に、ピクチャPIC12は参照画像特定情報としてのリファレンスリストRef0により参照ピクチャとして示されるピクチャ（フレーム）である。これに対してピクチャPIC13は参照画像特定情報としてのリファレンスリストRef1により参照ピクチャとして示されるピクチャ（フレーム）である。
ここで、リファレンスリストRef0は、基本的には符号化対象のピクチャPIC11よりも古いフレームを参照ピクチャとして示すリストである。リファレンスリストRef0では符号化対象のピクチャを含む複数のピクチャを参照ピクチャとして指定することができる。
同様に、リファレンスリストRef1は、基本的には符号化対象のピクチャPIC11よりも新しいフレームを参照ピクチャとして示すリストである。リファレンスリストRef1では符号化対象のピクチャを含む複数のピクチャを参照ピクチャとして指定することができる。
また、図２に示す例では、TD0はピクチャPIC11とピクチャPIC12との間の時間距離を示しており、TD1はピクチャPIC11とピクチャPIC13との間の時間距離を示している。ここでは、例えば時間距離TD0と時間距離TD1は等しい距離とされる。
符号化対象であるカレントブロックCB11の動きベクトルの導出時には、カレントブロックCB11の中心を通る直線L11について、ブロックBL11と、ブロックBL12とが選択される。ブロックBL11は、ピクチャPIC12における直線L11との交点を中心とするブロックであり、ブロックBL12は、ピクチャPIC13における直線L11との交点を中心とするブロックである。そして、ブロックBL11とブロックBL12との差分が算出される。
さらに、サーチレンジ内において、ブロックBL11とブロックBL12の位置がずらされながら、全てのブロックBL11とブロックBL12の組み合わせについて差分が計算され、差分が最も小さくなる組み合わせが探索される。そして、最も差分が小さくなる組み合わせのブロックを示すベクトルが求めたい動きベクトルとされる。
なお、このとき、ブロックBL11の中心とブロックBL12の中心とを結ぶ直線が、必ずカレントブロックCB11の中心を通るように各ブロックが選択される。つまり、カレントブロックCB11を直線的に結ぶブロックBL11およびブロックBL12の差分が計算される。
この例では、カレントブロックCB11の動きベクトルとして、図中、矢印により表される動きベクトルMV0と動きベクトルMV1とが得られている。
動きベクトルMV0は、カレントブロックCB11の中心位置と同じ位置関係のピクチャPIC12上の位置を始点とし、ブロックBL11の中心の位置を終点とするベクトルである。同様に、動きベクトルMV1は、カレントブロックCB11の中心位置と同じ位置関係のピクチャPIC13上の位置を始点とし、ブロックBL12の中心の位置を終点とするベクトルである。
このようにバイラテラルマッチングでは、ピクチャPIC12とピクチャPIC13との間ではテクスチャが直線状に動くというモデルを仮定しており、等速で運動（移動）する物体がこのモデルに当てはまる。
以上のようにしてバイラテラルマッチングでは、差分の計算対象となるブロックを変化させながら、符号化対象のピクチャとは表示時刻が異なり、かつ互いに表示時刻が異なる２つの参照ピクチャを用いたブロックマッチングにより動きベクトルが導出される。これにより、エンコーダ側だけでなくデコーダ側においても高精度に動きベクトルを導出（予測）することができる。
また、テンプレートマッチングでは、例えば図３に示すように符号化対象のピクチャと、符号化対象のピクチャとは表示時刻の異なる参照ピクチャとの間でブロックマッチングが行われる。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図３に示す例では、ピクチャPIC11のカレントブロックCB11が符号化対象となっており、このピクチャPIC11と、ピクチャPIC12との間でブロックマッチングが行われる。
ブロックマッチングでは、ピクチャPIC11上のカレントブロックCB11に隣接する領域TM11-1および領域TM11-2がブロックマッチング、つまり差分の計算に用いられる領域であるテンプレートとされる。なお、以下、領域TM11-1および領域TM11-2を特に区別する必要のない場合、単に領域TM11とも称することとする。
この領域TM11は、カレントブロックCB11が処理対象となった時点で、既に符号化済みまたは復号済みとなっている領域である。
また、参照ピクチャであるピクチャPIC12では、領域TM11-1および領域TM11-2と同じ大きさおよび形状である領域TM12-1および領域TM12-2がテンプレートとされる。
なお、領域TM12-1の形状および大きさは、領域TM11-1の形状および大きさと同じであり、領域TM12-2の形状および大きさは、領域TM11-2の形状および大きさと同じである。さらに、領域TM12-1と領域TM12-2の相対的な位置関係は、領域TM11-1と領域TM11-2の相対的な位置関係と同じとなっている。
以下、領域TM12-1および領域TM12-2を特に区別する必要のない場合、単に領域TM12とも称することとする。
テンプレートマッチングでは、所定のサーチレンジ内で領域TM12の位置をずらしながら、各位置について同じ形状の領域TM11と領域TM12との差分を計算し、差分が最も小さくなる領域TM12の位置が探索される。
この例では、差分の計算時には領域TM11-1と領域TM12-1の差分、および領域TM11-2と領域TM12-2の差分が計算されることになる。
そして、差分が最も小さくなるときの領域TM12の位置を示すベクトルが求めたい動きベクトルとされる。この例では、カレントブロックCB11の動きベクトルとして、図中、矢印により表される動きベクトルMV0が得られている。
例えばカレントブロックCB11と同じ形状および大きさであり、ピクチャPIC12における領域TM12との相対的な位置関係が領域TM11とカレントブロックCB11の相対的な位置関係と同じであるブロックをブロックBL31とする。また、領域TM12およびブロックBL31の位置が図３に示されている位置となっているときに領域TM11と領域TM12の差分が最小となるとする。
この場合、カレントブロックCB11の中心位置と同じ位置関係のピクチャPIC12上の位置を始点とし、ブロックBL31の中心の位置を終点とするベクトルが動きベクトルMV0となる。
以上のようにしてテンプレートマッチングでは、差分の計算対象となる参照ピクチャ上のテンプレート位置を変化させながら、符号化対象のピクチャとは表示時刻が異なる１つの参照ピクチャを用いたブロックマッチングにより動きベクトルが導出される。これにより、エンコーダ側だけでなくデコーダ側においても高精度に動きベクトルを導出（予測）することができる。
〈テンプレートマッチングの場合のサブブロックの処理〉
JVETで検討されているFRUCモードでは、CUで上述したブロックマッチングを行い、続いて、ブロックをさらに分割して、サブブロック単位でブロックマッチングを行い、動き情報をサブブロック単位で導出している。
JVETで検討されているFRUCモードでは、CUで上述したブロックマッチングを行い、続いて、ブロックをさらに分割して、サブブロック単位でブロックマッチングを行い、動き情報をサブブロック単位で導出している。
すなわち、CUの動き情報導出にテンプレートマッチングを用いる場合、サブブロックにおいてもテンプレートマッチングが用いられて、サブブロックの動き情報が導出されている。
図４は、サブブロック単位で行われるテンプレートマッチングの例を示す図である。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図４の左側には、カレントブロックCB11と、カレントブロックCB11に隣接し、テンプレートマッチングに用いられる領域TM11-1および領域TM11-2が示されている。
図４の右側には、カレントブロックCB11が16分割されて得られたサブブロックSCB11-1乃至SCB11-16が示されている。サブブロックSCB11-1は、カレントブロックCB11の左上に位置するサブブロックである。サブブロックSCB11-2は、サブブロックSCB11-1の右側に位置するサブブロックである。サブブロックSCB11-3は、サブブロックSCB11-2の右側に位置するサブブロックである。サブブロックSCB11-4は、サブブロックSCB11-3の右側に位置するサブブロックである。
サブブロックSCB11-1乃至サブブロックSCB11-4は、カレントブロックCB11の最上部に位置するサブブロックである。
サブブロックSCB11-5は、サブブロックSCB11-1の下に位置するサブブロックである。サブブロックSCB11-6は、サブブロックSCB11-5の右側に位置するサブブロックである。サブブロックSCB11-7は、サブブロックSCB11-6の右側に位置するサブブロックである。サブブロックSCB11-8は、サブブロックSCB11-7の右側に位置するサブブロックである。
サブブロックSCB11-9は、サブブロックSCB11-5の下に位置するサブブロックである。サブブロックSCB11-10は、サブブロックSCB11-9の右側に位置するサブブロックである。サブブロックSCB11-11は、サブブロックSCB11-10の右側に位置するサブブロックである。サブブロックSCB11-12は、サブブロックSCB11-11の右側に位置するサブブロックである。
サブブロックSCB11-13は、サブブロックSCB11-9の下に位置するサブブロックである。サブブロックSCB11-14は、サブブロックSCB11-13の右側に位置するサブブロックである。サブブロックSCB11-15は、サブブロックSCB11-14の右側に位置するサブブロックである。サブブロックSCB11-16は、サブブロックSCB11-15の右側に位置するサブブロックである。
サブブロックSCB11-1、SCB11-5、SCB11-9、およびSCB11-13は、カレントブロックCB11の最左部に位置するブロックである。
また、カレントブロックCB11の左上に位置するサブブロックSCB11-1に隣接し、サブブロックSCB11-1のテンプレートマッチングに用いられるテンプレートである領域STM11-1と領域STM11-2が示されている。
図３を参照して上述したように、まず、CU単位でテンプレートマッチングが行われ、カレントブロックCB11の最適な動きベクトルMV0が得られる。カレントブロックCB11で得られた最適な動きベクトルMV0を使って、さらに、図４の矢印の先に示されるように、各サブブロックSCB11-1乃至SCB11-16のテンプレートマッチングが行われる。
サブブロック単位でのテンプレートマッチングが行われることで、小さい領域での動きベクトルが得られるので、より高い精度での動き補償(MC（Motion Compensation）)を行うことができるようになる。
しかしながら、サブブロック単位でのテンプレートマッチングでは、CUでテンプレートマッチングを行って、さらに、サブブロックでのテンプレートマッチングを行うため、テンプレートがCUの周囲にしかない。
図５は、サブブロックのうち、テンプレートが存在するサブブロックとテンプレートが存在しないサブブロックとを分けて示す図である。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。図５では、テンプレートが存在するサブブロックとテンプレートが存在しないサブブロックは、異なるハッチングが付されている。
図５の例では、カレントブロックCB11の最上部のサブブロックと、最左部のサブブロック（サブブロックSCB11-1乃至SCB11-5、サブブロックSCB11-9、およびサブブロックSCB11-13）については隣接したテンプレートが存在する。一方、サブブロックSCB11-6乃至SCB11-8、サブブロックSCB11-10乃至SCB11-12、およびサブブロックSCB11-14乃至SCB11-16には、隣接したテンプレート、すなわちテンプレートの領域の再構成画像が存在しない。
これらのテンプレートの再構成画像が存在しないサブブロックでは、テンプレートマッチングができないために、動きベクトルの導出精度が低くなり、その結果、動き補償の精度が低くなってしまう懸念がある。
そこで、本技術の第１の実施の形態においては、テンプレートマッチングでCUの動きベクトルを導出する際、サブブロックの動きベクトルの導出において、テンプレートマッチングだけでなく、バイラテラルマッチングも用いる。
図５に示されたテンプレートが存在するサブブロックSCB11-1乃至SCB11-5、サブブロックSCB11-9、およびサブブロックSCB11-13については、テンプレートマッチングで動きベクトルの導出が行われる。テンプレートが存在しないサブブロックSCB11-6乃至SCB11-8、サブブロックSCB11-10乃至SCB11-12、およびサブブロックSCB11-14乃至SCB11-16については、バイラテラルマッチングで動きベクトルの導出が行われる。
すなわち、テンプレートマッチングにより動きベクトルを導出したCUを構成するサブブロックの動きベクトル導出では、CUにおけるサブブロックの位置に応じて、テンプレートマッチングおよびバイラテラルマッチングのいずれか一方が用いられる。あるいは、画面端などでテンプレートがない場合もある。この場合、テンプレートマッチングにより動きベクトルを導出したCUを構成するサブブロックの動きベクトル導出では、サブブロックにテンプレートが存在するか否かに応じて、テンプレートマッチングおよびバイラテラルマッチングのいずれか一方が用いられる。
これにより、サブブロックの動きベクトルの導出精度を改善することができる。動きベクトルの導出精度が高くなることで、動き補償の精度も高くすることができる。
〈予測部の構成について〉
ところで、上述した画像符号化装置１１の予測部３０では、テンプレートマッチングやバイラテラルマッチングにより動き情報、すなわち動きベクトルの導出が行われる。
ところで、上述した画像符号化装置１１の予測部３０では、テンプレートマッチングやバイラテラルマッチングにより動き情報、すなわち動きベクトルの導出が行われる。
例えば予測部３０は、テンプレートマッチングまたはバイラテラルマッチングにより動きベクトルを導出する構成として、図６に示す構成を有している。
すなわち、図６に示す例では、予測部３０は、予測制御部５１、テンプレートマッチング処理部５２、およびバイラテラルマッチング処理部５３を有している。
予測制御部５１は、テンプレートマッチング処理部５２またはバイラテラルマッチング処理部５３に対して、符号化対象のCU(CTU)について動きベクトルの導出を行わせる。
予測制御部５１は、制御部２１からの予測情報Pinfoのsplit flagに基づいて、CUをサブブロックに分割する。予測制御部５１は、テンプレートマッチング処理部５２またはバイラテラルマッチング処理部５３に対して、分割したサブブロックについての動きベクトルの導出を行わせる。
具体的には、例えば予測制御部５１は、CUにおけるサブブロックの位置に応じて、テンプレートマッチング処理部５２またはバイラテラルマッチング処理部５３のどちらかに、分割したサブブロックについての動きベクトルの導出を行わせる。
図５には、サブブロックの位置が、サブブロックSCB11-1乃至SCB11-5、サブブロックSCB11-9、およびサブブロックSCB11-13のいずれかの位置である場合が示されている。これらのいずれかの位置の場合、テンプレートマッチング処理部５２に分割したサブブロックについての動きベクトルの導出が行われる。
サブブロックの位置が、サブブロックSCB11-6乃至SCB11-8、サブブロックSCB11-10乃至SCB11-12、サブブロックSCB11-14乃至SCB11-16のいずれかの位置である場合が示されている。これらのいずれかの位置の場合、バイラテラルマッチング処理部５３に分割したサブブロックについての動きベクトルの導出が行われる。
または、予測制御部５１は、サブブロックにテンプレートが存在するか否かに応じて、テンプレートマッチング処理部５２またはバイラテラルマッチング処理部５３のどちらかに、分割したサブブロックについての動きベクトルの導出を行わせる。
サブブロックにテンプレートが存在する場合、予測制御部５１は、テンプレートマッチング処理部５２に分割したサブブロックについての動きベクトルの導出を行わせる。
サブブロックにテンプレートが存在しない場合、予測制御部５１は、バイラテラルマッチング処理部５３に分割したサブブロックについての動きベクトルの導出を行わせる。
テンプレートマッチング処理部５２は、予測制御部５１からの指示より、CUまたはサブブロックに対して、テンプレートマッチングを用いて動きベクトルの導出を行う。テンプレートマッチング処理部５２は、候補取得部６１および動きベクトル導出部６２を有している。
候補取得部６１は、符号化対象のCUに隣接する周辺領域の動きベクトル（以下、隣接動きベクトルとも称する）を予測動きベクトルの候補、すなわちスタートポイントの候補として収集する。ここで、予測動きベクトルとは、CUやサブブロックについて導出した動きベクトルのことである。以下では、CUやサブブロックについて導出した動きベクトルを適宜、予測動きベクトルとも称することとする。
候補取得部６１は、処理対象がCUの場合、処理対象のCUに対して予め定められた周辺領域のリストをスタートポイントの候補のリスト（以下、候補リストとも称する）として生成する。候補取得部６１は生成した候補リストにより示されるスタートポイントの候補、すなわち周辺領域の隣接動きベクトルを取得し、動きベクトル導出部６２に供給する。
候補取得部６１は、処理対象がサブブロックの場合、処理対象のサブブロックに対して予め定められた周辺領域のリストだけでなく、そのサブブロックを含むCUに対して求められた動きベクトルも１つの候補として、サブブロック候補リストを生成する。候補取得部６１は生成したサブブロック候補リストにより示されるスタートポイントの候補、すなわち、周辺領域の隣接動きベクトルと、CUに対して求められた動きベクトルを取得し、動きベクトル導出部６２に供給する。
動きベクトル導出部６２は、候補リスト（またはサブブロック候補リスト）により示される複数の予測動きベクトルの候補（スタートポイントの候補）のなかから１つの候補を選択する。動きベクトル導出部６２は、予測動きベクトルの候補をスタートポイントとしてテンプレートマッチングにより符号化対象のCU（またはサブブロック）の予測動きベクトルを求める。
すなわち、動きベクトル導出部６２は、スタートポイントである隣接動きベクトルにより定まる参照ピクチャ上の領域をテンプレートとする。そして、動きベクトル導出部６２は、テンプレートマッチングにより、参照ピクチャのテンプレートと、符号化対象のCU（またはサブブロック）に隣接するテンプレートとの差分を計算し、その計算結果から求まるコストを算出する。例えばテンプレートについて求まるコストは、テンプレート同士の差分が小さいほど小さくなるようにされる。
動きベクトル導出部６２は、全てのスタートポイントの候補のなかから、コストが最小となる候補のスタートポイントを、符号化対象のCU（またはサブブロック）の予測動きベクトルとして選択する。
さらに動きベクトル導出部６２は、選択された予測動きベクトルで定まる参照ピクチャ上のサーチレンジを求め、求められたサーチレンジ内でテンプレートの位置を動かしながら、テンプレートマッチングにより最終的な動きベクトルを求める。
動きベクトル導出部６２は、求められたサーチレンジ内の所定位置の領域をテンプレートとする。そして、動きベクトル導出部６２は、テンプレートの位置をサーチレンジ内で動かしながら、テンプレートマッチングにより、参照ピクチャのテンプレートと、符号化対象のCU（またはサブブロック）に隣接するテンプレートとの差分を計算する。動きベクトル導出部６２は、計算結果から求まるコストを算出する。例えばテンプレートについて求まるコストは、テンプレート同士の差分が小さいほど小さくなるようにされる。
動きベクトル導出部６２は、求めたコストが最小となるときの参照ピクチャ上のテンプレートの位置により定まる動きベクトルを、符号化対象のCU（またはサブブロック）の最終的な動きベクトルとする。
動きベクトル導出部６２では、必要に応じて、最終的に得られた動きベクトルと、その動きベクトルの導出に用いられた動きベクトルの候補である隣接動きベクトルとの差分が符号化対象のCU（またはサブブロック）の差分動きベクトルとして算出される。
以上のようにテンプレートマッチング処理部５２では、導出された動きベクトルや差分動きベクトルが符号化対象のCUの動き情報として得られる。また、テンプレートマッチング処理部５２で導出された動きベクトルや差分動きベクトルが符号化対象のサブブロックの動き情報として得られる。
バイラテラルマッチング処理部５３は、予測制御部５１からの指示より、CUまたはサブブロックに対して、バイラテラルマッチングを用いて動きベクトルの導出を行う。バイラテラルマッチング処理部５３は、候補取得部７１および動きベクトル導出部７２を有している。
候補取得部７１は、符号化対象のCUに隣接する周辺領域の動きベクトルである隣接動きベクトルを予測動きベクトルの候補、すなわちスタートポイントの候補として収集する。
候補取得部７１は、処理対象がCUの場合、処理対象のCUに対して予め定められた周辺領域のリストをスタートポイントの候補のリスト（候補リスト）として生成する。候補取得部７１は生成した候補リストにより示されるスタートポイントの候補、すなわち周辺領域の隣接動きベクトルを取得し、動きベクトル導出部７２に供給する。
候補取得部７１は、処理対象がサブブロックの場合、処理対象のサブブロックに対して予め定められた周辺領域のリストだけでなく、そのサブブロックを含むCUに対して求められた動きベクトルも１つの候補として、サブブロック候補リストを生成する。候補取得部７１は生成したサブブロック候補リストにより示されるスタートポイントの候補、すなわち、周辺領域の隣接動きベクトルと、CUに対して求められた動きベクトルを取得し、動きベクトル導出部７２に供給する。
動きベクトル導出部７２は、候補リスト（またはサブブロック候補リスト）により示される複数の予測動きベクトルの候補（スタートポイントの候補）のなかから１つの候補を選択する。動きベクトル導出部７２は、予測動きベクトルの候補をスタートポイントとしてバイラテラルマッチングにより符号化対象のCU（またはサブブロック）の動きベクトルを求める。
すなわち、動きベクトル導出部７２は、２つの参照ピクチャ上におけるスタートポイントの候補である隣接動きベクトルにより定まる領域（ブロック）を差分計算ブロックとする。
そして、動きベクトル導出部７２は、バイラテラルマッチングにより、２つの参照ピクチャ上の差分計算ブロックの差分を計算し、その計算結果から求まるコストを算出する。例えば差分計算ブロックについて求まるコストは、差分計算ブロックについての差分が小さいほど小さくなるようにされる。
動きベクトル導出部７２は、全てのスタートポイントの候補のなかから、コストが最小となる候補のスタートポイントを、符号化対象のCU（またはサブブロック）の予測動きベクトルとして選択する。
動きベクトル導出部７２は、選択された予測動きベクトルで定まる参照ピクチャ上のサーチレンジを求め、求められたサーチレンジ内で差分計算ブロックの位置を動かしながら、バイラテラルマッチングにより最終的な動きベクトルを求める。
すなわち、動きベクトル導出部７２は、選択された予測動きベクトルにより定まる参照ピクチャ上の領域をサーチレンジとし、そのサーチレンジ内のブロックを差分計算ブロックとする。
そして、動きベクトル導出部７２は、差分計算ブロックの位置をサーチレンジ内で動かしながら、バイラテラルマッチングにより、２つの参照ピクチャの差分計算ブロックの差分を計算し、その計算結果から求まるコストを算出する。例えば差分計算ブロックについて求まるコストは、差分計算ブロックについての差分が小さいほど小さくなるようにされる。
動きベクトル導出部７２は、求めたコストが最小となるときの参照ピクチャ上の差分計算ブロックの位置により定まる動きベクトルを、符号化対象のCU（またはサブブロック）の最終的な動きベクトルとする。
動きベクトル導出部７２では、必要に応じて、最終的に得られた動きベクトルと、その動きベクトルの導出に用いられた動きベクトルの候補である隣接動きベクトルとの差分が符号化対象のCU（またはサブブロック）の差分動きベクトルとして算出される。
以上のようにバイラテラルマッチング処理部５３では、導出された動きベクトルや差分動きベクトルが符号化対象のCUの動き情報として得られる。また、バイラテラルマッチング処理部５３で導出された動きベクトルや差分動きベクトルが符号化対象のサブブロックの動き情報として得られる。
〈画像符号化処理の説明〉
次に、以上において説明した画像符号化装置１１の動作について説明する。
次に、以上において説明した画像符号化装置１１の動作について説明する。
まず、図７のフローチャートを参照して、画像符号化装置１１による画像符号化処理について説明する。なお、この画像符号化処理は、CU単位またはサブブロック単位で行われる。
ステップＳ１１において、制御部２１は、外部からの入力等に基づいて符号化パラメータを設定し、設定した各符号化パラメータを画像符号化装置１１の各部に供給する。
ステップＳ１１では、例えば上述したヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等が符号化パラメータとして設定される。
ステップＳ１２において、予測部３０は制御部２１から供給された予測情報Pinfoのモード情報pred_mode_flagに基づいて、インター予測処理を行うか否かを判定する。例えばモード情報pred_mode_flagの値がインター予測処理を示している場合、ステップＳ１２においてインター予測処理を行うと判定される。
ステップＳ１２においてインター予測処理を行うと判定された場合、ステップＳ１３において、予測部３０は制御部２１から供給された予測情報PinfoのFRUC_flagの値が１であるか否か、すなわちFRUC_flag＝１であるか否かを判定する。
ステップＳ１３においてFRUC_flag＝１であると判定された場合、すなわちFRUCモードであると判定された場合、処理はステップＳ１４へと進む。
ステップＳ１４において、画像符号化装置１１の各部はFRUCモードで符号化対象の画像Ｉ（カレントブロック）を符号化する符号化処理を行い、画像符号化処理は終了する。
FRUCモードでの符号化処理では、FRUCモードにより動き情報が導出されて予測情報Pinfoや量子化変換係数レベルlevel等が格納された符号化ストリームが生成される。
このとき生成される予測情報Pinfoには、例えばFRUC_flag、FRUC_Mode_flag、参照画像特定情報が含まれており、必要に応じて動きベクトル情報も含まれるようにされる。また、画像Ｉ、すなわちカレントブロックがＰスライスのブロックであるときには、予測情報PinfoにはFRUC_Mode_flagが含まれていないようにされる。
一方、ステップＳ１３においてFRUC_flag＝１でないと判定された場合、すなわちFRUC_flag＝０であり、FRUCモードではないと判定された場合、処理はステップＳ１５へと進む。
ステップＳ１５において、画像符号化装置１１の各部は、例えばAMVPモードなど、FRUCモード以外の他のモードで符号化対象の画像Ｉを符号化する符号化処理を行い、画像符号化処理は終了する。
また、ステップＳ１２においてインター予測処理を行わないと判定された場合、すなわちイントラ予測処理を行うと判定された場合、処理はステップＳ１６へと進む。
ステップＳ１６において、画像符号化装置１１の各部はイントラ予測モードで符号化対象の画像Ｉを符号化するイントラ符号化処理を行い、画像符号化処理は終了する。
イントラ符号化処理では、予測部３０においてイントラ予測モードにより予測画像Ｐが生成される。そして、予測画像Ｐが用いられてカレントブロックが符号化されて、予測情報Pinfoや量子化変換係数レベルlevel等が格納された符号化ストリームが生成される。
以上のようにして、画像符号化装置１１は、符号化パラメータに応じて入力された画像を符号化し、符号化により得られた符号化ストリームを出力する。このように適切なモードで画像を符号化することにより、符号化効率を向上させることができる。
〈インター予測処理モード設定処理の説明〉
次に、図８のフローチャートを参照して、図７のステップＳ１１の処理に対応するインター予測処理モード設定処理について説明する。
次に、図８のフローチャートを参照して、図７のステップＳ１１の処理に対応するインター予測処理モード設定処理について説明する。
このインター予測処理モード設定処理は、図７のステップＳ１１の処理のうちのインター予測処理モードに関する部分の処理である。すなわち、インター予測処理モード設定処理は、FRUC_flagの値が決定される部分の処理である。また、インター予測処理モード設定処理は、CU単位またはサブブロック単位で行われる。
ステップＳ５１において、制御部２１は画像符号化装置１１の各部を制御して、符号化対象のブロックについて、FRUCモードを含む各モードでの符号化処理を行わせ、各モードでのRDコストを算出させる。
なお、RDコストは符号化の結果得られる発生ビット量（符号量）や復号画像のSSE（Error Sum of Squares）などに基づいて算出される。
ステップＳ５２において、制御部２１は、ステップＳ５１の処理で得られたRDコストのうち、FRUCモードで、動き情報の導出にテンプレートマッチングを採用したとき（以下、FRUCテンプレートと称する）のRDコストが最小であるか否かを判定する。
ステップＳ５２において、FRUCテンプレートのRDコストが最小であると判定された場合、処理はステップＳ５３へと進む。この場合、カレントブロックのインター予測モードとして、FRUCモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１４の符号化処理が行われて符号化ストリームが生成されることになる。
ステップＳ５３において、制御部２１はFRUC_flag＝1とする。すなわち、制御部２１は、予測情報PinfoとしてのFRUC_flagの値を1とする。
ステップＳ５４において、制御部２１はFRUCモードでの動き情報の導出結果に基づいて、FRUC_Mode_flagを生成し、インター予測処理モード設定処理は終了する。
FRUCモードでの符号化時に、テンプレートマッチングを採用したときのFRUCテンプレートのRDコストが、バイラテラルマッチングを採用したときのFRUCバイラテラルのRDコストよりも小さい場合、FRUC_Mode_flagの値は0とされる。すなわち、ステップＳ５４では値が0であるFRUC_Mode_flagが生成される。ただし、カレントブロックがＰスライスのブロックであるときには、ステップＳ５４の処理は行われず、FRUC_Mode_flagは生成されない。これに対して、FRUCバイラテラルのRDコストがFRUCテンプレートのRDコストより小さい場合（ステップＳ５７の場合）、FRUC_Mode_flagの値は1とされる。
また、ステップＳ５２において、FRUCテンプレートのRDコストが最小でないと判定された場合、処理はステップＳ５５へと進む。ステップＳ５５において、制御部２１はFRUCバイラテラルのRDコストが最小であるか否かを判定する。
ステップＳ５５においてFRUCバイラテラルのRDコストが最小であると判定された場合、処理はステップＳ５６へと進む。この場合、カレントブロックのインター予測モードとして、FRUCモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１４の符号化処理が行われて符号化ストリームが生成されることになる。
ステップＳ５６において、制御部２１はFRUC_flag＝1とする。すなわち、制御部２１は、予測情報PinfoとしてのFRUC_flagの値を1とする。
ステップＳ５７において、制御部２１はFRUC_Mode_flag＝1として、インター予測処理モード設定処理は終了する。
さらに、ステップＳ５５においてFRUCバイラテラルのRDコストが最小でないと判定された場合、処理はステップＳ５８へと進む。
ステップＳ５８において、制御部２１はFRUC_flag＝0として、インター予測処理モード設定処理は終了する。カレントブロックのインター予測モードとして、FRUCモード以外の他のモードが選択されたことになり、図７を参照して説明した画像符号化処理では、ステップＳ１５の符号化処理が行われて符号化ストリームが生成されることになる。
以上のようにして画像符号化装置１１は、各モードのRDコストを算出し、RDコストが最小となるモードを選択して、その選択結果に応じてFRUC_flagを生成する。これにより、符号化効率を向上させることができる。
〈FRUCモード符号化処理の説明〉
続いて、図９のフローチャートを参照して、画像符号化装置１１によるFRUCモード符号化処理について説明する。なお、このFRUCモード符号化処理は、図７のステップS１４の処理に対応する処理であり、CU単位またはサブブロック単位で行われる。
続いて、図９のフローチャートを参照して、画像符号化装置１１によるFRUCモード符号化処理について説明する。なお、このFRUCモード符号化処理は、図７のステップS１４の処理に対応する処理であり、CU単位またはサブブロック単位で行われる。
ステップＳ９１において、予測部３０は、制御部２１から供給された予測情報Pinfo等に基づいて、処理対象のカレントブロック、すなわち符号化対象の画像ＩであるCUまたはサブブロックがＰスライスのブロックであるか否かを判定する。
ステップＳ９１においてＰスライスのブロックでないと判定された場合、処理はステップＳ９２へと進む。
ステップＳ９２において、予測部３０は、図８のステップS５４またはステップＳ５７で設定されたFRUC_Mode_flagの値が0であるか否か、すなわちFRUC_Mode_flag＝0であるか否かを判定する。
ステップＳ９２において、FRUC_Mode_flag＝0であると判定された場合、処理は、ステップＳ９３に進む。
また、ステップＳ９１においてＰスライスのブロックであると判定された場合、処理はステップＳ９３へと進む。カレントブロックがＰスライスのブロックである場合、Ｐスライスに対しては参照ピクチャが１つしかなく、動き情報の導出時にバイラテラルマッチングを行うことができないので、動き情報の導出方法としてテンプレートマッチングが自動的に採用（選択）される。
ステップＳ９３において、予測部３０は、テンプレートマッチングによりカレントブロックの動き情報を導出する。予測部３０は、制御部２１から供給された予測情報Pinfo等に基づいて、フレームメモリ２９から符号化対象のピクチャと、参照画像特定情報により示される参照ピクチャとを読み出す。予測部３０は、読み出したピクチャを用いてテンプレートマッチングによりカレントブロックの動き情報を導出する。
ステップＳ９３の処理が行われて動き情報が導出されると、その後、処理はステップＳ９５へと進む。
一方、ステップＳ９２においてFRUC_Mode_flag＝1であると判定された場合、処理は、ステップＳ９４に進む。
ステップＳ９４において、予測部３０は、バイラテラルマッチングによりカレントブロックの動き情報を導出する。
例えば予測部３０は、制御部２１から供給された予測情報Pinfoの参照画像特定情報により示される２つの参照ピクチャをフレームメモリ２９から読み出す。また、予測部３０は読み出した参照ピクチャを用いてバイラテラルマッチングによりカレントブロックの動き情報を導出する。
ステップＳ９４またはステップＳ９３の処理が行われると、その後、ステップＳ９５の処理が行われる。ステップＳ９５において、予測部３０はバイラテラルマッチングにより導出した動き情報に基づいて、またはテンプレートマッチングにより導出した動き情報に基づいて予測画像を生成し、演算部２２および演算部２８に供給する。
バイラテラルマッチングの場合、予測部３０は、２つの各参照ピクチャのそれぞれにおける動き情報である動きベクトルにより示されるブロックのそれぞれを用いた動き補償により生成された画像を予測画像Ｐとする。テンプレートマッチングの場合、予測部３０は、参照ピクチャにおける動き情報である動きベクトルにより示されるブロックの画像を予測画像Ｐとする。
ステップＳ９５の処理が行われて予測画像Ｐが生成されると、その後、ステップＳ９６の処理が行われる。
ステップＳ９６において、演算部２２は、供給された画像Ｉと、予測部３０から供給された予測画像Ｐとの差分を予測残差Ｄとして演算し、変換部２３に供給する。
ステップＳ９７において、変換部２３は、制御部２１から供給された変換情報Tinfoに基づいて、演算部２２から供給された予測残差Ｄに対して直交変換等を行い、その結果得られた変換係数Coeffを量子化部２４に供給する。
ステップＳ９８において、量子化部２４は、制御部２１から供給された変換情報Tinfoに基づいて、変換部２３から供給された変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部２４は、量子化変換係数レベルlevelを符号化部２５および逆量子化部２６に供給する。
ステップＳ９９において、逆量子化部２６は、制御部２１から供給された変換情報Tinfoに基づいて、量子化部２４から供給された量子化変換係数レベルlevelを、ステップＳ９８の量子化の特性に対応する特性で逆量子化する。逆量子化部２６は、逆量子化により得られた変換係数Coeff_IQを逆変換部２７に供給する。
ステップＳ１００において、逆変換部２７は、制御部２１から供給された変換情報Tinfoに基づいて、逆量子化部２６から供給された変換係数Coeff_IQに対して、ステップＳ９７の直交変換等に対応する方法で逆直交変換等を行う。逆直交変換により予測残差Ｄ’が導出される。逆変換部２７は、得られた予測残差Ｄ’を演算部２８に供給する。
ステップＳ１０１において、演算部２８は、逆変換部２７から供給された予測残差Ｄ’と、予測部３０から供給された予測画像Ｐとを加算することにより、局所的な復号画像Recを生成し、フレームメモリ２９に供給する。
ステップＳ１０２において、フレームメモリ２９は、演算部２８から供給された局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ２９内のバッファで保持する。
ステップＳ１０３において、符号化部２５は、図７のステップＳ１１の処理において設定され、制御部２１から供給された符号化パラメータと、ステップＳ９８の処理で量子化部２４から供給された量子化変換係数レベルlevelとを所定の方法で符号化する。
符号化部２５は、符号化により得られた符号化データを多重化して符号化ストリーム（ビットストリーム）とし、画像符号化装置１１の外部に出力してFRUCモード符号化処理は終了する。
この場合、符号化ストリームには、例えばFRUC_flag、FRUC_Mode_flag、参照画像特定情報等を符号化して得られたデータと、量子化変換係数レベルlevelを符号化して得られたデータなどが格納されている。このようにして得られた符号化ストリームは、例えば伝送路や記録媒体を介して復号側に伝送される。
以上のようにして、画像符号化装置１１は、FRUCモードにより動き情報を導出し、符号化対象となるブロックを符号化する。このようにFRUCモードを利用し、復号側において動き情報を導出するようにすることで、符号化ストリームに格納する動きベクトル情報（動き情報）を削減することができ、符号化効率を向上させることができる。
〈テンプレートマッチングによる動き情報導出処理の説明〉
ここで、図９のステップＳ９３やステップＳ９４に対応する処理のうちの動き情報を導出する処理について、より詳細に説明する。まず、処理対象のCUの動き情報がテンプレートマッチングにより導出される場合の処理について説明する。すなわち、以下、図１０のフローチャートを参照して、予測部３０により行われるテンプレートマッチングによる動き情報導出処理について説明する。なお、この処理は、予測制御部５１による制御のもと、テンプレートマッチング処理部５２により行われる。
ここで、図９のステップＳ９３やステップＳ９４に対応する処理のうちの動き情報を導出する処理について、より詳細に説明する。まず、処理対象のCUの動き情報がテンプレートマッチングにより導出される場合の処理について説明する。すなわち、以下、図１０のフローチャートを参照して、予測部３０により行われるテンプレートマッチングによる動き情報導出処理について説明する。なお、この処理は、予測制御部５１による制御のもと、テンプレートマッチング処理部５２により行われる。
ステップＳ１３１において、テンプレートマッチング処理部５２の候補取得部６１はスタートポイントの候補を取得することで候補リストを生成する。
すなわち、候補取得部６１は周辺領域をスタートポイントの候補として収集し、候補リストを生成する。また、候補取得部６１は候補リストにより示される周辺領域の参照ピクチャとの間の隣接動きベクトルを取得して動きベクトル導出部６２に供給する。
ステップＳ１３２において、動きベクトル導出部６２は、隣接動きベクトルをスタートポイントとし、参照ピクチャごとに各スタートポイントについてテンプレートマッチングにより符号化対象のCUのスタートポイントについてのコストを算出する。この場合、フレームメモリ２９から読み出された復号画像である符号化対象のピクチャおよび参照ピクチャが用いられてテンプレートマッチングが行われる。
ステップＳ１３３において、動きベクトル導出部６２は、ステップＳ１３２で各スタートポイントの候補のなかからコストが最小となる候補のスタートポイントを予測動きベクトルとして選択する。
動きベクトル導出部６２は、ステップＳ１３４において、選択されたスタートポイント、つまり予測動きベクトルで定まる参照ピクチャ上のサーチレンジを求める。動きベクトル導出部６２は、求められたサーチレンジ内で、テンプレートの位置を動かしながらテンプレートマッチングにより最終的な動きベクトルを求める。
動きベクトル導出部６２は、導出された最終的な動きベクトルを、テンプレートマッチング処理部５２の候補取得部６１に供給する。
予測制御部５１は、ステップＳ１３５において、符号化対象のCUをサブブロックに分割する。例えば、制御部２１からの予測情報Pinfoのsplit flagに基づいて、CUが16個のサブブロックに分割される。予測制御部５１は、ステップＳ１３６において、サブブロックを１つ選択する。
ステップＳ１３７において、予測制御部５１は、選択したサブブロックの符号化対象のCUにおける位置に基づいて、そのサブブロックの予測動きベクトル導出に、テンプレートマッチングを行うか否かを判定する。
例えば図５を参照して説明したように、符号化対象のCUにおけるサブブロックの位置が、符号化対象のCUの最上部または最左部のいずれかである場合、ステップＳ１３７において、テンプレートマッチングが行われるため、処理は、ステップＳ１３８に進む。
ステップＳ１３８において、テンプレートマッチング処理部５２は、テンプレートマッチングによるサブブロックの動き情報導出処理を行う。このテンプレートマッチングによるサブブロックの動き情報導出処理は、図１１のフローチャートを参照して後述される。この処理では、テンプレートマッチングにより、ステップＳ１３６で選択されたサブブロックの動き情報が導出される。
一方、符号化対象のCUにおけるサブブロックの位置が、符号化対象のCUの最上部および最左部以外の位置である場合、ステップＳ１３７において、予測制御部５１は、バイラテラルマッチングを行うとして、処理は、ステップＳ１３９に進む。
ステップＳ１３９において、バイラテラルマッチング処理部５３は、バイラテラルマッチングによるサブブロックの動き情報導出処理を行う。このバイラテラルマッチングによるサブブロックの動き情報導出処理は、図１２のフローチャートを参照して後述される。この処理では、バイラテラルマッチングにより、ステップＳ１３６で選択されたサブブロックの動き情報が導出される。
ステップＳ１３８またはステップＳ１３９においてサブロックの動き情報が導出されると、処理は、ステップＳ１４０に進む。
ステップＳ１４０において、予測制御部５１は、符号化対象のCUの全てのサブブロックについての処理が終了したか否かを判定する。ステップＳ１４０において、符号化対象のCUの全てのサブブロックについての処理がまだ終了していないと判定された場合、処理はステップＳ１３６に戻り、それ以降の処理が繰り返される。
ステップＳ１４０において、符号化対象のCUの全てのサブブロックについての処理が終了したと判定された場合、テンプレートマッチングによる動き情報導出処理は終了される。
以上のように、画像符号化装置１１においては、テンプレートマッチングを用いて動き情報導出を行ったCUにおけるサブブロックの位置に応じて、バイラテラルモードでの動き情報導出を行うようにした。これにより、テンプレートのないサブブロックの動き情報の導出精度を改善することができる。
次に、図１１のフローチャートを参照して、図１０のステップＳ１３８のテンプレートマッチングによるサブブロックの動き情報導出処理について説明する。
ステップＳ１５１において、テンプレートマッチング処理部５２の候補取得部６１はスタートポイントの候補を取得することでサブブロック候補リストを生成する。
すなわち、候補取得部６１は、処理対象のサブブロックに対して予め定められた周辺領域のリストだけでなく、そのサブブロックを含むCUに対して求められた動きベクトルも１つの候補として、サブブロック候補リストを生成する。また、候補取得部６１はサブブロック候補リストにより示される周辺領域の参照ピクチャとの間の隣接動きベクトルと、CUに対して求められた動きベクトルを取得して動きベクトル導出部６２に供給する。
ステップＳ１５２において、動きベクトル導出部６２は、隣接動きベクトルをスタートポイントとし、参照ピクチャごとに各スタートポイントについてテンプレートマッチングによりサブブロックのスタートポイントについてのコストを算出する。この場合、フレームメモリ２９から読み出された復号画像である符号化対象のピクチャおよび参照ピクチャが用いられてテンプレートマッチングが行われる。
ステップＳ１５３において、動きベクトル導出部６２は、ステップＳ１５２で各スタートポイントの候補のなかからコストが最小となる候補のスタートポイントを予測動きベクトルとして選択する。
ステップＳ１５４において、動きベクトル導出部６２は、選択された予測動きベクトルで定まる参照ピクチャ上のサーチレンジを求め、求められたサーチレンジ内でテンプレートの位置を動かしながら、テンプレートマッチングにより最終的な動きベクトルを求める。
次に、図１２のフローチャートを参照して、図１０のステップＳ１３９のバイラテラルマッチングによるサブブロックの動き情報導出処理について説明する。
ステップＳ１６１において、バイラテラルマッチング処理部５３の候補取得部７１はスタートポイントの候補を取得することでサブブロック候補リストを生成する。
すなわち、候補取得部７１は、処理対象のサブブロックに対して予め定められた周辺領域のリストだけでなく、そのサブブロックを含むCUに対して求められた動きベクトルも１つの候補として、サブブロック候補リストを生成する。また、候補取得部７１はサブブロック候補リストにより示される周辺領域の参照ピクチャとの間の隣接動きベクトルと、CUに対して求められた動きベクトルを取得して動きベクトル導出部７２に供給する。
ステップＳ１６２において、動きベクトル導出部７２は、スタートポイントの候補ごとに、バイラテラルマッチングにより、２つの参照ピクチャにおけるスタートポイントの候補により定まる差分計算ブロック同士の差分を計算する。動きベクトル導出部７２は、差分の計算結果から求まるコストを算出する。この場合、フレームメモリ２９から読み出された復号画像である互いに異なる時刻の参照ピクチャが用いられてバイラテラルマッチングが行われる。
ステップＳ１６３において、動きベクトル導出部７２は、ステップＳ１６２で各スタートポイントの候補のなかから、コストが最小となる候補のスタートポイントを、予測動きベクトルとして選択する。
ステップＳ１６４において、動きベクトル導出部７２は、選択された予測動きベクトルで定まる参照ピクチャ上のサーチレンジを求める。動きベクトル導出部７２は、求められたサーチレンジ内で差分計算ブロックの位置を動かしながら、バイラテラルマッチングにより最終的な動きベクトルを求める。
以上のようにして予測部３０は、CUにおけるサブブロックの位置に応じて、テンプレートマッチングまたはバイラテラルマッチングによりサブブロックの動き情報を導出する。
〈バイラテラルマッチングによる動き情報導出処理の説明〉
また、処理対象のCUの動き情報がバイラテラルマッチングにより導出される場合の処理について説明する。すなわち、以下、図１３のフローチャートを参照して、予測部３０により行われるバイラテラルマッチングによる動き情報導出処理について説明する。
また、処理対象のCUの動き情報がバイラテラルマッチングにより導出される場合の処理について説明する。すなわち、以下、図１３のフローチャートを参照して、予測部３０により行われるバイラテラルマッチングによる動き情報導出処理について説明する。
ステップＳ１７１において、バイラテラルマッチング処理部５３の候補取得部７１はスタートポイントの候補を取得することで候補リストを生成する。
すなわち、候補取得部７１は、周辺領域をスタートポイントの候補として収集し、候補リストを生成する。また、候補取得部７１は候補リストにより示される周辺領域の参照ピクチャとの間の隣接動きベクトルを取得して動きベクトル導出部７２に供給する。
ステップＳ１７２において、動きベクトル導出部７２は、スタートポイントの候補ごとに、バイラテラルマッチングにより、２つの参照ピクチャにおけるスタートポイントの候補により定まる差分計算ブロック同士の差分を計算する。動きベクトル導出部７２は、差分の計算結果から求まるコストを算出する。この場合、フレームメモリ２９から読み出された復号画像である互いに異なる時刻の参照ピクチャが用いられてバイラテラルマッチングが行われる。
ステップＳ１７３において、動きベクトル導出部７２は、各スタートポイントの候補のなかから、ステップＳ１７２で得られたコストが最小となる候補のスタートポイントを予測動きベクトルとして選択する。
ステップＳ１７４において、動きベクトル導出部７２は、選択された予測動きベクトルで定まる参照ピクチャ上のサーチレンジを求める。動きベクトル導出部７２は、求めたサーチレンジ内で差分計算ブロックの位置を動かしながら、バイラテラルマッチングにより最終的な動きベクトルを求める。
動きベクトル導出部７２は、選択により得られた最終的な動きベクトルを、候補取得部７１に供給する。
予測制御部５１は、ステップＳ１７５において、符号化対象のCUをサブブロックに分割する。例えば、符号化対象のCUは16個のサブブロックに分割される。
バイラテラルマッチング処理部５３は、ステップＳ１７６において、バイラテラルマッチングによるサブブロックの動き情報導出処理を行う。このバイラテラルマッチングによるサブブロックの動き情報導出処理は、図１２を参照して上述した処理と基本的に同様の処理を行うので、その説明は省略される。ステップＳ１７６の処理により、サブブロックについての動き情報が導出される。
以上のようにして予測部３０は、バイラテラルマッチングにより動き情報を導出する。
〈画像復号装置の説明〉
次に、図１に示した画像符号化装置１１から出力された符号化ストリームを復号する、本技術を適用した画像処理装置としての画像復号装置について説明する。
次に、図１に示した画像符号化装置１１から出力された符号化ストリームを復号する、本技術を適用した画像処理装置としての画像復号装置について説明する。
図１４は、本技術を適用した画像復号装置の一実施の形態の構成例を示す図である。
図１４に示す画像復号装置２０１は、画像符号化装置１１により生成された符号化ストリームを、画像符号化装置１１における符号化方法に対応する復号方法で復号する。例えば、画像復号装置２０１は、HEVCに提案された技術やJVETにて提案された技術を実装している。
なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、画像復号装置２０１において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
画像復号装置２０１は復号部２１１、逆量子化部２１２、逆変換部２１３、演算部２１４、フレームメモリ２１５、および予測部２１６を有している。
画像復号装置２０１は、入力された符号化ストリームに対して、CUごとまたはサブブロックごとに復号を行う。
復号部２１１は、供給された符号化ストリームを、符号化部２５における符号化方法に対応する所定の復号方法で復号する。例えば、復号部２１１は、シンタックステーブルの定義に沿って、符号化ストリームのビット列からヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等の符号化パラメータと、量子化変換係数レベルlevelとを復号する。
例えば復号部２１１は、符号化パラメータに含まれるsplit flagに基づいてCUを分割し、各量子化変換係数レベルlevelに対応するCUやサブブロックを順に復号対象のブロックに設定する。
また、復号部２１１は、復号により得られた符号化パラメータを画像復号装置２０１の各ブロックに供給する。例えば、復号部２１１は予測情報Pinfoを予測部２１６に供給し、変換情報Tinfoを逆量子化部２１２と逆変換部２１３に供給し、ヘッダ情報Hinfoを各ブロックに供給する。また、復号部２１１は、量子化変換係数レベルlevelを逆量子化部２１２に供給する。
逆量子化部２１２は、復号部２１１から供給された変換情報Tinfoに基づいて、復号部２１１から供給された量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、変換係数Coeff_IQを導出する。この逆量子化は、画像符号化装置１１の量子化部２４により行われる量子化の逆処理である。なお、逆量子化部２６は、この逆量子化部２１２と同様の逆量子化を行う。逆量子化部２１２は、得られた変換係数Coeff_IQを逆変換部２１３に供給する。
逆変換部２１３は、復号部２１１から供給された変換情報Tinfo等に基づいて、逆量子化部２１２から供給された変換係数Coeff_IQに対して逆直交変換等を行い、その結果得られた予測残差Ｄ’を演算部２１４に供給する。
逆変換部２１３で行われる逆直交変換は、画像符号化装置１１の変換部２３により行われる直交変換の逆処理である。なお、逆変換部２７は、この逆変換部２１３と同様の逆直交変換を行う。
演算部２１４は、逆変換部２１３から供給された予測残差Ｄ’と、その予測残差Ｄ’に対応する予測画像Ｐとを加算して局所的な復号画像Recを導出する。
演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を外部に出力する。また、演算部２１４は、局所的な復号画像Recをフレームメモリ２１５にも供給する。
フレームメモリ２１５は、演算部２１４から供給された局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ２１５内のバッファに格納する。
また、フレームメモリ２１５は予測部２１６により指定される復号画像を参照画像（参照ピクチャ）としてバッファより読み出し、予測部２１６に供給する。さらにフレームメモリ２１５は、その復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどをフレームメモリ２１５内のバッファに格納するようにしてもよい。
予測部２１６は、予測情報Pinfoのモード情報pred_mode_flagに基づいて、フレームメモリ２１５に格納された、復号対象のブロックと同一時刻の復号画像を参照画像として取得する。そして、予測部２１６は、参照画像を用いて復号対象のブロックに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。
予測部２１６は、予測情報Pinfoのモード情報pred_mode_flagと参照画像特定情報に基づいてフレームメモリ２１５に格納された、復号対象のブロックと同一時刻の復号画像を取得する。また、予測部２１６は、復号対象のブロックとは異なる時刻の復号画像を参照画像として取得する。
予測部２１６は、画像符号化装置１１の予測部３０と同様に、FRUC_flag、FRUC_Mode_flag、動き情報等に基づいて、フレームメモリ２１５から取得した画像を用いてFRUC_flagにより定まるモードでのインター予測処理を行う。
予測部２１６は、イントラ予測処理またはインター予測処理の結果生成された復号対象のブロックの予測画像Ｐを演算部２１４に供給する。
〈予測部の構成について〉
また、画像復号装置２０１の予測部２１６も、画像符号化装置１１の予測部３０における場合と同様に、テンプレートマッチングやバイラテラルマッチングにより動き情報を導出する構成を有している。
また、画像復号装置２０１の予測部２１６も、画像符号化装置１１の予測部３０における場合と同様に、テンプレートマッチングやバイラテラルマッチングにより動き情報を導出する構成を有している。
例えば予測部２１６は、テンプレートマッチングまたはバイラテラルマッチングにより動き情報を導出する構成として、図１５に示す構成を有している。
すなわち、図１５に示す例では予測部２１６は、予測制御部２３１、テンプレートマッチング処理部２３２、およびバイラテラルマッチング処理部２３３を有している。
また、テンプレートマッチング処理部２３２は、候補取得部２４１および動きベクトル導出部２４２を有しており、バイラテラルマッチング処理部２３３は、候補取得部２５１および動きベクトル導出部２５２を有している。
なお、予測制御部２３１乃至バイラテラルマッチング処理部２３３は、図６に示した予測制御部５１乃至バイラテラルマッチング処理部５３に対応し、予測制御部５１乃至バイラテラルマッチング処理部５３と同様の構成となっている。また、予測制御部２３１乃至バイラテラルマッチング処理部２３３は、予測制御部５１乃至バイラテラルマッチング処理部５３と同様の動作を行うため、その説明は省略する。
候補取得部２４１および動きベクトル導出部２４２も、図６に示した候補取得部６１および動きベクトル導出部６２と同様の構成となっているとともに同様の動作を行うため、その説明は省略する。候補取得部２５１および動きベクトル導出部２５２も、図６に示した候補取得部７１および動きベクトル導出部７２と同様の構成となっているとともに同様の動作を行うため、その説明は省略する。
〈画像復号処理の説明〉
次に、画像復号装置２０１の動作について説明する。
次に、画像復号装置２０１の動作について説明する。
まず、図１６のフローチャートを参照して、画像復号装置２０１による画像復号処理について説明する。
ステップＳ２１１において、復号部２１１は、画像復号装置２０１に供給された符号化ストリームを復号し、符号化パラメータと量子化変換係数レベルlevelを得る。
復号部２１１は、符号化パラメータを画像復号装置２０１の各部に供給するとともに、量子化変換係数レベルlevelを逆量子化部２１２に供給する。
ステップＳ２１２において、復号部２１１は符号化パラメータに含まれるsplit flagに基づいてCTUを分割し、各量子化変換係数レベルlevelに対応するブロック、すなわちCUまたはサブブロックを復号対象のブロックに設定する。なお、以降のステップＳ２１３乃至ステップＳ２１７の処理は復号対象のブロックごとに行われる。
復号対象のブロックが定められると、その後、復号部２１１から出力された予測情報Pinfoに基づいて、予測部２１６によりステップＳ２１３およびステップＳ２１４の処理が行われて復号時のモードが決定される。なお、これらのステップＳ２１３およびステップＳ２１４の処理は、予測部３０ではなく予測部２１６により行われる点を除いて、図７のステップＳ１２およびステップＳ１３の処理と同様であるので、その説明は省略する。
ステップＳ２１４においてFRUC_flag＝1であると判定された場合、すなわちFRUCモードであると判定された場合、処理はステップＳ２１５へと進む。
ステップＳ２１５において、画像復号装置２０１の各部はFRUCモードで復号対象のブロック（カレントブロック）の画像を復号する復号処理を行い、画像復号処理は終了する。
FRUCモードでの復号処理では、FRUCモードにより動き情報が導出され、得られた動き情報を用いたインター予測処理を行うことにより生成された予測画像Ｐが用いられて復号対象のブロックの画像が生成される。
これに対して、ステップＳ２１４においてFRUC_flag＝1でないと判定された場合、すなわちFRUC_flag＝0であり、FRUCモードではないと判定された場合、処理はステップＳ２１６へと進む。
ステップＳ２１６において、画像復号装置２０１の各部は、例えばAMVPモードなど、FRUCモード以外の他のモードで復号対象のブロックの画像を復号する復号処理を行い、画像復号処理は終了する。
また、ステップＳ２１３においてインター予測処理を行わないと判定された場合、すなわちイントラ予測処理を行うと判定された場合、処理はステップＳ２１７へと進む。
ステップＳ２１７において、画像復号装置２０１の各部はイントラ予測モードで復号対象のブロックの画像を復号するイントラ復号処理を行い、画像復号処理は終了する。
イントラ復号処理では、予測部２１６においてイントラ予測モードにより予測画像Ｐが生成され、予測画像Ｐと予測残差Ｄ’とが加算されて復号対象のブロックの画像とされる。
以上のようにして画像復号装置２０１は、符号化パラメータに応じて復号対象のブロックを復号する。このように適切なモードで画像を復号することにより、少ない符号量の符号化ストリームでも品質のよい画像を得ることができる。
〈FRUCモード復号処理の説明〉
続いて、図１６のステップＳ２１５の処理に対応するFRUCモード復号処理について説明する。すなわち、以下、図１７のフローチャートを参照して、画像復号装置２０１により行われるFRUCモード復号処理について説明する。なお、このFRUCモード復号処理は、復号対象のブロックごとに行われる。
続いて、図１６のステップＳ２１５の処理に対応するFRUCモード復号処理について説明する。すなわち、以下、図１７のフローチャートを参照して、画像復号装置２０１により行われるFRUCモード復号処理について説明する。なお、このFRUCモード復号処理は、復号対象のブロックごとに行われる。
ステップＳ２５１において、逆量子化部２１２は、図１６のステップＳ２１１の処理により得られた量子化変換係数レベルlevelを逆量子化して変換係数Coeff_IQを導出し、逆変換部２１３に供給する。
ステップＳ２５２において、逆変換部２１３は、逆量子化部２１２から供給された変換係数Coeff_IQに対して逆直交変換等を行い、その結果得られた予測残差Ｄ’を演算部２１４に供給する。
ステップＳ２５３において、予測部２１６は、復号部２１１から供給された予測情報Pinfo等に基づいて、復号対象のブロックがＰスライスのブロックであるか否かを判定する。
ステップＳ２５３においてＰスライスのブロックでないと判定された場合、処理はステップＳ２５４へと進む。
ステップＳ２５４において、予測部２１６はFRUC_Mode_flagを取得する。
すなわち、復号対象のブロックがＰスライスのブロックでない場合、図１６のステップＳ２１１では、復号部２１１によって符号化ストリームからFRUC_Mode_flagが読み出される。読み出されたFRUC_Mode_flagを含む予測情報Pinfoは、復号部２１１から予測部２１６へと供給される。予測部２１６は、このようにして供給された予測情報PinfoからFRUC_Mode_flagを取得する。
ステップＳ２５５において、予測部２１６はFRUC_Mode_flagに基づいて、テンプレートマッチングを行うか否かを判定する。例えばFRUC_Mode_flagの値が0である場合、テンプレートマッチングを行うと判定される。
ステップＳ２５５においてテンプレートマッチングを行うと判定されたか、またはステップＳ２５３においてＰスライスのブロックであると判定された場合、ステップＳ２５６の処理が行われる。
ステップＳ２５６において予測部２１６はテンプレートマッチングにより動き情報を導出する。これにより、復号対象のブロックの動き情報として、動きベクトルが得られる。
これに対して、ステップＳ２５５においてテンプレートマッチングを行わないと判定された場合、ステップＳ２５７の処理が行われる。
ステップＳ２５７において予測部２１６はバイラテラルマッチングにより動き情報を導出する。これにより、復号対象のブロックの動き情報として動きベクトルが得られる。
ステップＳ２５６またはステップＳ２５７の処理が行われると、その後、ステップＳ２５８の処理が行われる。ステップＳ２５８において、予測部２１６は、ステップＳ２５６またはステップＳ２５７の処理により導出した動き情報、すなわち動きベクトルに基づいて動き補償を行って予測画像Ｐを生成し、演算部２１４に供給する。
テンプレートマッチングにより動き情報が導出された場合、予測部２１６は、フレームメモリ２１５から参照画像特定情報により示される１つの復号画像を参照ピクチャとして読み出す。また、予測部２１６は、読み出した参照ピクチャにおける動きベクトルにより示されるブロックの画像を予測画像Ｐとする。
バイラテラルマッチングにより動き情報が導出された場合、予測部２１６は、フレームメモリ２１５から参照画像特定情報により示される２つの復号画像を参照ピクチャとして読み出す。また、予測部２１６は、読み出した各参照ピクチャにおける動きベクトルにより示されるブロックを用いた動き補償により予測画像Ｐを生成する。
このようにして予測画像Ｐが得られると、その後、処理はステップＳ２５９へと進む。
ステップＳ２５９において、演算部２１４は逆変換部２１３から供給された予測残差Ｄ’と、予測部２１６から供給された予測画像Ｐとを加算し、局所的な復号画像Recを導出する。演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、得られた復号画像を画像復号装置２０１の外部に出力する。また、演算部２１４は、その局所的な復号画像Recをフレームメモリ２１５に供給する。
ステップＳ２６０において、フレームメモリ２１５は演算部２１４から供給された局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ２１５内のバッファに保持する。このようにして復号画像が得られると、FRUCモード復号処理は終了する。
以上のようにして画像復号装置２０１は、FRUCモードにより動き情報を導出し、復号対象となるブロックを復号する。このようにFRUCモードを利用し、復号側において動き情報を導出することで、符号化ストリームの符号量を削減することができ、符号化効率を向上させることができる。
〈テンプレートマッチングによる動き情報導出処理の説明〉
また、図１８のフローチャートを参照して、予測部２１６により行われる、図１７のステップＳ２５６の処理に対応するテンプレートマッチングによる動き情報導出処理について説明する。
また、図１８のフローチャートを参照して、予測部２１６により行われる、図１７のステップＳ２５６の処理に対応するテンプレートマッチングによる動き情報導出処理について説明する。
テンプレートマッチングによる動き情報導出処理では、候補取得部２４１によりステップＳ２７１の処理が行われ、動きベクトル導出部２４２によりステップＳ２７２乃至ステップＳ２７４の処理が行われる。
予測制御部２３１によりステップＳ２７５乃至ステップＳ２７７の処理が行われ、ステップＳ２７７において、テンプレートマッチングを行うと判定された場合、テンプレートマッチング処理部２３２によりステップＳ２７８の処理が行われる。また、ステップＳ２７７において、テンプレートマッチングを行わないと判定された場合、バイラテラルマッチング処理部２３３によりステップＳ２７９の処理が行われる。
さらに、ステップＳ２７８またはステップＳ２７９の処理が行われると、その後、予測制御部２３１によりステップＳ２８０の処理が行われてテンプレートマッチングによる動き情報導出処理は終了する。
なお、これらのステップＳ２７１乃至ステップＳ２８０の処理は、図１０のステップＳ１３１乃至ステップＳ１４０の処理と同様であるため、その説明は省略する。
以上のように、画像復号装置２０１においてもCUにおけるサブブロックの位置に応じて、バイラテラルモードでの動き情報導出を行うようにしたので、テンプレートのないサブブロックの動き情報の導出精度を改善することができる。
次に、図１９のフローチャートを参照して、図１８のステップＳ２７８のテンプレートマッチングによるサブブロックの動き情報導出処理について説明する。
テンプレートマッチングによるサブブロックの動き情報導出処理では、候補取得部２４１によりステップＳ２９１の処理が行われ、動きベクトル導出部２４２によりステップＳ２９２乃至ステップＳ２９４の処理が行われる。
なお、これらのステップＳ２９１乃至ステップＳ２９４の処理は、図１１のステップＳ１５１乃至ステップＳ１５４の処理と同様であるため、その説明は省略する。
次に、図２０のフローチャートを参照して、図１８のステップＳ２７９のバイラテラルマッチングによるサブブロックの動き情報導出処理について説明する。
バイラテラルマッチングによるサブブロックの動き情報導出処理では、候補取得部２５１によりステップＳ３０１の処理が行われ、動きベクトル導出部２５２によりステップＳ３０２乃至ステップＳ３０４の処理が行われる。
なお、これらのステップＳ３０１乃至ステップＳ３０４の処理は、図１２のステップＳ１６１乃至ステップＳ１６４の処理と同様であるため、その説明は省略する。
〈バイラテラルマッチングによる動き情報導出処理の説明〉
ここで、図２１のフローチャートを参照して、予測部２１６により行われる、図１７のステップＳ２５７の処理に対応するバイラテラルマッチングによる動き情報導出処理について説明する。
ここで、図２１のフローチャートを参照して、予測部２１６により行われる、図１７のステップＳ２５７の処理に対応するバイラテラルマッチングによる動き情報導出処理について説明する。
バイラテラルマッチングによる動き情報導出処理では、候補取得部２５１によりステップＳ３１１の処理が行われ、動きベクトル導出部２５２によりステップＳ３１２乃至ステップＳ３１４の処理が行われる。
また、予測制御部２３１によりステップＳ３１５の処理が行われ、バイラテラルマッチング処理部２３３によりステップＳ３１６の処理が行われる。
なお、これらのステップＳ３１１乃至ステップＳ３１６の処理は、図１３のステップＳ１７１乃至ステップＳ１７６の処理と同様であるため、その説明は省略する。
〈第２の実施の形態〉
〈テンプレートマッチングにおけるサブブロックのサイズ〉
図５を参照して上述したように、テンプレートマッチングでCUの動き情報を導出する際には、テンプレートが存在せず、テンプレートマッチングができないサブブロックがあることから、動きベクトルの導出精度が低くなってしまっていた。
〈テンプレートマッチングにおけるサブブロックのサイズ〉
図５を参照して上述したように、テンプレートマッチングでCUの動き情報を導出する際には、テンプレートが存在せず、テンプレートマッチングができないサブブロックがあることから、動きベクトルの導出精度が低くなってしまっていた。
これに対応して、第１の実施の形態では、サブブロックについては、CUにおけるサブブロックの位置に応じて、テンプレートマッチングだけでなく、バイラテラルマッチングも用いる例について説明した。
しかしながら、図５を再度参照するに、領域TM11-1および領域TM11-2のサイズと比して、領域STM11-1と領域STM11-2のサイズは、かなり小さい。領域TM11-1および領域TM11-2は、カレントブロックCB11に隣接し、テンプレートマッチングに用いられる領域である。領域STM11-1と領域STM11-2は、サブブロックSCB11-1に隣接し、サブブロックSCB11-1のテンプレートマッチングに用いられる領域である。
このように、テンプレートマッチングでCUの動き情報を導出する際、サブブロックについては、テンプレートのサイズが小さいため、テンプレートマッチングの結果が不確かになってしまっていた。
これは、画像の大部分を使って、フレーム間のブロックマッチングを行うと、画像が一致する位置（すなわち、MV）が限られるのに対して、画像の局所だけを用いると、似た画像が複数の位置で見つかる可能性が増えることに起因している。
そこで、本技術の第２の実施の形態においては、CUで用いられたブロックマッチングに応じて、サブブロックのサイズを変更して、CUで用いられたブロックマッチングを用いて、サブブロックの動き情報の導出を行う。
図２２は、テンプレートマッチングにおけるサブブロックのサイズの影響について説明する図である。
図２２の上段における、カレントブロックCB11の動き情報の導出には、テンプレートマッチングが用いられており、カレントブロックCB11は、4つのサブブロックSCB21-1乃至サブブロックSCB21-4に分割されている。なお、図２２において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
サブブロックSCB21-1は、カレントブロックCB11の左上に位置する。サブブロックSCB21-1には、サブブロックSCB21-1に隣接する、テンプレートとしての領域STM21-1および領域STM21-2が存在する。サブブロックSCB21-2は、カレントブロックCB11の右上に位置する。サブブロックSCB21-2には、サブブロックSCB21-2に隣接する、テンプレートとしての領域STM21-3が存在する。
サブブロックSCB21-3は、カレントブロックCB11の左下に位置する。サブブロックSCB21-3には、サブブロックSCB21-3に隣接する、テンプレートとしての領域STM21-4が存在する。サブブロックSCB21-4は、カレントブロックCB11の右下に位置する。サブブロックSCB21-4には、テンプレートが存在しないため、サブブロックSCB21-4については、テンプレートマッチングができない。
しかしながら、図２２の上段においてテンプレートが存在しない面積は、サブブロックSCB21-4の領域のみである。図５でカレントブロックCB11を16分割した場合にテンプレートが存在しない面積は、サブブロックSCB11-6乃至SCB11-8、サブブロックSCB11-10乃至SCB11-12、サブブロックSCB11-14乃至SCB11-16の領域である。図２２の上段においてテンプレートが存在しない面積は、図５においてカレントブロックCB11を16分割した場合にテンプレートが存在しない面積よりも小さい。
以上のように、CUの動き情報導出にテンプレートマッチングが用いられる場合、サブブロックのサイズを大きくすることで、テンプレートの存在しないサブブロックの面積を小さくすることができる。
さらに、図２２の上段におけるサブブロックSCB21-1に隣接する領域STM21-1および領域STM21-2のサイズは、図５においてサブブロックSCB11-1に隣接する領域STM11-1および領域STM11-2のサイズよりも大きい。これにより、ブロックマッチングの結果が不確かになることを軽減できる。
図２２の下段におけるカレントブロックCB11の動き情報の導出には、バイラテラルマッチングが用いられており、カレントブロックCB11は、16のサブブロックSCB11-1乃至サブブロックSCB11-16に分割されている。すなわち、バイラテラルマッチングの場合は、テンプレートが用いられないため、図２２の上段の場合よりも小さいサイズのサブブロックでブロックマッチングを行うことができる。
図２３は、FRUCモードにおけるブロックマッチングの種類毎のサブブロックのサイズの対応表を示す図である。
図２３のＡには、サイズにより指定する場合の各ブロックマッチングが対応するサブブロックのサイズが示されている。テンプレートマッチングの場合、16以上のサブブロックのサイズに対応している。バイラテラルマッチングの場合、4以上のサブブロックのサイズに対応している。なお、ここでいうサブブロックのサイズは画素を単位とするサイズである。
図２３のＢには、分割数により指定する場合の各ブロックマッチングが対応するCUのサブブロック分割数が示されている。テンプレートマッチングの場合、CUの4分割までのサブブロックのサイズに対応している。バイラテラルマッチングの場合、CUの16分割までのサブブロックのサイズに対応している。
これらのサブブロックのサイズまたはCUの分割数の指定は、画像符号化装置１１では、図６の予測部３０により図２４に示すテンプレートマッチングによる動き情報導出処理のブロック分割時に行われる。上述したブロックマッチング毎のサブブロックのサイズまたはCUの分割数は、予測情報Pinfoのsplit flagに予め設定されるようにしてもよい。その際、ブロック分割時に予測情報Pinfoのsplit flagが参照される。以下、図２４のフローチャートを参照して、画像符号化装置１１によるテンプレートマッチングによる動き情報導出処理について説明する。
テンプレートマッチングによる動き情報導出処理では、候補取得部６１によりステップＳ４０１の処理が行われ、動きベクトル導出部６２によりステップＳ４０２乃至ステップＳ４０４の処理が行われる。
なお、これらのステップＳ４０１乃至ステップＳ４０４の処理は、図１０のステップＳ１３１乃至ステップＳ１３４の処理と同様であるため、その説明は省略する。
ステップＳ４０５において、予測制御部５１は、符号化対象のCUをサブブロックに分割する。このとき、予測制御部５１は、サブブロックのサイズを16以上に指定するか、または、CUの分割数を4分割までで指定する。
ステップＳ４０６において、テンプレートマッチング処理部５２は、テンプレートマッチングによるサブブロックの動き情報導出処理を行う。このテンプレートマッチングによるサブブロックの動き情報導出処理は、図１１を参照して上述した処理と基本的に同様の処理を行うので、その説明は省略される。ステップＳ４０６の処理により、サブブロックについての動き情報が導出されると、テンプレートマッチングによる動き情報導出処理は終了する。
また、この場合、図１３を参照して説明したバイラテラルマッチングによる動き情報導出処理が行われるときには、ステップＳ１７５において予測制御部５１は、サブブロックのサイズを4以上に指定するか、または、CUの分割数を16分割までで指定する。
一方、画像復号装置２０１では、これらのサブブロックのサイズまたはCUの分割数の指定は、図１５の予測部２１６により図２５に示すテンプレートマッチングによる動き情報導出処理のブロック分割時に行われる。以下、図２５のフローチャートを参照して、画像復号装置２０１によるテンプレートマッチングによる動き情報導出処理について説明する。
テンプレートマッチングによる動き情報導出処理では、候補取得部２４１によりステップＳ４３１の処理が行われ、動きベクトル導出部２４２によりステップＳ４３２乃至ステップＳ４３４の処理が行われる。
なお、これらのステップＳ４３１乃至ステップＳ４３４の処理は、図１０のステップＳ１３１乃至ステップＳ１３４の処理と同様であるため、その説明は省略する。
ステップＳ４３５において、予測制御部２３１は、符号化対象のCUをサブブロックに分割する。このとき、予測制御部２３１は、サブブロックのサイズを16以上に指定するか、または、CUの分割数を4分割までで指定する。
ステップＳ４３６において、テンプレートマッチング処理部２３２は、テンプレートマッチングによるサブブロックの動き情報導出処理を行う。このテンプレートマッチングによるサブブロックの動き情報導出処理は、図１９を参照して上述した処理と基本的に同様の処理を行うので、その説明は省略される。ステップＳ４３６の処理により、サブブロックについての動き情報が導出されると、テンプレートマッチングによる動き情報導出処理は終了する。
また、この場合、図２１を参照して説明したバイラテラルマッチングによる動き情報導出処理が行われるときには、ステップＳ３１５において予測制御部２３１は、サブブロックのサイズを4以上に指定するか、または、CUの分割数を16分割までで指定する。
以上のように、テンプレートマッチングの場合に、サブブロックのサイズを大きくするようにしたので、サブブロックの動きベクトルの導出精度を改善することができる。動きベクトルの導出精度が高くなることで、動き補償の精度も高くすることができる。
なお、第１の実施の形態と第２の実施の形態とを組み合わせてもよい。すなわち、CUの動き情報導出にテンプレートマッチングが用いられる場合、サブブロックのサイズを大きくし、その上で、テンプレートのないサブブロックに対しては、バイラテラルマッチングを用いるようにしてもよい。
〈第３の実施の形態〉
〈バイラテラルマッチングの場合のサブブロックのブロックマッチング〉
第１の実施の形態においては、テンプレートマッチングでCUの動き情報を導出する際には、サブブロックについては、CUにおけるサブブロックの位置に応じて、テンプレートマッチングだけでなく、バイラテラルマッチングも用いる例について説明した。
〈バイラテラルマッチングの場合のサブブロックのブロックマッチング〉
第１の実施の形態においては、テンプレートマッチングでCUの動き情報を導出する際には、サブブロックについては、CUにおけるサブブロックの位置に応じて、テンプレートマッチングだけでなく、バイラテラルマッチングも用いる例について説明した。
これに対して、第３の実施の形態では、バイラテラルマッチングでCUの動き情報を導出する際について説明する。
図２６は、サブブロック単位で行われるバイラテラルマッチングの例を示す図である。なお、図２６において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図２６の左側には、カレントブロックCB11が示されている。
図２６の右側には、カレントブロックCB11が16分割されて得られたサブブロックSCB11-1乃至SCB11-16が示されている。サブブロックのうち、サブブロックSCB11-1乃至サブブロックSCB11-4は、カレントブロックCB11の最上部に位置するサブブロックである。サブブロックのうち、サブブロックSCB11-1、SCB11-5、SCB11-9、SCB11-13は、カレントブロックCB11の最左部に位置するブロックである。
また、カレントブロックCB11の左上に位置するサブブロックSCB11-1に隣接し、サブブロックSCB11-1のテンプレートマッチングに用いられるテンプレートである領域STM11-1と領域STM11-2が示されている。
上述したように、JVETで検討されているFRUCモードでは、CUで、上述したブロックマッチングを用いて動き情報導出が行われる。そして、ブロックをさらに分割して、サブブロック単位で、ブロックマッチングが行われ、動き情報がサブブロック単位で導出される。
すなわち、CUの動き情報導出にバイラテラルマッチングを用いる場合、サブブロックにおいても、CUと同じバイラテラルマッチングが用いられて、サブブロックの動き情報が導出されている。
しかしながら、バイラテラルマッチングでCUの動き情報を導出する際、サブブロックの動きベクトル導出において、バイラテラルマッチングだけでなく、テンプレートマッチングも用いるようにしたほうがいい場合がある。
図２６におけるカレントブロックCB11の最上部のサブブロックと、最左部のサブブロックでは、テンプレートマッチングを用いて動き情報を導出するほうがよい場合がある。最左部のサブブロックとは、サブブロックSCB11-1乃至SCB11-5、サブブロックSCB11-9、およびサブブロックSCB11-13である。
これは、隣接するテンプレートが存在する場合は、テンプレートマッチングにより導出される動きベクトルがより正しく、CU全体でブロックマッチングを行う場合は、バイラテラルマッチングが正しいことがあるためである。基本的に画像の動きは、近い位置にある物体と近い動きをするという仮定をもとにしているためである。
これらの条件の場合に、サブブロックでバイラテラルマッチングを用いると、動きベクトルが正しく求まらないことがある。
そこで、本技術の第３の実施の形態においては、バイラテラルマッチングでCUの動き情報を導出する際、サブブロックの動きベクトル導出において、テンプレートが存在するサブブロックについては、テンプレートマッチングを用いるようにする。
図２６に示されたテンプレートが存在するサブブロックSCB11-1乃至SCB11-5、サブブロックSCB11-9、およびサブブロックSCB11-13については、テンプレートマッチングで動きベクトルの導出を行う。テンプレートが存在しないサブブロックSCB11-6乃至SCB11-8、サブブロックSCB11-10乃至SCB11-12、およびサブブロックSCB11-14乃至SCB11-16については、バイラテラルマッチングで動きベクトルの導出が行われる。
すなわち、バイラテラルマッチングにより動きベクトルを導出したCUを構成するサブブロックの動きベクトル導出では、サブブロックにテンプレートが存在するか否かに応じて、テンプレートマッチングおよびバイラテラルマッチングのいずれか一方が用いられる。あるいは、バイラテラルマッチングにより動きベクトルを導出したCUを構成するサブブロックの動きベクトル導出では、CUにおけるサブブロックの位置に応じて、テンプレートマッチングおよびバイラテラルマッチングのいずれか一方が用いられる。
これにより、サブブロックの動きベクトルの導出精度を改善することができる。動きベクトルの導出精度が高くなることで、動き補償の精度も高くすることができる。
以下、図２７のフローチャートを参照して、画像符号化装置１１によるバイラテラルマッチングによる動き情報導出処理について説明する。
バイラテラルマッチングによる動き情報導出処理では、候補取得部７１によりステップＳ３５１の処理が行われ、動きベクトル導出部７２によりステップＳ３５２乃至ステップＳ３５４の処理が行われる。
また、予測制御部５１によりステップＳ３５５の処理が行われる。なお、これらのステップＳ３５１乃至ステップＳ３５５の処理は、図１３のステップＳ１７１乃至ステップＳ１７５の処理と同様であるため、その説明は省略する。
ステップＳ３５６において、予測制御部５１は、処理対象とするサブブロックを１つ選択する。ステップＳ３５７において、予測制御部５１は、選択したサブブロックの符号化対象のCUにおける位置に基づいて、そのサブブロックの予測動きベクトル導出に、バイラテラルマッチングを行うか否かを判定する。
符号化対象のCUにおけるサブブロックの位置が、符号化対象のCUの最上部および最左部以外である場合、ステップＳ３５７において、予測制御部５１は、バイラテラルマッチングを行うとして、処理は、ステップＳ３５８に進む。
ステップＳ３５８において、バイラテラルマッチング処理部５３は、バイラテラルマッチングによるサブブロックの動き情報導出処理を行う。ステップＳ３５８においては、図１２のバイラテラルマッチングによるサブブロックの動き情報導出処理と基本的に同様の処理が行われる。この処理により、バイラテラルマッチングが用いられて、ステップＳ３５６で選択されたサブブロックの動き情報が導出される。
符号化対象のCUにおけるサブブロックの位置が、符号化対象のCUの最上部または最左部のいずれかである場合、ステップＳ３５７において、予測制御部５１は、テンプレートマッチングを行うとして、処理は、ステップＳ３５９に進む。
ステップＳ３５９において、テンプレートマッチング処理部５２は、テンプレートマッチングによるサブブロックの動き情報導出処理を行う。ステップＳ３５９においては、図１１のテンプレートマッチングによるサブブロックの動き情報導出処理と基本的に同様の処理が行われる。この処理により、テンプレートマッチングが用いられて、ステップＳ３５６で選択されたサブブロックの動き情報が導出される。
ステップＳ３５８またはステップＳ３５９においてサブロックの動き情報が導出されると、処理は、ステップＳ３６０に進む。
ステップＳ３６０において、予測制御部５１は、符号化対象のCUの全てのサブブロックについての処理が終了したか否かを判定する。ステップＳ３６０において、符号化対象のCUの全てのサブブロックについての処理がまだ終了していないと判定された場合、ステップＳ３５６に戻り、それ以降の処理が繰り返される。
ステップＳ３６０において、符号化対象のCUの全てのサブブロックについての処理が終了したと判定された場合、バイラテラルマッチングによる動き情報導出処理は終了される。
以上のように、画像符号化装置１１においては、バイラテラルマッチングを用いて動き情報導出を行ったCUにおけるサブブロックの位置（またはテンプレートの有無）に応じて、テンプレートモードでの動き情報導出を行うようにした。これにより、テンプレートのあるサブブロックの動き情報の導出精度を改善することができる。
次に、図２８のフローチャートを参照して、画像復号装置２０１によるバイラテラルマッチングによる動き情報導出処理について説明する。
バイラテラルマッチングによる動き情報導出処理では、候補取得部２５１によりステップＳ３７１の処理が行われる。また、動きベクトル導出部２５２によりステップＳ３７２乃至ステップＳ３７４の処理が行われ、予測制御部２３１によりステップＳ３７５乃至Ｓ３７７の処理が行われる。
バイラテラルマッチング処理部２３３によりステップＳ３７８の処理が行われ、テンプレートマッチング処理部２３２によりステップＳ３７９の処理が行われ、予測制御部２３１により、ステップＳ３８０の処理が行われる。
なお、これらのステップＳ３７１乃至ステップＳ３８０の処理は、図２７のステップＳ３５１乃至ステップＳ３６０処理と同様であるため、その説明は省略する。
なお、第１の実施の形態と第３の実施の形態とを組み合わせてもよい。CUの動きベクトル導出にテンプレートマッチングが用いられた場合、テンプレートがないサブブロックの動きベクトル導出には、バイラテラルマッチングが用いられる。一方、CUの動きベクトル導出にバイラテラルマッチングが用いられた場合、テンプレートを有するサブブロックの動きベクトル導出には、テンプレートマッチングが用いられる。
すなわち、CUのサブブロックの動きベクトルの導出には、CUの動きベクトル導出に用いられたブロックマッチングだけでなく、用いられたブロックマッチングとは異なるブロックマッチングを用いるようにしてもよい。
〈第４の実施の形態〉
〈サブブロックのサイズとPOC距離〉
第１乃至第３の実施の形態で述べてきたように、まず、CUの単位で動き情報の導出が行われ、CUの処理の後、サブブロックの動き情報の導出が行われる。
〈サブブロックのサイズとPOC距離〉
第１乃至第３の実施の形態で述べてきたように、まず、CUの単位で動き情報の導出が行われ、CUの処理の後、サブブロックの動き情報の導出が行われる。
図２９は、CUにおけるサブブロックのサイズ例を示す図である。なお、図２９において図２２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図２９の右上においては、カレントブロックCB11は、4つのサブブロックSCB21-1乃至サブブロックSCB21-4に分割されている。
図２９の右下においては、カレントブロックCB11は、16のサブブロックSCB11-1乃至サブブロックSCB11-16に分割されている。
一般に、CUのサブブロックへの分割数が多くなるにつれて、分割されたサブブロック分のブロックマッチングが必要となるため、処理量は増大してしまう。したがって、CUが4つのサブブロックに分割された場合よりも、CUが16のサブブロックに分割された場合が比較的処理量が多い。
FRUCモードの場合、画像復号装置２０１側でもブロックマッチングが行われるため、特に、画像復号装置２０１での処理量の増大は、動画の再生で実時間処理の実現に大きな壁となる。
また、上記説明においては、CUの大きさについては言及していなかったが、サブブロックのサイズは、CUのサイズよりも小さくなるので、小さいサイズのCUのFRUCモードの処理量は、比較的多くなってしまう。
ここで、動画像では、フレーム間の時間の間隔が長くなるにつれて、動きが複雑になる。動きが複雑になるにつれて、より小さなブロックでブロックマッチングを行うことが望ましくなる。
いま、フレーム間の時間の間隔を示すPOC(Picture Order Count)距離を定義するとする。POCは、フレームを表示する順序を示す数字であり、フレームレートに応じたフレーム間隔で並ぶフレームを順番に表す。現時のピクチャのPOCから参照するフレームのPOCまでの差の絶対値がPOC距離とされる。
POCは、一例として、HEVCの場合、スライスヘッダのslice_pic_order_cnt_lsb情報から得ることができる。
なお、slice_pic_order_cnt_lsbのセマンティクスは、次のようになるが、剰余を取ることは省略されてもよい。
slice_pic_order_cnt_lsb specifies the picture order count modulo MaxPicOrderCntLsb for the current picture.
本技術の第４の実施の形態においては、POC距離に応じて、サブブロックのサイズを変更するようにした。
図３０は、POC距離が1である場合のブロックマッチングの例を示す図である。図３０の例においては、POC（= i-2、i-1、i、i+1、i+2）順に並んだフレームが示されている。
図３０のＡは、POC距離が1である場合のテンプレートマッチングの例を示す図である。図３０のＡには、POC=iのフレーム上のカレントブロックCB11およびカレントブロックCB11に隣接する領域TM11が示されている。また、POC=iのフレームを始点とし、POC=i-1のフレームを終点とする、カレントブロックCB11の動きベクトルMV0が示されている。
この場合の現時のPOCは、iであり、参照先のPOCは、i-1である。したがって、POC距離は、|i-(i-1)|=1である。
図３０のＢは、POC距離が1である場合のバイラテラルマッチングの例を示す図である。図３０のＢには、POC=iのフレーム上のカレントブロックCB11、POC=iのフレームを始点とし、POC=i-1のフレームを終点とする、カレントブロックCB11の動きベクトルMV0が示されている。また、POC=iのフレームを始点とし、POC=i+1のフレームを終点とする、カレントブロックCB11の動きベクトルMV1が示されている。
この場合の現時のPOCは、iであり、参照先のPOCは、i-1またはi+1である。したがって、POC距離は、|i-(i-1)|=1または|i-(i+1)|=1と、いずれも1である。
図３１は、POC距離が2である場合のブロックマッチングの例を示す図である。なお、図３１において図３０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図３１のＡは、POC距離が2である場合のテンプレートマッチングの例を示す図である。図３１のＡには、POC=iのフレーム上のカレントブロックCB11と領域TM11の他に、POC=iのフレームを始点とし、POC=i-2のフレームを終点とする、カレントブロックCB11の動きベクトルMV0が示されている。
この場合の現時のPOCは、iであり、参照先のPOCは、i-2である。したがって、POC距離は、|i-(i-2)|=2である。
図３１のＢは、POC距離が2である場合のバイラテラルマッチングの例を示す図である。図３１のＢには、POC=iのフレーム上のカレントブロックCB11、POC=iのフレームを始点とし、POC=i-2のフレームを終点とする、カレントブロックCB11の動きベクトルMV0が示されている。また、POC=iのフレームを始点とし、POC=i+2のフレームを終点とする、カレントブロックCB11の動きベクトルMV1が示されている。
この場合の現時のPOCは、iであり、参照先のPOCは、i-2またはi+2である。したがって、POC距離は、|i-(i-2)|=2または|i-(i+2)|=2と、いずれも2である。
図３１の場合、図３０の場合よりPOC距離が長く、より動きが複雑なため、小さいサブブロックへの分割が望まれる状態である。
図３２は、POC距離とサブブロックサイズの対応例を示す図である。
図３２では、POC距離が1の場合、対応するサブブロックのサイズは、32である。POC距離が2の場合、対応するサブブロックのサイズは、16である。POC距離が3の場合、対応するサブブロックのサイズは、8である。POC距離が4以上の場合、対応するサブブロックのサイズは、4である。ここでサブブロックのサイズは画素を単位とするサイズである。
POC距離が1と近い場合、動きが複雑ではなく簡単であることが期待できるため、処理量が小さくすむように、サブブロックのサイズは比較的大きくされる。これに対して、POC距離が4以上と遠い場合、動きが複雑になることが懸念されるため、動きがより細かく調べられるように、サブブロックのサイズは、比較的小さくされる。
サブブロックのサイズは、CUの分割数を指定することでも指定可能である。
これらのサブブロックのサイズや分割数の指定は、画像符号化装置１１では、図６の予測部３０の予測制御部５１により行われる。これらの指定は、図２４のテンプレートマッチングによる動き情報導出処理におけるステップＳ４０５や図１３のバイラテラルマッチングによる動き情報導出処理におけるステップＳ１７５で行われる。
また、これらのサブブロックのサイズや分割数の指定は、画像復号装置２０１では、図１５の予測部２１６の予測制御部２３１により行われる。これらの指定は、図２５のテンプレートマッチングによる動き情報導出処理におけるステップＳ４３５や図２１のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３１５で行われる。
上述したサブブロックのサイズや分割数も、予測情報Pinfoのsplit flagに予め設定されるようにしてもよい。その際、ブロック分割時に予測情報Pinfoのsplit flagが参照される。
〈第５の実施の形態〉
〈CUのサイズと分割数〉
第４の実施の形態で上述したように、CUのサイズの違いによって処理量が異なる。
〈CUのサイズと分割数〉
第４の実施の形態で上述したように、CUのサイズの違いによって処理量が異なる。
そこで、本技術の第５の実施の形態においては、CUのサイズとPOC距離に応じて、CUをサブブロックに分割しない（すなわち、分割を禁止する）か、あるいは、CUのサブブロックへの分割数を加減（変更）するようにした。なお、CUをサブブロックに分割しない、つまりCUのサブブロックへの分割を禁止するとは、サブブロックの分割数0で、CUを１つのサブブロックに分割するともいえる。
図３３は、CUのサイズ、POC距離、およびサブブロックへの分割の対応例を示す図である。
図３３では、CUのサイズが32以上である場合、POC距離が1のときは、CUをサブブロックに分割せず、POC距離が2または3以上のときは、CUをサブブロックに分割するとされている。また、CUのサイズが32未満である場合、POC距離が1および2のときは、CUをサブブロックに分割せず、POC距離が3以上のときは、CUをサブブロックに分割するとされている。
CUのサイズが32未満と小さい場合、処理量増加が懸念されるため、サブブロックへの分割は、POC距離が3以上のときに限って行われる。サブブロックへの分割は、POC距離が2以下のとき行われない。
CUのサイズが32以上と大きい場合、処理量が小さくすむことが期待できるため、サブブロックへの分割は、POC距離が2または3以上のときに行われる。
これらのサブブロックへの分割数の指定は、第４の実施の形態と同様に、画像符号化装置１１では、図６の予測部３０の予測制御部５１により行われる。これらの指定は、図２４のテンプレートマッチングによる動き情報導出処理におけるステップＳ４０５や図１３のバイラテラルマッチングによる動き情報導出処理におけるステップＳ１７５で行われる。
また、サブブロックへの分割数の指定は、画像復号装置２０１では、図１５の予測部２１６の予測制御部２３１により行われる。これらの指定は、図２５のテンプレートマッチングによる動き情報導出処理におけるステップＳ４３５や図２１のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３１５で行われる。
なお、第４の実施の形態の場合も、第５の実施の形態の場合も、これらのサブブロックのサイズやサブブロックへの分割数の指定は、画像符号化装置１１と画像復号装置２０１では、以下のように行われてもよい。画像符号化装置１１では、図６の予測部３０の予測制御部５１により、図１０のテンプレートマッチングによる動き情報導出処理におけるステップＳ１３６や図２７のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３５６で行われてもよい。
また、サブブロックのサイズやサブブロックへの分割数の指定は、画像復号装置２０１では、図１５の予測部２１６の予測制御部２３１により行われる。これらの指定は、図１８のテンプレートマッチングによる動き情報導出処理におけるステップＳ２７６や図２８のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３７６で行われてもよい。
以上、本技術の第４および第５の実施の形態によれば、処理量の大きいことが懸念されるサブブロックのブロックマッチングの処理量を軽減することができる。
また、動きが複雑なことが懸念されるPOC距離の遠いブロックマッチングでは、サブブロックのサイズを小さくできるようにすることで、より高い精度でブロックマッチングを行うことができる。
さらに、CUのサイズが小さい場合には処理量増加が懸念され、POC距離が近い場合には、動きが簡単であることが期待できることから、それらの場合にはサブブロックの分割をしないで、処理量を軽減することができる。
〈第６の実施の形態〉
〈ブロックマッチング種類およびCUのサイズと分割数〉
第６の実施の形態においては、第４および第５の実施の形態で示されたPOC距離とサブブロックへの分割数に、第１乃至第３の実施の形態で上述されてきたブロックマッチングの種類が組み合わされる。
〈ブロックマッチング種類およびCUのサイズと分割数〉
第６の実施の形態においては、第４および第５の実施の形態で示されたPOC距離とサブブロックへの分割数に、第１乃至第３の実施の形態で上述されてきたブロックマッチングの種類が組み合わされる。
図３４は、バイラテラルマッチング、CUのサイズ、POC距離、およびサブブロックへの分割の対応例を示す図である。
図３４では、バイラテラルマッチングで、CUのサイズが32以上である場合、POC距離が1のときは、CUをサブブロックに分割せず（分割を禁止し）、POC距離が2乃至4以上のときは、CUをサブブロックに分割するとされている。また、バイラテラルマッチングで、CUのサイズが32未満である場合、POC距離が1および2のときは、CUをサブブロックに分割せず（分割を禁止し）、POC距離が3および4以上のときは、CUをサブブロックに分割するとされている。
図３５は、テンプレートマッチング、CUのサイズ、POC距離、およびサブブロックへの分割の対応例を示す図である。
図３５では、テンプレートマッチングで、CUのサイズが32以上である場合、POC距離が1および2のときは、CUをサブブロックに分割せず、POC距離が3または4以上のときは、CUをサブブロックに分割するとされている。また、テンプレートマッチングで、CUのサイズが32未満である場合、POC距離が1乃至3のときは、CUをサブブロックに分割せず、POC距離が4以上のときは、CUをサブブロックに分割するとされている。
テンプレートマッチングは、CUの最上部と最左部に位置するサブブロックしかテンプレートが存在しないため、動きベクトルの導出精度がバイラテラルマッチングと比較して、低くなると考えられる。そこで、図３５においては、サブブロックへと分割しない条件が増やされている。
一方、CUのサイズが小さいときには、さらに分割すると処理量が増大し過ぎる懸念があるため、CUのサイズによって分割するか否かが判定される。
さらに、POC距離が遠いマッチングの場合、動きが複雑になることから、サブブロックへ分割することで、動きベクトルの導出精度を高めることができる。
これらのサブブロックへの分割数の指定は、画像符号化装置１１では、図６の予測部３０の予測制御部５１により行われる。これらの指定は、図１０のテンプレートマッチングによる動き情報導出処理におけるステップＳ１３６や図２７のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３５６で行われる。
また、画像復号装置２０１では、図１５の予測部２１６の予測制御部２３１により行われる。これらの指定は、図１８のテンプレートマッチングによる動き情報導出処理におけるステップＳ２７６や図２８のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３７６で行われる。
これらの場合のサブブロックのサイズや分割数も、予測情報Pinfoのsplit flagに予め設定されるようにしてもよい。その際、ブロック分割時に予測情報Pinfoのsplit flagが参照される。
なお、これらのサブブロックのサイズやサブブロックへの分割数の指定は、第４および第５の実施の形態と同様に行われてもよい。画像符号化装置１１では、図６の予測部３０の予測制御部５１により、図２４のテンプレートマッチングによる動き情報導出処理におけるステップＳ４０５や図１３のバイラテラルマッチングによる動き情報導出処理におけるステップＳ１７５で行われてもよい。
また、サブブロックのサイズやサブブロックへの分割数の指定は、画像復号装置２０１では、図１５の予測部２１６の予測制御部２３１により行われてもよい。これらの指定は、図２５のテンプレートマッチングによる動き情報導出処理におけるステップＳ４３５や図２１のバイラテラルマッチングによる動き情報導出処理におけるステップＳ３１５で行われてもよい。
以上のように本技術によれば、動き予測の精度を改善させることができる。よって、動き補償の精度も改善される。
また、以上において説明した本技術は、例えばサーバやネットワークシステム、テレビ、パーソナルコンピュータ、携帯型電話機、記録再生装置、撮像装置、ポータブル機器などの各種の電子機器やシステムに適用することができる。なお、以上において説明した各実施の形態を適宜、組み合わせることも勿論可能である。
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、およびドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカアレイなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５およびバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
（１）
参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する予測部
を備える画像処理装置。
（２）
前記第１のブロックマッチングと前記第２のブロックマッチングは、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチングまたは互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングである
前記（１）に記載の画像処理装置。
（３）
前記予測部は、前記ブロックにおける前記サブブロックの位置に基づいて、その前記サブブロックの動きベクトルを前記第１のブロックマッチングを用いて導出するか、または、前記第２のブロックマッチングを用いて導出するかを決定する
前記（２）に記載の画像処理装置。
（４）
前記予測部は、前記ブロックにおける前記サブブロックの位置が、前記ブロックの最左部または最上部である場合、その前記サブブロックの動きベクトルを、前記テンプレートマッチングにより導出する
前記（３）に記載の画像処理装置。
（５）
前記予測部は、前記サブブロックがデコード済みブロックに隣接しているか否かに基づいて、その前記サブブロックの動きベクトルを前記第１のブロックマッチングを用いて導出するか、または、前記第２のブロックマッチングを用いて導出するかを決定する
前記（２）に記載の画像処理装置。
（６）
前記予測部は、前記サブブロックが前記デコード済みブロックに隣接している場合、その前記サブブロックの動きベクトルを、前記テンプレートマッチングにより導出する
前記（５）に記載の画像処理装置。
（７）
前記予測部は、前記第１のブロックマッチングとして前記テンプレートマッチングを行って前記ブロックの動きベクトルを導出した場合、前記ブロックの動きベクトルを、前記バイラテラルマッチングにより導出した場合よりも、よりサイズの大きい前記サブブロックに前記ブロックを分割する
前記（２）に記載の画像処理装置。
（８）
前記予測部は、前記ブロックの動きベクトル導出時の前記第１のブロックマッチングに用いた画像間の時間間隔を示すPOC距離に応じて、前記ブロックの前記サブブロックへの分割を禁止するか、または、前記ブロックを前記サブブロックに分割するときの前記ブロックの分割数を加減する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記予測部は、前記POC距離と前記ブロックのサイズに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（８）に記載の画像処理装置。
（１０）
前記予測部は、前記POC距離、前記ブロックのサイズ、および前記ブロックの動きベクトル導出に用いる前記第１のブロックマッチングに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（８）に記載の画像処理装置。
（１１）
画像処理装置が、
参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する
画像処理方法。
（１２）
参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する予測部を備える
画像処理装置。
（１３）
前記予測部は、前記POC距離と前記ブロックのサイズに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（１２）に記載の画像処理装置。
（１４）
前記予測部は、前記POC距離、前記ブロックのサイズ、および前記ブロックの動きベクトル導出に用いる前記ブロックマッチングに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（１２）に記載の画像処理装置。
（１５）
前記ブロックマッチングは、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチング、または互いに異なる時刻の前記参照画像に基づくバイラテラレルマッチングである
前記（１２）に記載の画像処理装置。
（１６）
画像処理装置が、
参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する
画像処理方法。
参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する予測部
を備える画像処理装置。
（２）
前記第１のブロックマッチングと前記第２のブロックマッチングは、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチングまたは互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングである
前記（１）に記載の画像処理装置。
（３）
前記予測部は、前記ブロックにおける前記サブブロックの位置に基づいて、その前記サブブロックの動きベクトルを前記第１のブロックマッチングを用いて導出するか、または、前記第２のブロックマッチングを用いて導出するかを決定する
前記（２）に記載の画像処理装置。
（４）
前記予測部は、前記ブロックにおける前記サブブロックの位置が、前記ブロックの最左部または最上部である場合、その前記サブブロックの動きベクトルを、前記テンプレートマッチングにより導出する
前記（３）に記載の画像処理装置。
（５）
前記予測部は、前記サブブロックがデコード済みブロックに隣接しているか否かに基づいて、その前記サブブロックの動きベクトルを前記第１のブロックマッチングを用いて導出するか、または、前記第２のブロックマッチングを用いて導出するかを決定する
前記（２）に記載の画像処理装置。
（６）
前記予測部は、前記サブブロックが前記デコード済みブロックに隣接している場合、その前記サブブロックの動きベクトルを、前記テンプレートマッチングにより導出する
前記（５）に記載の画像処理装置。
（７）
前記予測部は、前記第１のブロックマッチングとして前記テンプレートマッチングを行って前記ブロックの動きベクトルを導出した場合、前記ブロックの動きベクトルを、前記バイラテラルマッチングにより導出した場合よりも、よりサイズの大きい前記サブブロックに前記ブロックを分割する
前記（２）に記載の画像処理装置。
（８）
前記予測部は、前記ブロックの動きベクトル導出時の前記第１のブロックマッチングに用いた画像間の時間間隔を示すPOC距離に応じて、前記ブロックの前記サブブロックへの分割を禁止するか、または、前記ブロックを前記サブブロックに分割するときの前記ブロックの分割数を加減する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記予測部は、前記POC距離と前記ブロックのサイズに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（８）に記載の画像処理装置。
（１０）
前記予測部は、前記POC距離、前記ブロックのサイズ、および前記ブロックの動きベクトル導出に用いる前記第１のブロックマッチングに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（８）に記載の画像処理装置。
（１１）
画像処理装置が、
参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する
画像処理方法。
（１２）
参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する予測部を備える
画像処理装置。
（１３）
前記予測部は、前記POC距離と前記ブロックのサイズに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（１２）に記載の画像処理装置。
（１４）
前記予測部は、前記POC距離、前記ブロックのサイズ、および前記ブロックの動きベクトル導出に用いる前記ブロックマッチングに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
前記（１２）に記載の画像処理装置。
（１５）
前記ブロックマッチングは、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチング、または互いに異なる時刻の前記参照画像に基づくバイラテラレルマッチングである
前記（１２）に記載の画像処理装置。
（１６）
画像処理装置が、
参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する
画像処理方法。
１１ 画像符号化装置， ２１ 制御部， ３０ 予測部， ５１ 予測制御部， ５２ テンプレートマッチング処理部， ５３ バイラテラルマッチング処理部， ６１ 候補取得部， ６２ 動きベクトル導出部， ７１ 候補取得部， ７２ 動きベクトル導出部， ２０１ 画像復号装置， ２１１ 復号部， ２１６ 予測部， ２３１ 予測制御部， ２３２ テンプレートマッチング処理部， ２３３ バイラテラルマッチング処理部， ２４１ 候補取得部， ２４２ 動きベクトル導出部， ２５１ 候補取得部， ２５２ 動きベクトル導出部
Claims (16)
- 参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する予測部
を備える画像処理装置。 - 前記第１のブロックマッチングと前記第２のブロックマッチングは、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチングまたは互いに異なる時刻の前記参照画像に基づくバイラテラルマッチングである
請求項１に記載の画像処理装置。 - 前記予測部は、前記ブロックにおける前記サブブロックの位置に基づいて、その前記サブブロックの動きベクトルを前記第１のブロックマッチングを用いて導出するか、または、前記第２のブロックマッチングを用いて導出するかを決定する
請求項２に記載の画像処理装置。 - 前記予測部は、前記ブロックにおける前記サブブロックの位置が、前記ブロックの最左部または最上部である場合、その前記サブブロックの動きベクトルを、前記テンプレートマッチングにより導出する
請求項３に記載の画像処理装置。 - 前記予測部は、前記サブブロックがデコード済みブロックに隣接しているか否かに基づいて、その前記サブブロックの動きベクトルを前記第１のブロックマッチングを用いて導出するか、または、前記第２のブロックマッチングを用いて導出するかを決定する
請求項２に記載の画像処理装置。 - 前記予測部は、前記サブブロックが前記デコード済みブロックに隣接している場合、その前記サブブロックの動きベクトルを、前記テンプレートマッチングにより導出する
請求項５に記載の画像処理装置。 - 前記予測部は、前記第１のブロックマッチングとして前記テンプレートマッチングを行って前記ブロックの動きベクトルを導出した場合、前記ブロックの動きベクトルを、前記バイラテラルマッチングにより導出した場合よりも、よりサイズの大きい前記サブブロックに前記ブロックを分割する
請求項２に記載の画像処理装置。 - 前記予測部は、前記ブロックの動きベクトル導出時の前記第１のブロックマッチングに用いた画像間の時間間隔を示すPOC距離に応じて、前記ブロックの前記サブブロックへの分割を禁止するか、または、前記ブロックを前記サブブロックに分割するときの前記ブロックの分割数を加減する
請求項１に記載の画像処理装置。 - 前記予測部は、前記POC距離と前記ブロックのサイズに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
請求項８に記載の画像処理装置。 - 前記予測部は、前記POC距離、前記ブロックのサイズ、および前記ブロックの動きベクトル導出に用いる前記第１のブロックマッチングに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
請求項８に記載の画像処理装置。 - 画像処理装置が、
参照画像を用いた第１のブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックを構成するサブブロックの一部の動きベクトルを、前記第１のブロックマッチングとは異なる第２のブロックマッチングを用いて導出する
画像処理方法。 - 参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する予測部を備える
画像処理装置。 - 前記予測部は、前記POC距離と前記ブロックのサイズに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
請求項１２に記載の画像処理装置。 - 前記予測部は、前記POC距離、前記ブロックのサイズ、および前記ブロックの動きベクトル導出に用いる前記ブロックマッチングに応じて、前記ブロックの分割を禁止するか、または、前記分割数を加減する
請求項１２に記載の画像処理装置。 - 前記ブロックマッチングは、前記ブロックを含む画像と前記参照画像とに基づくテンプレートマッチング、または互いに異なる時刻の前記参照画像に基づくバイラテラレルマッチングである
請求項１２に記載の画像処理装置。 - 画像処理装置が、
参照画像を用いたブロックマッチングにより処理対象のブロックの動きベクトルを導出し、前記ブロックマッチングに用いた画像間の時間間隔を示す POC距離に応じて、前記ブロックのサブブロックへの分割を禁止するか、または、前記ブロックをサブブロックに分割するときの前記ブロックの分割数を加減する
画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/641,649 US20210168396A1 (en) | 2017-09-08 | 2018-08-24 | Image processing device and method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017173132 | 2017-09-08 | ||
| JP2017-173132 | 2017-09-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019049684A1 true WO2019049684A1 (ja) | 2019-03-14 |
Family
ID=65634795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/031284 WO2019049684A1 (ja) | 2017-09-08 | 2018-08-24 | 画像処理装置および方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210168396A1 (ja) |
| WO (1) | WO2019049684A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7324065B2 (ja) | 2019-06-26 | 2023-08-09 | キヤノン株式会社 | 動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006165840A (ja) * | 2004-12-06 | 2006-06-22 | Renesas Technology Corp | 動き補償画像符号化装置及び符号化方法 |
| WO2018061522A1 (ja) * | 2016-09-27 | 2018-04-05 | シャープ株式会社 | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
| WO2018110180A1 (ja) * | 2016-12-15 | 2018-06-21 | シャープ株式会社 | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
-
2018
- 2018-08-24 WO PCT/JP2018/031284 patent/WO2019049684A1/ja active Application Filing
- 2018-08-24 US US16/641,649 patent/US20210168396A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006165840A (ja) * | 2004-12-06 | 2006-06-22 | Renesas Technology Corp | 動き補償画像符号化装置及び符号化方法 |
| WO2018061522A1 (ja) * | 2016-09-27 | 2018-04-05 | シャープ株式会社 | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
| WO2018110180A1 (ja) * | 2016-12-15 | 2018-06-21 | シャープ株式会社 | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN, JIANLE ET AL.: "Further improvements to HMKTA-1.0", ITU-TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP(VCEG, 26 June 2015 (2015-06-26), Warsaw, Poland, pages 1 - 8, XP055555095 * |
| CHEN, XU ET AL.: "Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching", JOINT VIDEO EXPLORATION TEAM(JVET) OF ITU-T SG 16 WP 3, 8 October 2016 (2016-10-08), Chengdu, CN, pages 1 - 4, XP030150255 * |
| SEO, JUNG-DONG ET AL.: "Simplification and improvements on FRUC", JOINT VIDEO EXPLORATION TEAM(JVET) OF ITU-T SG 16 WP 3, 6 July 2017 (2017-07-06), Meeting:Torino, pages 1 - 6, XP030150852 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7324065B2 (ja) | 2019-06-26 | 2023-08-09 | キヤノン株式会社 | 動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210168396A1 (en) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11315320B2 (en) | Information processing apparatus and method | |
| US10063855B2 (en) | Image predictive encoding and decoding device | |
| JP6559309B2 (ja) | 画像予測復号方法 | |
| TWI429292B (zh) | 動作向量探索方法及裝置及其程式以及記錄有程式之記錄媒體 | |
| ES2588154T3 (es) | Método de generación automática de procedimientos de generación de valores de predicción de píxel, método de codificación de imágenes, método de descodificación de imágenes, dispositivos que usan estos métodos, programas para estos métodos y medio de grabación en el que estos programas están grabados | |
| JP2015065690A (ja) | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム | |
| EP2960855B1 (en) | Method and device for determining a set of modifiable elements in a group of pictures | |
| US20240048778A1 (en) | Video transcoding method and apparatus, and electronic device and storage medium | |
| Fu et al. | Efficient depth intra frame coding in 3D-HEVC by corner points | |
| EP3595312A1 (en) | Image processing device and method | |
| US20200059657A1 (en) | Image processing apparatus and method | |
| CN112640459A (zh) | 图像编码系统中基于使用合并候选列表的运动预测的图像解码方法和设备 | |
| WO2019049684A1 (ja) | 画像処理装置および方法 | |
| Huo et al. | Fast rate-distortion optimization for depth maps in 3-d video coding | |
| JP2014014133A (ja) | 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
| CN115941950A (zh) | 编码方法、解码方法、编码设备以及解码设备 | |
| WO2022204392A1 (en) | Multi-distribution entropy modeling of latent features in image and video coding using neural networks | |
| US11790567B2 (en) | Information processing apparatus and method | |
| BR112021011517A2 (pt) | Codificação de vídeo e decodificação de vídeo | |
| JP7323014B2 (ja) | 映像復号方法 | |
| US11818395B2 (en) | Immersive video decoding method and immersive video encoding method | |
| CN111083487B (zh) | 仿射模式的运动信息的存储 | |
| CN114979632A (zh) | 块矢量的编解码方法、编码设备、解码设备及存储介质 | |
| JP2022000949A (ja) | 画像復号装置、画像復号方法及びプログラム | |
| JP2020057840A (ja) | 画像復号装置、画像符号化装置、画像処理システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18853274 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18853274 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |