WO2019244669A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2019244669A1
WO2019244669A1 PCT/JP2019/022684 JP2019022684W WO2019244669A1 WO 2019244669 A1 WO2019244669 A1 WO 2019244669A1 JP 2019022684 W JP2019022684 W JP 2019022684W WO 2019244669 A1 WO2019244669 A1 WO 2019244669A1
Authority
WO
WIPO (PCT)
Prior art keywords
template
unit
motion vector
candidate list
candidate
Prior art date
Application number
PCT/JP2019/022684
Other languages
English (en)
French (fr)
Inventor
健史 筑波
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980040155.9A priority Critical patent/CN112313956A/zh
Priority to JP2020525518A priority patent/JPWO2019244669A1/ja
Priority to US17/252,292 priority patent/US11533471B2/en
Priority to EP19821653.3A priority patent/EP3817387A4/en
Priority to KR1020207035404A priority patent/KR20210021971A/ko
Publication of WO2019244669A1 publication Critical patent/WO2019244669A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/24Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation

Definitions

  • the present disclosure relates to an image processing device and method, and more particularly, to an image processing device and method capable of suppressing an increase in template matching load.
  • an MV candidate list which is a list of candidates for the predicted motion vector (also referred to as an MV candidate), is generated, and one of the MV candidates in the MV candidate list is selected.
  • Non-Patent Document 1 a method of rearranging the order of MV candidates in the MV candidate list based on the cost derived by template matching has been considered (for example, see Non-Patent Document 1).
  • the present disclosure has been made in view of such a situation, and is intended to suppress an increase in template matching load.
  • An image processing apparatus is configured to perform template matching between a template of a current block and a template of a reference block for a motion vector candidate having an accuracy lower than the accuracy of the motion vector candidate list, and to derive a cost. And a rearrangement unit that rearranges the elements of the motion vector candidate list based on the cost of each motion vector candidate derived by the template matching unit.
  • An image processing method performs template matching between a template of a current block and a template of a reference block for a motion vector candidate having a coarser accuracy than the accuracy of the motion vector candidate list, and derives a cost. This is an image processing method for rearranging the elements of the motion vector candidate list based on the cost of each motion vector candidate.
  • An image processing apparatus performs template matching between a template of a current block and a template of a search point for a motion vector candidate having an accuracy lower than the accuracy of the motion vector candidate list, to thereby derive a cost.
  • an updating unit that derives a corrected motion vector candidate based on the cost of each motion vector candidate derived by the template matching unit, and updates the motion vector candidate list using the derived corrected motion vector candidate. It is an image processing apparatus provided.
  • An image processing method performs template matching between a template of a current block and a template of a search point for a motion vector candidate having a coarser accuracy than the accuracy of the motion vector candidate list, and derives and derives a cost.
  • a modified motion vector candidate is derived based on the calculated cost of each motion vector candidate, and the motion vector candidate list is updated using the derived modified motion vector candidate.
  • template matching between the current block template and the reference block template is performed on a motion vector candidate having an accuracy lower than the accuracy of the motion vector candidate list, and the cost is derived. Then, the elements of the motion vector candidate list are rearranged based on the derived cost of each motion vector candidate.
  • template matching between the template of the current block and the template of the search point is performed for a motion vector candidate having an accuracy lower than the accuracy of the motion vector candidate list, and cost is reduced.
  • the derived motion vector candidates are derived based on the derived costs of the respective derived motion vector candidates, and the motion vector candidate list is updated using the derived modified motion vector candidates.
  • an image can be processed.
  • an increase in template matching load can be suppressed.
  • the above-described effects are not necessarily limited, and any of the effects described in this specification or other effects that can be grasped from this specification can be used together with or in place of the above-described effects. May be played.
  • FIG. 11 is a diagram illustrating an example of rearrangement of an MV candidate list.
  • FIG. 9 is a diagram illustrating an example of a state of template matching.
  • FIG. 14 is a diagram illustrating a main example of a template matching method to which the present technology is applied.
  • FIG. 3 is a block diagram illustrating a main configuration example of an MV candidate list deriving device. 13 is a flowchart illustrating an example of the flow of an MV candidate list derivation process.
  • FIG. 4 is a block diagram illustrating a main configuration example of an MV candidate list rearranging unit.
  • 15 is a flowchart illustrating an example of the flow of an MV candidate list rearrangement process.
  • FIG. 4 is a block diagram illustrating a main configuration example of an MV candidate list rearranging unit. It is a figure showing an example of setting of a test flag and a cost reference index.
  • FIG. 4 is a diagram illustrating an example of pseudo code.
  • 15 is a flowchart illustrating an example of the flow of an MV candidate list rearrangement process.
  • 12 is a flowchart illustrating an example of the flow of an MV candidate list rearrangement process, which is subsequent to FIG. 11.
  • FIG. 6 is a diagram illustrating an example of a state of template thinning.
  • FIG. 4 is a block diagram illustrating a main configuration example of an MV candidate list rearranging unit.
  • FIG. 6 is a diagram illustrating an example of a state of template thinning.
  • FIG. 6 is a diagram illustrating an example of a state of template thinning.
  • 15 is a flowchart illustrating an example of the flow of an MV candidate list rearrangement process.
  • FIG. 4 is a block diagram illustrating a main configuration example of an MV candidate list rearranging unit.
  • FIG. 7 is a diagram illustrating a setting example of a template size.
  • FIG. 7 is a diagram illustrating a setting example of a template size.
  • FIG. 7 is a diagram illustrating a setting example of a template size.
  • 15 is a flowchart illustrating an example of the flow of an MV candidate list rearrangement process.
  • FIG. 4 is a block diagram illustrating a main configuration example of an MV candidate list rearranging unit.
  • FIG. 13 is a flowchart illustrating an example of the flow of an MV candidate list derivation process.
  • FIG. 4 is a block diagram illustrating a main configuration example of an MV candidate list rearranging unit.
  • FIG. 14 is a diagram illustrating an example of how to set a reference LX prediction.
  • 15 is a flowchart illustrating an example of the flow of an MV candidate list rearrangement process.
  • FIG. 35 is a block diagram illustrating a main configuration example of an image encoding device. It is a flowchart explaining the example of the flow of an image encoding process.
  • FIG. 35 is a block diagram illustrating a main configuration example of an image decoding device. It is a flowchart explaining an example of the flow of an image decoding process.
  • FIG. 14 is a diagram illustrating an example of derivation of a modified MV candidate.
  • FIG. 4 is a diagram illustrating an example of an MV offset list.
  • FIG. 3 is a block diagram illustrating a main configuration example of an MV candidate list deriving device. 13 is a flowchart illustrating an example of the flow of an MV candidate list derivation process.
  • FIG. 14 is a block diagram illustrating a main configuration example of a modified MV candidate derivation unit.
  • FIG. 4 is a diagram illustrating an example of an MV offset list.
  • 15 is a flowchart illustrating an example of the flow of a modified MV candidate derivation process.
  • 39 is a flowchart for describing an example of the flow of a modified MV candidate derivation process, continued from FIG.
  • FIG. 14 is a block diagram illustrating a main configuration example of a modified MV candidate derivation unit.
  • 15 is a flowchart illustrating an example of the flow of a modified MV candidate derivation process.
  • 42 is a flowchart for describing an example of the flow of a modified MV candidate derivation process, continued from FIG. 41.
  • FIG. 14 is a block diagram illustrating a main configuration example of a modified MV candidate derivation unit.
  • 15 is a flowchart illustrating an example of the flow of a modified MV candidate derivation process.
  • 45 is a flowchart for describing an example of the flow of a modified MV candidate derivation process, continued from FIG. 44.
  • FIG. 14 is a block diagram illustrating a main configuration example of a modified MV candidate derivation unit.
  • 15 is a flowchart illustrating an example of the flow of a modified MV candidate derivation process.
  • 48 is a flowchart for describing an example of the flow of a modified MV candidate derivation process, continued from FIG. 47.
  • FIG. 14 is a block diagram illustrating a main configuration example of a modified MV candidate derivation unit.
  • 13 is a flowchart illustrating an example of the flow of an MV candidate list derivation process.
  • FIG. 14 is a block diagram illustrating a main configuration example of a modified MV candidate derivation unit.
  • 15 is a flowchart illustrating an example of the flow of a modified MV candidate derivation process.
  • FIG. 53 is a flowchart for describing an example of the flow of a modified MV candidate derivation process, continued from FIG. 52.
  • FIG. 9 is a diagram illustrating an example of how to select a difference motion vector candidate. It is a flowchart explaining the example of the flow of a motion vector derivation process.
  • FIG. 21 is a block diagram illustrating a main configuration example of a computer.
  • Non-patent document 1 (described above)
  • Non-Patent Document 2 Jianle Chen, pupils Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 11 7th Meeting: Torino, IT, 13-21 July 2017
  • Non-Patent Document 3 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
  • Non-Patent Document 4 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
  • Non-Patent Document 6 Jiane Chen, Maria Alshina, "Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)", JVET-J1002, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018
  • Non-Patent Document 6 Jiane Chen, Maria Alshina, "Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)", JVET-J1002, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 11 10th Meeting: San Diego, US, 10-20 Apr.
  • Non-Patent Document 7 Huanbang Chen, Jianle Chen, Roman Chernyak, Semih Esenlik, Alexey Filippov, Shan Gao, Sergey Ikonin, Alexander Karabutov, Anand Meher Kotra, Xiaomu Lu, Xiang Ma, Vasily Rufitskiy, Timofey Solovyev, Victor Stepin, Maxim Sychev , Tian Wang, Ye-kui Wang, Weiwei Xu, Haitao Yang, Vladyslav Zakharchenko, Hong Zhang, Yin Zhao, Zhijie Zhao, Jiantong Zhou, Cheung Auyeung, Han Gao, Ivan Krasnov, Ruslan Mullakhmetov, Biao Wang, Yiu Fai Wong Zhulikov, Adeel Abbas, David Newman, Jicheng An, Xu Chen, Yongbing Lin, Quanhe Yu, Jianhua Zheng, Sri Nitchith Akula, Alexander Alshin, Maria Alshin
  • Non-Patent Document 4 Quad-Tree Block Structure described in Non-Patent Document 4
  • QTBT Quad Tree Plus Binary Tree
  • Non-Patent Document 5 Non-Patent Document 5
  • Non-Patent Document 6 Multi-typeMulti (binary / ternay / quaternary) tree Block Structure (also referred to as BT / TT / QT coding ⁇ ⁇ block structure) is not directly described in the embodiment, but is within the scope of the present technology and claimed.
  • Support requirements in the range Further, for example, similarly, technical terms such as parsing, syntax, and semantics are within the disclosure range of the present technology even if there is no direct description in the embodiment. Satisfy the support requirements of the claims.
  • a “block” (not a block indicating a processing unit) used for description as a partial region of an image (picture) or a processing unit indicates an arbitrary partial region in a picture unless otherwise specified.
  • the size, shape, characteristics, and the like are not limited.
  • “block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), and SCU (Smallest Coding) described in Non-Patent Documents 2 to 6 described above.
  • the block size of such a block not only the block size may be directly specified, but also the block size may be specified indirectly.
  • the block size may be specified using identification information for identifying the size.
  • the block size may be specified by a ratio or a difference from the size of a reference block (for example, an LCU or an SCU).
  • the designation of the block size also includes designation of a range of block sizes (for example, designation of a range of allowable block sizes).
  • the term “encoding” includes not only the entire process of converting an image into a bit stream but also a part of the process.
  • prediction processing, orthogonal transformation, quantization not only includes a comprehensive process such as arithmetic coding, etc., also includes a generic process of quantization and arithmetic coding, prediction processing, quantization and arithmetic coding Processing, etc.
  • decoding includes not only the entire process of converting a bit stream into an image, but also some processes.
  • processing including inverse arithmetic decoding, inverse quantization, inverse orthogonal transformation, prediction processing, etc., but also processing including inverse arithmetic decoding and inverse quantization, inverse arithmetic decoding, inverse quantization, and prediction processing And comprehensive processing, and the like.
  • MV Motion Vector
  • MVP Motion Vector Prediction
  • the MV candidate includes, for example, a spatial motion vector MV candidate derived using the motion vector information of a decoded block adjacent to the current PU, a picture (ColPic (CurrentPicture)) at a time different from the current picture to be coded (curPic (Current @ Picture)). (Collocated @ Picture)) includes a block having the same spatial position, a temporal MV candidate derived using motion vector information of an adjacent block, a zero MV candidate using a zero motion vector as an MV candidate, and the like.
  • the MV candidate list is called a merge MV candidate list (MergeMVCandList), and the MV candidate index is called a merge index (mergeIdx).
  • the construction of the MV candidate list is performed in such a procedure that MV candidates are added in a predetermined insertion order, and then the predetermined MV candidates are compared with each other to eliminate duplicate MVs. If the number of MV candidates is smaller than the predetermined value as a result of the above procedure, additional MV candidates (for example, zero MV candidates) are added until the number of MV candidates reaches the predetermined value. In the case of such an MV candidate list, the insertion order of the MV candidates is fixed, and it can be said that the MV candidate list is a static MV candidate list.
  • Non-Patent Document 1 After constructing an MV candidate list, as shown in FIG. 1, for example, as shown in FIG. was suggested.
  • the order of the MV candidates in the MV candidate list (Normal candidate list) shown on the left in the figure is rearranged as shown by the arrow (Reordaring), and the rearrangement shown on the right in the figure is performed.
  • a later MV candidate list (Re-ordered candidate list) is derived.
  • Non-Patent Document 1 for such rearrangement, for example, as shown in FIG. 2, a template (curTemplate) composed of a group of decoded pixels adjacent to the current PU and a reference picture (refPic) determined by the motion information of each MV candidate ), A method of performing template matching with a template (refTemplate) and rearranging the MV candidate list in order of the cost has been proposed.
  • an upper template (curTemplateA) composed of a group of decoded pixels adjacent to the current PU (curPU) on the current picture (curPic) to be processed, and an MV candidate (starting from the current PU) Template matching is performed with the upper template (LXTemplateA) of the reference block on the reference picture (refPic) specified by mvp).
  • a left template (curTemplateL) composed of a group of decoded pixels adjacent to the left of the current PU, and a left part of a reference block on a reference picture (refPic) specified by an MV candidate (mvp) starting from the current PU Template matching is performed with the template (LXTemplateL).
  • the upper template (curTemplateA) of the current PU is also referred to as template A of the current PU.
  • the upper template (LXTemplateA) of the reference block is also referred to as a template A of the reference block (refTemplateA) or a template A of a reference picture corresponding to the template A of the current PU specified by the MV candidate (mvp).
  • the left template (curTemplateL) of the current PU is also referred to as a template L of the current PU.
  • the left template (LXTemplateL) of the reference block is also referred to as a template L of the reference block (refTemplateL) or a template L of a reference picture corresponding to the template L of the current PU specified by the MV candidate (mvp).
  • the upper template and the left template of the current PU are also referred to as the current PU template, and the upper template and the left template of the reference block are set to the current PU specified by the reference block template (or the MV candidate (mvp)).
  • the reference block template or the MV candidate (mvp)
  • the cost (cost) of the template (curTemplate) of the current PU and the template (refTemplate) of the reference picture corresponding to the current PU specified by the MV candidate (mvp) is calculated. Is calculated.
  • the cost between the template A of the current PU and the template A of the reference picture corresponding to the current PU specified by the MV candidate (mvp) is set as costA, and the cost is specified by the template L of the current PU and the MV candidate (mvp).
  • costB the cost (cost) is derived as in the following equation (1) in the case of LX prediction.
  • Cost_uni (LX) is derived, for example, by SAD (Sumbof Absolute Difference) (similarity evaluation based on the sum of absolute values of pixel value differences) as in the following equation (3).
  • SAD Size of Absolute Difference
  • pos indicates each pixel position in the template.
  • the MV candidate list is rearranged based on (the size of) the cost thus derived.
  • template matching is simplified as in the method # 1 in the table of FIG. By doing so, an increase in the load of template matching can be suppressed (the load can be reduced). For example, by simplifying the template matching performed in the MV candidate list rearrangement process, it is possible to suppress an increase in the load of the MV candidate list rearrangement process (reduce the load). By suppressing an increase in load, for example, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like can be suppressed.
  • the template matching may be performed with coarse accuracy, as in the method # 1-1 in the table of FIG.
  • template matching is performed between the template of the current block and the template of the reference block, a cost is derived, and the cost of each derived motion vector candidate is calculated. Based on this, the elements of the motion vector candidate list may be rearranged.
  • a template matching unit that performs template matching between the template of the current block and the template of the reference block to derive a cost
  • a rearrangement unit that rearranges the elements of the motion vector candidate list based on the cost of each motion vector candidate derived by the matching unit may be provided.
  • the MV candidate indicates a sub-pel position
  • the MV candidate list has decimal pixel precision
  • by performing template matching with, for example, integer pixel precision it is possible to suppress an increase in the amount of calculation for template generation (motion compensation). That is, an increase in the load of template matching can be suppressed.
  • a motion vector candidate list with integer pixel precision corresponding to the motion vector candidate list with decimal pixel precision may be derived.
  • the image processing apparatus further includes a derivation unit that derives a motion vector candidate list with integer pixel precision corresponding to the motion vector candidate list with decimal pixel precision, and the template matching unit has an integer pixel precision derived by the derivation unit.
  • template matching is performed between the template of the current block and the template of the reference block to derive a cost
  • the rearranging unit performs the motion vector candidate deriving by the template matching unit.
  • the elements of the motion vector candidate list with decimal pixel accuracy may be rearranged based on the cost.
  • the derivation unit converts each MV candidate with sub-pixel accuracy to integer pixel accuracy, generates an MV candidate list with integer pixel accuracy corresponding to the MV candidate list with sub-pixel accuracy, and generates the MV candidate with integer pixel accuracy.
  • Template matching may be performed using a list. In this way, a motion vector candidate list with integer pixel precision corresponding to the motion vector candidate list with decimal pixel precision can be derived.
  • template matching of overlapping MV candidates may be skipped (omitted) as in the method # 1-2 in the table of FIG.
  • the template matching unit may skip template matching for the same motion vector candidate as the motion vector candidate for which template matching has already been performed. By doing so, it is possible to suppress an increase in the number of times of template matching (reduce the number of times). That is, an increase in the load of template matching can be suppressed.
  • some pixels of the template may be thinned out as in the method # 1-3 in the table of FIG.
  • some pixels of the template may be thinned out at a thinning rate (ratio) according to the size of the current PU.
  • the template matching unit may determine whether the template block of the current block has a sampling interval corresponding to the size of the current block and the reference block template having a sampling interval corresponding to the size of the current block. The cost may be derived by performing template matching.
  • pixels are sampled from the adjacent decoded pixel group of the current PU (pixel groups in a predetermined area adjacent to the current PU) at intervals corresponding to the size of the current PU (that is, the adjacent decoded pixel group , Pixels are extracted at a rate (extraction rate) corresponding to the size of the current PU), and a template constituted by the sampled pixels may be generated.
  • the number of pixels of the template is reduced, so that an increase in the amount of calculation for template matching can be suppressed (the amount of calculation can be reduced). That is, an increase in the load of template matching can be suppressed.
  • the number of template lines may be reduced. That is, a template may be generated with a size corresponding to the position of the current PU (that is, the template size is set according to the position of the current PU).
  • the template matching unit performs template matching between a template of a current block having a size corresponding to the position of the current block and a template of a reference block having a size corresponding to the position of the current block, thereby reducing cost. It may be derived.
  • MV correction when the size of the current PU is small (for example, when the size of the current PU is smaller than a predetermined threshold) as in the method # 1-5 in the table of FIG. (MV correction) may be skipped (omitted).
  • the template matching unit and the rearranging unit may skip the process when the current block is smaller than the predetermined threshold.
  • template matching reordering of the MV candidate list for the current PU having a large load and a small size can be skipped. That is, an increase in the load of template matching can be suppressed.
  • Method # 1-6 ⁇ Method # 1-6> Further, in the case of a plurality of predictions, it is necessary to create a template of a reference block for each prediction, so that the load may increase. Therefore, for example, as in the method # 1-6 in the table of FIG. 3, the number of predictions may be reduced and template matching based on simple prediction may be performed on MV candidates for which multiple predictions are performed. For example, in the image processing apparatus, the template matching unit sets singular prediction for a motion vector candidate for multiple prediction (multiple prediction candidate MV), and sets the current block template and the reference block template as the singular prediction motion vector candidates. May be performed to derive the cost.
  • the template matching unit sets singular prediction for a motion vector candidate for multiple prediction (multiple prediction candidate MV), and sets the current block template and the reference block template as the singular prediction motion vector candidates. May be performed to derive the cost.
  • each method # 1-1 to # 1-6 can be applied independently, or can be applied in combination of a plurality of methods.
  • the method # 1-1 may be used in combination with any one of the methods # 1-2 to # 1-6.
  • a plurality of methods may be combined among methods # 1-2 to # 1-6.
  • the number of combining methods is arbitrary, and three or more methods may be combined.
  • First Embodiment> ⁇ Simplification of template matching in rearrangement of MV candidate list> As described above, template matching is performed in the MV candidate list rearrangement process. Therefore, by simplifying the template matching, it is possible to suppress an increase in the load of the MV candidate list rearrangement process (reduce the load). Can be.
  • FIG. 4 is a block diagram illustrating an example of a configuration of an MV candidate list deriving device that is an aspect of an image processing device to which the present technology is applied.
  • the MV candidate list deriving device 100 illustrated in FIG. 4 is a device that derives an MV candidate list used for coding a motion vector.
  • the MV candidate list deriving device 100 includes a first MV accuracy MV candidate list deriving unit 101 and an MV candidate list rearranging unit 102, and derives and rearranges the MV candidate list.
  • the first MV accuracy MV candidate list deriving unit 101 refers to the encoded (decoded) motion information of the surrounding blocks of the current PU and the motion information of the reference picture, and refers to the spatial MV candidate of the first MV accuracy, the temporal MV candidate,
  • the first MV accuracy MV candidate list (MVCandList) including zero MV candidates is derived (generated).
  • the MV precision indicates the precision of the MV candidate, and the first MV precision indicates a predetermined MV precision.
  • the first MV accuracy MV candidate list deriving unit 101 derives (generates) information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy.
  • the first MV accuracy MV candidate list deriving unit 101 supplies the generated MV candidate list with the first MV accuracy and information indicating the number of MV candidates included in the MV candidate list with the first MV accuracy to the MV candidate list reordering unit 102 I do.
  • the MV candidate list rearranging unit 102 rearranges the order of the MV candidates in the MV candidate list of the first MV accuracy supplied from the first MV accuracy MV candidate list deriving unit 101, and converts the rearranged MV candidate list (MVCandList '). Derivation (generation).
  • the MV candidate list rearranging unit 102 includes a template matching unit 111, and performs this rearrangement using template matching by the template matching unit 111.
  • the MV candidate list rearranging unit 102 outputs the derived rearranged MV candidate list (MVCandList ') as the derived MV candidate list.
  • the MV candidate list rearranging unit 102 also outputs information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy (the rearranged MV candidate list).
  • the template matching unit 111 simplifies template matching (for rearranging the MV candidate list).
  • template matching section 111 can suppress an increase in the load of template matching, and MV candidate list rearranging section 102 performs MV candidate list rearrangement. An increase in load can be suppressed. Therefore, the MV candidate list deriving device 100 can suppress an increase in the load of deriving the MV candidate list.
  • the first MV accuracy MV candidate list derivation unit 101 derives (generates) an MV candidate list (MVCandList) of the first MV accuracy for the current PU in step S101. At this time, the first MV accuracy MV candidate list deriving unit 101 derives (generates) information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy.
  • MVCandList MV candidate list
  • step S102 the MV candidate list rearranging unit 102 rearranges the MV candidates in the MV candidate list of the first MV accuracy derived in step S101 based on the template matching, and the rearranged MV candidate list (MVCandList '). ) Is derived (generated).
  • step S102 When the processing in step S102 ends, the MV candidate list derivation processing ends.
  • FIG. 6 is a block diagram showing an example of the configuration of the MV candidate list rearranging section 102 in FIG.
  • the MV candidate list rearranging unit 102 in this case includes a second MV accuracy MV candidate list deriving unit 121, an MV candidate list rearranging unit 122, and a template matching unit 111.
  • the second MV accuracy MV candidate list deriving unit 121 includes a first MV accuracy MV candidate list (MVCandList) supplied from the first MV accuracy MV candidate list deriving unit 101 and a MV candidate included in the first MV accuracy MV candidate list. Acquires information indicating the number (numMVCand).
  • the second MV precision MV candidate list deriving unit 121 derives (generates) a second MV precision MV candidate list (CoarseMVCandList) corresponding to the acquired first MV precision MV candidate list (MVCandList).
  • the second precision MV indicates a MV precision lower than the first MV precision.
  • the first MV accuracy and the second MV accuracy may be any accuracy as long as this relationship is maintained.
  • the first MV precision may be set to decimal pixel precision (sub-pel precision)
  • the second MV precision may be set to integer pixel precision (integer pel precision).
  • the first MV precision may be, for example, 1 / 2-pel precision (half pel (half pixel) precision) or 1 / 4-pel precision (quarter pel (1/4 pixel precision). ) Accuracy).
  • the second MV precision may be, for example, integer pixel precision or 1 / 2-pel precision.
  • at least one of the first MV accuracy and the second MV accuracy may be other accuracy.
  • the MV accuracy parameter (coarseMVPrec) indicating the second MV accuracy is input to the second MV accuracy MV candidate list deriving unit 121.
  • the second MV accuracy MV candidate list deriving unit 121 corresponds to the first MV accuracy MV candidate list supplied from the first MV accuracy MV candidate list deriving unit 101.
  • the MV candidate list (CoarseMVCandList ') of the second MV accuracy indicated by the MV accuracy parameter (coarseMVPrec) is derived (generated).
  • the second MV accuracy may be a fixed value, or may be set by a user or the like.
  • the second MV accuracy MV candidate list deriving unit 121 uses the derived MV candidate list (CoarseMVCandList ') of the second MV accuracy together with information (numMVCand) indicating the number of MV candidates included in the MV candidate list of the first MV accuracy. It is supplied to the template matching unit 111 (a reference block template generating unit 132).
  • the second MV accuracy MV candidate list deriving unit 121 derives (generates) a MV candidate list (CoarseMVCandList) with the second MV accuracy as in the following Expression (4).
  • the second MV accuracy MV candidate list deriving unit 121 reduces the MV accuracy of the MV candidate list (MV candidate) from the first MV accuracy to the second MV accuracy, for example, in each of the vertical direction and the horizontal direction (ie, the x component and the y component) .
  • the processing may be performed. That is, in this case, the MV accuracy of each of the x component and the y component of the MV candidate is reduced to the second MV accuracy.
  • the first MV accuracy is the sub-pel accuracy
  • the MV accuracy of both the x component and the y component of the MV candidate is converted to the integer pixel accuracy.
  • the second MV precision can be set to the integer pixel precision by setting the MV precision parameter as in the following equation (7).
  • coarseMVPrec ⁇ max_mv_prec ⁇ ⁇ ⁇ ⁇ (7)
  • template matching can be performed using the MV candidate of the second MV accuracy instead of the MV candidate of the first MV accuracy. That is, the cost of template matching with the first MV accuracy can be replaced by the cost obtained by template matching with the second MV accuracy. Therefore, for example, template matching can be performed with integer precision, and template matching with subpel precision can be avoided. By doing so, the rearrangement process of the MV candidate list can be simplified while maintaining the coding efficiency. Thereby, for example, the processing of the encoder and the decoder can be reduced.
  • the MV precision of the y component of the MV candidate may be reduced to an integer precision. That is, the MV precision may be converted from the first MV precision to the second MV precision only for the y component.
  • the MV accuracy parameter coarseMVPrec that drops to the second MV accuracy is applied for the y component.
  • the above equations (5) and (6) can be expressed as the following equations (8) and (9).
  • CoarseMVCandList [i] .x mv_x (8)
  • CoarseMVCandList [i] .y (mv_y >> coarseMVPrec) ⁇ coarseMVPrec ⁇ ⁇ ⁇ (9)
  • the cost of accessing a pixel required to generate a template for a reference block is higher in memory access in the vertical direction (y component) than in memory access in the horizontal direction (x component).
  • the tendency is more remarkable on the decoder side.
  • the matching accuracy in the y direction is reduced to the integer pixel accuracy while maintaining the template matching in the x direction at the subpel accuracy.
  • the MV accuracy of only the y component is reduced to the second MV accuracy
  • the matching accuracy is higher than when the MV accuracy of each of the x component and the y component is reduced to the second MV accuracy.
  • the effect of reducing the processing amount is greater when the MV accuracy of each of the x component and the y component is reduced to the second MV accuracy.
  • the template matching unit 111 performs template matching using the MV candidate list with the second MV accuracy derived by the second MV accuracy MV candidate list derivation unit 121 to derive (calculate) the cost.
  • the template matching unit 111 includes a current PU template generation unit 131, a reference block template generation unit 132, and a cost calculation unit 133.
  • the current PU template generation unit 131 acquires information indicating the current PU position, its block size, and the like, and decoded pixel values from the picture buffer, and generates a current PU template (curTemplate) based on these.
  • an upper template (curTemplateA) of the current PU and a left template (curTemplateL) of the current PU are generated based on the upper left position (x0, y0) of the current PU.
  • the upper template (curTemplateA) of the current PU is composed of, for example, a pixel group at a coordinate position on the current picture as shown in the following equation (10).
  • the left template (curTemplateL) of the current PU is composed of a pixel group at a coordinate position on the current picture as shown in the following equation (11), for example.
  • the upper template or the left template of the current PU cannot be used because the current PU is adjacent to a picture boundary.
  • the template that cannot be referred to may be generated by setting a predetermined value. For example, if the bit depth of the input image is bitDepth, the predetermined value may be set to '1 ⁇ (bitDepth-1) (' or '(1 ⁇ (bitDepth-1))- ⁇ ⁇ 1'.
  • the parameter templateSize indicates the number of pixel lines used for the template.
  • the current PU template generation unit 131 supplies the template of the current PU generated as described above to the cost calculation unit 133.
  • the reference block template generation unit 132 acquires the MV candidate list of the second MV accuracy derived by the second MV accuracy MV candidate list derivation unit 121 and the decoded pixel value from the picture buffer, and based on the acquired MV candidate list, Is derived (generated).
  • an upper template (LXTemplateA) and a left template (LXTemplateL) of the reference block defined by the current PU and the MV candidate (MVCandList [i]) are generated.
  • LXTemplateA left template
  • LXTemplateL left template
  • MVCandList [i] MV candidate
  • L0 and L1 templates are generated.
  • the upper template (LXTemplateA) of the reference block is composed of, for example, a pixel group at a coordinate position on the reference picture as shown in the following equation (12).
  • the left template (LXTemplateL) of the reference block is composed of a pixel group at a coordinate position on the reference picture as shown in the following equation (13).
  • the upper template or the left template of the reference block cannot be used because the reference block is adjacent to a picture boundary.
  • the template that cannot be referred to may be generated by setting a predetermined value.
  • lx dx indicates a motion vector in the x direction of LX prediction of the MV candidate (MVCandList [i])
  • lx dy indicates the motion vector of the MV candidate (MVCandList [i])
  • 13 shows a motion vector in the y direction of LX prediction.
  • the reference block template generation unit 132 derives (generates) a template of the reference block based on the MV candidate with the second MV accuracy. Therefore, for example, by setting the second MV precision to integer pixel precision, the reference block template generation unit 132 can derive a point play of the reference block without performing such linear interpolation. That is, the reference block template generation unit 132 can derive (generate) the template of the reference block more easily than when the MV candidate is based on the MV candidate with the first MV accuracy. Therefore, the amount of calculation for deriving the template of the reference block can be reduced.
  • the reference block template generation unit 132 supplies the generated template of the reference block to the cost calculation unit 133.
  • the cost calculation unit 133 derives (calculates) its cost using the template of the current PU supplied from the current PU template generation unit 131 and the template of the reference block supplied from the reference block template generation unit 132. ).
  • the cost (cost) between the template of the current PU and the template of the reference picture specified by the MV candidate (MVCandList [i]) is expressed by the following equation (14) in the case of LX prediction. It is derived as in the following equation (15).
  • costA indicates the cost obtained from the upper template (curTemplateA) of the current PU and the upper template (LXTemplateA) of the reference block.
  • costL indicates the cost obtained from the left template (curTemplateL) of the current PU and the left template (LXTemplateL) of the reference block.
  • cost_uni (LX) is the cost obtained from the template of the current PU and the template of the reference block specified by the motion information of the LX prediction part of the MV candidate.
  • the SAD is represented by the following equation (16). Is derived (calculated).
  • pos indicates a pixel position composed of each (x, y) pair in the template
  • lx mv indicates a motion vector of an LX prediction portion of the MV candidate.
  • the cost calculation unit 133 derives (calculates) the cost using the template of the reference block derived (generated) based on the MV candidate with the second MV accuracy. Therefore, the cost calculation unit 133 can derive the cost more easily than when using the template of the reference block derived (generated) based on the MV candidate with the first MV accuracy. That is, the amount of calculation for cost calculation can be reduced.
  • the cost calculation unit 133 lists the costs corresponding to the respective derived MV candidates, and supplies the cost list (CostList) to the MV candidate list rearrangement unit 122.
  • the MV candidate list rearrangement unit 122 includes a first MV accuracy MV candidate list (MVCandList) supplied from the first MV accuracy MV candidate list derivation unit 101 and a second MV accuracy MV candidate list supplied from the cost calculation unit 133. (CoarseMVCandList) The template matching cost list (CostList) corresponding to each candidate MV is input. The MV candidate list rearrangement unit 122 rearranges the MV candidates in the MV candidate list (MVCandList) of the first MV accuracy in ascending order of cost with reference to the cost list, and outputs the rearranged MV candidate list (MVCandList '). I do.
  • the second MV precision MV candidate list deriving unit 121 generates the MV candidate list of the second MV precision coarser (lower) than the first MV precision, corresponding to the MV candidate list of the first MV precision.
  • the template matching unit 111 performs template matching using the MV candidate list with the second MV accuracy to calculate the cost, and the MV candidate list rearranging unit 122 calculates the first MV based on the cost obtained by the template matching.
  • the MV candidates in the MV candidate list of accuracy are rearranged.
  • the MV candidate list rearrangement unit 102 can suppress an increase in the load of the template matching, and thereby can suppress an increase in the load of the rearrangement of the MV candidate list.
  • the second MV accuracy MV candidate list deriving unit 121 determines in step S111 the MV candidate list of the first MV accuracy (coarseMVPrec) indicating the second MV accuracy.
  • An MV candidate list (CoarseMVCandList) with the second MV accuracy corresponding to the MVCandList is derived.
  • step S112 the current PU template generating unit 131 generates a template (curTemplate) of the current PU.
  • step S113 the reference block template generation unit 132 sets an initial value (for example, “0”) to a variable i.
  • step S115 the cost calculation unit 133 calculates the cost (CostList [CostList [) based on the template of the current PU generated in step S112 and the template of the reference block corresponding to the MV candidate of the second MV accuracy generated in step S114. i]) is derived.
  • step S116 the reference block template generation unit 132 determines whether the value of the variable i is smaller than a value (numMVCand) indicating the number of MV candidates included in the MV candidate list (MVCandList) with the first MV accuracy. . If it is determined that the variable i is smaller than the value (numMVCand) (i ⁇ numMVCand), the process proceeds to step S117.
  • step S117 the reference block template generation unit 132 increments the variable i (adds “+1” to the value of the variable i).
  • step S117 the process returns to step S114, and the subsequent processes are repeated.
  • step S116 If the variable i is determined to be greater than or equal to the value (numMVCand) (i ⁇ numMVCand) in step S116, the process proceeds to step S118.
  • step S118 the MV candidate list reordering unit 122 reorders the MV candidates in the MV candidate list with the first MV accuracy in ascending order of cost with reference to the cost list (CostList), and reorders the MV candidate list (MVCandList '). ) Is derived.
  • step S118 ends, the MV candidate list rearrangement processing ends, and the processing returns to FIG.
  • the MV candidate list rearranging unit 102 can suppress an increase in the load of rearranging the MV candidate list.
  • FIG. 8 is a block diagram showing an example of the configuration of the MV candidate list rearranging section 102 in FIG.
  • the MV candidate list rearranging unit 102 rearranges the MV candidate list using the method # 1-1 and the method # 1-2. That is, the MV candidate list rearrangement unit 102 performs template matching with coarse accuracy, further detects the same MV candidate (overlapping MV) as the MV candidate for which template matching has been executed, and skips the template matching of the MV candidate. (Using the executed template matching result (cost value)).
  • the MV candidate list reordering unit 102 in this case includes the second MV precision MV candidate list deriving unit 121, the MV candidate list reordering unit 122, and the template matching unit, as in FIG. 111.
  • the template matching unit 111 has a duplicate MV detection unit 141 in addition to the configuration in FIG.
  • the duplicate MV detection unit 141 acquires the MV candidate list of the second MV accuracy derived (generated) by the second MV accuracy MV candidate list derivation unit 121.
  • the overlapping MV detection unit 141 determines that the MV candidate to be processed included in the MV candidate list with the second MV accuracy is the same as the MV candidate already included in the template matching and included in the MV candidate list with the same second MV accuracy. Is determined.
  • the duplicate MV detection unit 141 sets a test flag (ToBeTestFlag) and a cost reference index (CostRefIdx) for the MV candidate to be processed according to the determination result, that is, according to the detection result of the duplicate MV. Set.
  • ToBeTestFlag test flag
  • CostRefIdx cost reference index
  • the test flag (ToBeTestFlag) is flag information indicating whether or not to perform template matching on the MV candidate. When the test flag (ToBeTestFlag) is true (for example, 1), it indicates that template matching is to be performed. When the test flag (ToBeTestFlag) is false (for example, 0), it indicates that template matching is not performed.
  • Cost reference index is index information indicating (an MV candidate of) a cost duplication source.
  • the cost reference index (CostRefIdx) indicates which MV candidate is the same as the MV candidate to be processed. If the same MV candidate (duplicate MV) as the MV candidate to be processed does not exist in the MV candidates for which template matching has been executed, the value “ ⁇ 1” is set in the cost reference index.
  • FIG. 9 shows a setting example of the test flag (ToBeTestFlag) and the cost reference index (CostRefIdx).
  • ToBeTestFlag the test flag
  • CostRefIdx the cost reference index
  • the duplicate MV detection unit 141 sets the test flag (ToBeTestFlag) and the cost reference index (CostRefIdx) according to, for example, the pseudo code shown in FIG.
  • the duplicate MV detection unit 141 supplies information on the set test flag (ToBeTestFlag) and cost reference index (CostRefIdx) to the cost calculation unit 133.
  • the cost calculation unit 133 calculates a cost corresponding to each MV candidate by executing template matching or skipping (copying the cost) based on the information.
  • the MV candidate list reordering unit 102 can suppress an increase in the number of times of template matching (reduce the number of times), and can suppress an increase in the load of template matching. That is, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like required for template matching can be suppressed. This also makes it possible to suppress an increase in the load of rearranging the MV candidate list. That is, it is possible to suppress an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like necessary for rearranging the MV candidate list.
  • MV candidate list rearrangement section 102 in this case executes MV candidates executed in step S102 in FIG. An example of the flow of the list rearrangement process will be described.
  • the second MV accuracy MV candidate list deriving unit 121 determines the MV of the first MV accuracy based on the MV accuracy parameter (coarseMVPrec) indicating the second MV accuracy in step S131 of FIG.
  • a second MV precision MV candidate list (CoarseMVCandList) corresponding to the candidate list (MVCandList) is derived.
  • the duplicate MV detection unit 141 detects a duplicate MV in the MV candidate list (CoarseMVCandList) with the second MV accuracy, and a test flag (ToBeTestFlag [i]) indicating whether to perform template matching for each MV candidate. And a cost reference index (CostRefIdx) indicating the source of the cost. For example, the duplicate MV detection unit 141 sets a test flag (ToBeTestFlag [i]) and a cost reference index (CostRefIdx) for each MV candidate according to a pseudo code as shown in FIG.
  • step S133 the current PU template generation unit 131 generates a template (curTemplate) of the current PU.
  • step S134 the reference block template generation unit 132 sets an initial value (for example, “0”) to the variable i.
  • step S136 the reference block template generating unit 132 generates a template of a reference block corresponding to the second MV candidate MV with reference to the motion vector information of the second MV candidate MV to be processed.
  • the process in step S136 ends, the process proceeds to step S141 in FIG.
  • step S141 of FIG. 12 the cost calculation unit 133 refers to the template of the current PU generated in step S133 of FIG. 11 and the MV candidate of the second MV accuracy to be processed generated in step S136 of FIG.
  • the cost (CostList [i]) is derived based on the block template.
  • the process proceeds to step S143.
  • step S142 the cost calculation unit 133 sets the cost indicated by the cost reference index (CostRefIdx) set in step S132 in FIG. 11 as the cost of the MV candidate to be processed. That is, the cost value of the same motion information is reused (substituted). As a result, the calculation of the cost value (template matching) for the MV candidate to be processed can be omitted.
  • the process in step S142 ends, the process proceeds to step S143.
  • step S143 the reference block template generation unit 132 determines whether the value of the variable i is smaller than a value (numMVCand) indicating the number of MV candidates included in the MV candidate list (MVCandList) with the first MV accuracy. . If it is determined that the variable i is smaller than the value (numMVCand) (i ⁇ numMVCand), the process proceeds to step S144.
  • step S ⁇ b> 144 the reference block template generation unit 132 increments the variable i (adds “+1” to the value of the variable i).
  • step S144 ends, the process returns to step S135 in FIG. 11, and the subsequent processes are repeated.
  • step S135 to step S144 are executed for each MV candidate (cost (CostList [i]) corresponding to the MV candidate).
  • step S145 If the variable i is determined to be equal to or more than the value (numMVCand) (i ⁇ numMVCand) in step S143 of FIG. 12, the process proceeds to step S145.
  • step S145 the MV candidate list reordering unit 122 reorders the MV candidates in the MV candidate list with the first MV accuracy in ascending order of cost with reference to the cost list (CostList), and reorders the MV candidate list (MVCandList '). ) Is derived.
  • step S145 ends, the MV candidate list rearrangement processing ends, and the processing returns to FIG.
  • the MV candidate list rearrangement unit 102 can suppress an increase in the number of times of template matching (reduce the number of times) and rearrange the MV candidate list. Can be suppressed from increasing.
  • Method # 1-3 Thinning out template> Next, a case where method # 1-3 in FIG. 3 is applied will be described. In the method # 1-3, template matching is performed using a template in which some pixels are thinned out (FIG. 13).
  • the thinning rate should be set according to the size of the current PU.
  • the larger the block size the larger the template. That is, since the number of pixels of the template increases, the amount of calculation for template matching also increases. Therefore, for example, the thinning rate may be increased as the block size increases. By doing so, it is possible to suppress an increase in the number of pixels of the template (that is, an increase in the amount of calculation) due to an increase in the block size.
  • the thinning rate is set so that the amount of calculation is appropriate in a large block size, the thinning rate is too large for a small block size, and the number of pixels of the template becomes extremely small. It may be inappropriate.
  • the thinning rate according to the size of the current PU, it is possible to control the number of pixels of the template to be appropriate even for a small block size.
  • the number of pixels in the template may be controlled by thinning out pixels from the generated template, or by sampling some pixels in an adjacent pixel group included in the template when the method # 1-3 is not applied. (Extraction), and a template may be generated using the sampled pixels.
  • thinning out includes the meaning of “extract” and “sample”.
  • "setting the thinning rate according to the size of the current PU” means “setting the extraction rate according to the size of the current PU” or “setting the sampling interval according to the size of the current PU” Is also included.
  • the magnitude of each parameter takes into account the direction of increase or decrease in the number of pixels.
  • “increase the thinning rate” is synonymous with “decrease the extraction rate” and “increase the sampling interval”.
  • “decreasing the thinning rate” is synonymous with “increase the extraction rate” and “shorten the sampling interval”.
  • the method of thinning out the pixels is arbitrary.
  • the upper template may be thinned (extracted (sampled)) for each column (column), and the left template may be thinned (extracted (sampled)) for each row (line).
  • FIG. 14 is a block diagram showing an example of the configuration of the MV candidate list rearranging section 102 in FIG.
  • the MV candidate list rearranging unit 102 rearranges the MV candidate list using the method # 1-1 and the method # 1-3. That is, the MV candidate list rearrangement unit 102 performs template matching with coarse accuracy, and further thins out some pixels of the template at a thinning rate (ratio) according to the size of the current PU.
  • the MV candidate list reordering unit 102 in this case includes a second MV accuracy MV candidate list deriving unit 121, an MV candidate list reordering unit 122, and a template matching unit, as in FIG. 111.
  • the template matching unit 111 has a template thinning rate deriving unit 151 in addition to the configuration in FIG.
  • the template thinning rate deriving unit 151 derives a thinning rate of the upper template and the left template according to the size of the current PU.
  • the reason for thinning out the templates is to reduce and fix the worst case of the number of reference points at the time of template matching to template matching in the basic PU size.
  • FIG. 15B shows an example of the basic PU size (basePUSize).
  • This basic PU size is predetermined.
  • the basic PU size may be set according to a standard or the like, and the encoder / decoder may share the information.
  • the basic PU size may be set (updated) by a user or the like.
  • the information on the set basic PU size may be supplied from the encoder to the decoder.
  • the information may be added (signaled) to the bit stream of the encoded data of the image as metadata or the like.
  • the basic PU size (basePUSize) is “8”.
  • the size of the basic PU size is arbitrary.
  • the template thinning rate deriving unit 151 derives a template thinning rate (skipLineX, skipLineY) (sampling interval) based on the current PU block size (PUwidth, PUheight) and the PU's base size (basePUSize). For example, as shown in FIG. 15A, it is assumed that PUwidth, PUheight, skipLineX, skipLineY, and templateSize are set.
  • the template thinning rate deriving unit 151 derives a template thinning rate (skipLineX) for the upper template as in the following equation (17). Further, the template thinning rate deriving unit 151 derives a template thinning rate (skipLineY) (sampling interval) for the left template as in the following Expression (18).
  • the template thinning rate (skipLineX) for the upper template is expressed by equation (17). Is derived as follows.
  • the upper template indicates that a reference pixel is generated every two pixels in the x direction
  • the left template indicates that a reference pixel is generated every pixel in the y direction.
  • FIG. 15 shows an example of a state of thinning out pixels of the template (a state of sampling).
  • gray portions of the upper template and the left template indicate sampled pixels.
  • FIG. 16A illustrates another example of a state of thinning out pixels of the template (a state of sampling).
  • B of FIG. 16 shows still another example of a state of thinning out the pixels of the template (a state of sampling).
  • PU base size (basePUSize) and the number of pixel lines used in the template (templateSize) may have the same value. Further, in the above equations (17) and (18), min (basePUSize, PUwidth) and min (basePUSize, PUheight) may be set to basePUSize.
  • the template thinning rate deriving unit 151 supplies the derived template thinning rate to the current PU template generating unit 131 and the reference block template generating unit 132.
  • the current PU template generation unit 131 generates a template (curTemplate) of the current PU with reference to the supplied template thinning rate.
  • the upper template (curTemplateA) of the current PU and the left template (curTemplateL) of the current PU are generated based on the template thinning rate (skipLineX, skipLineY) based on the upper left position (x0, y0) of the current PU.
  • the upper template of the current PU is derived as in the following Expression (19).
  • the left template of the current PU is derived as in the following Expression (20).
  • the upper template or the left template of the current PU cannot be used because the current PU is adjacent to a picture boundary.
  • the template that cannot be referred to may be generated by setting a predetermined value. For example, if the bit depth of the input image is bitDepth, the predetermined value may be set to '1 ⁇ (bitDepth-1) (' or '(1 ⁇ (bitDepth-1))- ⁇ ⁇ 1'.
  • the parameter templateSize indicates the number of pixel lines used for the template.
  • the current PU template generation unit 131 supplies the template of the current PU generated as described above to the cost calculation unit 133.
  • the reference block template generation unit 132 receives the MV candidate list of the second MV accuracy derived by the second MV accuracy MV candidate list derivation unit 121, the decoded pixel values from the picture buffer, and the template thinning rate derivation unit 151. The template thinning rates are obtained, and the template of the reference block is derived (generated) based on the thinning rates.
  • the upper template (LXTemplateA) of the reference block defined by the current PU and the candidate MV (MVCandList [i]) and the left template (LXTemplateL) of the reference block are generated.
  • both L0 and L1 templates are generated.
  • the upper template (LXTemplateA) of the reference block is derived as in the following equation (21).
  • the left template (LXTemplateL) of the reference block is derived as in the following Expression (22).
  • the upper template or the left template of the reference block cannot be used because the reference block is adjacent to a picture boundary.
  • the template that cannot be referred to may be generated by setting a predetermined value.
  • lx dx indicates a motion vector in the x direction of LX prediction of the MV candidate (MVCandList [i])
  • lx dy indicates the motion vector of the MV candidate (MVCandList [i])
  • 13 shows a motion vector in the y direction of LX prediction.
  • the reference block template generation unit 132 derives (generates) a template of the reference block based on the MV candidate with the second MV accuracy. Therefore, for example, by setting the second MV precision to integer pixel precision, the reference block template generation unit 132 can derive a point play of the reference block without performing such linear interpolation. That is, the reference block template generation unit 132 can derive (generate) the template of the reference block more easily than when the MV candidate is based on the MV candidate with the first MV accuracy. Therefore, the amount of calculation for deriving the template of the reference block can be reduced.
  • the reference block template generation unit 132 supplies the generated template of the reference block to the cost calculation unit 133.
  • the cost calculation unit 133 performs template matching using the template generated as described above (a template in which some pixels are thinned out). Therefore, an increase in the amount of calculation for template matching can be suppressed (the amount of calculation can be reduced). That is, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like required for template matching can be suppressed. This also makes it possible to suppress an increase in the load of rearranging the MV candidate list. That is, it is possible to suppress an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like necessary for rearranging the MV candidate list.
  • the second MV accuracy MV candidate list deriving unit 121 determines in step S161 the MV candidate list of the first MV accuracy (coarseMVPrec) indicating the second MV accuracy.
  • An MV candidate list (CoarseMVCandList) with the second MV accuracy corresponding to the MVCandList is derived.
  • step S162 the template thinning rate deriving unit 151 derives the template thinning rates of the upper template and the left template as described above.
  • step S163 the current PU template generation unit 131 generates a template (curTemplate) of the current PU with reference to the template thinning rate derived in step S162.
  • step S164 the reference block template generation unit 132 sets an initial value (for example, “0”) to a variable i.
  • the template of the reference block corresponding to the MV candidate with the second MV accuracy is generated with reference to the thinning rate.
  • step S166 the cost calculation unit 133 calculates the cost (CostList [CostList [) based on the template of the current PU generated in step S163 and the template of the reference block corresponding to the second MV candidate MV generated in step S165. i]) is derived. That is, the cost calculation unit 133 performs template matching using a template generated with reference to the template thinning rate derived in step S162 (a template in which pixels are thinned at the template thinning rate), and derives a cost. I do.
  • step S167 the reference block template generation unit 132 determines whether the value of the variable i is smaller than a value (numMVCand) indicating the number of MV candidates included in the MV candidate list (MVCandList) with the first MV accuracy. . If it is determined that the variable i is smaller than the value (numMVCand) (i ⁇ numMVCand), the process proceeds to step S168.
  • step S168 the reference block template generating unit 132 increments the variable i (adds “+1” to the value of the variable i).
  • step S168 ends, the process returns to step S165, and the subsequent processes are repeated.
  • step S167 If the variable i is determined to be greater than or equal to the value (numMVCand) (i ⁇ numMVCand) in step S167, the process proceeds to step S169.
  • step S169 the MV candidate list rearranging unit 122 rearranges the MV candidates in the MV candidate list with the first MV accuracy in ascending order of cost with reference to the cost list (CostList), and rearranges the MV candidate list (MVCandList '). ) Is derived.
  • step S169 ends, the MV candidate list rearrangement processing ends, and the processing returns to FIG.
  • the MV candidate list rearrangement unit 102 can suppress an increase in the amount of operation of template matching (reduce the amount of operation), and An increase in the sorting load can be suppressed.
  • FIG. 18 is a block diagram showing an example of the configuration of the MV candidate list rearranging section 102 in FIG.
  • the MV candidate list rearranging unit 102 rearranges the MV candidate list using the method # 1-1 and the method # 1-4. That is, the MV candidate list rearranging unit 102 performs template matching with coarse accuracy, and further controls the template size according to the position of the current PU.
  • the MV candidate list rearranging unit 102 in this case includes the second MV accuracy MV candidate list deriving unit 121, the MV candidate list rearranging unit 122, and the template matching unit, as in FIG. 111.
  • the template matching unit 111 has a template size setting unit 161 in addition to the configuration of FIG.
  • the template size setting unit 161 sets the size (template size) of the upper template and the left template.
  • the circuit scale of hardware can be reduced. Therefore, in order to reduce the size of the CTU-level line buffer that holds decoded pixels, the template size is set according to the position of the current PU in the CTU.
  • the template size (templateSizeY) for the upper template is set as in the following equation (23).
  • the template size (templateSizeX) for the left template is set as in the following equation (24).
  • templateSize1 is the template size when the current PU is located at the CTU boundary
  • templateSize2 is the template size when the current PU is not located at the CTU boundary
  • the current CU current PU
  • the current CU current PU
  • templateSizeX templateSize2
  • templateSizeY templateSize1
  • the current CU current PU
  • the current CU current PU
  • templateSizeX templateSize1
  • the current CU current PU
  • the current CU current PU
  • the size of the reference pixel area for intra prediction may be determined according to the position of the current PU in the CTU. By doing so, it is possible to suppress an increase in the line buffer used to hold the reference pixel region for intra prediction (reduce the line buffer).
  • the template size setting unit 161 supplies information on the template size set as described above to the current PU template generation unit 131 and the reference block template generation unit 132.
  • the current PU template generation unit 131 generates a template of the current PU with reference to the template size supplied from the template size setting unit 161.
  • the upper template (curTemplateA) of the current PU and the current PU are set based on the template size (templateSizeX, templateSizeY) set by the template size setting unit 161.
  • the upper template is derived as in the following equation (25).
  • the left template is derived as in the following equation (26).
  • the upper template or the left template of the current PU cannot be used because the current PU is adjacent to a picture boundary.
  • the template that cannot be referred to may be generated by setting a predetermined value.
  • the parameter templateSize indicates the number of lines of pixels used for the template.
  • the current PU template generation unit 131 supplies the template of the current PU generated as described above to the cost calculation unit 133.
  • the reference block template generation unit 132 outputs the MV candidate list of the second MV accuracy derived by the second MV accuracy MV candidate list derivation unit 121, the pixel values already decoded from the picture buffer, and the template supplied from the template size setting unit 161. The size is obtained, and a template of the reference block is derived (generated) based on the sizes.
  • an upper template (LXTemplateA) of the reference block and a left template (LXTemplateL) of the reference block determined by the current PU and the MV candidate (MVCandList [i]) are generated.
  • LXTemplateA upper template
  • LXTemplateL left template
  • MVCandList [i] MV candidate
  • the upper template of the reference block is derived as in the following Expression (27).
  • the left template of the reference block is derived as in the following Expression (28).
  • the upper template or the left template of the reference block cannot be used because the reference block is adjacent to a picture boundary.
  • the template that cannot be referred to may be generated by setting a predetermined value.
  • lx dx indicates a motion vector in the x direction of LX prediction of the MV candidate (MVCandList [i])
  • lx dy indicates the MV candidate (MVCandList [i])
  • 13 shows a motion vector in the y direction of LX prediction.
  • the reference block template generation unit 132 derives (generates) a template of the reference block based on the MV candidate with the second MV accuracy. Therefore, for example, by setting the second MV precision to integer pixel precision, the reference block template generation unit 132 can derive a point play of the reference block without performing such linear interpolation. That is, the reference block template generation unit 132 can derive (generate) the template of the reference block more easily than when the MV candidate is based on the MV candidate with the first MV accuracy. Therefore, the amount of calculation for deriving the template of the reference block can be reduced.
  • the reference block template generation unit 132 supplies the generated template of the reference block to the cost calculation unit 133.
  • the cost calculation unit 133 performs template matching using the template generated as described above (a template whose template size is controlled according to the position of the current PU). Therefore, an increase in the number of decoded pixels used for template generation can be suppressed (the number of decoded pixels used for template generation can be reduced). That is, it is possible to suppress an increase in the size of the line buffer that stores (holds) the decoded pixel (reduce the line buffer size). That is, an increase in the load of template matching can be suppressed. This also makes it possible to suppress an increase in the load of rearranging the MV candidate list.
  • MV candidate list rearrangement section 102 executed in step S102 of FIG. 5 by MV candidate list rearrangement section 102 in this case (method # 1-4 (and method # 1-1)). An example of the processing flow will be described.
  • the second MV accuracy MV candidate list deriving unit 121 determines in step S181 the MV candidate list with the first MV accuracy (coarseMVPrec) indicating the second MV accuracy.
  • An MV candidate list (CoarseMVCandList) with the second MV accuracy corresponding to the MVCandList is derived.
  • step S182 the template size setting unit 161 sets the template sizes of the upper template and the left template as described above.
  • step S183 the current PU template generation unit 131 generates a template (curTemplate) of the current PU with reference to the template size set in step S182.
  • step S184 the reference block template generation unit 132 sets an initial value (for example, “0”) to a variable i.
  • step S186 the cost calculation unit 133 calculates the cost (CostList [CostList [) based on the template of the current PU generated in step S163 and the template of the reference block corresponding to the MV candidate with the second MV accuracy generated in step S165. i]) is derived. That is, the cost calculation unit 133 performs template matching using the template of the template size set in step S182 (the template size set in accordance with the position of the current PU) to derive the cost.
  • step S187 the reference block template generation unit 132 determines whether the value of the variable i is smaller than a value (numMVCand) indicating the number of MV candidates included in the MV candidate list (MVCandList) with the first MV accuracy. . If it is determined that the variable i is smaller than the value (numMVCand) (i ⁇ numMVCand), the process proceeds to step S188.
  • step S188 the reference block template generation unit 132 increments the variable i (adds “+1” to the value of the variable i).
  • step S188 ends, the process returns to step S185, and the subsequent processes are repeated.
  • step S187 If it is determined in step S187 that the variable i is equal to or greater than the value (numMVCand) (i) ⁇ numMVCand), the process proceeds to step S189.
  • step S189 the MV candidate list reordering unit 122 reorders the MV candidates in the MV candidate list with the first MV accuracy in ascending order of cost with reference to the cost list (CostList), and reorders the MV candidate list (MVCandList '). ) Is derived.
  • step S189 ends, the MV candidate list rearrangement processing ends, and the processing returns to FIG.
  • the MV candidate list rearrangement unit 102 can suppress an increase in the size of the line buffer used for template matching (reduce the line buffer size). In addition, it is possible to suppress an increase in the load of rearranging the MV candidate list.
  • FIG. 23 is a block diagram illustrating an example of a configuration of the MV candidate list rearranging unit 102 in FIG.
  • the MV candidate list rearranging unit 102 rearranges the MV candidate list using the method # 1-1 and the method # 1-5. That is, the MV candidate list rearrangement unit 102 performs template matching with coarse accuracy, and skips (omits) the MV candidate list rearrangement processing when the size of the current PU is small.
  • the MV candidate list rearranging unit 102 in this case includes the configuration shown in FIG. 6 (the second MV precision MV candidate list deriving unit 121, the MV candidate list rearranging unit 122, and the template matching unit 111). ), A block size determination unit 171 is provided.
  • the block size determination unit 171 determines the block size of the current PU.
  • the method of determining the block size is arbitrary. For example, based on information indicating the block size of the current PU, the block size determination unit 171 determines whether the block size of the current PU is smaller than a predetermined threshold. If it is determined that the block size of the current PU is smaller than the predetermined threshold, the block size determination unit 171 determines the second MV accuracy MV candidate list derivation unit 121, the template matching unit 111, and the MV candidate list rearrangement unit 122. And skips (omits) each process. That is, the process of rearranging the MV candidate list is skipped (omitted).
  • the MV candidate list rearranging unit 102 omits the process of correcting the MV candidate list by template matching. By performing such control, it is possible to suppress an increase in a memory band required for processing.
  • the block size determination unit 171 when the block size of the current PU is equal to or larger than the predetermined threshold, the block size determination unit 171 causes the MV candidate list to be rearranged.
  • the block size determination unit 171 determines the block size of the current PU as in the following Expression (29). Note that the block size of the current PU may be determined using the following equation (30) instead of equation (29).
  • PU width indicates the horizontal width of the PU
  • PU height indicates the vertical width of the PU.
  • log2X represents a logarithmic value of X base 2 and TH1 is a threshold value relating to a predetermined block size.
  • the first MV accuracy MV candidate list derivation unit 101 derives (generates) a MV candidate list (MVCandList) of the first MV accuracy for the current PU in step S201. At this time, the first MV accuracy MV candidate list deriving unit 101 derives (generates) information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy.
  • MVCandList MV candidate list
  • step S202 the block size determination unit 171 determines whether the size of the current PU is smaller than a predetermined threshold based on the information indicating the block size of the current PU.
  • the block size determination unit 171 controls so that the MV candidate list rearrangement process is performed. That is, the process proceeds to step S203.
  • step S203 the MV candidate list rearranging unit 102 (the second MV accuracy MV candidate list deriving unit 121, the template matching unit 111, and the MV candidate list rearranging unit 122) is derived in step S201 based on the template matching.
  • the MV candidates in the MV candidate list with the first MV accuracy are rearranged, and a rearranged MV candidate list (MVCandList ') is derived (generated).
  • step S203 When the processing in step S203 ends, the MV candidate list derivation processing ends.
  • step S202 when it is determined in step S202 that the size of the current PU is smaller than the predetermined threshold, the block size determination unit 171 controls to skip (omit) the MV candidate list rearrangement process. That is, the process of step S203 is skipped (omitted), and the MV candidate list derivation process ends.
  • FIG. 25 is a block diagram illustrating an example of the configuration of the MV candidate list rearranging unit 102 in FIG.
  • the MV candidate list rearranging unit 102 rearranges the MV candidate list using the method # 1-1 and the method # 1-6. That is, the MV candidate list rearrangement unit 102 performs template matching with coarse accuracy, further reduces the number of predictions for MV candidates for which a plurality of predictions are performed, and performs template matching by simple prediction.
  • the MV candidate list rearranging unit 102 in this case includes the second MV accuracy MV candidate list deriving unit 121, the MV candidate list rearranging unit 122, and the template matching unit as in FIG. 111.
  • the template matching unit 111 has a reference LX prediction setting unit 181 in addition to the configuration of FIG.
  • the reference LX prediction setting unit 181 sets reference LX prediction used for template generation with reference to the motion vector information of the MV candidate list CoarseMVCandList [i] having the second MV accuracy.
  • the reference LX prediction setting unit 181 selects LX prediction to be used for template generation based on the inter prediction identifier (inter_pred_idc) among the motion information of the MV candidates. This selected LX prediction is also referred to as reference LX prediction.
  • FIG. 26A shows an example of the rule for selecting the LX prediction.
  • the reference LX prediction setting unit 181 may select, as the reference LX prediction, the one with the smaller time distance between the current picture (curPic) and the reference picture (refPicLX) referenced in each LX prediction. If the time distances are the same, 'L0 prediction' may be set to the reference LX prediction, or 'L1 prediction' may be set to the reference LX prediction.
  • An example of pseudo code for such control is shown in FIG.
  • getPoc (picX) is a function for acquiring the POC (Picture Ordering Count) of a certain picture picX
  • abs (X) is a function for returning the absolute value of the variable X.
  • 'L0 prediction' may be used as the reference LX prediction irrespective of the time distance.
  • the reference LX prediction setting unit 181 supplies information indicating the set reference LX prediction to the reference block template generation unit 132 and the cost calculation unit 133.
  • the reference block template generation unit 132 generates a template corresponding to the reference LX prediction supplied from the reference LX prediction setting unit 181.
  • the reference block template generation unit 132 generates the upper template (LXTemplateA) of the reference block and the left template of the reference block determined by the motion information corresponding to the reference LX prediction (refLXPred) of the current PU and the MV candidate (CoarseMVCandList [i]). (LXTemplateL) is generated.
  • the reference block template generation unit 132 uses the motion information corresponding to the L0 prediction, and uses the upper template (L0TemplateA) of the reference block and the left part of the reference block. Generate template (L0TemplateL).
  • the reference block template generation unit 132 uses the motion information corresponding to the L1 prediction to generate the upper template (L1TemplateA) of the reference block and the reference block. Generate left template (L1TemplateL) of.
  • the reference block template generation unit 132 supplies the generated template of the reference block to the cost calculation unit 133.
  • the cost calculation unit 133 performs template matching between the template of the current PU generated by the current PU template generation unit 131 and the template corresponding to the reference LX prediction generated by the reference block template generation unit 132, and calculates the cost (CostList [ i]) is derived (calculated).
  • the cost cost of the template of the current PU and the template of the reference picture specified by the reference LX prediction of the MV candidate is derived by the following equation (31) in the case of LX prediction.
  • costA is the cost obtained from the upper template (curTemplateA) of the current PU and the upper template (LXTemplateA) of the reference block.
  • costL is a cost obtained from the left template (curTemplateL) of the current PU and the left template (LXTemplateL) of the reference block.
  • cost_uni (LX) is a cost obtained from the template of the current PU and the template of the reference block specified by the motion information corresponding to the reference LX prediction part of the MV candidate. 32).
  • pos indicates a pixel position composed of each (x, y) pair in the template
  • lx mv is a motion vector corresponding to the reference LX prediction part of the MV candidate.
  • the template to be actually generated can be limited to either L0 prediction or L1 prediction. Therefore, it is possible to suppress an increase in the amount of calculation of template matching for bi-prediction MV candidates (reduce the amount of calculation). That is, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like required for template matching can be suppressed. This also makes it possible to suppress an increase in the load of rearranging the MV candidate list. That is, it is possible to suppress an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like necessary for rearranging the MV candidate list.
  • MV candidate list rearrangement section 102 rearranges MV candidate list executed in step S102 of FIG. An example of the processing flow will be described.
  • the second MV accuracy MV candidate list deriving unit 121 determines in step S211 the MV candidate list (first MV accuracy list) based on the MV accuracy parameter (coarseMVPrec) indicating the second MV accuracy.
  • An MV candidate list (CoarseMVCandList) with the second MV accuracy corresponding to the MVCandList is derived.
  • step S212 the current PU template generating unit 131 generates a template (curTemplate) of the current PU.
  • the reference block template generating unit 132 sets an initial value (for example, “0”) to a variable i.
  • step S215 the reference block template generation unit 132 generates a template corresponding to the reference LX prediction set in step S214.
  • step S216 the cost calculation unit 133 calculates the cost (CostList [i]) based on the template of the current PU generated in step S212 and the template of the reference block corresponding to the reference LX prediction generated in step S215. Is derived. That is, the cost calculation unit 133 performs template matching using these templates to derive the cost.
  • step S217 the reference block template generation unit 132 determines whether the value of the variable i is smaller than a value (numMVCand) indicating the number of MV candidates included in the MV candidate list (MVCandList) with the first MV accuracy. . If it is determined that the variable i is smaller than the value (numMVCand) (i ⁇ numMVCand), the process proceeds to step S218.
  • step S2128 the reference block template generation unit 132 increments the variable i (adds “+1” to the value of the variable i).
  • step S218 ends, the process returns to step S214, and the subsequent processes are repeated.
  • step S217 If the variable i is determined to be greater than or equal to the value (numMVCand) (i ⁇ numMVCand) in step S217, the process proceeds to step S219.
  • step S219 the MV candidate list reordering unit 122 reorders the MV candidates in the MV candidate list with the first MV accuracy in ascending order of cost with reference to the cost list (CostList), and reorders the MV candidate list (MVCandList '). ) Is derived.
  • step S219 ends, the MV candidate list rearrangement processing ends, and the processing returns to FIG.
  • the MV candidate list rearrangement unit 102 can suppress an increase in the amount of operation of template matching (reduce the amount of operation), and An increase in the sorting load can be suppressed.
  • Second Embodiment> ⁇ Image coding device>
  • the present technology described above can be applied to any device or device.
  • the present technology described above (simplification of template matching (method # 1)) can be applied to an image encoding device that encodes image data. That is, at least one of the methods # 1-1 to 1-6 described above can be applied to an image encoding device that encodes image data.
  • FIG. 28 is a block diagram illustrating an example of a configuration of an image encoding device that is an aspect of an image processing device to which the present technology is applied.
  • An image encoding device 300 illustrated in FIG. 28 is an device that encodes image data of a moving image.
  • the image encoding device 300 implements the technology described in Non-Patent Documents 1 to 7 and converts image data of a moving image by a method based on a standard described in any of those documents. Encode.
  • FIG. 28 shows main components such as the processing unit and the flow of data, and the components shown in FIG. 28 are not necessarily all. That is, in the image encoding device 300, there may be a processing unit not shown as a block in FIG. 28, or a process or data flow not shown as an arrow or the like in FIG. 28. This is the same in other drawings for explaining the processing unit and the like in the image encoding device 300.
  • the image encoding device 300 includes a control unit 301, a rearrangement buffer 311, an operation unit 312, an orthogonal transformation unit 313, a quantization unit 314, an encoding unit 315, a storage buffer 316, and an inverse quantization unit. 317, an inverse orthogonal transform unit 318, an operation unit 319, an in-loop filter unit 320, a frame memory 321, a prediction unit 322, and a rate control unit 323.
  • the control unit 301 divides the moving image data held by the rearrangement buffer 311 into processing unit blocks (such as CUs, PUs, and conversion blocks) based on an external or pre-designated processing unit block size. . Further, the control unit 301 determines coding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, and the like) to be supplied to each block based on, for example, RDO (Rate-Distortion Optimization). I do.
  • RDO Rate-Distortion Optimization
  • control unit 301 supplies the parameters to each block. Specifically, it is as follows.
  • the header information Hinfo is supplied to each block.
  • the prediction mode information Pinfo is supplied to the encoding unit 315 and the prediction unit 322.
  • the transform information Tinfo is supplied to the encoding unit 315, the orthogonal transformation unit 313, the quantization unit 314, the inverse quantization unit 317, and the inverse orthogonal transformation unit 318.
  • the filter information Finfo is supplied to the in-loop filter unit 320.
  • Each field (input image) of moving image data is input to the image encoding device 300 in the order of reproduction (display order).
  • the rearrangement buffer 311 acquires and holds (stores) each input image in its reproduction order (display order).
  • the rearrangement buffer 311 rearranges the input image in encoding order (decoding order) or divides the input image into blocks in processing units based on the control of the control unit 301.
  • the rearrangement buffer 311 supplies the processed input images to the calculation unit 312.
  • the reordering buffer 311 also supplies the input images (original images) to the prediction unit 322 and the in-loop filter unit 320.
  • the calculation unit 312 receives the image I corresponding to the block of the processing unit and the prediction image P supplied from the prediction unit 322, and subtracts the prediction image P from the image rec as shown in the following equation (33). Then, the prediction residual resi is derived and supplied to the orthogonal transform unit 313.
  • the orthogonal transform unit 313 receives the prediction residual resi supplied from the calculation unit 312 and the conversion information Tinfo supplied from the control unit 301 as inputs, and performs orthogonal transform on the prediction residual resi based on the conversion information Tinfo. Conversion is performed to derive coefficient data coef. The orthogonal transformation unit 313 supplies the obtained coefficient data coef to the quantization unit 314.
  • the quantization unit 314 receives the coefficient data coef supplied from the orthogonal transformation unit 313 and the conversion information Tinfo supplied from the control unit 301, and scales (quantizes) the coefficient data coef based on the conversion information Tinfo. ).
  • the rate of the quantization is controlled by the rate control unit 323.
  • the quantization unit 314 supplies the quantized coefficient data obtained by such quantization, that is, the quantized transform coefficient qcoef, to the encoding unit 315 and the inverse quantization unit 317.
  • the coding unit 315 includes a quantization transform coefficient qcoef supplied from the quantization unit 314 and various coding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, etc.) supplied from the control unit 301. ), Information on filters such as filter coefficients supplied from the in-loop filter unit 320, and information on the optimal prediction mode supplied from the prediction unit 322.
  • the encoding unit 315 performs variable-length encoding (for example, arithmetic encoding) on the quantized transform coefficient qcoef to generate a bit string (encoded data).
  • ⁇ Encoding section 315 also derives residual information Rinfo from the quantized transform coefficient qcoef, encodes residual information Rinfo, and generates a bit string.
  • the encoding unit 315 includes information on the filter supplied from the in-loop filter unit 320 in the filter information Finfo, and includes information on the optimal prediction mode supplied from the prediction unit 322 in the prediction mode information Pinfo. Then, the coding unit 315 codes the above-described various coding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, and the like), and generates a bit sequence.
  • ⁇ Encoding section 315 also multiplexes the bit strings of various information generated as described above to generate encoded data.
  • the encoding unit 315 supplies the encoded data to the storage buffer 316.
  • the accumulation buffer 316 temporarily stores the encoded data obtained by the encoding unit 315. At a predetermined timing, the accumulation buffer 316 outputs the held encoded data to the outside of the image encoding device 300, for example, as a bit stream or the like. For example, the encoded data is transmitted to the decoding side via an arbitrary recording medium, an arbitrary transmission medium, an arbitrary information processing device, or the like. That is, the accumulation buffer 316 is also a transmission unit that transmits encoded data (bit stream).
  • the inverse quantization unit 317 performs a process related to inverse quantization. For example, the inverse quantization unit 317 receives the quantized transform coefficient qcoef supplied from the quantization unit 314 and the transform information Tinfo supplied from the control unit 301, and performs quantization transform based on the transform information Tinfo. Scale (inverse quantize) the value of the coefficient qcoef. Note that the inverse quantization is an inverse process of the quantization performed in the quantization unit 314. The inverse quantization unit 317 supplies the coefficient data coefI obtained by such inverse quantization to the inverse orthogonal transform unit 318.
  • the inverse orthogonal transform unit 318 performs a process related to the inverse orthogonal transform.
  • the inverse orthogonal transform unit 318 receives the coefficient data coefI supplied from the inverse quantization unit 317 and the transform information Tinfo supplied from the control unit 301 as inputs, and converts the coefficient data coefI into coefficient data coefI based on the transform information Tinfo.
  • An inverse orthogonal transform is performed on the result to derive residual data resiI.
  • the inverse orthogonal transform is an inverse process of the orthogonal transform performed in the orthogonal transform unit 313.
  • the inverse orthogonal transform unit 318 supplies the residual data resiI obtained by the inverse orthogonal transform to the arithmetic unit 319. Since the inverse orthogonal transform unit 318 is the same as the inverse orthogonal transform unit (described later) on the decoding side, the description (described later) performed on the decoding side can be applied to the inverse orthogonal transform unit 318.
  • the calculation unit 319 receives as input the residual data resiI supplied from the inverse orthogonal transform unit 318 and the predicted image P supplied from the prediction unit 322.
  • the operation unit 319 adds the residual data resiI and the prediction image P corresponding to the residual data resiI to derive a local decoded image Rlocal.
  • the operation unit 319 supplies the derived local decoded image Rlocal to the in-loop filter unit 320 and the frame memory 321.
  • the in-loop filter unit 320 performs a process related to the in-loop filter process. For example, the in-loop filter unit 320 converts the local decoded image Rlocal supplied from the calculation unit 319, the filter information Finfo supplied from the control unit 301, and the input image (original image) supplied from the rearrangement buffer 311. Take as input. Information input to the in-loop filter unit 320 is arbitrary, and information other than these information may be input. For example, if necessary, the prediction mode, motion information, code amount target value, quantization parameter QP, picture type, block (CU, CTU, etc.) information and the like may be input to the in-loop filter unit 320. Good.
  • the in-loop filter unit 320 appropriately performs a filtering process on the locally decoded image Rlocal based on the filter information Finfo.
  • the in-loop filter unit 320 also uses an input image (original image) and other input information as necessary for the filtering process.
  • the in-loop filter section 320 includes a bilateral filter, a deblocking filter (DBF (DeBlocking Filter)), an adaptive offset filter (SAO (Sample Adaptive Offset)), and an adaptive loop filter (ALF (Adaptive Loop Filter)). Apply two in-loop filters in this order. It should be noted that which filter is applied and in which order are applied are arbitrary and can be selected as appropriate.
  • DPF DeBlocking Filter
  • SAO Sample Adaptive Offset
  • ALF adaptive Loop Filter
  • the filter processing performed by the in-loop filter unit 320 is arbitrary, and is not limited to the above-described example.
  • the in-loop filter unit 320 may use a Wiener filter or the like.
  • the in-loop filter unit 320 supplies the filtered local decoded image Rlocal to the frame memory 321. Note that when information about a filter, such as a filter coefficient, is transmitted to the decoding side, the in-loop filter unit 320 supplies information about the filter to the encoding unit 315.
  • the frame memory 321 performs processing relating to storage of data relating to an image. For example, the frame memory 321 receives the local decoded image Rlocal supplied from the arithmetic unit 319 and the filtered local decoded image Rlocal supplied from the in-loop filter unit 320, and stores (stores) them. Further, the frame memory 321 reconstructs and holds the decoded image R for each picture using the local decoded image Rlocal (stores the decoded image R in a buffer in the frame memory 321). The frame memory 321 supplies the decoded image R (or a part thereof) to the prediction unit 322 in response to a request from the prediction unit 322.
  • the prediction unit 322 performs processing related to generation of a predicted image. For example, the prediction unit 322 calculates the prediction mode information Pinfo supplied from the control unit 301, the input image (original image) supplied from the rearrangement buffer 311 and the decoded image R (or a part thereof) read from the frame memory 321. Is input. The prediction unit 322 performs prediction processing such as inter prediction or intra prediction using the prediction mode information Pinfo and the input image (original image), performs prediction with reference to the decoded image R as a reference image, and performs prediction based on the prediction result. To perform a motion compensation process to generate a predicted image P. The prediction unit 322 supplies the generated prediction image P to the calculation unit 312 and the calculation unit 319. Further, the prediction unit 322 supplies the prediction mode selected by the above processing, that is, information on the optimal prediction mode to the encoding unit 315 as necessary.
  • the rate control unit 323 performs a process related to the rate control. For example, the rate control unit 323 controls the rate of the quantization operation of the quantization unit 314 based on the code amount of the coded data stored in the storage buffer 316 so that overflow or underflow does not occur.
  • the prediction unit 322 performs the above-described processing to which the present technology is applied. As illustrated in FIG. 28, the prediction unit 322 includes an MV candidate list derivation unit 331.
  • the prediction unit 322 encodes motion information obtained by inter prediction of the current block using motion information of another block. For example, the prediction unit 322 encodes the motion vector of the current block using a predicted motion vector derived from the motion vector of another block, or encodes the motion vector of the current block using a merge index representing the merge of the motion vector of another block. Or At that time, the prediction unit 322 causes the MV candidate list derivation unit 331 to derive an MV candidate list, selects an MV candidate from the MV candidate list according to a predetermined rule, and uses the selected MV candidate to perform such a process. Encoding of various motion vectors.
  • the MV candidate list deriving unit 331 is a processing unit corresponding to the MV candidate list deriving device 100 described in the first embodiment, has the same configuration as the MV candidate list deriving device 100, and performs the same processing. . That is, the MV candidate list deriving unit 331 determines that ⁇ 1. Template matching> and ⁇ 2. As described above in the first embodiment>, an MV candidate list is derived, and template matching is simplified and performed by at least one of methods # 1-1 to # 1-6. The cost is calculated, and the MV candidate list is rearranged based on the cost.
  • the prediction unit 322 encodes the motion vector using the rearranged MV candidate list. That is, the prediction unit 322 generates a predicted image by performing inter prediction, and encodes a motion vector used to generate the predicted image using the motion vector candidate list in which the elements are rearranged.
  • the prediction unit 322 can more appropriately encode a motion vector in response to a change in a characteristic of each sequence or block. . Therefore, it is possible to suppress a decrease in coding efficiency (improve coding efficiency).
  • the MV candidate list deriving unit 331 derives the MV candidate list by applying at least one of the methods # 1-1 to # 1-6. Template matching performed in the rearrangement process can be simplified. Therefore, the prediction unit 322 can suppress an increase in the load of encoding the motion vector (reduce the load).
  • step S301 the rearrangement buffer 311 is controlled by the control unit 301 to rearrange the order of the frames of the input moving image data from the display order to the encoding order.
  • step S302 the control unit 301 sets a processing unit (performs block division) for the input image held by the rearrangement buffer 311.
  • step S303 the control unit 301 determines (sets) an encoding parameter for the input image held by the rearrangement buffer 311.
  • step S304 the prediction unit 322 performs a prediction process to generate a prediction image or the like in an optimal prediction mode.
  • the prediction unit 322 performs intra prediction to generate a prediction image or the like in an optimal intra prediction mode, performs inter prediction to generate a prediction image or the like in an optimal inter prediction mode, From among them, an optimal prediction mode is selected based on a cost function value or the like.
  • step S305 the calculation unit 312 calculates a difference between the input image and the prediction image in the optimal mode selected by the prediction processing in step S304. That is, the calculation unit 312 generates a prediction residual resi between the input image and the prediction image.
  • the data amount of the prediction residual resi obtained in this manner is reduced as compared with the original image data. Therefore, the data amount can be compressed as compared with the case where the image is directly encoded.
  • step S306 the orthogonal transformation unit 313 performs orthogonal transformation processing on the prediction residual resi generated by the processing in step S305, and derives coefficient data coef.
  • step S307 the quantization unit 314 quantizes the coefficient data coef obtained by the processing in step S306 by using the quantization parameter calculated by the control unit 301, and derives a quantized transform coefficient qcoef.
  • step S308 the inverse quantization unit 317 inversely quantizes the quantized transform coefficient qcoef generated by the processing in step S307 with a characteristic corresponding to the quantization characteristic in step S307, and derives coefficient data coefI. Since the inverse quantization process is the same as the inverse quantization process (described later) performed on the decoding side, the description (described later) performed on the decoding side is applied to the inverse quantization process in step S308. can do.
  • step S309 the inverse orthogonal transform unit 318 performs inverse orthogonal transform on the coefficient data coefI obtained in step S308 by a method corresponding to the orthogonal transform process in step S306, and derives residual data resiI. Since the inverse orthogonal transform process is the same as the inverse orthogonal transform process (described later) performed on the decoding side, the description (described later) performed on the decoding side is applied to the inverse orthogonal transform process in step S309. can do.
  • step S310 the calculation unit 319 generates a locally decoded image by adding the prediction image obtained in the prediction process in step S304 to the residual data resiI derived in the process in step S309. I do.
  • step S311 the in-loop filter unit 320 performs the in-loop filter process on the locally decoded image derived in step S310.
  • step S312 the frame memory 321 stores the locally decoded image derived in step S310 and the locally decoded image filtered in step S312.
  • the encoding unit 315 encodes the quantized transform coefficient qcoef obtained by the process in step S307. For example, the encoding unit 315 encodes the quantized transform coefficient qcoef, which is information about an image, by arithmetic encoding or the like, and generates encoded data. At this time, the encoding unit 315 encodes various encoding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, and the like). Further, the encoding unit 315 derives residual information RInfo from the quantized transform coefficient qcoef, and encodes the residual information RInfo.
  • header information Hinfo prediction mode information
  • Tinfo conversion information
  • RInfo residual information
  • step S314 the accumulation buffer 316 accumulates the encoded data thus obtained, and outputs the encoded data to the outside of the image encoding device 300, for example, as a bit stream.
  • This bit stream is transmitted to the decoding side via a transmission path or a recording medium, for example.
  • the rate control unit 323 performs rate control as needed.
  • step S314 ends, the image encoding processing ends.
  • step S304 of the image encoding process in the flow is applied to the process of step S304 of the image encoding process in the flow as described above. That is, in deriving the MV candidate list used for coding the motion vector in the prediction process, ⁇ 1. Template matching> and ⁇ 2. As described above in the first embodiment, at least one of the methods # 1-1 to # 1-6 is applied to simplify the template matching, and the arrangement of the MV candidate list is performed. Make a replacement.
  • the present technology can be applied to, for example, an image decoding device that decodes encoded data of image data. That is, at least one of the above-mentioned methods # 1-1 to # 1-6 can be applied to an image decoding device that decodes encoded data of image data.
  • FIG. 30 is a block diagram illustrating an example of a configuration of an image decoding device that is an aspect of an image processing device to which the present technology is applied.
  • the image decoding device 400 illustrated in FIG. 30 is a device that decodes encoded data in which a prediction residual between an image and a prediction image thereof is encoded, such as AVC or HEVC.
  • the image decoding device 400 implements the technology described in Non-Patent Documents 1 to 7 and encodes image data of a moving image by a method based on a standard described in any of those documents. And decodes the encoded data.
  • the image decoding device 400 decodes the encoded data (bit stream) generated by the image encoding device 300 described above.
  • FIG. 30 shows main components such as a processing unit and a flow of data, and the components shown in FIG. 30 are not necessarily all. That is, in the image decoding device 400, a processing unit not illustrated as a block in FIG. 30 may exist, or a process or data flow not illustrated as an arrow or the like in FIG. 30 may exist. This is the same in other drawings for explaining the processing unit and the like in the image decoding device 400.
  • the image decoding apparatus 400 includes an accumulation buffer 411, a decoding unit 412, an inverse quantization unit 413, an inverse orthogonal transform unit 414, an operation unit 415, an in-loop filter unit 416, a rearrangement buffer 417, a frame memory 418, and The prediction unit 419 is provided.
  • the prediction unit 419 includes an intra prediction unit and an inter prediction unit (not shown).
  • the image decoding device 400 is a device for generating moving image data by decoding encoded data (bit stream).
  • the accumulation buffer 411 acquires the bit stream input to the image decoding device 400 and holds (stores) the bit stream.
  • the storage buffer 411 supplies the stored bit stream to the decoding unit 412 at a predetermined timing or when a predetermined condition is satisfied.
  • the decoding unit 412 performs a process related to image decoding. For example, the decoding unit 412 receives the bit stream supplied from the accumulation buffer 411 as input, performs variable length decoding of the syntax value of each syntax element from the bit string according to the definition of the syntax table, and derives parameters. I do.
  • the parameters derived from the syntax elements and the syntax values of the syntax elements include, for example, information such as header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, residual information Rinfo, and filter information Finfo. That is, the decoding unit 412 parses (analyzes and acquires) such information from the bit stream. The information will be described below.
  • the header information Hinfo includes, for example, header information such as VPS (Video Parameter Set) / SPS (Sequence Parameter Set) / PPS (Picture Parameter Set) / SH (slice header).
  • the header information Hinfo includes, for example, an image size (horizontal width PicWidth, vertical width PicHeight), bit depth (luminance bitDepthY, color difference bitDepthC), color difference array type ChromaArrayType, and maximum CU size MaxCUSize / minimum value MinCUSize and quadtree division ( Maximum depth MaxQTDepth / Minimum depth MinQTDepth of Quad-tree partition) Maximum depth MaxBTDepth / Minimum depth MinBTDepth of binary tree partition (Binary-tree partition), maximum value MaxTSSize of conversion skip block (also called maximum conversion skip block size) ), And information defining an on / off flag (also referred to as a valid flag) of each encoding tool.
  • an image size horizontal width PicWidth, vertical width PicHeight
  • bit depth luminance bitDepthY, color difference bitDepthC
  • color difference array type ChromaArrayType color difference array type ChromaArrayType
  • the on / off flags of the coding tool included in the header information Hinfo there are on / off flags related to the following conversion and quantization processing.
  • the on / off flag of the encoding tool can also be interpreted as a flag indicating whether or not syntax related to the encoding tool exists in encoded data.
  • the value of the on / off flag is 1 (true), it indicates that the encoding tool can be used.
  • the value of the on / off flag is 0 (false)
  • the inter-component prediction enable flag (ccp_enabled_flag) is flag information indicating whether inter-component prediction (CCP (Cross-Component Prediction), also referred to as CC prediction) is available. For example, when the flag information is “1” (true), it is indicated that it can be used, and when it is “0” (false), it is indicated that it cannot be used.
  • CCP Cross-Component Prediction
  • This CCP is also referred to as inter-component linear prediction (CCLM or CCLMP).
  • the prediction mode information Pinfo includes, for example, information such as size information PBSize (prediction block size) of the processing target PB (prediction block), intra prediction mode information IPinfo, and motion prediction information MVinfo.
  • the ⁇ ⁇ intra prediction mode information IPinfo includes, for example, JCTVC-W1005, 7.3.8.5lagcoding Unit syntax, prev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode, and a luminance intra prediction mode IntraPredModeY derived from the syntax.
  • the intra prediction mode information IPinfo includes, for example, an inter-component prediction flag (ccp_flag (cclmp_flag)), a multi-class linear prediction mode flag (mclm_flag), a chrominance sample position type identifier (chroma_sample_loc_type_idx), a chrominance MPM identifier (chroma_mpm_idx), and , A luminance intra prediction mode (IntraPredModeC) derived from these syntaxes, and the like.
  • ccp_flag cclmp_flag
  • mclm_flag multi-class linear prediction mode flag
  • chroma_sample_loc_type_idx chrominance sample position type identifier
  • chroma_mpm_idx chrominance MPM identifier
  • the multi-class linear prediction mode flag (mclm_flag) is information on the mode of linear prediction (linear prediction mode information). More specifically, the multi-class linear prediction mode flag (mclm_flag) is flag information indicating whether to set the multi-class linear prediction mode. For example, "0" indicates a one-class mode (single-class mode) (for example, CCLMP), and "1" indicates a two-class mode (multi-class mode) (for example, MCLMP). .
  • the chrominance sample position type identifier (chroma_sample_loc_type_idx) is an identifier for identifying the type of the pixel position of the chrominance component (also referred to as chrominance sample position type). For example, when the chrominance array type (ChromaArrayType), which is information on the color format, indicates the 420 format, the chrominance sample position type identifier is assigned as in the following Expression (34).
  • the chrominance sample position type identifier (chroma_sample_loc_type_idx) is transmitted (stored in) as information (chroma_sample_loc_info ()) regarding the pixel position of the chrominance component.
  • the chrominance MPM identifier (chroma_mpm_idx) is an identifier indicating which prediction mode candidate in the chrominance intra prediction mode candidate list (intraPredModeCandListC) is designated as the chrominance intra prediction mode.
  • the information included in the prediction mode information Pinfo is arbitrary, and information other than these information may be included.
  • the conversion information Tinfo includes, for example, the following information.
  • the information included in the conversion information Tinfo is arbitrary, and information other than these information may be included.
  • log2TBWSize (or log2TrWidth), log2TBHSize (or log2TrHeight) of the horizontal width TBWSize and vertical width TBHSize (or each of the base two TBWSize (or TrWidth) and TBHSize (or TrHeight)) of the conversion block to be processed May be used.
  • Conversion skip flag (ts_flag): This flag indicates whether or not (reverse) primary conversion and (reverse) secondary conversion are skipped.
  • Scan identifier (scanIdx) Quantization parameter (qp) Quantization matrix (scaling_matrix (for example, JCTVC-W1005, 7.3.4 Scaling list data syntax))
  • the residual information Rinfo (for example, see 7.3.8.11 Residual Coding syntax of JCTVC-W1005) includes, for example, the following syntax.
  • cbf (coded_block_flag): residual data existence flag last_sig_coeff_x_pos: last non-zero coefficient X coordinate last_sig_coeff_y_pos: last non-zero coefficient Y coordinate coded_sub_block_flag: sub-block non-zero coefficient existence flag sig_coeff_flag: non-zero coefficient existence flag
  • gr1_flag non-zero coefficient Flag indicating whether it is greater than 1 (also called GR1 flag)
  • gr2_flag Flag indicating whether the level of the non-zero coefficient is greater than 2 (also referred to as GR2 flag)
  • sign_flag code indicating the sign of the non-zero coefficient (also called sign code) coeff_abs_level_remaining: residual level of non-zero coefficient (also called non-zero coefficient residual level)
  • the information included in the residual information Rinfo is arbitrary, and information other than these information may be included.
  • the filter information Finfo includes, for example, control information on each of the following filtering processes.
  • DPF deblocking filter
  • ALF adaptive loop filter
  • a picture to which each filter is applied information for specifying an area in the picture, filter On / Off control information for each CU, filter on / off control information for slices, and tile boundaries are included. included.
  • the information included in the filter information Finfo is arbitrary, and information other than these information may be included.
  • the decoding unit 412 derives the quantized transform coefficient qcoef at each coefficient position in each transform block with reference to the residual information Rinfo.
  • the decoding unit 412 supplies the quantized transform coefficient qcoef to the inverse quantization unit 413.
  • the decoding unit 412 supplies the parsed header information Hinfo, prediction mode information Pinfo, quantized transform coefficient qcoef, transform information Tinfo, and filter information Finfo to each block. Specifically, it is as follows.
  • the header information Hinfo is supplied to the inverse quantization unit 413, the inverse orthogonal transform unit 414, the prediction unit 419, and the in-loop filter unit 416.
  • the prediction mode information Pinfo is supplied to the inverse quantization unit 413 and the prediction unit 419.
  • the transform information Tinfo is supplied to the inverse quantization unit 413 and the inverse orthogonal transform unit 414.
  • the filter information Finfo is supplied to the in-loop filter unit 416.
  • each encoding parameter may be supplied to an arbitrary processing unit.
  • other information may be supplied to an arbitrary processing unit.
  • the inverse quantization unit 413 performs a process related to inverse quantization. For example, the inverse quantization unit 413 receives the transform information Tinfo and the quantized transform coefficient qcoef supplied from the decoding unit 412 as inputs, and scales the value of the quantized transform coefficient qcoef (inverse quantization) based on the transform information Tinfo. ) To derive coefficient data coefI after inverse quantization.
  • this inverse quantization is performed as inverse processing of quantization by the quantization unit 314.
  • the inverse quantization is the same processing as the inverse quantization by the inverse quantization unit 317. That is, the inverse quantization unit 317 performs the same processing (inverse quantization) as the inverse quantization unit 413.
  • the inverse quantization unit 413 supplies the derived coefficient data coefI to the inverse orthogonal transform unit 414.
  • the inverse orthogonal transform unit 414 performs a process related to the inverse orthogonal transform. For example, the inverse orthogonal transform unit 414 receives the coefficient data coefI supplied from the inverse quantization unit 413 and the transform information Tinfo supplied from the decoding unit 412 as inputs, and converts the coefficient data coefI into coefficient data coefI based on the transform information Tinfo. An inverse orthogonal transform process is performed on the data to derive residual data resiI.
  • the inverse orthogonal transform is performed as an inverse process of the orthogonal transform by the orthogonal transform unit 313.
  • the inverse orthogonal transform is a process similar to the inverse orthogonal transform performed by the inverse orthogonal transform unit 318. That is, the inverse orthogonal transform unit 318 performs the same processing (inverse orthogonal transform) as the inverse orthogonal transform unit 414.
  • the inverse orthogonal transform unit 414 supplies the derived residual data resiI ′ to the calculation unit 415.
  • the calculation unit 415 performs a process related to addition of information on an image. For example, the calculation unit 415 receives as input the residual data resiI supplied from the inverse orthogonal transform unit 414 and the prediction image P supplied from the prediction unit 419. The calculation unit 415 adds the residual data resiI and the prediction image P (prediction signal) corresponding to the residual data resiI to derive a local decoded image Rlocal, as shown in the following equation (35), for example. .
  • the operation unit 415 supplies the derived local decoded image Rlocal to the in-loop filter unit 416 and the frame memory 418.
  • the in-loop filter unit 416 performs processing related to in-loop filter processing.
  • the in-loop filter unit 416 receives as input the local decoded image Rlocal supplied from the calculation unit 415 and the filter information Finfo supplied from the decoding unit 412.
  • Information input to the in-loop filter unit 416 is arbitrary, and information other than these information may be input.
  • the in-loop filter unit 416 appropriately performs a filtering process on the locally decoded image Rlocal based on the filter information Finfo.
  • the in-loop filter unit 416 includes a bilateral filter, a deblocking filter (DBF (DeBlocking Filter)), an adaptive offset filter (SAO (Sample Adaptive Offset)), and an adaptive loop filter (ALF (Adaptive Loop Filter)). Apply two in-loop filters in this order. It should be noted that which filter is applied and in which order are applied are arbitrary and can be selected as appropriate.
  • DPF DeBlocking Filter
  • SAO Sample Adaptive Offset
  • ALF adaptive Loop Filter
  • the in-loop filter unit 416 performs a filter process corresponding to the filter process performed by the encoding side (for example, the in-loop filter unit 320 of the image encoding device 300).
  • the filter processing performed by the in-loop filter unit 416 is optional, and is not limited to the above example.
  • the in-loop filter unit 416 may apply a Wiener filter or the like.
  • the in-loop filter unit 416 supplies the filtered local decoded image Rlocal to the reordering buffer 417 and the frame memory 418.
  • the reordering buffer 417 receives the local decoded image Rlocal supplied from the in-loop filter unit 416 as an input, and holds (stores) it.
  • the reordering buffer 417 reconstructs and holds the decoded image R for each picture unit using the local decoded image Rlocal (stores the decoded image R in the buffer).
  • the reordering buffer 417 reorders the obtained decoded images R from decoding order to reproduction order.
  • the rearrangement buffer 417 outputs the rearranged decoded image group R to the outside of the image decoding device 400 as moving image data.
  • the frame memory 418 performs processing related to storage of data related to an image. For example, the frame memory 418 receives the local decoded image Rlocal supplied from the arithmetic unit 415 as an input, reconstructs a decoded image R for each picture unit, and stores the reconstructed image R in a buffer in the frame memory 418.
  • the frame memory 418 receives the in-loop filtered local decoded image Rlocal supplied from the in-loop filter unit 416 as an input, reconstructs a decoded image R for each picture unit, and To store.
  • the frame memory 418 appropriately supplies the stored decoded image R (or a part thereof) to the prediction unit 419 as a reference image.
  • the frame memory 418 may store header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, and the like related to the generation of a decoded image.
  • the prediction unit 419 performs a process related to generation of a predicted image. For example, the prediction unit 419 receives the prediction mode information Pinfo supplied from the decoding unit 412, performs prediction using the prediction method specified by the prediction mode information Pinfo, and derives a predicted image P. At the time of the derivation, the prediction unit 419 uses a decoded image R (or a part thereof) before or after the filter, which is specified by the prediction mode information Pinfo and stored in the frame memory 418, as a reference image. The prediction unit 419 supplies the derived prediction image P to the calculation unit 415.
  • the prediction unit 419 performs the above-described processing to which the present technology is applied. As illustrated in FIG. 30, the prediction unit 419 includes an MV candidate list derivation unit 431.
  • the prediction unit 419 restores a motion vector used for generating a predicted image (motion compensation). For example, the prediction unit 419 adds a predicted motion vector derived from a motion vector of another block different from the current block to a differential motion vector transmitted from the encoding side, or merges a motion vector of another block. To restore the motion vector of the current block. At this time, the prediction unit 419 causes the MV candidate list derivation unit 431 to derive an MV candidate list, selects an MV candidate from the MV candidate list according to a predetermined rule, and uses the selected MV candidate to perform such a process. Of the motion vector. The prediction unit 419 performs motion compensation using the restored motion vector, and generates a predicted image.
  • the MV candidate list deriving unit 431 is a processing unit corresponding to the MV candidate list deriving device 100 described in the first embodiment, has the same configuration as the MV candidate list deriving device 100, and performs the same processing. . That is, the MV candidate list deriving unit 431 determines whether ⁇ 1. Template matching> and ⁇ 2. As described above in the first embodiment>, an MV candidate list is derived, and template matching is simplified and performed by at least one of methods # 1-1 to # 1-6. The cost is calculated, and the MV candidate list is rearranged based on the cost.
  • the prediction unit 419 restores a motion vector using the rearranged MV candidate list. That is, the prediction unit 419 restores a motion vector used for generating a predicted image using the motion vector candidate list in which the elements are rearranged.
  • the prediction unit 419 correctly decodes a motion vector more appropriately encoded in accordance with a change in a characteristic of each sequence or block. (Restore the motion vector). Therefore, it is possible to suppress a decrease in coding efficiency (improve coding efficiency).
  • the MV candidate list deriving unit 431 derives the MV candidate list by applying at least one of the methods # 1-1 to # 1-6. Template matching performed in the rearrangement process can be simplified. Therefore, the prediction unit 419 can suppress an increase in the load of restoring the motion vector (reduce the load).
  • the accumulation buffer 411 acquires and holds (accumulates) encoded data (bit stream) supplied from outside the image decoding device 400 in step S401.
  • step S402 the decoding unit 412 decodes the encoded data (bit stream) to obtain a quantized transform coefficient qcoef. Further, the decoding unit 412 parses (analyzes and acquires) various encoding parameters from the encoded data (bit stream) by this decoding.
  • step S403 the inverse quantization unit 413 performs inverse quantization, which is the inverse processing of the quantization performed on the encoding side, on the quantized transform coefficient qcoef obtained by the processing in step S402, and generates coefficient data. Get coefI.
  • step S404 the inverse orthogonal transform unit 414 performs an inverse orthogonal transform process, which is an inverse process of the orthogonal transform process performed on the encoding side, on the coefficient data coefI obtained by the process in step S403, Obtain the data resiI.
  • step S405 the prediction unit 419 performs a prediction process based on the information parsed in step S402 using a prediction method specified by the encoding side, and refers to a reference image stored in the frame memory 418, and the like. Then, a predicted image P is generated.
  • step S406 the arithmetic unit 415 adds the residual data resiI obtained by the processing of step S404 and the prediction image P obtained by the processing of step S405, and derives a local decoded image Rlocal.
  • step S407 the in-loop filter unit 416 performs an in-loop filter process on the local decoded image Rlocal obtained by the process in step S406.
  • step S408 the frame memory 418 stores at least one of the local decoded image Rlocal obtained by the processing in step S406 and the local decoded image Rlocal obtained by the processing in step S407 after filtering. .
  • step S409 the reordering buffer 417 derives the decoded image R using the filtered local decoded image Rlocal obtained in the process of step S407, and arranges the order of the group of decoded images R from decoding order to reproduction order. Change.
  • step S410 the reordering buffer 417 outputs the group of decoded images R rearranged in reproduction order to the outside of the image decoding device 400 as a moving image.
  • step S410 When the processing in step S410 ends, the image decoding processing ends.
  • step S405 of the image decoding process in the flow as described above.
  • ⁇ 1 Template matching> and ⁇ 2.
  • at least one of the methods # 1-1 to # 1-6 is applied to simplify the template matching, and the arrangement of the MV candidate list is performed. Make a replacement.
  • Non-Patent Document 1 a modified MV candidate obtained by a decoder-side motion search (decoder-side ME) is used as a starting MV candidate of a rearranged MV candidate list (MVCandList '), and further, the MV candidate list A technique for adding a leading MV candidate (modified MV candidate derivation processing) has been proposed (FIG. 32).
  • a modified MV candidate (Refine (B1) is added based on the first MV candidate (B1) of the rearranged MV candidate list (Re-ordered candidate list) shown on the left side in the figure ( Refinement), and an updated MV candidate list (Updated @ candidate @ list) shown on the right in the figure are derived.
  • the modified MV candidate obtained by the decoder side ME is set to the first MV candidate in the MV candidate list as an initial value. Added as a candidate.
  • a search MV list with a predetermined MV accuracy with the MV candidate to be corrected as an initial position, is set, and the cost is minimized among search points corresponding to each motion information of the search MV list. Is selected as a modified MV candidate.
  • This search MV list is set, for example, by setting in advance a MV offset list of motion vectors with a predetermined MV accuracy for the MV candidate to be corrected, and adding those MV offsets to the initial position.
  • a position of a predetermined MV precision (for example, 1/2 ⁇ ⁇ max_mv_prec ⁇ -pel precision) based on the search initial position is set as the MV offset, and the list ( An MV offset list (MVOffsetList0) is defined in advance.
  • MVOffsetList0 An MV offset list
  • the value of the motion vector is represented by being scaled by 2 ⁇ ⁇ max_mv_prec ⁇ times.
  • MVOffsetIdx is composed of a total of 9 MV offsets from 0 to 8.
  • the configuration of the MV offset is arbitrary and is not limited to the above example.
  • MVOffsetIdx may be composed of MV offsets of 0 to 4, or MVOffsetidx may be composed of 0 and MV offsets of 5 to 8.
  • the MV offset list MVOffsetList (target_mv_prec) of 1/2 ⁇ ⁇ target_mv_prec ⁇ -pel precision is based on the MV offset list MVOffsetList0 of 1/2 ⁇ ⁇ max_mv_prec ⁇ -pel precision and the parameter target_mv_prec indicating the precision of the desired motion vector. , Is derived as in the following equation (36).
  • MVOffsetList (target_mv_prec) is derived as in the following equation (37).
  • an MV offset list having an MV offset obtained by multiplying the value of MVOffsetList0 by (1 ⁇ (max_mv_prec-target_mv_prec)) is obtained.
  • ⁇ Simplification of template matching> Therefore, in the derivation of the modified MV candidate, template matching is simplified similarly to the method # 1 in the table of FIG. By doing so, an increase in the load of template matching can be suppressed (the load can be reduced). For example, by simplifying the template matching performed in the modified MV candidate derivation process, an increase in the load of the modified MV candidate derivation process can be suppressed (the load can be reduced). By suppressing an increase in load, for example, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like can be suppressed.
  • the template matching may be performed with coarse accuracy, similarly to the method # 1-1 in the table of FIG.
  • a modified motion vector candidate may be derived based on the modified motion vector candidate, and the motion vector candidate list may be updated using the derived modified motion vector candidate.
  • a template matching unit that performs template matching between a template of a current block and a template of a search point for a motion vector candidate having an accuracy lower than the accuracy of the motion vector candidate list, and derives a cost
  • An updating unit that derives a corrected motion vector candidate based on the cost of each motion vector candidate derived by the matching unit, and updates the motion vector candidate list using the derived corrected motion vector candidate.
  • the MV candidate indicates a sub-pel position
  • the MV candidate list has decimal pixel precision
  • by performing template matching with, for example, integer pixel precision it is possible to suppress an increase in the amount of calculation for template generation (motion compensation). That is, an increase in the load of template matching can be suppressed.
  • a motion vector candidate list with integer pixel precision corresponding to the motion vector candidate list with decimal pixel precision may be derived.
  • the image processing apparatus further includes a derivation unit that derives a motion vector candidate list with integer pixel precision corresponding to the motion vector candidate list with decimal pixel precision, and the template matching unit has an integer pixel precision derived by the derivation unit.
  • the template matching unit For each motion vector candidate in the motion vector candidate list, template matching between the template of the current block and the template of the search point is performed to derive a cost, and the updating unit determines the cost of each of the motion vector candidates derived by the template matching unit.
  • a modified motion vector candidate may be derived based on the cost, and the derived modified motion vector candidate may be used to update a motion vector candidate list with decimal pixel precision.
  • the derivation unit converts each MV candidate with sub-pixel accuracy to integer pixel accuracy, generates an MV candidate list with integer pixel accuracy corresponding to the MV candidate list with sub-pixel accuracy, and generates the MV candidate with integer pixel accuracy.
  • Template matching may be performed using a list. In this way, a motion vector candidate list with integer pixel precision corresponding to the motion vector candidate list with decimal pixel precision can be derived.
  • template matching of overlapping MV candidates may be skipped (omitted), similarly to the method # 1-2 in the table of FIG.
  • the template matching unit may skip template matching for the same motion vector candidate as the motion vector candidate for which template matching has already been performed. By doing so, it is possible to suppress an increase in the number of times of template matching (reduce the number of times). That is, an increase in the load of template matching can be suppressed.
  • some pixels of the template may be thinned out.
  • some pixels of the template may be thinned out at a thinning rate (ratio) according to the size of the current PU.
  • the template matching unit may determine whether the current block template has a sampling interval corresponding to the current block size and the search point template has a sampling interval corresponding to the current block size. The cost may be derived by performing template matching.
  • pixels are sampled from the adjacent decoded pixel group of the current PU (pixel groups in a predetermined area adjacent to the current PU) at intervals corresponding to the size of the current PU (that is, the adjacent decoded pixel group , Pixels are extracted at a rate (extraction rate) corresponding to the size of the current PU), and a template constituted by the sampled pixels may be generated.
  • the number of pixels of the template is reduced, so that an increase in the amount of calculation for template matching can be suppressed (the amount of calculation can be reduced). That is, an increase in the load of template matching can be suppressed.
  • the number of template lines may be reduced. That is, a template may be generated with a size corresponding to the position of the current PU (that is, the template size is set according to the position of the current PU).
  • the template matching unit performs template matching between a template of a current block having a size corresponding to the position of the current block and a template of a search point having a size corresponding to the position of the current block to reduce cost. It may be derived.
  • the above-described modified MV candidate derivation process (that is, The process of updating the MV candidate list) may be skipped (omitted).
  • the template matching unit and the updating unit may skip the process when the current block is smaller than the predetermined threshold.
  • template matching corrected MV candidate derivation processing for a current PU having a large load and a small size can be skipped. That is, an increase in the load of template matching can be suppressed.
  • the template matching unit sets singular prediction for a motion vector candidate for multiple prediction, and performs template matching between the template of the current block and the template of the search point as the motion vector candidate for singular prediction, The cost may be derived.
  • each method # 1-1 to # 1-6 can be applied independently, or can be applied in combination of a plurality of methods.
  • the method # 1-1 may be used in combination with any one of the methods # 1-2 to # 1-6.
  • a plurality of methods may be combined among methods # 1-2 to # 1-6.
  • the number of combining methods is arbitrary, and three or more methods may be combined.
  • FIG. 34 is a block diagram illustrating an example of a configuration of an MV candidate list derivation device that is an aspect of an image processing device to which the present technology is applied.
  • the MV candidate list deriving device 100 in this case has a first MV accuracy MV candidate list deriving unit 101 as in the case of FIG.
  • a modified MV candidate deriving unit 502 is provided instead of the MV candidate list rearranging unit 102 in the case of FIG.
  • the MV candidate list deriving device 100 derives an MV candidate list, derives a modified MV candidate, and updates the MV candidate list using the modified MV candidate.
  • the first MV accuracy MV candidate list deriving unit 101 calculates the MV candidate list (MVCandList) with the first MV accuracy and the number of MV candidates included in the MV candidate list with the first MV accuracy.
  • the information (numMVCand) shown is derived (generated).
  • the first MV accuracy MV candidate list deriving unit 101 supplies the generated MV candidate list of the first MV accuracy and information indicating the number of MV candidates included in the MV candidate list of the first MV accuracy to the modified MV candidate deriving unit 502. I do.
  • the modified MV candidate derivation unit 502 derives a modified MV candidate using the MV candidate list of the first MV accuracy supplied from the first MV accuracy MV candidate list derivation unit 101, and uses the modified MV candidate to generate a first MV accuracy.
  • MV candidate list is updated.
  • the modified MV candidate deriving unit 502 includes a template matching unit 511, and derives the modified MV candidate using template matching by the template matching unit 511.
  • the modified MV candidate deriving unit 502 outputs the updated MV candidate list (MVCandList ') as the derived MV candidate list.
  • the modified MV candidate derivation unit 502 also outputs information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy (updated MV candidate list).
  • the template matching unit 511 simplifies template matching (for deriving a modified MV candidate).
  • template matching section 511 can suppress an increase in template matching load, and modified MV candidate derivation section 502 increases modified MV candidate derivation load. Can be suppressed. Therefore, the MV candidate list deriving device 100 can suppress an increase in the load of deriving the MV candidate list.
  • the first MV accuracy MV candidate list deriving unit 101 derives (generates) the MV candidate list (MVCandList) of the first MV accuracy for the current PU in step S501. At this time, the first MV accuracy MV candidate list deriving unit 101 derives (generates) information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy.
  • step S502 the modified MV candidate deriving unit 502 derives a modified MV candidate based on the template matching, updates the MV candidate list with the first MV accuracy derived in step S501, and updates the updated MV candidate list (MVCandList '). ) Is derived (generated).
  • step S502 ends, the MV candidate list derivation processing ends.
  • FIG. 36 is a block diagram showing an example of the configuration of the modified MV candidate deriving unit 502 of FIG.
  • the modified MV candidate deriving unit 502 in this case includes a second MV accuracy search MV list deriving unit 521, an MV candidate list updating unit 522, and a template matching unit 511.
  • the second MV accuracy search MV list derivation unit 521 includes a first MV accuracy MV candidate list (MVCandList) supplied from the first MV accuracy MV candidate list derivation unit 101 and a MV candidate included in the first MV accuracy MV candidate list. Acquires information indicating the number (numMVCand).
  • the second MV accuracy search MV list deriving unit 521 derives (generates) a second MV accuracy search MV list (searchMVList) corresponding to the acquired first MV accuracy MV candidate list (MVCandList).
  • the first MV accuracy and the second MV accuracy are as described in the first embodiment.
  • the MV accuracy parameter (targetMVPrec) indicating the second MV accuracy is input to the second MV accuracy search MV list derivation unit 521.
  • the second MV accuracy search MV list derivation unit 521 based on the input MV accuracy parameter (targetMVPrec), corresponds to the first MV accuracy MV candidate list supplied from the first MV accuracy MV candidate list derivation unit 101.
  • the search MV list (searchMVList) of the second MV accuracy indicated by the MV accuracy parameter (targetMVPrec) is derived (generated).
  • the second MV accuracy may be a fixed value, or may be set by a user or the like.
  • the second MV accuracy search MV list deriving unit 521 converts the derived second MV accuracy search MV list (searchMVList) together with information (numSearchMV) indicating the number of search MVs included in the search MV list and the template matching unit 111. (A search point template generation unit 532).
  • the MV offset list is as described with reference to FIG.
  • searchMVList searchMVList
  • Int-pel integer pixel
  • Decoder-side @ ME can be performed without MC of sub-pel accuracy except for the initial position of the MVP. That is, since template matching with sub-pel accuracy can be omitted, template matching processing in deriving a modified MV candidate can be simplified.
  • the template matching unit 111 performs template matching using the search MV list of the second MV accuracy derived by the second MV accuracy search MV list derivation unit 521 to derive (calculate) the cost.
  • the template matching unit 111 includes a current PU template generation unit 531, a search point template generation unit 532, and a cost calculation unit 533.
  • the current PU template generation unit 531 is a processing unit similar to the current PU template generation unit 131, has the same configuration, and performs the same processing. For example, the current PU template generation unit 531 generates a template (curTemplate) of the current PU. The current PU template generation unit 531 supplies the generated template (curTemplate) of the current PU to the cost calculation unit 533.
  • the search point template generation unit 532 acquires the search MV list of the second MV accuracy derived by the second MV accuracy search MV list derivation unit 521 and the decoded pixel values from the picture buffer, and based on them, Is derived (generated). For example, the search point template generation unit 532 generates a template corresponding to the motion information of each search MV (seachMVList [i]) in the search MV list with the second MV accuracy. The search point template generation unit 532 supplies the generated template of each search point to the cost calculation unit 533.
  • the cost calculation unit 533 is a processing unit similar to the cost calculation unit 133, has the same configuration, and performs the same processing. For example, the cost calculation unit 533 derives the cost (cost) using the template of the current PU supplied from the current PU template generation unit 531 and the template of the search point supplied from the search point template generation unit 532. (calculate. The cost calculation unit 533 supplies the calculated cost to the MV candidate list update unit 522 as a cost list (costList).
  • the MV candidate list update unit 522 includes a first MV accuracy MV candidate list (MVCandList) supplied from the first MV accuracy MV candidate list derivation unit 101, and a second MV accuracy search MV list (MVCandList) supplied from the cost calculation unit 533. searchMVList) and a template matching cost list (CostList) corresponding to each search MV.
  • the MV candidate list updating unit 522 refers to the cost list, selects a search MV with the lowest cost as a modified MV candidate, and uses the modified MV candidate (by inserting a modified MV candidate, etc.)
  • the MV candidate list (MVCandList) with the first MV accuracy is updated.
  • the second MV accuracy search MV list deriving unit 521 generates the search MV list of the second MV accuracy coarser (lower) than the first MV accuracy, corresponding to the MV candidate list of the first MV accuracy.
  • the template matching unit 111 performs template matching using the search MV list of the second MV accuracy to calculate a cost
  • the MV candidate list updating unit 522 generates a corrected MV candidate based on the cost obtained by the template matching. Is derived, and the MV candidate list of the first MV accuracy is updated using the corrected MV candidate (by inserting, for example).
  • the modified MV candidate deriving unit 502 can suppress an increase in the load of template matching, and thereby can suppress an increase in the load of deriving a modified MV candidate (updating the MV candidate list).
  • the current PU template generation unit 531 When the modified MV candidate derivation process is started, the current PU template generation unit 531 generates a template (curTemplate) of the current PU in step S511.
  • step S512 the second MV accuracy search MV list deriving unit 521 converts the MV candidate to be modified (to-be-refined-mv) into the MV candidate list (MVCandList) with the first MV accuracy as in the following Expression (39). ).
  • a second MV accuracy search MV list deriving unit 521 sets a 1-pel accuracy search MV list (searchMVList) with the MV candidate to be corrected as an initial position.
  • step S514 the search point template generation unit 532 sets an initial value (for example, “0”) to the variable i.
  • step S515 the search point template generation unit 532 generates a template corresponding to the motion information of the search MV (searchMVList [i]).
  • step S516 the cost calculation unit 533 derives the cost (CostList [i]) from the template of the current PU and the template corresponding to the search points (searchPoints [i]).
  • step S517 the search point template generation unit 532 determines whether the value of the variable i is smaller than a value (numSearchMV) indicating the number of search MVs included in the search MV list (searchMVList). If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S518.
  • a value indicating the number of search MVs included in the search MV list (searchMVList). If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S518.
  • step S5108 the search point template generation unit 532 increments the variable i (adds “+1” to the value of the variable i).
  • step S518 ends, the process returns to step S515, and the subsequent processes are repeated.
  • steps S515 to S518 are executed for each search MV (cost (CostList [i]) corresponding to the search MV).
  • step S517 If the variable i is determined to be equal to or greater than the value (numSearchMV) (i ⁇ numSearchMV) in step S517, the process proceeds to step S521 in FIG.
  • the motion information is set as a modified MV candidate.
  • step S522 when the same motion vector information as the modified MV candidate does not exist in the MV candidate list, the MV candidate list updating unit 522 adds the modified MV candidate to the MV candidate list (numRefinedMV ++).
  • step S523 the MV candidate list updating unit 522 determines whether to proceed to the next MV candidate correction process. For example, the number of modified MV candidates added to the MV candidate list (numRefinedMV) is compared with the predefined maximum number of modified MV candidates maxNumRefinedMV, and if the number of modified MV candidates numRefinedMV is less than or equal to maxNumRefinedMV, The process proceeds to the MV candidate correction process. In that case, the process returns to step S512 in FIG. Otherwise, the modified MV candidate derivation process ends.
  • the second MV accuracy search MV list deriving unit 521 sets the search MV list of the second MV accuracy (for example, integer pixel accuracy) in the process of step S513 in FIG. Therefore, template matching (step S516) can be simplified, and an increase in load can be suppressed. That is, the modified MV candidate deriving unit 502 can suppress an increase in the load of deriving the modified MV candidate.
  • FIG. 40 is a block diagram illustrating an example of the configuration of the modified MV candidate deriving unit 502 in FIG.
  • the modified MV candidate deriving unit 502 derives a modified MV candidate using the method # 1-1 and the method # 1-2. That is, the modified MV candidate derivation unit 502 performs template matching with coarse accuracy, further detects the same search MV (duplicate MV) as the search MV for which template matching has been performed, and skips the template matching of the search MV. (Diverted result of executed template matching (cost value)).
  • the modified MV candidate derivation unit 502 in this case includes the second MV precision search MV list derivation unit 521, the MV candidate list update unit 522, and the template matching unit 511, as in the case of FIG. Have.
  • the template matching unit 511 has a duplicate MV detection unit 541 in addition to the configuration in FIG.
  • the duplicate MV detection unit 541 acquires the search MV list of the second MV accuracy derived (generated) by the second MV accuracy search MV list derivation unit 521.
  • the duplicate MV detection unit 541 includes the search target MV included in the search MV list with the second MV accuracy in the search MV list with the same second MV accuracy by the same method as the case of the overlap MV detection unit 141. It is determined whether the search MV is the same as the search MV for which template matching has already been performed. Then, in accordance with the same method as in the case of the overlapping MV detecting unit 141, the overlapping MV detecting unit 541 applies a test flag (ToBeTestFlag) and a cost reference index (CostRefIdx) are set.
  • ToBeTestFlag test flag
  • CostRefIdx cost reference index
  • the duplicate MV detection unit 541 supplies the set test flag (ToBeTestFlag) and the information of the cost reference index (CostRefIdx) to the cost calculation unit 533.
  • the cost calculation unit 533 calculates the cost corresponding to each search MV by executing or skipping (duplicating the cost) the template matching based on the information.
  • the modified MV candidate deriving unit 502 can suppress an increase in the number of times of template matching (reduce the number of times), and can suppress an increase in the load of template matching. That is, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like required for template matching can be suppressed. This also makes it possible to suppress an increase in the load for deriving the modified MV candidate. That is, it is possible to suppress an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like necessary for deriving a modified MV candidate.
  • modified MV candidate deriving section 502 executes modified MV candidate executed in step S502 in FIG. An example of the flow of the derivation process will be described.
  • the current PU template generation unit 131 When the modified MV candidate derivation process is started, the current PU template generation unit 131 generates a template (curTemplate) of the current PU in step S531 in FIG.
  • step S533 the second MV accuracy search MV list deriving unit 521 sets a 1-pel MV accuracy search MV list (searchMVList) with the MV candidate to be corrected as an initial position.
  • the duplicate MV detection unit 541 detects a duplicate MV in the search MV list with 1-pel MV accuracy, a test flag (ToBeTestedFlag) indicating whether to perform template matching for each search MV, and a cost copy source. And a cost reference index (CostRefIdx) that indicates
  • step S535 the search point template generator 532 sets an initial value (for example, “0”) to a variable i.
  • step S537 the search point template generation unit 532 refers to the motion vector information of the search MV to be processed and generates a template corresponding to the motion vector information.
  • the process in step S537 ends the process proceeds to step S541 in FIG.
  • the cost calculation unit 533 includes the template of the current PU generated in step S531 of FIG. 41 and the search point (searchPoints [i) of the second MV accuracy of the processing target generated in step S537 of FIG. ]), A cost (CostList [i]) is derived based on the template corresponding to the cost.
  • searchPoints [i) searchPoints [i) of the second MV accuracy of the processing target generated in step S537 of FIG. ]
  • a cost Cost (CostList [i]) is derived based on the template corresponding to the cost.
  • step S542 the cost calculation unit 533 sets the cost indicated by the cost reference index (CostRefIdx) set in step S534 in FIG. 41 as the cost of the search MV to be processed. That is, the cost value of the same motion information is reused (substituted). As a result, the calculation of the cost value (template matching) for the search MV to be processed can be omitted.
  • the processing in step S542 ends, the processing proceeds to step S543.
  • step S543 the search point template generation unit 532 determines whether the value of the variable i is smaller than a value (numSearchMV) indicating the number of search MVs included in the search MV list (searchMVList). If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S544.
  • a value indicating the number of search MVs included in the search MV list (searchMVList). If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S544.
  • step S544 the search point template generator 532 increments the variable i (adds “+1” to the value of the variable i).
  • step S544 ends, the process returns to step S536 in FIG. 41, and the subsequent processes are repeated.
  • step S536 Cost (CostList [i]) corresponding to the search MV).
  • step S545 If the variable i is determined to be greater than or equal to the value (numSearchMV) (i ⁇ numSearchMV) in step S543 of FIG. 42, the process proceeds to step S545.
  • step S545 the MV candidate list updating unit 522 refers to the cost list (CostList) and corrects the motion information of the search point (best_pos) having the minimum cost among the search points (searchPoints [i]) to the corrected MV candidate.
  • CostList Cost list
  • searchPoints [i] searchPoints [i]
  • step S546 if the same motion vector information as the modified MV candidate does not exist in the MV candidate list, the MV candidate list updating unit 522 adds the modified MV candidate to the MV candidate list (numRefinedMV ++).
  • step S547 the MV candidate list updating unit 522 determines whether to proceed to the next MV candidate correction process. If it is determined that the process proceeds to the next MV candidate correction process, the process returns to step S532 in FIG. If it is determined in step S547 in FIG. 42 that the process does not proceed to the next MV candidate correction process, the modified MV candidate derivation process ends.
  • the modified MV candidate deriving unit 502 can suppress an increase in the number of times of template matching (reduce the number of times) and increase the load of deriving the modified MV candidate. Can be suppressed.
  • Method # 1-3 Application to template thinning> Next, a case where method # 1-3 in FIG. 3 is applied will be described. In the method # 1-3, template matching is performed using a template in which some pixels are thinned out.
  • the thinning rate should be set according to the size of the current PU. This suppresses an increase in the number of pixels in the template (that is, an increase in the amount of calculation) due to an increase in the block size, and controls the number of pixels in the template to be appropriate even for a small block size. Can be.
  • control of the number of pixels of the template may be performed by thinning out the pixels from the generated template, or a part of the group of adjacent pixels included in the template when the method # 1-3 is not applied. May be sampled (extracted), and a template may be generated using the sampled pixels.
  • the method of thinning out the pixels is arbitrary.
  • the upper template may be thinned (extracted (sampled)) for each column (column), and the left template may be thinned (extracted (sampled)) for each row (line).
  • FIG. 43 is a block diagram showing an example of the configuration of the modified MV candidate deriving unit 502 of FIG.
  • the modified MV candidate deriving unit 502 derives a modified MV candidate using the method # 1-1 and the method # 1-3. That is, the modified MV candidate derivation unit 502 performs template matching with coarse accuracy, and further thins out some pixels of the template at a thinning rate (ratio) according to the size of the current PU.
  • the modified MV candidate deriving unit 502 in this case includes a second MV accuracy search MV list deriving unit 521, an MV candidate list updating unit 522, and a template matching unit 511, as in the case of FIG. Have.
  • the template matching unit 511 has a template thinning rate deriving unit 551 in addition to the configuration in FIG.
  • the template thinning rate deriving unit 551 derives the thinning rates of the upper template and the left template according to the size of the current PU by the same method as that of the template thinning rate deriving unit 151.
  • the template thinning rate deriving unit 551 supplies the derived template thinning rate to the current PU template generating unit 531 and the search point template generating unit 532.
  • the current PU template generation unit 531 generates a template (curTemplate) of the current PU with reference to the supplied template thinning rate.
  • the current PU template generation unit 531 supplies the generated current PU template to the cost calculation unit 533.
  • the search point template generating unit 532 derives (generates) a template corresponding to the motion information of the search point (searchMVList [i]) with reference to the template thinning rate supplied from the template thinning rate deriving unit 551.
  • the search point template generation unit 532 supplies the generated search point template to the cost calculation unit 533.
  • the cost calculation unit 533 performs template matching using the template generated as described above (a template in which some pixels are thinned out). Therefore, an increase in the amount of calculation for template matching can be suppressed (the amount of calculation can be reduced). That is, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like required for template matching can be suppressed. This also makes it possible to suppress an increase in the load for deriving the modified MV candidate. That is, it is possible to suppress an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like necessary for deriving a modified MV candidate.
  • modified MV candidate deriving section 502 executes modified MV candidate executed in step S502 in FIG. An example of the flow of the derivation process will be described.
  • the template thinning rate deriving unit 151 derives the template thinning rates of the upper template and the left template in step S561.
  • step S562 the current PU template generation unit 531 generates a template (curTemplate) of the current PU with reference to the template thinning rate derived in step S561.
  • step S564 the second MV accuracy search MV list deriving unit 521 sets a 1-pel MV accuracy search MV list (searchMVList) with the correction target MV candidate as an initial position.
  • step S565 the search point template generator 532 sets an initial value (for example, “0”) to a variable i.
  • step S566 the search point template generation unit 532 generates a template corresponding to the motion information of the search MV (searchMVList [i]) with reference to the template thinning rate derived in step S561.
  • step S567 the cost calculation unit 533 derives the cost (CostList [i]) based on the template of the current PU generated in step S562 and the template of the search point with the second MV accuracy generated in step S566. I do. That is, the cost calculation unit 533 performs template matching using a template generated with reference to the template thinning rate derived in step S561 (a template with pixels thinned out at the template thinning rate) to derive the cost. I do.
  • step S568 the search point template generation unit 532 determines whether the value of the variable i is smaller than the value (numSearchMV) indicating the number of search MVs included in the search MV list (searchMVList). If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S569.
  • step S569 the search point template generator 532 increments the variable i (adds “+1” to the value of the variable i).
  • step S569 ends, the process returns to step S566, and the subsequent processes are repeated.
  • steps S566 to S569 are executed for each search MV (cost (CostList [i]) corresponding to the search MV).
  • step S568 If it is determined in step S568 that the variable i is equal to or greater than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S571 in FIG.
  • step S572 when the same motion vector information as the modified MV candidate does not exist in the MV candidate list, the MV candidate list updating unit 522 adds the modified MV candidate to the MV candidate list (numRefinedMV ++).
  • step S573 the MV candidate list update unit 522 determines whether to proceed to the next MV candidate correction process. When it is determined that the process proceeds to the next MV candidate correction process, the process returns to step S563 in FIG. If it is determined in step S573 of FIG. 45 that the process does not proceed to the correction process of the next MV candidate, the modified MV candidate derivation process ends.
  • the modified MV candidate deriving unit 502 can suppress an increase in the amount of template matching computation (reduce the amount of computation), and the load of deriving the modified MV candidate is reduced. Increase can be suppressed.
  • FIG. 46 is a block diagram showing an example of the configuration of the modified MV candidate deriving unit 502 of FIG.
  • the modified MV candidate deriving unit 502 derives a modified MV candidate using the method # 1-1 and the method # 1-4. That is, the modified MV candidate derivation unit 502 performs template matching with coarse accuracy, and further controls the template size according to the position of the current PU.
  • the modified MV candidate deriving unit 502 in this case includes the second MV accuracy search MV list deriving unit 521, the MV candidate list updating unit 522, and the template matching unit 511, as in the case of FIG. Have.
  • the template matching unit 511 has a template size setting unit 561 in addition to the configuration in FIG.
  • the template size setting unit 561 sets the size (template size) of the upper template and the left template. By reducing the number of adjacent decoded pixel groups (line buffers) necessary for encoding / decoding the current CTU, the hardware circuit scale can be reduced. Therefore, the template size setting unit 561 uses a method similar to that of the template size setting unit 161 according to the position of the current PU in the CTU in order to reduce the size of the CTU-level line buffer that holds decoded pixels. And set the template size. Also in this case, the values of templateSize1 and templateSize2 are arbitrary as long as they have a relationship of templateSize1 ⁇ templateSize2.
  • the size of the reference pixel area for intra prediction may be determined according to the position of the current PU in the CTU. By doing so, it is possible to suppress an increase in the line buffer used to hold the reference pixel region for intra prediction (reduce the line buffer).
  • the template size setting unit 561 supplies information on the template size set as described above to the current PU template generation unit 531 and the search point template generation unit 532.
  • the current PU template generation unit 531 generates a template for the current PU with reference to the template size supplied from the template size setting unit 561.
  • the current PU template generation unit 531 supplies the generated current PU template to the cost calculation unit 533.
  • the search point template generation unit 532 includes a search MV list of the second MV accuracy derived by the second MV accuracy search MV list derivation unit 521, a pixel value already decoded from the picture buffer, and a template supplied from the template size setting unit 561. The size is obtained, and a template of the search MV is derived (generated) based on the size. The search point template generation unit 532 supplies the generated search MV template to the cost calculation unit 533.
  • the cost calculation unit 533 performs template matching using the template generated as described above (a template whose template size is controlled according to the position of the current PU). Therefore, an increase in the number of decoded pixels used for template generation can be suppressed (the number of decoded pixels used for template generation can be reduced). That is, it is possible to suppress an increase in the size of the line buffer that stores (holds) the decoded pixel (reduce the line buffer size). That is, an increase in the load of template matching can be suppressed. This also makes it possible to suppress an increase in the load of deriving the modified MV candidate.
  • modified MV candidate deriving section 502 executes modified MV candidate executed in step S502 in FIG. An example of the flow of the derivation process will be described.
  • the template size setting unit 561 sets the template sizes of the upper template and the left template in step S581.
  • step S582 the current PU template generation unit 531 generates a template (curTemplate) of the current PU with reference to the template size set in step S581.
  • step S584 the second MV accuracy search MV list deriving unit 521 sets a 1-pel MV accuracy search MV list (searchMVList) with the correction target MV candidate as an initial position.
  • step S585 the search point template generator 532 sets an initial value (for example, “0”) to a variable i.
  • step S586 the search point template generation unit 532 generates a template corresponding to the motion information of the search MV (searchMVList [i]) with reference to the template size derived in step S581.
  • step S587 the cost calculation unit 533 determines the cost (CostList [i]) from the template of the current PU generated in step S582 and the template corresponding to the search points (searchPoints [i]) generated in step S586. Is derived. That is, the cost calculation unit 533 performs template matching using the template of the template size set in step S581 (the template size set according to the position of the current PU), and derives the cost.
  • step S588 the search point template generation unit 532 determines whether the value of the variable i is smaller than a value (numSearchMV) indicating the number of search MVs included in the search MV list. If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S589.
  • step S589 the search point template generation unit 532 increments the variable i (adds “+1” to the value of the variable i).
  • step S589 ends, the process returns to step S586, and the subsequent processes are repeated. That is, each process from step S586 to step S589 is executed for each search MV (cost (CostList [i]) corresponding to each search MV).
  • step S587 if it is determined in step S587 that the variable i is equal to or more than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S591 in FIG.
  • step S592 when the same motion vector information as the modified MV candidate does not exist in the MV candidate list, the MV candidate list updating unit 522 adds the modified MV candidate to the MV candidate list (numRefinedMV ++).
  • step S593 the MV candidate list update unit 522 determines whether to proceed to the next MV candidate correction process. If it is determined that the process proceeds to the next MV candidate correction process, the process returns to step S583 in FIG. If it is determined in step S593 of FIG. 48 that the process does not proceed to the correction process of the next MV candidate, the modified MV candidate derivation process ends.
  • the modified MV candidate derivation unit 502 can suppress an increase in the size of the line buffer used for template matching (reduce the line buffer size). An increase in the load for deriving MV candidates can be suppressed.
  • FIG. 49 is a block diagram illustrating an example of a configuration of the modified MV candidate derivation unit 502 of FIG.
  • the modified MV candidate deriving unit 502 derives a modified MV candidate using the method # 1-1 and the method # 1-5. That is, the modified MV candidate deriving unit 502 performs template matching with coarse accuracy, and skips (omits) the modified MV candidate deriving process when the size of the current PU is small.
  • the modified MV candidate deriving unit 502 in this case has the configuration shown in FIG. 36 (the second MV accuracy search MV list deriving unit 521, the MV candidate list updating unit 522, and the template matching unit 511).
  • a block size determination unit 571 is provided.
  • the block size determination unit 571 determines the block size of the current PU by the same method as the block size determination unit 171. For example, based on information indicating the block size of the current PU, the block size determination unit 571 determines whether the block size of the current PU is smaller than a predetermined threshold. Then, when it is determined that the block size of the current PU is smaller than the predetermined threshold, the block size determination unit 571 controls the second MV precision search MV list derivation unit 521, the template matching unit 511, and the MV candidate list update unit 522. Then, each process is skipped (omitted). That is, the modified MV candidate derivation process is skipped (omitted).
  • the modified MV candidate deriving unit 502 omits the process of deriving a modified MV candidate by template matching. By performing such control, it is possible to suppress an increase in a memory band required for processing. That is, it is possible to suppress an increase in the load of template matching and derivation of the corrected MV candidate.
  • the first MV accuracy MV candidate list deriving unit 101 derives (generates) a MV candidate list (MVCandList) of the first MV accuracy for the current PU in step S601. At this time, the first MV accuracy MV candidate list deriving unit 101 derives (generates) information (numMVCand) indicating the number of MV candidates included in the MV candidate list with the first MV accuracy.
  • MVCandList MV candidate list
  • step S602 the block size determination unit 571 determines whether the size of the current PU is smaller than a predetermined threshold based on the information indicating the block size of the current PU.
  • the block size determination unit 171 controls so that a modified MV candidate derivation process is performed. That is, the process proceeds to step S603.
  • the modified MV candidate deriving unit 502 (the second MV accuracy search MV list deriving unit 521, the template matching unit 511, and the MV candidate list updating unit 522) derives a modified MV candidate based on template matching, and corrects the modified MV candidate.
  • the MV candidate list of the first MV accuracy derived in step S601 is updated, and the updated MV candidate list (MVCandList ') is derived (generated).
  • step S603 When the processing of step S603 ends, the MV candidate list derivation processing ends.
  • step S602 when it is determined in step S602 that the size of the current PU is smaller than the predetermined threshold, the block size determination unit 571 performs control to skip (omit) the modified MV candidate derivation process. That is, the process of step S603 is skipped (omitted), and the MV candidate list derivation process ends.
  • FIG. 51 is a block diagram showing an example of the configuration of the modified MV candidate deriving unit 502 of FIG.
  • the modified MV candidate deriving unit 502 derives a modified MV candidate using the method # 1-1 and the method # 1-6. That is, the modified MV candidate derivation unit 502 performs template matching with coarse accuracy, and further reduces the number of predictions for MV candidates for which a plurality of predictions are performed, and performs template matching by simple prediction.
  • the modified MV candidate derivation unit 502 in this case includes a second MV accuracy search MV list derivation unit 521, an MV candidate list update unit 522, and a template matching unit 511, as in the case of FIG. Have.
  • the template matching unit 511 has a reference LX prediction setting unit 581 in addition to the configuration in FIG.
  • the reference LX prediction setting unit 581 refers to the motion vector information of the search MV (searchMVList [i]) with the second MV accuracy using the same method as that of the reference LX prediction setting unit 181, and the reference used for template generation. Set LX prediction.
  • the reference LX prediction setting unit 581 supplies information indicating the set reference LX prediction to the search point template generation unit 532 and the cost calculation unit 533.
  • the search point template generation unit 532 generates a template corresponding to the reference LX prediction supplied from the reference LX prediction setting unit 581, and supplies the generated template of the reference block to the cost calculation unit 533.
  • the cost calculation unit 533 performs template matching between the template of the current PU generated by the current PU template generation unit 531 and the template corresponding to the reference LX prediction generated by the search point template generation unit 532, and the cost (CostList [ i]) is derived (calculated).
  • the template to be actually generated can be limited to either L0 prediction or L1 prediction. Therefore, it is possible to suppress an increase in the amount of calculation of template matching for bi-prediction MV candidates (reduce the amount of calculation). That is, an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like required for template matching can be suppressed. This also makes it possible to suppress an increase in the load for deriving the modified MV candidate. That is, it is possible to suppress an increase in hardware cost, an increase in processing time, an increase in power consumption, and the like necessary for deriving a modified MV candidate.
  • modified MV candidate deriving section 502 executes modified MV candidate executed in step S502 in FIG. An example of the flow of the derivation process will be described.
  • the current PU template generation unit 531 When the modified MV candidate derivation process is started, the current PU template generation unit 531 generates a template (curTemplate) of the current PU in step S611.
  • step S613 the second MV accuracy search MV list deriving unit 521 sets a 1-pel MV accuracy search MV list (searchMVList) with the MV candidate to be corrected as an initial position.
  • step S614 the search point template generator 532 sets an initial value (for example, “0”) to a variable i.
  • step S615 the reference LX prediction setting unit 581 sets the reference LX prediction used for the template with reference to the motion information of the search MV (searchMVList [i]).
  • step S616 the search point template generation unit 532 generates a template corresponding to the reference LX prediction set in step S615.
  • step S617 the cost calculation unit 533 derives the cost (CostList [i]) based on the template of the current PU generated in step S611 and the template corresponding to the reference LX prediction generated in step S616. . That is, the cost calculation unit 533 performs template matching using those templates to derive the cost.
  • step S618 the search point template generation unit 532 determines whether the value of the variable i is smaller than a value (numSearchMV) indicating the number of search points included in the search MV list (searchMVList). If it is determined that the variable i is smaller than the value (numSearchMV) (i ⁇ numSearchMV), the process proceeds to step S619.
  • a value indicating the number of search points included in the search MV list (searchMVList).
  • step S619 search point template generating section 532 increments variable i (adds “+1” to the value of variable i).
  • step S619 ends, the process returns to step S615, and the subsequent processes are repeated.
  • variable i is determined to be greater than or equal to the value (numSearchMV) (i ⁇ (numSearchMV) in step S618, the process proceeds to step S621 in FIG.
  • step S622 when the same motion vector information as the modified MV candidate does not exist in the MV candidate list, the MV candidate list updating unit 522 adds the modified MV candidate to the MV candidate list (numRefinedMV ++).
  • step S623 the MV candidate list update unit 522 determines whether to proceed to the next MV candidate correction process. If it is determined that the process proceeds to the next MV candidate correction process, the process returns to step S612 in FIG. If it is determined in step S623 in FIG. 53 that the process does not proceed to the correction process of the next MV candidate, the modified MV candidate derivation process ends.
  • the modified MV candidate derivation unit 502 can suppress an increase in the amount of computation for template matching (reduce the amount of computation), and update the MV candidate list. Can be suppressed from increasing.
  • the present technology can be applied to any device or device.
  • the prediction unit 322 performs motion vector coding, and at this time, the MV candidate list derivation unit 331 uses a template to which at least one of the methods # 1-1 to 1-6 is applied.
  • a modified MV candidate may be derived by performing matching, and the MV candidate list may be updated using the modified MV candidate.
  • the prediction unit 322 encodes a motion vector using the updated MV candidate list. That is, the prediction unit 322 generates a predicted image by performing inter prediction, and encodes a motion vector used for generation of the predicted image using the motion vector candidate list updated using the corrected motion vector candidate. .
  • the prediction unit 322 can suppress an increase in the load of encoding the motion vector (reduce the load).
  • the present technology described in the present embodiment may be applied to image decoding device 400 described above.
  • the prediction unit 419 restores a motion vector
  • the MV candidate list derivation unit 431 uses template matching using at least one of the methods # 1-1 to # 1-6. May be performed to derive a corrected MV candidate, and the MV candidate list may be updated using the corrected MV candidate.
  • the prediction unit 419 restores a motion vector using the updated MV candidate list. That is, the prediction unit 419 restores a motion vector used for generating a predicted image using the motion vector candidate list updated using the corrected motion vector candidates.
  • the prediction unit 419 can suppress an increase in the load of restoring the motion vector (reduce the load).
  • both the rearrangement of the MV candidate list described in the first embodiment and the derivation of the corrected MV candidate described in the fourth embodiment may be performed.
  • the first MV precision MV candidate list deriving unit 101, the MV candidate list rearranging unit 102, and the modified MV candidate deriving unit 502 shown in FIG. 4 and FIG. 101 derives an MV candidate list with the first MV accuracy
  • the MV candidate list rearranging unit 102 rearranges the MV candidate list
  • the modified MV candidate deriving unit 502 further modifies the MV candidate list after the rearrangement.
  • the candidates may be derived and updated.
  • Non-Patent Document 7 a differential motion vector is signaled by a combination of an absolute value in the x and y directions and a sign, and a combination of codes is derived to derive the combination of the signs.
  • a method of deriving the cost of each candidate by template matching, arranging each candidate in order of cost, listing the candidates, and selecting from the candidate list has been proposed (FIG. 54).
  • template matching can be simplified by applying the present technology described above.
  • An AMVP (Adaptive Motion Vector Prediction) prediction motion vector candidate list is constructed from the decoded motion information and the LX prediction reference picture index (ref_idx_lx) (step S701).
  • the motion vector specified by mvp_lx_idx from the AMVP predicted motion vector list (AMVPCandList) is set as the predicted motion vector (LX_MVP) for LX prediction (step S702).
  • a candidate list (LXMVDCandList) of differential motion vectors is generated from the absolute value (AbsMVD_LX) of the differential motion vector for LX prediction (step S703).
  • step S704 Based on the predicted motion vector of LX prediction and each LX differential motion vector candidate (LXMVDCandList [i]), template matching is performed to acquire a cost (step S704).
  • the MVD candidate specified by the LX_MVD candidate index (mvds_lx_idx) from the sorted LX differential motion vector candidate list is set as an LX prediction differential motion vector (LX_MVD) (step S706).
  • the present technology described above is applied to the processing in step S704 to simplify template matching. By doing so, it is possible to suppress an increase in the load of template matching. That is, it is possible to suppress an increase in the load for deriving the differential motion vector.
  • FIG. 56 is a block diagram illustrating a configuration example of hardware of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 810 is also connected to the bus 804.
  • An input unit 811, an output unit 812, a storage unit 813, a communication unit 814, and a drive 815 are connected to the input / output interface 810.
  • the input unit 811 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 812 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 813 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 814 includes, for example, a network interface.
  • the drive 815 drives a removable medium 821 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 801 loads the program stored in the storage unit 813 into the RAM 803 via the input / output interface 810 and the bus 804 and executes the program, for example. Is performed.
  • the RAM 803 also appropriately stores data necessary for the CPU 801 to execute various processes.
  • the program executed by the computer (CPU 801) can be recorded on a removable medium 821 as a package medium or the like and applied.
  • the program can be installed in the storage unit 813 via the input / output interface 810 by attaching the removable medium 821 to the drive 815.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 814 and installed in the storage unit 813.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 814 and installed in the storage unit 813.
  • this program can be installed in the ROM 802 or the storage unit 813 in advance.
  • the data units in which various types of information described above are set and the data units targeted for various types of processing are arbitrary, and are not limited to the examples described above.
  • these pieces of information and processing are respectively TU (Transform Unit), TB (Transform Block), PU (Prediction Unit), PB (Prediction Block), CU (Coding Unit), LCU (Largest Coding Unit), and sub-block.
  • a block, a tile, a slice, a picture, a sequence, or a component, or the data of those data units may be targeted.
  • this data unit can be set for each information and process, and it is not necessary that all information and process data units be unified.
  • the storage location of these pieces of information is arbitrary, and may be stored in the above-described data unit header or parameter set. Further, the information may be stored at a plurality of locations.
  • control information related to the present technology described in each of the above embodiments may be transmitted from the encoding side to the decoding side.
  • control information for example, enabled_flag
  • control information indicating a target to which the present technology is applied may be transmitted.
  • control information specifying a block size (upper or lower limit, or both) to which the present technology is applied (or application is permitted or prohibited), a frame, a component, a layer, or the like may be transmitted.
  • the present technology can be applied to any image encoding / decoding method. That is, as long as there is no contradiction with the present technology described above, the specifications of various processes related to image encoding / decoding such as conversion (inverse transformation), quantization (inverse quantization), encoding (decoding), prediction, and the like are arbitrary.
  • the present invention is not limited to the example. Further, some of these processes may be omitted as long as they do not conflict with the present technology described above.
  • the present technology can be applied to a multi-view image encoding / decoding system that encodes / decodes a multi-view image including images of a plurality of viewpoints (views).
  • the present technology may be applied to encoding / decoding of each viewpoint (view).
  • the present technology is applied to a hierarchical image encoding (scalable encoding) / decoding system that encodes / decodes a hierarchical image that is multi-layered (hierarchized) so as to have a scalability function for a predetermined parameter. can do.
  • the present technology may be applied to encoding / decoding of each layer (layer).
  • the image processing device, the image encoding device, and the image decoding device are used, for example, in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication.
  • a device eg, a hard disk recorder
  • that records an image on a transmitter or a receiver eg, a television receiver or a mobile phone
  • a medium such as an optical disk, a magnetic disk, and a flash memory
  • the present technology is applicable to any configuration mounted on an arbitrary device or a device configuring the system, for example, a processor (eg, a video processor) as a system LSI (Large Scale Integration), a module using a plurality of processors (eg, a video processor). Module), a unit using a plurality of modules (eg, a video unit), a set obtained by adding other functions to the unit (eg, a video set), and the like (that is, a configuration of a part of the apparatus).
  • a processor eg, a video processor
  • LSI Large Scale Integration
  • Module a unit using a plurality of modules
  • a set obtained by adding other functions to the unit eg, a video set
  • the like that is, a configuration of a part of the apparatus.
  • the present technology can be applied to a network system including a plurality of devices.
  • the present invention can be applied to a cloud service that provides a service relating to an image (moving image) to an arbitrary terminal such as a computer, an AV (Audio Visual) device, a portable information processing terminal, and an IoT (Internet of Things) device. it can.
  • a cloud service that provides a service relating to an image (moving image) to an arbitrary terminal such as a computer, an AV (Audio Visual) device, a portable information processing terminal, and an IoT (Internet of Things) device. it can.
  • system, device, processing unit, etc. to which this technology is applied may be used in any fields such as traffic, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. Can be. Further, its use is arbitrary.
  • the present technology can be applied to systems and devices provided for providing ornamental content and the like.
  • the present technology can be applied to systems and devices used for traffic, such as traffic condition management and automatic driving control.
  • the present technology can also be applied to systems and devices provided for security.
  • the present technology can be applied to a system or device provided for automatic control of a machine or the like.
  • the present technology can also be applied to systems and devices provided for use in agriculture and livestock industry.
  • the present technology can also be applied to a system or a device that monitors a natural state such as a volcano, a forest, and the ocean, a wildlife, and the like.
  • the present technology can also be applied to systems and devices provided for sports.
  • “flag” is information for identifying a plurality of states, and is not limited to information used for identifying two states of true (1) or false (0), as well as three or more. Information that can identify the state is also included. Therefore, the value that the “flag” can take may be, for example, a binary value of 1/0, or may be a ternary value or more. That is, the number of bits constituting the “flag” is arbitrary, and may be 1 bit or a plurality of bits. Further, the identification information (including the flag) may include not only a form in which the identification information is included in the bit stream but also a form in which the difference information of the identification information with respect to certain reference information is included in the bit stream. In, "flag” and “identification information” include not only the information but also difference information with respect to reference information.
  • association means, for example, that one data can be used (linked) when one data is processed. That is, the data associated with each other may be collected as one data or may be individual data. For example, information associated with encoded data (image) may be transmitted on a transmission path different from that of the encoded data (image). Further, for example, information associated with encoded data (image) may be recorded on a recording medium different from the encoded data (image) (or another recording area of the same recording medium). Good. Note that this “association” may be a part of the data instead of the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be configured as one device (or processing unit).
  • a configuration other than those described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit).
  • a system refers to a set of a plurality of components (devices, modules (parts), and the like), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can adopt a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • the above-described program can be executed in any device.
  • the device only has to have necessary functions (functional blocks and the like) and be able to obtain necessary information.
  • each step described in the above-described flowchart can be executed by a single device, or can be shared and executed by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device, or can be shared and executed by a plurality of devices. In other words, a plurality of processes included in one step may be executed as a plurality of steps. Conversely, the processing described as a plurality of steps may be collectively executed as one step.
  • the program executed by the computer may be configured so that the processing of the steps for describing the program is executed in chronological order according to the order described in the present specification, or the program may be executed in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as no inconsistency arises, the processing of each step may be performed in an order different from the order described above. Further, the processing of the steps for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • MV candidate list deriving device ⁇ 101 ⁇ first MV precision MV candidate list deriving unit, ⁇ 102 ⁇ MV candidate list reordering unit, ⁇ 111 ⁇ template matching unit, ⁇ 121 ⁇ second MV precision MV candidate list deriving unit, ⁇ 122 ⁇ MV candidate list reordering unit, ⁇ 131 ⁇ current PU template generation unit, ⁇ 132 ⁇ reference block template generation unit, ⁇ 133 ⁇ cost calculation unit, ⁇ 141 ⁇ duplicate MV detection unit, ⁇ 151 ⁇ template thinning rate derivation unit, ⁇ 161 ⁇ template size setting unit, ⁇ 171 ⁇ block size determination unit, ⁇ 181 ⁇ reference LX prediction setting unit, # 300 Image encoding device, ⁇ 322 ⁇ prediction unit, ⁇ 331 ⁇ MV candidate list derivation unit, ⁇ 400 ⁇ image decoding device, ⁇ 419 ⁇ prediction unit, ⁇ 431 ⁇ MV candidate list derivation unit, ⁇ 502 ⁇ modified MV candidate derivation unit, ⁇ 511 ⁇ template Matching unit, ⁇ 521

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、テンプレートマッチングの負荷の増大を抑制することができるようにする画像処理装置および方法に関する。 動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出し、その導出された各動きベクトル候補のコストに基づいて、その動きベクトル候補リストの要素を並び替える。または、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出し、導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出する。本開示は、例えば、画像処理装置、画像符号化装置、または画像復号装置等に適用することができる。

Description

画像処理装置および方法
 本開示は、画像処理装置および方法に関し、特に、テンプレートマッチングの負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
 従来、画像符号化のインター予測において、予測動きベクトルを用いた動きベクトルの符号化を行うモードがあった。この動きベクトルの符号化においては、予測動きベクトルの候補(MV候補とも称する)のリストであるMV候補リストが生成され、そのMV候補リストの中のいずれかのMV候補が選択され、予測動きベクトルとして用いられた。
 近年、テンプレートマッチングにより導出されるコストに基づいて、このMV候補リストにおけるMV候補の並び順を並び替える方法が考えられた(例えば、非特許文献1参照)。
Moonmo Koo, Jin Heo, Junghak Nam, Naeri Park, Jaeho Lee, Jangwon Choi, Sunmi Yoo, Hyeongmun Jang, Ling Li, Jaehyun Lim, "Description of SDR video coding technology proposal by LG Electronics",  JVET-J0017-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, CA, 10-20 April 2018
 しかしながら、非特許文献1に記載の方法の場合、MV候補リストの各MV候補について、コストを導出するためのテンプレートマッチングが行われるため、このテンプレートマッチングによる負荷が増大するおそれがあった。
 本開示は、このような状況に鑑みてなされたものであり、テンプレートマッチングの負荷の増大を抑制することができるようにするものである。
 本技術の一側面の画像処理装置は、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出するテンプレートマッチング部と、前記テンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて、前記動きベクトル候補リストの要素を並び替える並び替え部とを備える画像処理装置である。
 本技術の一側面の画像処理方法は、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出し、導出された各動きベクトル候補のコストに基づいて、前記動きベクトル候補リストの要素を並び替える画像処理方法である。
 本技術の他の側面の画像処理装置は、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出するテンプレートマッチング部と、前記テンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、導出した前記修正動きベクトル候補を用いて前記動きベクトル候補リストを更新する更新部とを備える画像処理装置である。
 本技術の他の側面の画像処理方法は、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出し、導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、導出した前記修正動きベクトル候補を用いて前記動きベクトル候補リストを更新する画像処理方法である。
 本技術の一側面の画像処理装置および方法においては、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングが行われ、コストが導出され、その導出された各動きベクトル候補のコストに基づいて、その動きベクトル候補リストの要素が並び替えられる。
 本技術の他の側面の画像処理装置および方法においては、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングが行われ、コストが導出され、導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補が導出され、その導出された修正動きベクトル候補を用いてその動きベクトル候補リストが更新される。
 本開示によれば、画像を処理することができる。特に、テンプレートマッチングの負荷の増大を抑制することができる。なお、上述の効果は必ずしも限定的なものではなく、上述の効果とともに、または上述の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
MV候補リストの並び替えの例を示す図である。 テンプレートマッチングの様子の例を示す図である。 本技術を適用したテンプレートマッチングの方法の主な例を示す図である。 MV候補リスト導出装置の主な構成例を示すブロック図である。 MV候補リスト導出処理の流れの例を説明するフローチャートである。 MV候補リスト並び替え部の主な構成例を示すブロック図である。 MV候補リスト並び替え処理の流れの例を説明するフローチャートである。 MV候補リスト並び替え部の主な構成例を示すブロック図である。 テストフラグおよびコスト参照インデックスの設定例を示す図である。 疑似コードの例を示す図である。 MV候補リスト並び替え処理の流れの例を説明するフローチャートである。 MV候補リスト並び替え処理の流れの例を説明する、図11に続くフローチャートである。 テンプレートの間引きの様子の例を示す図である。 MV候補リスト並び替え部の主な構成例を示すブロック図である。 テンプレートの間引きの様子の例を示す図である。 テンプレートの間引きの様子の例を示す図である。 MV候補リスト並び替え処理の流れの例を説明するフローチャートである。 MV候補リスト並び替え部の主な構成例を示すブロック図である。 テンプレートサイズの設定例を示す図である。 テンプレートサイズの設定例を示す図である。 テンプレートサイズの設定例を示す図である。 MV候補リスト並び替え処理の流れの例を説明するフローチャートである。 MV候補リスト並び替え部の主な構成例を示すブロック図である。 MV候補リスト導出処理の流れの例を説明するフローチャートである。 MV候補リスト並び替え部の主な構成例を示すブロック図である。 参照LX予測の設定の様子の例を示す図である。 MV候補リスト並び替え処理の流れの例を説明するフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 画像符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 画像復号処理の流れの例を説明するフローチャートである。 修正MV候補導出の例を示す図である。 MVオフセットリストの例を示す図である。 MV候補リスト導出装置の主な構成例を示すブロック図である。 MV候補リスト導出処理の流れの例を説明するフローチャートである。 修正MV候補導出部の主な構成例を示すブロック図である。 MVオフセットリストの例を示す図である。 修正MV候補導出処理の流れの例を説明するフローチャートである。 修正MV候補導出処理の流れの例を説明する、図38に続くフローチャートである。 修正MV候補導出部の主な構成例を示すブロック図である。 修正MV候補導出処理の流れの例を説明するフローチャートである。 修正MV候補導出処理の流れの例を説明する、図41に続くフローチャートである。 修正MV候補導出部の主な構成例を示すブロック図である。 修正MV候補導出処理の流れの例を説明するフローチャートである。 修正MV候補導出処理の流れの例を説明する、図44に続くフローチャートである。 修正MV候補導出部の主な構成例を示すブロック図である。 修正MV候補導出処理の流れの例を説明するフローチャートである。 修正MV候補導出処理の流れの例を説明する、図47に続くフローチャートである。 修正MV候補導出部の主な構成例を示すブロック図である。 MV候補リスト導出処理の流れの例を説明するフローチャートである。 修正MV候補導出部の主な構成例を示すブロック図である。 修正MV候補導出処理の流れの例を説明するフローチャートである。 修正MV候補導出処理の流れの例を説明する、図52に続くフローチャートである。 差分動きベクトル候補の選択の様子の例を説明する図である。 動きベクトル導出処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.テンプレートマッチングの簡略化
2.第1の実施の形態(MV候補リストの並び替えへの適用)
3.第2の実施の形態(画像符号化装置への適用)
4.第3の実施の形態(画像復号装置への適用)
5.第4の実施の形態(修正MV候補導出への適用)
6.第5の実施の形態(差分動きベクトル導出への適用)
7.付記
 <1.テンプレートマッチングの簡略化>
  <技術内容・技術用語をサポートする文献等>
 本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
 非特許文献1:(上述)
 非特許文献2:Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
 非特許文献3:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
 非特許文献4:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
 非特許文献5: B. Bross, "Versatile Video Coding (Draft 1) ", JVET-J1001, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018
 非特許文献6: Jiane Chen, Elena Alshina, "Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)" , JVET-J1002, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018
 非特許文献7:Huanbang Chen, Jianle Chen, Roman Chernyak, Semih Esenlik, Alexey Filippov, Shan Gao, Sergey Ikonin, Alexander Karabutov, Anand Meher Kotra, Xiaomu Lu, Xiang Ma, Vasily Rufitskiy, Timofey Solovyev, Victor Stepin, Maxim Sychev, Tian Wang, Ye-kui Wang, Weiwei Xu, Haitao Yang, Vladyslav Zakharchenko, Hong Zhang, Yin Zhao, Zhijie Zhao, Jiantong Zhou, Cheung Auyeung, Han Gao, Ivan Krasnov, Ruslan Mullakhmetov, Biao Wang, Yiu Fai Wong, Georgy Zhulikov, Adeel Abbas, David Newman, Jicheng An, Xu Chen, Yongbing Lin, Quanhe Yu, Jianhua Zheng, Sri Nitchith Akula, Alexander Alshin, Elena Alshina, Kiho Choi, Kwang Pyo Choi, Narae Choi, Woongil Choi, Amith Dsouza, Raj Narayana Gadde, Seungsoo Jeong, Bora Jin, Chanyul Kim, Sunil Lee, Junghye Min, JeongHoon Park, Minsoo Park, Min Woo Park, Yinji Piao, Chirag Pujara, Anish Tamse, Heechyul Yang, "Description of SDR, HDR and 360° video coding technology proposal by Huawei, GoPro, HiSilicon, and Samsung", JVET-J0025_v2, buJoint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018
 つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献4に記載されているQuad-Tree Block Structure、非特許文献2に記載されているQTBT(Quad Tree Plus Binary Tree) Block Structure、非特許文献5および非特許文献6に記載されているMulti-type (binary/ternay/quaternary) tree Block Strcture(BT/TT/QT coding block structureとも呼ぶ)が実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース(Parsing)、シンタックス(Syntax)、セマンティクス(Semantics)等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
 また、本明細書において、画像(ピクチャ)の部分領域や処理単位として説明に用いる「ブロック」(処理部を示すブロックではない)は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献2乃至非特許文献6に記載のTB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding Tree Block)、CTU(Coding Tree Unit)、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域(処理単位)が含まれるものとする。また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック(例えばLCUやSCU等)のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定(例えば、許容されるブロックサイズの範囲の指定等)も含む。
 また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
  <動きベクトルの符号化>
 例えば非特許文献2や非特許文献4に記載の画像符号化・復号方式では、インター予測において、動きベクトル(MV(Motion Vector))を、予測動きベクトル(MVP(Motion Vector Prediction))を用いて符号化するモードがあった。この動きベクトルの符号化においては、予測動きベクトルの候補(MV候補とも称する)のリストであるMV候補リスト(MVCandList(MV Candidate List))が生成され、そのMV候補リストの中のいずれかのMV候補が選択され、予測動きベクトルとして用いられた。
 このMV候補には、例えば、カレントPUに隣接する復号済ブロックの動きベクトル情報を使って導出される空間動きベクトルMV候補、符号化対象ピクチャ(curPic(Current Picture))と異なる時間のピクチャ(ColPic(Collocated Picture))の空間位置が同一のブロックと、その隣接ブロックのもつ動きベクトル情報を使って導出される時間MV候補、ゼロ動きベクトルをMV候補とするゼロMV候補等がある。
 MV候補リストのどのMV候補をMVPとするかは、MV候補インデックス(mvpIdx)によって指定される(mvp = MVCandList[mvpIdx])。なお、スキップ/マージモード(SKIP/MERGEモード)の場合、MV候補リストのことを、マージMV候補リスト(MergeMVCandList)と称し、MV候補インデックスのことをマージインデックス(mergeIdx)と称する。また、SKIP/MERGEモードでない場合、L0予測、L1予測毎に、MV候補リストのことをLXMV候補リスト(LXMVCandList(X=0,1))と称し、MV候補インデックスのことをLXMV候補インデックス(mvpIdxLX(X=0,1))と称する。
 MV候補リストの構築は、予め定められた挿入順でMV候補を追加し、その後、予め決められたMV候補同士を比較して重複MVを除外する、といった手順で行われる。なお、以上の手順の結果、MV候補の数が所定値より少ない場合、MV候補の数が所定値になるまで、追加のMV候補(例えば、ゼロMV候補)が追加される。このようなMV候補リストの場合、MV候補の挿入順は固定であり、静的なMV候補リストといえる。
  <MV候補リストの並び替え>
 非特許文献1では、シーケンスやブロック毎の特性の変化に対応できるように、例えば図1に示されるように、MV候補リストの構築後に、そのMV候補リストを並び替えるMV候補リスト並び替え処理が提案された。図1の例の場合、図中左に示されるMV候補リスト(Normal candidate list)のMV候補の順が、矢印で示されるように並び替えられて(Reordaring)、図中右に示される並び替え後のMV候補リスト(Re-orderd candidate list)が導出されている。
 非特許文献1では、このような並び替えについて、例えば図2に示されるように、カレントPUの隣接復号済画素群からなるテンプレート(curTemplate)と、各MV候補の動き情報で定まる参照ピクチャ(refPic)のテンプレート(refTemplate)とでテンプレートマッチングを行い、そのコスト順にMV候補リストを並び替える方法が提案された。
 例えば、図2の場合、処理対象であるカレントピクチャ(curPic)上のカレントPU(curPU)の上側に隣接する復号済画素群からなる上部テンプレート(curTemplateA)と、そのカレントPUを起点としてMV候補(mvp)により指定される参照ピクチャ(refPic)上の参照ブロックの上部テンプレート(LXTemplateA)とでテンプレートマッチングが行われる。また、カレントPUの左側に隣接する復号済画素群からなる左部テンプレート(curTemplateL)と、そのカレントPUを起点としてMV候補(mvp)により指定される参照ピクチャ(refPic)上の参照ブロックの左部テンプレート(LXTemplateL)とでテンプレートマッチングが行われる。
 なお、カレントPUの上部テンプレート(curTemplateA)は、カレントPUのテンプレートAとも称する。また、参照ブロックの上部テンプレート(LXTemplateA)は、参照ブロックのテンプレートA(refTemplateA)、または、MV候補(mvp)で指定される、カレントPUのテンプレートAに対応する参照ピクチャのテンプレートAとも称する。さらに、カレントPUの左部テンプレート(curTemplateL)は、カレントPUのテンプレートLとも称する。また、参照ブロックの左部テンプレート(LXTemplateL)は、参照ブロックのテンプレートL(refTemplateL)、または、MV候補(mvp)で指定される、カレントPUのテンプレートLに対応する参照ピクチャのテンプレートLとも称する。
 また、カレントPUの上部テンプレートおよび左部テンプレートを、カレントPUのテンプレートとも称し、参照ブロックの上部テンプレートおよび左部テンプレートを、参照ブロックのテンプレート(または、MV候補(mvp)で指定される、カレントPUのテンプレートに対応する参照ピクチャのテンプレート)とも称する。
 そして、それらのテンプレートマッチング結果を用いて、カレントPUのテンプレート(curTemplate)と、MV候補(mvp)により指定される、そのカレントPUに対応する参照ピクチャのテンプレート(refTemplate)とのコスト(cost)が算出される。カレントPUのテンプレートAと、MV候補(mvp)により指定される、そのカレントPUに対応する参照ピクチャのテンプレートAとのコストをcostAとし、カレントPUのテンプレートLと、MV候補(mvp)により指定される、そのカレントPUに対応する参照ピクチャのテンプレートLとのコストをcostBとすると、上述のコスト(cost)は、LX予測の場合、以下の式(1)のように導出される。
Figure JPOXMLDOC01-appb-M000001
 また、双予測の場合、上述のコスト(cost)は、以下の式(2)のように導出される。
Figure JPOXMLDOC01-appb-M000002
 cost_uni(LX)は、例えばSAD(Sum of Absolute Difference)(画素値の差分の絶対値の和による類似度評価)により以下の式(3)のように導出される。なお、以下の式(3)において、posは、テンプレート内の各画素位置を示す。
Figure JPOXMLDOC01-appb-M000003
 このように導出されるコスト(の大きさ)に基づいて、MV候補リストの並び替えが行われる。
 しかしながら、このような方法では、MV候補リストの各MV候補についてテンプレートマッチングが行われるため、MV候補毎に動き補償(MC(Motion Compensation))をして参照ピクチャのテンプレートを生成する必要があった。そのため、MV候補リスト並び替え処理(のテンプレートマッチング)の負荷が増大するおそれがあった。
  <テンプレートマッチングの簡略化>
 そこで、図3の表の方法#1のように、テンプレートマッチングを簡略化するようにする。このようにすることにより、テンプレートマッチングの負荷の増大を抑制する(負荷を低減させる)ことができる。例えば、MV候補リスト並び替え処理において行われるテンプレートマッチングを簡略化することにより、MV候補リスト並び替え処理の負荷の増大を抑制する(負荷を低減させる)ことができる。負荷の増大を抑制することにより、例えば、ハードウエアのコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
   <方法#1-1>
 テンプレートマッチングの簡略化の方法として、例えば、図3の表の方法#1-1のように、粗い精度でテンプレートマッチングを行うようにしてもよい。
 例えば、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出し、その導出された各動きベクトル候補のコストに基づいて、その動きベクトル候補リストの要素を並び替えるようにしてもよい。
 例えば、画像処理装置において、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出するテンプレートマッチング部と、そのテンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて、その動きベクトル候補リストの要素を並び替える並び替え部とを備えるようにしてもよい。
 このようにすることにより、テンプレートマッチングにおいて行われる演算を簡略化することができ、負荷の増大を抑制することができる。
 特に、MV候補がサブペル(sub-pel)位置を示す場合、サブペル位置のテンプレートを動き補償により生成する必要があり、演算量が増大するおそれがあった。このようにMV候補リストが小数画素精度の場合に、例えば整数画素精度でテンプレートマッチングを行うようにすることにより、テンプレート生成(動き補償)の演算量の増大を抑制することができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
 その際、小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出するようにしてもよい。例えば、画像処理装置において、小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出する導出部をさらに備え、テンプレートマッチング部が、その導出部により導出された整数画素精度の動きベクトル候補リストの各動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出し、並び替え部が、そのテンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて、小数画素精度の動きベクトル候補リストの要素を並び替えるようにしてもよい。
 このようにすることにより、容易に整数精度でのテンプレートマッチングを行うことができる。
 例えば、導出部が、小数画素精度の各MV候補を整数画素精度に変換して、小数画素精度のMV候補リストに対応する整数画素精度のMV候補リストを生成し、その整数画素精度のMV候補リストを用いてテンプレートマッチングを行うようにしてもよい。このようにすることにより、小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出することができる。
   <方法#1-2>
 また、例えば、図3の表の方法#1-2のように、重複するMV候補(重複MV)のテンプレートマッチングをスキップ(省略)するようにしてもよい。例えば、画像処理装置において、テンプレートマッチング部が、既にテンプレートマッチングが行われた動きベクトル候補と同一の動きベクトル候補に対するテンプレートマッチングをスキップするようにしてもよい。このようにすることにより、テンプレートマッチングの回数の増大を抑制する(回数を削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-3>
 さらに、例えば、図3の表の方法#1-3のように、テンプレートの一部の画素を間引くようにしてもよい。例えば、カレントPUのサイズに応じた間引き率(割合)で、テンプレートの一部の画素を間引くようにしてもよい。例えば、画像処理装置において、テンプレートマッチング部が、カレントブロックのサイズに応じたサンプリング間隔の、そのカレントブロックのテンプレートと、そのカレントブロックのサイズに応じたサンプリング間隔の、参照ブロックのテンプレートとの間でテンプレートマッチングを行い、コストを導出するようにしてもよい。
 換言するに、カレントPUの隣接復号済み画素群(カレントPUに隣接する所定の領域の画素群)から、そのカレントPUのサイズに応じた間隔で画素をサンプリングし(つまり、その隣接復号済み画素群からカレントPUのサイズに応じた割合(抽出率)で画素を抽出し)、そのサンプリングした画素により構成されるテンプレートを生成するようにしてもよい。
 このようにテンプレートを生成することにより、テンプレートの画素数が低減するので、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-4>
 ところで、カレントPUがCTU境界に隣接する場合、テンプレートマッチングで参照するテンプレートのサイズだけ、CTUレベルのラインバッファを確保する必要があり、メモリサイズが増大するおそれがあった。
 そこで、例えば、図3の表の方法#1-4のように、カレントPUがCTU境界に隣接する場合、テンプレートのライン数を削減するようにしてもよい。つまり、カレントPUの位置に応じたサイズでテンプレートが生成される(すなわち、テンプレートサイズが、カレントPUの位置に応じて設定される)ようにしてもよい。
 例えば、画像処理装置において、テンプレートマッチング部が、カレントブロックの位置に応じたサイズのカレントブロックのテンプレートと、そのカレントブロックの位置に応じたサイズの参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出するようにしてもよい。
 このようにテンプレートを生成することにより、テンプレート生成に使用する復号済み画素の増大を抑制する(テンプレート生成に使用する復号済み画素を削減する)ことができる。つまり、その復号済み画素を記憶(保持)するラインバッファのサイズの増大を抑制する(ラインバッファサイズを削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-5>
 また、カレントPUのサイズが小さい場合、テンプレートマッチングの際に、隣接復号済画素群や参照ピクチャへのアクセス回数が増大し、使用するメモリバンドが増大する(つまり負荷が増大する)おそれがあった。
 そこで、例えば、図3の表の方法#1-5のように、カレントPUのサイズが小さい場合(例えばカレントPUのサイズが所定の閾値より小さい場合)、上述のMV候補リストの並び替え処理(MV補正)をスキップ(省略)するようにしてもよい。
 例えば、画像処理装置において、テンプレートマッチング部および並び替え部が、カレントブロックが所定の閾値より小さい場合、処理をスキップするようにしてもよい。
 このように制御することにより、負荷が大きな、サイズが小さいカレントPUに対するテンプレートマッチング(MV候補リストの並び替え処理)をスキップすることができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-6>
 また、複数予測の場合、各予測について参照ブロックのテンプレートを作成する必要があるため負荷が増大するおそれがあった。そこで、例えば、図3の表の方法#1-6のように、複数予測を行うMV候補に対して、予測数を削減し、単予測によるテンプレートマッチングを行うようにしてもよい。例えば、画像処理装置において、テンプレートマッチング部が、複数予測の動きベクトル候補(複数予測候補MV)について、単数予測を設定し、その単数予測の動きベクトル候補としてカレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出するようにしてもよい。
 このようにすることにより、テンプレートの生成数の増大を抑制する(テンプレートの生成数を削減する)ことができるので、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。
   <各方法の組み合わせ>
 なお、上述した方法#1-1乃至方法#1-6は、それぞれ単独で適用することもできるし、複数の方法を組み合わせて適用することもできる。例えば、方法#1-1を、方法#1-2乃至方法#1-6のいずれかと組み合わせて用いるようにしてもよい。また、例えば、方法#1-2乃至方法#1-6の中で複数の方法を組み合わせてもよい。勿論、組み合わせる方法の数は任意であり、3つ以上の方法を組み合わせてもよい。
 <2.第1の実施の形態>
  <MV候補リストの並び替えにおけるテンプレートマッチングの簡略化>
 上述したように、MV候補リスト並び替え処理においてはテンプレートマッチングが行われるので、このテンプレートマッチングを簡略化することにより、MV候補リスト並び替え処理の負荷の増大を抑制する(負荷を低減させる)ことができる。
  <MV候補リスト導出装置>
 図4は、本技術を適用した画像処理装置の一態様であるMV候補リスト導出装置の構成の一例を示すブロック図である。図4に示されるMV候補リスト導出装置100は、動きベクトルの符号化に用いられるMV候補リストを導出する装置である。図4に示されるように、MV候補リスト導出装置100は、第1MV精度MV候補リスト導出部101およびMV候補リスト並び替え部102を有しており、MV候補リストの導出と並び替えを行う。
 第1MV精度MV候補リスト導出部101は、カレントPUの周囲ブロックの符号化済(復号済)動き情報や、参照ピクチャの動き情報を参照して、第1MV精度の空間MV候補、時間MV候補、ゼロMV候補等からなる第1MV精度のMV候補リスト(MVCandList)を導出(生成)する。なお、MV精度とは、MV候補の精度を示し、第1MV精度とは所定のMV精度を示す。
 また、第1MV精度MV候補リスト導出部101は、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)を導出(生成)する。第1MV精度MV候補リスト導出部101は、生成した第1MV精度のMV候補リストとその第1MV精度のMV候補リストに含まれるMV候補の数を示す情報とをMV候補リスト並び替え部102に供給する。
 MV候補リスト並び替え部102は、第1MV精度MV候補リスト導出部101より供給された第1MV精度のMV候補リストのMV候補の順を並び替えて、並び替え後MV候補リスト(MVCandList')を導出(生成)する。MV候補リスト並び替え部102は、テンプレートマッチング部111を備え、このテンプレートマッチング部111によるテンプレートマッチングを利用して、この並び替えを行う。MV候補リスト並び替え部102は、導出した並び替え後MV候補リスト(MVCandList')を、導出したMV候補リストとして出力する。また、その際、MV候補リスト並び替え部102は、第1MV精度のMV候補リスト(並び替え後MV候補リスト)に含まれるMV候補の数を示す情報(numMVCand)も出力する。
 テンプレートマッチング部111は、(MV候補リスト並び替えのための)テンプレートマッチングを簡略化して行う。
 したがって、テンプレートマッチング部111は、<テンプレートマッチングの簡略化>において上述したように、テンプレートマッチングの負荷の増大を抑制することができ、MV候補リスト並び替え部102は、MV候補リストの並び替えの負荷の増大を抑制することができる。したがって、MV候補リスト導出装置100は、MV候補リスト導出の負荷の増大を抑制することができる。
  <MV候補リスト導出処理の流れ>
 このMV候補リスト導出装置100により実行されるMV候補リスト導出処理の流れの例を、図5のフローチャートを参照して説明する。
 MV候補リスト導出処理が開始されると、第1MV精度MV候補リスト導出部101は、ステップS101において、カレントPUに対する第1MV精度のMV候補リスト(MVCandList)を導出(生成)する。なお、その際、第1MV精度MV候補リスト導出部101は、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)を導出(生成)する。
 ステップS102において、MV候補リスト並び替え部102は、テンプレートマッチングに基づいて、ステップS101において導出された第1MV精度のMV候補リストのMV候補の並び替えを行い、並び替え後MV候補リスト(MVCandList')を導出(生成)する。
 ステップS102の処理が終了すると、MV候補リスト導出処理が終了する。
 以上のように各ステップの処理を実行することにより、<テンプレートマッチングの簡略化>において上述したように、テンプレートマッチングの負荷の増大を抑制することができる。つまり、MV候補リストの並び替えの負荷の増大を抑制することができる。すなわち、MV候補リスト導出の負荷の増大を抑制することができる。
  <方法#1-1:MV候補リスト並び替え部>
 次に、MV候補リスト並び替え部102が、図3の方法#1-1により、並び替えを行う場合について説明する。図6は、図4のMV候補リスト並び替え部102の構成の一例を示すブロック図である。図6に示されるように、この場合のMV候補リスト並び替え部102は、第2MV精度MV候補リスト導出部121、MV候補リスト並び替え部122、およびテンプレートマッチング部111を有する。
   <第2MV精度MV候補リスト導出部>
 第2MV精度MV候補リスト導出部121は、第1MV精度MV候補リスト導出部101から供給される第1MV精度のMV候補リスト(MVCandList)と、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)とを取得する。
 第2MV精度MV候補リスト導出部121は、その取得した第1MV精度のMV候補リスト(MVCandList)に対応する、第2MV精度のMV候補リスト(CoarseMVCandList)を導出(生成)する。
 第2精度MVは、第1MV精度よりも低いMV精度を示す。第1MV精度および第2MV精度は、この関係を保つ限り、どのような精度であってもよい。例えば、第1MV精度を小数画素精度(サブペル精度)とし、第2MV精度を整数画素精度(整数ペル精度)としてもよい。第2MV精度が整数画素精度の場合、第1MV精度は、例えば、1/2-pel精度(ハーフペル(半画素)精度)としてもよいし、1/4-pel精度(クウォーターペル(1/4画素)精度)としてもよい。また、第1MV精度が1/4-pel精度の場合、第2MV精度は、例えば、整数画素精度としてもよいし、1/2-pel精度としてもよい。もちろん、第1MV精度および第2MV精度の内少なくとも一方が、これら以外の精度であってもよい。
 第2MV精度を示すMV精度パラメータ(coarseMVPrec)が第2MV精度MV候補リスト導出部121に入力される。第2MV精度MV候補リスト導出部121は、その入力されたMV精度パラメータ(coarseMVPrec)に基づいて、第1MV精度MV候補リスト導出部101から供給される第1MV精度のMV候補リストに対応する、そのMV精度パラメータ(coarseMVPrec)が示す第2MV精度のMV候補リスト(CoarseMVCandList')を導出(生成)する。なお、この第2MV精度は、固定値であってもよいし、ユーザ等により設定することができるようにしてもよい。
 また、第2MV精度MV候補リスト導出部121は、導出した第2MV精度のMV候補リスト(CoarseMVCandList')を、第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)とともに、テンプレートマッチング部111(の参照ブロックテンプレート生成部132)に供給する。
    <第2MV精度のMV候補リストの導出>
 例えば、第2MV精度MV候補リスト導出部121は、以下の式(4)のように、第2MV精度のMV候補リスト(CoarseMVCandList)を導出(生成)する。
Figure JPOXMLDOC01-appb-M000004
 要素毎の処理表現の場合、以下のような疑似コードで表現される。すなわち、この疑似コード内の式(5)および式(6)に示されるように、各候補MVの動きベクトル(mv_x, mv_y)をMV精度パラメータ(coarseMVPrec)で右ビットシフトして左ビットシフトすることにより、動きベクトルの下位ビットの情報が捨てられ、粗いMV精度(すなわち、第2MV精度)の動き情報が得られる。
for (i=0; i<numMVCand; i++){
     mv_x = MVCandList[i].x      // i番目の候補MVのx成分
     mv_y = MVCandList[i].y      // i番目の候補MVのy成分
      
     CoarseMVCandList[i].x = (mv_x>>coarseMVPrec) << coarseMVPrec   ・・・(5)
     CoarseMVCandList[i].y = (mv_y>>coarseMVPrec) << coarseMVPrec   ・・・(6)
}
    <MV精度パラメータ>
 第2MV精度MV候補リスト導出部121がMV候補リスト(MV候補)のMV精度を第1MV精度から第2MV精度に落とす場合、例えば、垂直方向および水平方向(すなわちx成分とy成分)のそれぞれについて、その処理が行われるようにしてもよい。つまり、この場合、MV候補のx成分およびy成分のそれぞれのMV精度が、第2MV精度まで落とされる。例えば、第1MV精度がサブペル精度の場合、MV候補のx成分およびy成分の両方のMV精度が整数画素精度に変換される。
 例えば、第1MV精度が1/2^{max_mv_prec}-pel精度の場合、MV精度パラメータを以下の式(7)のように設定することにより、第2MV精度を整数画素精度とすることができる。
coarseMVPrec = max_mv_prec ・・・(7)
 このようにすることにより、第1MV精度のMV候補の代わりに第2MV精度のMV候補を用いてテンプレートマッチングを行うことができる。つまり、第1MV精度でのテンプレートマッチングのコストを、第2MV精度でのテンプレートマッチングで得られるコストによって代替することができる。したがって、例えば、テンプレートマッチングを整数精度で行って、サブペル精度のテンプレートマッチングを回避するようにすることができる。このようにすることにより、符号化効率を維持しつつMV候補リストの並び替え処理を簡略化することができる。これにより、例えば、エンコーダやデコーダの処理を削減することができる。
 なお、MV候補のy成分のMV精度のみを整数精度まで粗くするようにしてもよい。つまり、y成分のみ、MV精度を第1MV精度から第2MV精度に変換するようにしてもよい。この場合、第2MV精度まで落とすMV精度パラメータcoarseMVPrecは、y成分について適用される。この場合、上述の式(5)および式(6)は、以下の式(8)および式(9)のように表すことができる。
CoarseMVCandList[i].x = mv_x ・・・(8)
CoarseMVCandList[i].y = (mv_y>>coarseMVPrec) << coarseMVPrec ・・・(9)
 一般的に、参照ブロックのテンプレート生成に必要となる画素へのアクセスは、水平方向(x成分)のメモリアクセスよりも垂直方向(y成分)のメモリアクセスの方が、コストが高い。特に、デコーダサイドにおいては、その傾向がより顕著である。また、垂直方向(y成分)のMV精度を整数精度まで落とすことで、テンプレートマッチングのx方向のマッチング精度をサブペル精度に維持しつつ、y方向のマッチング精度を整数画素精度へ落とすことになる。y成分のMV精度のみを第2MV精度に落とす場合の方が、x成分およびy成分のそれぞれのMV精度を第2MV精度に落とす場合よりも、マッチング精度が高いため、符号化効率のロスが少ない。ただし、処理量の削減効果は、x成分およびy成分のそれぞれのMV精度を第2MV精度に落とす場合の方が大きい。
   <テンプレートマッチング部>
 テンプレートマッチング部111は、第2MV精度MV候補リスト導出部121により導出された第2MV精度のMV候補リストを用いてテンプレートマッチングを行い、コストを導出(算出)する。
 図6に示されるように、テンプレートマッチング部111は、カレントPUテンプレート生成部131、参照ブロックテンプレート生成部132、およびコスト算出部133を有する。
    <カレントPUテンプレート生成部>
 カレントPUテンプレート生成部131は、カレントPU位置やそのブロックサイズ等を示す情報と、ピクチャバッファから復号済みの画素値とを取得し、それらに基づいてカレントPUのテンプレート(curTemplate)を生成する。
 具体的には、カレントPUの左上位置(x0, y0)を基準として、カレントPUの上部テンプレート(curTemplateA)、およびカレントPUの左部テンプレート(curTemplateL)を生成する。このカレントPUの上部テンプレート(curTemplateA)は、例えば以下の式(10)に示されるようなカレントピクチャ上の座標位置の画素群により構成される。
Figure JPOXMLDOC01-appb-M000005
 また、カレントPUの左部テンプレート(curTemplateL)は、例えば以下の式(11)に示されるようなカレントピクチャ上の座標位置の画素群により構成される。
Figure JPOXMLDOC01-appb-M000006
 例えば、カレントPUがピクチャ境界と隣接する等してカレントPUの上部テンプレートまたは左部テンプレートを利用できない場合が考えられる。この場合、参照不可な側のテンプレートは、所定値を設定して生成すればよい。例えば、入力画像のビット深度をbitDepthとすれば、所定値には、'1<<(bitDepth-1) 'や'(1<<(bitDepth-1)) - 1'を設定すればよい。なお、式(10)および式(11)において、パラメータtemplateSizeは、テンプレートに用いる画素のライン数を示す。
 カレントPUテンプレート生成部131は、以上のように生成したカレントPUのテンプレートをコスト算出部133に供給する。
    <参照ブロックテンプレート生成部>
 参照ブロックテンプレート生成部132は、第2MV精度MV候補リスト導出部121により導出された第2MV精度のMV候補リストと、ピクチャバッファから復号済みの画素値とを取得し、それらに基づいて、参照ブロックのテンプレートを導出(生成)する。
 具体的には、カレントPUとMV候補(MVCandList[i])で定まる参照ブロックの上部テンプレート(LXTemplateA)および左部テンプレート(LXTemplateL)を生成する。なお、双予測である場合は、L0およびL1の両方のテンプレートを生成する。参照ブロックの上部テンプレート(LXTemplateA)は、例えば、以下の式(12)に示されるような参照ピクチャ上の座標位置の画素群により構成される。
Figure JPOXMLDOC01-appb-M000007
 また、参照ブロックの左部テンプレート(LXTemplateL)は、以下の式(13)に示されるような参照ピクチャ上の座標位置の画素群により構成される。
Figure JPOXMLDOC01-appb-M000008
 例えば、参照ブロックがピクチャ境界と隣接する等して参照ブロックの上部テンプレートまたは左部テンプレートを利用できない場合が考えられる。この場合、参照不可な側のテンプレートは、所定値を設定して生成すればよい。なお、式(12)および式(13)において、lxdxは、MV候補(MVCandList[i])のLX予測のx方向の動きベクトルを示し、lxdyは、MV候補(MVCandList[i])のLX予測のy方向の動きベクトルを示す。
 また、参照ブロックのテンプレートに含まれる画素群の座標位置がサブペル位置である場合、例えば、隣接する整数位置の画素から線形補間して生成する。ただし、参照ブロックテンプレート生成部132は、第2MV精度のMV候補に基づいて参照ブロックのテンプレートを導出(生成)する。したがって、例えば、第2MV精度を整数画素精度とすることにより、参照ブロックテンプレート生成部132は、このような線形補間を行わずに参照ブロックの点プレーを導出することができる。つまり、参照ブロックテンプレート生成部132は、第1MV精度のMV候補に基づく場合よりも容易に、参照ブロックのテンプレートを導出(生成)することができる。したがって、参照ブロックのテンプレート導出の演算量を低減させることができる。参照ブロックテンプレート生成部132は、生成した参照ブロックのテンプレートをコスト算出部133に供給する。
    <コスト算出部>
 コスト算出部133は、カレントPUテンプレート生成部131から供給されたカレントPUのテンプレートと、参照ブロックテンプレート生成部132から供給された参照ブロックのテンプレートとを用いて、そのコスト(cost)を導出(算出)する。
 カレントPUのテンプレートと、MV候補(MVCandList[i])で指定される参照ピクチャのテンプレートとのコスト(cost)は、LX予測の場合は以下の式(14)のように、双予測の場合は以下の式(15)のように、導出される。
Figure JPOXMLDOC01-appb-M000009
 式(14)および式(15)において、costAは、カレントPUの上部テンプレート(curTemplateA)と、参照ブロックの上部テンプレート(LXTemplateA)から得られるコストを示す。また、costLは、カレントPUの左部テンプレート(curTemplateL)と、参照ブロックの左部テンプレート(LXTemplateL)から得られるコストを示す。さらに、cost_uni(LX)は、カレントPUのテンプレートと、MV候補のLX予測部分の動き情報で指定される参照ブロックのテンプレートから得られるコストであり、例えば、SADで以下の式(16)のように導出(算出)される。
Figure JPOXMLDOC01-appb-M000010
 なお、この式(16)において、posは、テンプレート内の各(x, y)のペアからなる画素位置を示し、lxmvは、MV候補のLX予測部分の動きベクトルを示す。
 つまり、コスト算出部133は、第2MV精度のMV候補に基づいて導出(生成)された参照ブロックのテンプレートを用いてコスト(cost)を導出(算出)する。したがって、コスト算出部133は、第1MV精度のMV候補に基づいて導出(生成)された参照ブロックのテンプレートを用いる場合よりも容易に、コストを導出することができる。つまり、コスト算出の演算量を低減させることができる。コスト算出部133は、導出した各MV候補に対応するコストをリスト化し、そのコストリスト(CostList)を、MV候補リスト並び替え部122に供給する。
   <MV候補リスト並び替え部>
 MV候補リスト並び替え部122は、第1MV精度MV候補リスト導出部101から供給される第1MV精度のMV候補リスト(MVCandList)と、コスト算出部133から供給される、第2MV精度のMV候補リスト(CoarseMVCandList)の各候補MVに対応するテンプレートマッチングのコストリスト(CostList)とを入力とする。MV候補リスト並び替え部122は、そのコストリストを参照して、コストの小さい順に第1MV精度のMV候補リスト(MVCandList)のMV候補を並び替え、並び替え後MV候補リスト(MVCandList’)を出力する。
 以上のように、第2MV精度MV候補リスト導出部121は、第1MV精度のMV候補リストに対応する、第1のMV精度よりも粗い(低精度の)第2MV精度のMV候補リストを生成し、テンプレートマッチング部111は、その第2MV精度のMV候補リストを用いてテンプレートマッチングを行ってコストを算出し、MV候補リスト並び替え部122は、そのテンプレートマッチングにより得られたコストに基づいて第1MV精度のMV候補リストのMV候補の並び替えを行う。
 したがって、MV候補リスト並び替え部102は、テンプレートマッチングの負荷の増大を抑制することができ、これにより、MV候補リストの並び替えの負荷の増大を抑制することができる。
  <MV候補リスト並び替え処理の流れ>
 図7のフローチャートを参照して、この場合(方法#1-1)のMV候補リスト並び替え部102により、図5のステップS102において実行されるMV候補リスト並び替え処理の流れの例を説明する。
 MV候補リスト並び替え処理が開始されると、第2MV精度MV候補リスト導出部121は、ステップS111において、第2MV精度を示すMV精度パラメータ(coarseMVPrec)に基づいて、第1MV精度のMV候補リスト(MVCandList)に対応する第2MV精度のMV候補リスト(CoarseMVCandList)を導出する。
 ステップS112において、カレントPUテンプレート生成部131は、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS113において、参照ブロックテンプレート生成部132は、変数iに初期値(例えば「0」)をセットする。
 ステップS114において、参照ブロックテンプレート生成部132は、第2MV精度のMV候補(CoarseMVCandList[i](i=0,...,numMVCandList-1))の動きベクトル情報を参照して第2MV精度のMV候補に対応する参照ブロックのテンプレートを生成する。
 ステップS115において、コスト算出部133は、ステップS112において生成されたカレントPUのテンプレートと、ステップS114において生成された第2MV精度のMV候補に対応する参照ブロックのテンプレートとに基づいて、コスト(CostList[i])を導出する。
 ステップS116において、参照ブロックテンプレート生成部132は、変数iの値が、第1MV精度のMV候補リスト(MVCandList)に含まれるMV候補の数を示す値(numMVCand)よりも小さいか否かを判定する。変数iがその値(numMVCand)よりも小さい(i < numMVCand)と判定された場合、処理はステップS117に進む。
 ステップS117において、参照ブロックテンプレート生成部132は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS117の処理が終了すると処理はステップS114に戻り、それ以降の処理を繰り返す。
 つまり、ステップS114乃至ステップS117の各処理が、各MV候補(MV候補に対応するコスト(CostList[i]))について実行される。
 そして、ステップS116において、変数iが値(numMVCand)以上である(i ≧ numMVCand)と判定された場合、処理はステップS118に進む。
 ステップS118において、MV候補リスト並び替え部122は、コストリスト(CostList)を参照してコストの小さい順に第1MV精度のMV候補リストのMV候補を並び替え、並び替え後のMV候補リスト(MVCandList')を導出する。
 ステップS118の処理が終了すると、MV候補リスト並び替え処理が終了し、処理は図5に戻る。
 以上のように、MV候補リスト並び替え処理を行うことにより、MV候補リスト並び替え部102は、MV候補リストの並び替えの負荷の増大を抑制することができる。
  <方法#1-2:MV候補リスト並び替え部>
 次に、図3の方法#1-2を適用する場合について説明する。図8は、図4のMV候補リスト並び替え部102の構成の一例を示すブロック図である。この場合のMV候補リスト並び替え部102は、方法#1-1および方法#1-2を用いてMV候補リストの並び替えを行う。すなわち、MV候補リスト並び替え部102は、粗い精度でテンプレートマッチングを行い、さらに、テンプレートマッチングが実行済みのMV候補と同一のMV候補(重複MV)を検出し、そのMV候補のテンプレートマッチングをスキップする(実行済みテンプレートマッチング結果(コスト値)を流用する)。
 この場合のMV候補リスト並び替え部102は、図8に示されるように、図6の場合と同様に、第2MV精度MV候補リスト導出部121、MV候補リスト並び替え部122、およびテンプレートマッチング部111を有する。ただし、テンプレートマッチング部111は、図6の場合の構成に加え、重複MV検出部141を有する。
 重複MV検出部141は、第2MV精度MV候補リスト導出部121により導出(生成)された第2MV精度のMV候補リストを取得する。重複MV検出部141は、その第2MV精度のMV候補リストに含まれる処理対象のMV候補が、同じ第2のMV精度のMV候補リストに含まれる、既にテンプレートマッチングが行われたMV候補と同一であるか否かを判定する。そして、重複MV検出部141は、その判定結果に応じて、すなわち重複MVの検出結果に応じて、処理対象のMV候補に対して、テストフラグ(ToBeTestFlag)と、コスト参照インデックス(CostRefIdx)とを設定する。
 テストフラグ(ToBeTestFlag)は、そのMV候補について、テンプレートマッチングを行うか否かを示すフラグ情報である。テストフラグ(ToBeTestFlag)が真(例えば1)の場合、テンプレートマッチングを行うことを示す。テストフラグ(ToBeTestFlag)が偽(例えば0)の場合、テンプレートマッチングを行わないことを示す。
 コスト参照インデックス(CostRefIdx)は、コストの複製元(のMV候補)を示すインデックス情報である。換言するに、コスト参照インデックス(CostRefIdx)は、処理対象のMV候補がどのMV候補と同一であるかを示す。なお、テンプレートマッチングが実行済みのMV候補の中に処理対象のMV候補と同一のMV候補(重複MV)が存在しない場合、コスト参照インデックスには値「-1」が設定される。
 このテストフラグ(ToBeTestFlag)とコスト参照インデックス(CostRefIdx)の設定例を図9の表に示す。図9の表において、各MV候補がインデックス順(昇順)に処理されるものとする。インデックス「0」の第2MV精度のMV候補A1'は、最初に処理されるので重複MVは存在しない。したがって、このMV候補A1'について、テンプレートマッチングが行われる。したがって、このMV候補A1'に対して、テストフラグは真に設定される(ToBeTestFlag = 1)。また、重複MVが存在しないので、コスト参照インデックスには値「-1」が設定される(CostRefIdx = -1)。
 インデックス「1」の第2MV精度のMV候補B1'は、その前にテンプレートマッチングが行われたMV候補A1'とは異なる動き情報である。つまり、重複MVは存在しない。したがって、このMV候補B1'について、テンプレートマッチングが行われる。したがって、このMV候補B1'に対して、テストフラグは真に設定される(ToBeTestFlag = 1)。また、重複MVが存在しないので、コスト参照インデックスには値「-1」が設定される(CostRefIdx = -1)。
 インデックス「2」の第2MV精度のMV候補B0’は、インデックス「0」のMV候補A1'と同一の動き情報である。つまり、重複MVが存在する。したがって、このMV候補B0'についてのテンプレートマッチングがスキップ(省略)される。したがって、このMV候補B0'に対して、テストフラグは偽に設定される(ToBeTestFlag = 0)。また、この場合、インデックス「0」のMV候補A1'についてのテンプレートマッチング結果を、このMV候補B0'についてのテンプレートマッチング結果として再利用する(代替する)。したがって、コスト参照インデックスには値「0」が設定される(CostRefIdx = 0)。つまり、コスト参照インデックスの値は、重複MVのインデックスを示す。
 インデックス「3」の第2MV精度のMV候補A0’は、MV候補A1'、MV候補B1'、およびMV候補B0'のいずれとも一致しない。つまり、重複MVは存在しない。したがって、このMV候補A0'について、テンプレートマッチングが行われる。したがって、このMV候補A0'に対して、テストフラグは真に設定される(ToBeTestFlag = 1)。また、重複MVが存在しないので、コスト参照インデックスには値「-1」が設定される(CostRefIdx = -1)。
 インデックス「numMVCand-1」の第2MV精度のMV候補X’は、インデックス「3」のMV候補A0'と同一の動き情報である。つまり、重複MVが存在する。したがって、このMV候補X'について、テンプレートマッチングがスキップ(省略)される。したがって、このMV候補B0'に対して、テストフラグは偽に設定される(ToBeTestFlag = 0)。また、この場合、インデックス「3」のMV候補A0'についてのテンプレートマッチング結果を、このMV候補X'についてのテンプレートマッチング結果として再利用する(代替する)。したがって、コスト参照インデックスには値「3」が設定される(CostRefIdx = 3)。つまり、コスト参照インデックスの値は、重複MVのインデックスを示す。
 重複MV検出部141は、このようなテストフラグ(ToBeTestFlag)とコスト参照インデックス(CostRefIdx)の設定を、例えば図10に示される疑似コードに従って行う。重複MV検出部141は、設定したテストフラグ(ToBeTestFlag)とコスト参照インデックス(CostRefIdx)の情報をコスト算出部133に供給する。
 コスト算出部133は、それらの情報に基づいてテンプレートマッチングを実行するかスキップする(コストを複製する)かして、各MV候補に対応するコストを算出する。
 このようにすることにより、MV候補リスト並び替え部102は、テンプレートマッチングの回数の増大を抑制する(回数を削減する)ことができ、テンプレートマッチングの負荷の増大を抑制することができる。つまり、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。また、これにより、MV候補リストの並び替えの負荷の増大を抑制することができる。つまり、MV候補リストの並び替えに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
  <MV候補リスト並び替え処理の流れ>
 図11および図12のフローチャートを参照して、この場合(方法#1-2(および方法#1-1))のMV候補リスト並び替え部102により、図5のステップS102において実行されるMV候補リスト並び替え処理の流れの例を説明する。
 MV候補リスト並び替え処理が開始されると、第2MV精度MV候補リスト導出部121は、図11のステップS131において、第2MV精度を示すMV精度パラメータ(coarseMVPrec)に基づいて、第1MV精度のMV候補リスト(MVCandList)に対応する第2MV精度のMV候補リスト(CoarseMVCandList)を導出する。
 ステップS132において、重複MV検出部141は、第2MV精度のMV候補リスト(CoarseMVCandList)中の重複MVの検出を行い、各MV候補について、テンプレートマッチングを行うかを示すテストフラグ(ToBeTestFlag[i])と、コストの複製元を示すコスト参照インデックス(CostRefIdx)とを設定する。例えば、重複MV検出部141は、図10に示されるような疑似コードに従って、各MV候補に対して、テストフラグ(ToBeTestFlag[i])およびコスト参照インデックス(CostRefIdx)の設定を行う。
 ステップS133において、カレントPUテンプレート生成部131は、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS134において、参照ブロックテンプレート生成部132は、変数iに初期値(例えば「0」)をセットする。
 ステップS135において、参照ブロックテンプレート生成部132は、処理対象の第2のMV精度のMV候補(CoarseMVCandList[i] (i=0,...,numMVCandList-1))のテストフラグ(ToBeTestFlag[i])が真であるか否かを判定する。このテストフラグが真である(例えば、ToBeTestFlag[i] == 1)と判定された場合、処理は、ステップS136に進む。
 ステップS136において、参照ブロックテンプレート生成部132は、処理対象の第2MV精度のMV候補の動きベクトル情報を参照して、第2MV精度のMV候補に対応する参照ブロックのテンプレートを生成する。ステップS136の処理が終了すると処理は図12のステップS141に進む。
 図12のステップS141において、コスト算出部133は、図11のステップS133において生成されたカレントPUのテンプレートと、図11のステップS136において生成された処理対象の第2MV精度のMV候補に対応する参照ブロックのテンプレートとに基づいて、コスト(CostList[i])を導出する。コストが導出されると処理はステップS143に進む。
 また、図11のステップS135において、テストフラグが偽である(例えば、ToBeTestFlag[i] == 0)と判定された場合、処理は、図12のステップS142に進む。
 ステップS142において、コスト算出部133は、図11のステップS132において設定されたコスト参照インデックス(CostRefIdx)が示すコストを、処理対象のMV候補のコストに設定する。つまり、同一の動き情報のコスト値を再利用(代用)する。これにより、処理対象のMV候補についてのコスト値の算出(テンプレートマッチング)を省略することができる。ステップS142の処理が終了すると処理はステップS143に進む。
 ステップS143において、参照ブロックテンプレート生成部132は、変数iの値が、第1MV精度のMV候補リスト(MVCandList)に含まれるMV候補の数を示す値(numMVCand)よりも小さいか否かを判定する。変数iがその値(numMVCand)よりも小さい(i < numMVCand)と判定された場合、処理はステップS144に進む。
 ステップS144において、参照ブロックテンプレート生成部132は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS144の処理が終了すると処理は図11のステップS135に戻り、それ以降の処理を繰り返す。
 つまり、ステップS135乃至ステップS144の各処理が、各MV候補(MV候補に対応するコスト(CostList[i]))について実行される。
 そして、図12のステップS143において、変数iが値(numMVCand)以上である(i ≧ numMVCand)と判定された場合、処理はステップS145に進む。
 ステップS145において、MV候補リスト並び替え部122は、コストリスト(CostList)を参照してコストの小さい順に第1MV精度のMV候補リストのMV候補を並び替え、並び替え後のMV候補リスト(MVCandList')を導出する。
 ステップS145の処理が終了すると、MV候補リスト並び替え処理が終了し、処理は図5に戻る。
 以上のように、MV候補リスト並び替え処理を行うことにより、MV候補リスト並び替え部102は、テンプレートマッチングの回数の増大を抑制する(回数を削減する)ことができ、MV候補リストの並び替えの負荷の増大を抑制することができる。
  <方法#1-3:テンプレートの間引き>
 次に、図3の方法#1-3を適用する場合について説明する。方法#1-3では、一部の画素を間引いたテンプレートを用いてテンプレートマッチングを行う(図13)。
 このようにすることにより、方法#1-3を適用しない場合の同一サイズのテンプレートと比べて、画素数が低減するので、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。これにより、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
 また、この間引き率をカレントPUのサイズに応じて設定するようにする。一般的に、ブロックサイズが大きい程テンプレートも大きくなる。つまり、テンプレートの画素数が増大するので、テンプレートマッチングの演算量も増大する。そこで、例えば、ブロックサイズが大きくなる程、間引き率を大きくするようにしてもよい。このようにすることにより、ブロックサイズの増大に伴うテンプレートの画素数の増大(すなわち、演算量の増大)を抑制することができる。
 換言するに、例えば大きなブロックサイズにおいて演算量が適切となるように間引き率を設定すると、小さいブロックサイズに対して間引き率が大きすぎてしまい、テンプレートの画素数が極端に少なくなり、テンプレートマッチングに不適となるおそれがある。上述のように、間引き率をカレントPUのサイズに応じて設定することにより、小さいブロックサイズに対してもテンプレートの画素数が適切となるように制御することができる。
 なお、テンプレートの画素数の制御は、生成したテンプレートから画素を間引くようにしてもよいし、方法#1-3を適用しない場合においてテンプレートに含められる隣接画素群の中の一部の画素をサンプリング(抽出)し、そのサンプリングした画素を用いてテンプレートを生成するようにしてもよい。
 つまり、本明細書において「間引く」は、「抽出する」や「サンプリングする」の意味も含むものとする。例えば、「カレントPUのサイズに応じて間引き率を設定する」には、「カレントPUのサイズに応じて抽出率を設定する」や「カレントPUのサイズに応じてサンプリング間隔を設定する」の意味も含まれる。その場合各パラメータの大小は画素数の増減の方向を考慮する。例えば、「間引き率を大きくする」ことは、「抽出率を小さくする」ことや、「サンプリング間隔を広げる」ことと同義である。逆に、「間引き率を小さくする」ことは、「抽出率を大きくする」ことや、「サンプリング間隔を狭くする」ことと同義である。
 なお、画素の間引き方(抽出(サンプリング)の仕方)は任意である。例えば、上部テンプレートは、列(カラム)毎に間引く(抽出する(サンプリングする))ようにし、左部テンプレートは、行(ライン)毎に間引く(抽出する(サンプリングする))ようにしてもよい。
  <MV候補リスト並び替え部>
 図14は、図4のMV候補リスト並び替え部102の構成の一例を示すブロック図である。この場合のMV候補リスト並び替え部102は、方法#1-1および方法#1-3を用いてMV候補リストの並び替えを行う。すなわち、MV候補リスト並び替え部102は、粗い精度でテンプレートマッチングを行い、さらに、カレントPUのサイズに応じた間引き率(割合)で、テンプレートの一部の画素を間引く。
 この場合のMV候補リスト並び替え部102は、図14に示されるように、図6の場合と同様に、第2MV精度MV候補リスト導出部121、MV候補リスト並び替え部122、およびテンプレートマッチング部111を有する。ただし、テンプレートマッチング部111は、図6の場合の構成に加え、テンプレート間引き率導出部151を有する。
   <テンプレート間引き率導出部>
 テンプレート間引き率導出部151は、カレントPUのサイズに応じて、上部テンプレートおよび左部テンプレートの間引き率を導出する。テンプレートを間引く理由は、テンプレートマッチング時の参照点数のワーストケースを、基本PUサイズにおけるテンプレートマッチング相当に削減し、かつ、固定化するためである。
 図15のBに、この基本PUサイズ(basePUSize)の例を示す。この基本PUサイズは、予め定められている。例えば、規格等によりこの基本PUサイズを設定し、エンコーダ・デコーダがその情報を共有するようにしてもよい。また、ユーザ等によりこの基本PUサイズを設定する(更新する)ことができるようにしてもよい。その場合、設定した基本PUサイズの情報が、エンコーダ側からデコーダ側に供給されるようにすればよい。例えば、その情報を、メタデータ等として画像の符号化データのビットストリームに付加する(シグナリングする)ようにしてもよい。なお、図15のBの例の場合、基本PUサイズ(basePUSize)は「8」である。この基本PUサイズの大きさは任意である。
 テンプレート間引き率導出部151は、カレントPUのブロックサイズ(PUwidth, PUheight)とPUの基本サイズ(basePUSize)とに基づいて、テンプレート間引き率(skipLineX, skipLineY)(サンプリング間隔)を導出する。例えば、図15のAに示されるように、PUwidth、PUheight、skipLineX、skipLineY、およびtemplateSizeを設定するとする。テンプレート間引き率導出部151は、上部テンプレートに関するテンプレート間引き率(skipLineX)を以下の式(17)のように導出する。また、テンプレート間引き率導出部151は、左部テンプレートに関するテンプレート間引き率(skipLineY)(サンプリング間隔)を以下の式(18)のように導出する。
Figure JPOXMLDOC01-appb-M000011
 例えば、PUの基本サイズを8(basePUSize = 8)とし、カレントPUのサイズを16×4(PUwidth=16, Puheight=4)とすると、上部テンプレートに関するテンプレート間引き率(skipLineX)は、式(17)を用いて以下のように導出される。
 skipLineX = 16 / min(8, 16) = 16 / 8 = 2
 同様に、左部テンプレートに関するテンプレート間引き率(skipLineY)は、式(18)を用いて以下のように導出される。
 skipLineY = 4 / min(8, 4)  = 4 / 4  = 1
 この場合、上部テンプレートは、x方向に2画素毎に参照画素を生成することを示し、左部テンプレートは、y方向に1画素毎に参照画素を生成することを示す。
 図15のAは、テンプレートの画素の間引きの様子(サンプリングの様子)の一例を示している。図中上部テンプレートおよび左部テンプレートのグレーの部分がサンプリングされた画素を示している。図16のAは、テンプレートの画素の間引きの様子(サンプリングの様子)の他の例を示している。図16のBは、テンプレートの画素の間引きの様子(サンプリングの様子)のさらに他の例を示している。
 なお、PUの基本サイズ(basePUSize)と、テンプレートに用いる画素のライン数(templateSize)が同じ値であってもよい。また、上述の式(17)および式(18)において、min(basePUSize, PUwidth)やmin(basePUSize, PUheight)は、basePUSizeとしてもよい。
 以上のように間引き率を導出すると、テンプレート間引き率導出部151は、導出したテンプレート間引き率をカレントPUテンプレート生成部131および参照ブロックテンプレート生成部132に供給する。
   <カレントPUテンプレート生成部>
 この場合、カレントPUテンプレート生成部131は、供給されたテンプレート間引き率を参照して、カレントPUのテンプレート(curTemplate)を生成する。
 具体的には、カレントPUの左上位置(x0, y0)を基準として、テンプレート間引き率(skipLineX, skipLineY)に基づき、カレントPUの上部テンプレート(curTemplateA)およびカレントPUの左部テンプレート(curTemplateL)を生成する。例えば、カレントPUの上部テンプレートは、以下の式(19)のように導出される。また、カレントPUの左部テンプレートは、以下の式(20)のように導出される。
Figure JPOXMLDOC01-appb-M000012
 例えば、カレントPUがピクチャ境界と隣接する等してカレントPUの上部テンプレートまたは左部テンプレートを利用できない場合が考えられる。この場合、参照不可な側のテンプレートは、所定値を設定して生成すればよい。例えば、入力画像のビット深度をbitDepthとすれば、所定値には、'1<<(bitDepth-1) 'や'(1<<(bitDepth-1)) - 1'を設定すればよい。なお、式(19)および式(20)において、パラメータtemplateSizeは、テンプレートに用いる画素のライン数を示す。
 カレントPUテンプレート生成部131は、以上のように生成したカレントPUのテンプレートをコスト算出部133に供給する。
   <参照ブロックテンプレート生成部>
 参照ブロックテンプレート生成部132は、第2MV精度MV候補リスト導出部121により導出された第2MV精度のMV候補リストと、ピクチャバッファから復号済みの画素値と、テンプレート間引き率導出部151から供給されたテンプレート間引き率を取得し、それらに基づいて、参照ブロックのテンプレートを導出(生成)する。
 具体的には、テンプレート間引き率(skipLineX, skipLineY)に基づき、カレントPUと候補MV(MVCandList[i])で定まる参照ブロックの上部テンプレート(LXTemplateA)および参照ブロックの左部テンプレート(LXTemplateL)を生成する。なお、双予測である場合は、L0およびL1の両方のテンプレートを生成する。
 例えば、参照ブロックの上部テンプレート(LXTemplateA)は、以下の式(21)のように導出される。また、参照ブロックの左部テンプレート(LXTemplateL)は、以下の式(22)のように導出される。
Figure JPOXMLDOC01-appb-M000013
 例えば、参照ブロックがピクチャ境界と隣接する等して参照ブロックの上部テンプレートまたは左部テンプレートを利用できない場合が考えられる。この場合、参照不可な側のテンプレートは、所定値を設定して生成すればよい。なお、式(21)および式(22)において、lxdxは、MV候補(MVCandList[i])のLX予測のx方向の動きベクトルを示し、lxdyは、MV候補(MVCandList[i])のLX予測のy方向の動きベクトルを示す。
 また、参照ブロックのテンプレートに含まれる画素群の座標位置がサブペル位置である場合、例えば、隣接する整数位置の画素から線形補間して生成する。ただし、参照ブロックテンプレート生成部132は、第2MV精度のMV候補に基づいて参照ブロックのテンプレートを導出(生成)する。したがって、例えば、第2MV精度を整数画素精度とすることにより、参照ブロックテンプレート生成部132は、このような線形補間を行わずに参照ブロックの点プレーを導出することができる。つまり、参照ブロックテンプレート生成部132は、第1MV精度のMV候補に基づく場合よりも容易に、参照ブロックのテンプレートを導出(生成)することができる。したがって、参照ブロックのテンプレート導出の演算量を低減させることができる。参照ブロックテンプレート生成部132は、生成した参照ブロックのテンプレートをコスト算出部133に供給する。
   <コスト算出部>
 コスト算出部133は、以上のように生成されたテンプレート(一部の画素が間引かれたテンプレート)を用いてテンプレートマッチングを行う。したがって、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。つまり、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。また、これにより、MV候補リストの並び替えの負荷の増大を抑制することができる。つまり、MV候補リストの並び替えに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
  <MV候補リスト並び替え処理の流れ>
 図17のフローチャートを参照して、この場合(方法#1-3(および方法#1-1))のMV候補リスト並び替え部102により、図5のステップS102において実行されるMV候補リスト並び替え処理の流れの例を説明する。
 MV候補リスト並び替え処理が開始されると、第2MV精度MV候補リスト導出部121は、ステップS161において、第2MV精度を示すMV精度パラメータ(coarseMVPrec)に基づいて、第1MV精度のMV候補リスト(MVCandList)に対応する第2MV精度のMV候補リスト(CoarseMVCandList)を導出する。
 ステップS162において、テンプレート間引き率導出部151は、上述したように、上部テンプレートおよび左部テンプレートのテンプレート間引き率を導出する。
 ステップS163において、カレントPUテンプレート生成部131は、ステップS162において導出されたテンプレート間引き率を参照して、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS164において、参照ブロックテンプレート生成部132は、変数iに初期値(例えば「0」)をセットする。
 ステップS165において、参照ブロックテンプレート生成部132は、第2MV精度のMV候補(CoarseMVCandList[i](i=0,...,numMVCandList-1))の動きベクトル情報と、ステップS162において導出されたテンプレート間引き率とを参照して、第2MV精度のMV候補に対応する参照ブロックのテンプレートを生成する。
 ステップS166において、コスト算出部133は、ステップS163において生成されたカレントPUのテンプレートと、ステップS165において生成された第2MV精度のMV候補に対応する参照ブロックのテンプレートとに基づいて、コスト(CostList[i])を導出する。つまり、コスト算出部133は、ステップS162において導出されたテンプレート間引き率を参照して生成されたテンプレート(テンプレート間引き率で画素が間引かれたテンプレート)を用いて、テンプレートマッチングを行い、コストを導出する。
 ステップS167において、参照ブロックテンプレート生成部132は、変数iの値が、第1MV精度のMV候補リスト(MVCandList)に含まれるMV候補の数を示す値(numMVCand)よりも小さいか否かを判定する。変数iがその値(numMVCand)よりも小さい(i < numMVCand)と判定された場合、処理はステップS168に進む。
 ステップS168において、参照ブロックテンプレート生成部132は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS168の処理が終了すると処理はステップS165に戻り、それ以降の処理を繰り返す。
 つまり、ステップS165乃至ステップS168の各処理が、各MV候補(MV候補に対応するコスト(CostList[i]))について実行される。
 そして、ステップS167において、変数iが値(numMVCand)以上である(i ≧ numMVCand)と判定された場合、処理はステップS169に進む。
 ステップS169において、MV候補リスト並び替え部122は、コストリスト(CostList)を参照してコストの小さい順に第1MV精度のMV候補リストのMV候補を並び替え、並び替え後のMV候補リスト(MVCandList')を導出する。
 ステップS169の処理が終了すると、MV候補リスト並び替え処理が終了し、処理は図5に戻る。
 以上のように、MV候補リスト並び替え処理を行うことにより、MV候補リスト並び替え部102は、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができ、MV候補リストの並び替えの負荷の増大を抑制することができる。
  <方法#1-4:MV候補リスト並び替え部>
 次に、図3の方法#1-4を適用する場合について説明する。図18は、図4のMV候補リスト並び替え部102の構成の一例を示すブロック図である。この場合のMV候補リスト並び替え部102は、方法#1-1および方法#1-4を用いてMV候補リストの並び替えを行う。すなわち、MV候補リスト並び替え部102は、粗い精度でテンプレートマッチングを行い、さらに、カレントPUの位置に応じてテンプレートサイズを制御する。
 この場合のMV候補リスト並び替え部102は、図18に示されるように、図6の場合と同様に、第2MV精度MV候補リスト導出部121、MV候補リスト並び替え部122、およびテンプレートマッチング部111を有する。ただし、テンプレートマッチング部111は、図6の場合の構成に加え、テンプレートサイズ設定部161を有する。
   <テンプレートサイズ設定部>
 テンプレートサイズ設定部161は、上部テンプレートおよび左部テンプレートのサイズ(テンプレートサイズ)を設定する。
 カレントCTUを符号化・復号するために必要な隣接復号済画素群(ラインバッファ)を削減することにより、ハードウエアの回路規模を削減することができる。そこで、復号済画素を保持するCTUレベルのラインバッファのサイズを削減するために、CTU内におけるカレントPUの位置に応じて、テンプレートサイズを設定するようにする。
 例えば、カレントCTUのCTUサイズ(CTUSize)と、ピクチャ内におけるカレントPUの位置(xPU, yPU)に基づいて、上部テンプレートに関するテンプレートサイズ(templateSizeY)を以下の式(23)のように設定する。また、左部テンプレートに関するテンプレートサイズ(templateSizeX)を以下の式(24)のように設定する。
Figure JPOXMLDOC01-appb-M000014
 ここで、templateSize1は、カレントPUがCTU境界に位置する場合のテンプレートサイズであり、templateSize2は、カレントPUがCTU境界に位置しない場合のテンプレートサイズであり、templateSize1<templateSize2の関係を有する。
 例えば、図19に示されるように、カレントCTU内に9つのCU(PU)が形成されるとする。例えば、図20のAに示される例のように、カレントCU(カレントPU)がカレントCTUの左上端のCU(PU)であるとする(図中斜線部分)。この場合、カレントCU(カレントPU)は、カレントCTUの上側のCTU境界と左側のCTU境界に接している。つまり、このカレントCU(カレントPU)の上部テンプレートおよび左部テンプレートは、どちらもカレントCTUの外側に位置する。したがって、templateSizeX=templateSizeY=templateSize1と設定される。
 また、図20のBに示される例の場合、カレントCU(カレントPU)(図中斜線部分)は、カレントCTUの上側のCTU境界に接している。つまり、カレントCU(カレントPU)の上部テンプレートは、カレントCTUの外側に位置する。したがって、templateSizeX=templateSize2、templateSizeY=templateSize1と設定される。
 また、図21のAに示される例の場合、カレントCU(カレントPU)(図中斜線部分)は、カレントCTUの左側のCTU境界に接している。つまり、カレントCU(カレントPU)の左部テンプレートは、カレントCTUの外側に位置する。したがって、templateSizeX=templateSize1、templateSizeY=templateSize2と設定される。
 また、図21のBに示される例の場合、カレントCU(カレントPU)(図中斜線部分)は、カレントCTUのCTU境界に接していない。つまり、カレントCU(カレントPU)の上部テンプレートおよび左テンプレートは、カレントCTUの内側に位置する。したがって、templateSizeX=templateSizeY=templateSize2と設定される。
 templateSize1およびtemplateSize2の値は、templateSize1<templateSize2の関係を有する限り、任意である。例えば、隣接CTU間の依存性を排除しない場合、templateSize1 = 2, templateSize2 = 4と設定することにより、ラインバッファの増大を抑制する(ラインバッファを削減する)ことができる。また、例えば、隣接CTU間の依存性を排除する場合(スライス(またはタイル)間での独立デコードに対応する場合)、隣接CTUの画素参照しないように、templateSize1 = 0, templateSize2 = 4と設定することにより、ラインバッファの増大を抑制する(ラインバッファを削減する)ことができるだけでなく、スライス(またはタイル)間の独立デコードを実現することができる。
 同様に、イントラ予測の参照画素領域のサイズも、CTU内におけるカレントPUの位置に応じて決定するようにしてもよい。このようにすることにより、イントラ予測の参照画素領域の保持に用いられるラインバッファの増大を抑制する(ラインバッファを削減する)ことができる。
 テンプレートサイズ設定部161は、以上のように設定したテンプレートサイズの情報をカレントPUテンプレート生成部131および参照ブロックテンプレート生成部132に供給する。
   <カレントPUテンプレート生成部>
 カレントPUテンプレート生成部131は、テンプレートサイズ設定部161から供給されたテンプレートサイズを参照して、カレントPUのテンプレートを生成する。
 具体的には、カレントPUの左上位置(x0, y0)を基準として、テンプレートサイズ設定部161により設定されたテンプレートサイズ(templateSizeX, templateSizeY)に基づき、カレントPUの上部テンプレート(curTemplateA)およびカレントPUの左部テンプレート(curTemplateL)を生成する。例えば、上部テンプレートは以下の式(25)のように導出される。また、左部テンプレートは以下の式(26)のように導出される。
Figure JPOXMLDOC01-appb-M000015
 例えば、カレントPUがピクチャ境界と隣接する等してカレントPUの上部テンプレートまたは左部テンプレートを利用できない場合が考えられる。この場合、参照不可な側のテンプレートは、所定値を設定して生成すればよい。なお、式(25)および式(26)において、パラメータtemplateSizeは、テンプレートに用いる画素のライン数を示す。カレントPUテンプレート生成部131は、以上のように生成したカレントPUのテンプレートをコスト算出部133に供給する。
   <参照ブロックテンプレート生成部>
 参照ブロックテンプレート生成部132は、第2MV精度MV候補リスト導出部121により導出された第2MV精度のMV候補リストと、ピクチャバッファから復号済みの画素値と、テンプレートサイズ設定部161から供給されたテンプレートサイズを取得し、それらに基づいて、参照ブロックのテンプレートを導出(生成)する。
 具体的には、テンプレートサイズ(templateSizeX, templateSizeY)に基づき、カレントPUとMV候補(MVCandList[i])で定まる参照ブロックの上部テンプレート(LXTemplateA)および参照ブロックの左部テンプレート(LXTemplateL)を生成する。なお、双予測である場合は、L0およびL1の両方のテンプレートを生成する。
 例えば、参照ブロックの上部テンプレートは、以下の式(27)のように導出される。また、参照ブロックの左部テンプレートは、以下の式(28)のように導出される。
Figure JPOXMLDOC01-appb-M000016
 例えば、参照ブロックがピクチャ境界と隣接する等して参照ブロックの上部テンプレートまたは左部テンプレートを利用できない場合が考えられる。この場合、参照不可な側のテンプレートは、所定値を設定して生成すればよい。なお、式(27)および式(28)において、lxdxは、MV候補(MVCandList[i])のLX予測のx方向の動きベクトルを示し、lxdyは、MV候補(MVCandList[i])のLX予測のy方向の動きベクトルを示す。
 また、参照ブロックのテンプレートに含まれる画素群の座標位置がサブペル位置である場合、例えば、隣接する整数位置の画素から線形補間して生成する。ただし、参照ブロックテンプレート生成部132は、第2MV精度のMV候補に基づいて参照ブロックのテンプレートを導出(生成)する。したがって、例えば、第2MV精度を整数画素精度とすることにより、参照ブロックテンプレート生成部132は、このような線形補間を行わずに参照ブロックの点プレーを導出することができる。つまり、参照ブロックテンプレート生成部132は、第1MV精度のMV候補に基づく場合よりも容易に、参照ブロックのテンプレートを導出(生成)することができる。したがって、参照ブロックのテンプレート導出の演算量を低減させることができる。参照ブロックテンプレート生成部132は、生成した参照ブロックのテンプレートをコスト算出部133に供給する。
   <コスト算出部>
 コスト算出部133は、以上のように生成されたテンプレート(カレントPUの位置に応じてテンプレートサイズが制御されたテンプレート)を用いてテンプレートマッチングを行う。したがって、テンプレート生成に使用する復号済み画素の増大を抑制する(テンプレート生成に使用する復号済み画素を削減する)ことができる。つまり、その復号済み画素を記憶(保持)するラインバッファのサイズの増大を抑制する(ラインバッファサイズを削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。また、これにより、MV候補リストの並び替えの負荷の増大を抑制することができる。
  <MV候補リスト並び替え処理の流れ>
 図22のフローチャートを参照して、この場合(方法#1-4(および方法#1-1))のMV候補リスト並び替え部102により、図5のステップS102において実行されるMV候補リスト並び替え処理の流れの例を説明する。
 MV候補リスト並び替え処理が開始されると、第2MV精度MV候補リスト導出部121は、ステップS181において、第2MV精度を示すMV精度パラメータ(coarseMVPrec)に基づいて、第1MV精度のMV候補リスト(MVCandList)に対応する第2MV精度のMV候補リスト(CoarseMVCandList)を導出する。
 ステップS182において、テンプレートサイズ設定部161は、上述したように、上部テンプレートおよび左部テンプレートのテンプレートサイズを設定する。
 ステップS183において、カレントPUテンプレート生成部131は、ステップS182において設定されたテンプレートサイズを参照して、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS184において、参照ブロックテンプレート生成部132は、変数iに初期値(例えば「0」)をセットする。
 ステップS185において、参照ブロックテンプレート生成部132は、第2MV精度のMV候補(CoarseMVCandList[i](i=0,...,numMVCandList-1))の動きベクトル情報と、ステップS182において設定されたテンプレートサイズとを参照して、第2MV精度のMV候補に対応する参照ブロックのテンプレートを生成する。
 ステップS186において、コスト算出部133は、ステップS163において生成されたカレントPUのテンプレートと、ステップS165において生成された第2MV精度のMV候補に対応する参照ブロックのテンプレートとに基づいて、コスト(CostList[i])を導出する。つまり、コスト算出部133は、ステップS182において設定されたテンプレートサイズ(カレントPUの位置に応じて設定されたテンプレートサイズ)のテンプレートを用いて、テンプレートマッチングを行い、コストを導出する。
 ステップS187において、参照ブロックテンプレート生成部132は、変数iの値が、第1MV精度のMV候補リスト(MVCandList)に含まれるMV候補の数を示す値(numMVCand)よりも小さいか否かを判定する。変数iがその値(numMVCand)よりも小さい(i < numMVCand)と判定された場合、処理はステップS188に進む。
 ステップS188において、参照ブロックテンプレート生成部132は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS188の処理が終了すると処理はステップS185に戻り、それ以降の処理を繰り返す。
 つまり、ステップS185乃至ステップS188の各処理が、各MV候補(MV候補に対応するコスト(CostList[i]))について実行される。
 そして、ステップS187において、変数iが値(numMVCand)以上である(i ≧ numMVCand)と判定された場合、処理はステップS189に進む。
 ステップS189において、MV候補リスト並び替え部122は、コストリスト(CostList)を参照してコストの小さい順に第1MV精度のMV候補リストのMV候補を並び替え、並び替え後のMV候補リスト(MVCandList')を導出する。
 ステップS189の処理が終了すると、MV候補リスト並び替え処理が終了し、処理は図5に戻る。
 以上のように、MV候補リスト並び替え処理を行うことにより、MV候補リスト並び替え部102は、テンプレートマッチングに用いられるラインバッファのサイズの増大を抑制する(ラインバッファサイズを削減する)ことができ、MV候補リストの並び替えの負荷の増大を抑制することができる。
  <方法#1-5:MV候補リスト並び替え部>
 次に、図3の方法#1-5を適用する場合について説明する。図23は、図4のMV候補リスト並び替え部102の構成の一例を示すブロック図である。この場合のMV候補リスト並び替え部102は、方法#1-1および方法#1-5を用いてMV候補リストの並び替えを行う。すなわち、MV候補リスト並び替え部102は、粗い精度でテンプレートマッチングを行い、さらに、カレントPUのサイズが小さい場合、MV候補リストの並び替え処理をスキップ(省略)する。
 この場合のMV候補リスト並び替え部102は、図18に示されるように、図6の場合の構成(第2MV精度MV候補リスト導出部121、MV候補リスト並び替え部122、およびテンプレートマッチング部111)に加え、ブロックサイズ判定部171を有する。
   <ブロックサイズ判定部>
 ブロックサイズ判定部171は、カレントPUのブロックサイズを判定する。このブロックサイズの判定方法は任意である。例えば、ブロックサイズ判定部171は、カレントPUのブロックサイズを示す情報に基づいて、そのカレントPUのブロックサイズが所定の閾値より小さいか否かを判定する。そして、カレントPUのブロックサイズが所定の閾値より小さいと判定された場合、ブロックサイズ判定部171は、第2MV精度MV候補リスト導出部121、テンプレートマッチング部111、およびMV候補リスト並び替え部122を制御し、それぞれの処理をスキップ(省略)させる。つまり、MV候補リストの並び替え処理をスキップ(省略)させる。
 カレントPUのブロックサイズが小さいと、テンプレートマッチングの際に隣接復号済画素群や参照ピクチャへのアクセス回数が増大し、処理に必要なメモリバンドが増大するおそれがあった。そこで、MV候補リスト並び替え部102は、カレントPUのサイズが所定ブロックサイズより小さい場合、テンプレートマッチングによるMV候補リストの補正処理を省略する。このように制御することにより、処理に必要なメモリバンドの増大を抑制することができる。
 換言するに、ブロックサイズ判定部171は、カレントPUのブロックサイズが所定の閾値以上である場合、MV候補リストの並び替え処理を実行させる。例えば、ブロックサイズ判定部171は、以下の式(29)のように、カレントPUのブロックサイズを判定する。なお、この式(29)の代わりに、以下の式(30)を用いてカレントPUのブロックサイズが判定されるようにしてもよい。
Figure JPOXMLDOC01-appb-M000017
 ここで、PUwidthはPUの横幅を示し、PUheightはPUの縦幅を示す。また、log2Xは、Xの2を底とする対数値を表し、TH1は、所定のブロックサイズに関する閾値である。
 以上のように制御することにより、PUサイズが小さい場合、テンプレートマッチングによるMV補正処理をスキップすることができるため、処理に必要なメモリバンドの増大を抑制することができる。つまり、テンプレートマッチングやMV候補リストの並び替えの負荷の増大を抑制することができる。
  <MV候補リスト導出処理の流れ>
 図24のフローチャートを参照して、この場合のMV候補リスト導出装置100により実行されるMV候補リスト導出処理の流れの例を説明する。
 MV候補リスト導出処理が開始されると、第1MV精度MV候補リスト導出部101は、ステップS201において、カレントPUに対する第1MV精度のMV候補リスト(MVCandList)を導出(生成)する。なお、その際、第1MV精度MV候補リスト導出部101は、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)を導出(生成)する。
 ステップS202において、ブロックサイズ判定部171は、カレントPUのブロックサイズを示す情報に基づいて、カレントPUのサイズが所定の閾値より小さいか否かを判定する。カレントPUのサイズが所定の閾値より小さくない(閾値以上である)と判定された場合、ブロックサイズ判定部171は、MV候補リスト並び替え処理が行われるように制御する。すなわち、処理はステップS203に進む。
 ステップS203において、MV候補リスト並び替え部102(第2MV精度MV候補リスト導出部121、テンプレートマッチング部111、およびMV候補リスト並び替え部122)は、テンプレートマッチングに基づいて、ステップS201において導出された第1MV精度のMV候補リストのMV候補の並び替えを行い、並び替え後MV候補リスト(MVCandList')を導出(生成)する。
 ステップS203の処理が終了すると、MV候補リスト導出処理が終了する。
 また、ステップS202において、カレントPUのサイズが所定の閾値より小さいと判定された場合、ブロックサイズ判定部171は、MV候補リスト並び替え処理をスキップ(省略)するように制御する。すなわち、ステップS203の処理はスキップ(省略)されてMV候補リスト導出処理が終了する。
 以上のように各ステップの処理を実行することにより、処理に必要なメモリバンドの増大を抑制することができ、テンプレートマッチングやMV候補リストの並び替えの負荷の増大を抑制することができる。
  <方法#1-6:MV候補リスト並び替え部>
 次に、図3の方法#1-6を適用する場合について説明する。図25は、図4のMV候補リスト並び替え部102の構成の一例を示すブロック図である。この場合のMV候補リスト並び替え部102は、方法#1-1および方法#1-6を用いてMV候補リストの並び替えを行う。すなわち、MV候補リスト並び替え部102は、粗い精度でテンプレートマッチングを行い、さらに、複数予測を行うMV候補に対して、予測数を削減し、単予測によるテンプレートマッチングを行う。
 この場合のMV候補リスト並び替え部102は、図25に示されるように、図6の場合と同様に、第2MV精度MV候補リスト導出部121、MV候補リスト並び替え部122、およびテンプレートマッチング部111を有する。ただし、テンプレートマッチング部111は、図6の場合の構成に加え、参照LX予測設定部181を有する。
   <参照LX予測設定部>
 参照LX予測設定部181は、第2のMV精度のMV候補リストCoarseMVCandList[i]の動きベクトル情報を参照して、テンプレート生成に用いる参照LX予測を設定する。
 例えば、参照LX予測設定部181は、MV候補の動き情報のうち、インター予測識別子(inter_pred_idc)に基づき、テンプレート生成に用いるLX予測を選択する。この選択されたLX予測を参照LX予測とも称する。図26のAにそのLX予測の選択のルールの例を示す。
 また、例えば、参照LX予測設定部181が、カレントピクチャ(curPic)と各LX予測で参照する参照ピクチャ(refPicLX)との時間距離が小さい方を参照LX予測として選択するようにしてもよい。なお、時間距離が同じ場合、’L0予測’を参照LX予測へ設定するようにしてもよいし、’L1予測’を参照LX予測へ設定するようにしてもよい。このような制御の疑似コードの例を図26のBに示す。
 ここで、getPoc(picX)は、あるピクチャpicXのPOC(Picture Ordering Count)を取得する関数であり、abs(X)は、変数Xの絶対値を返す関数である。また、時間距離によらず、’L0予測’を参照LX予測とするようにしてもよい。
 参照LX予測設定部181は、設定した参照LX予測を示す情報を、参照ブロックテンプレート生成部132およびコスト算出部133に供給する。
   <参照ブロックテンプレート生成部>
 参照ブロックテンプレート生成部132は、参照LX予測設定部181から供給される参照LX予測に対応するテンプレートを生成する。
 例えば、参照ブロックテンプレート生成部132は、カレントPUとMV候補(CoarseMVCandList[i])の参照LX予測(refLXPred)に対応する動き情報で定まる参照ブロックの上部テンプレート(LXTemplateA)および参照ブロックの左部テンプレート(LXTemplateL)を生成する。
 例えば、参照LX予測(refLXPred)が、L0予測である場合、参照ブロックテンプレート生成部132は、そのL0予測に対応する動き情報を用いて、参照ブロックの上部テンプレート(L0TemplateA)および参照ブロックの左部テンプレート(L0TemplateL)を生成する。
 これに対して、参照LX予測(refLXPred)が、L1予測である場合、参照ブロックテンプレート生成部132は、そのL1予測に対応する動き情報を用いて、参照ブロックの上部テンプレート(L1TemplateA)および参照ブロックの左部テンプレート(L1TemplateL)を生成する。
 参照ブロックテンプレート生成部132は、生成した参照ブロックのテンプレートをコスト算出部133に供給する。
   <コスト算出部>
 コスト算出部133は、カレントPUテンプレート生成部131により生成されたカレントPUのテンプレートと、参照ブロックテンプレート生成部132により生成された参照LX予測に対応するテンプレートとのテンプレートマッチングを行い、コスト(CostList[i])を導出(算出)する。
 カレントPUのテンプレートと、MV候補(MVCandList[i])の参照LX予測で指定される参照ピクチャのテンプレートとのコストcostは、LX予測の場合、以下の式(31)により導出される。
 ここで、costAとは、カレントPUの上部テンプレート(curTemplateA)と、参照ブロックの上部テンプレート(LXTemplateA)から得られるコストである。また、costLとは、カレントPUの左部テンプレート(curTemplateL)と、参照ブロックの左部テンプレート(LXTemplateL)から得られるコストである。また、cost_uni(LX)とは、カレントPUのテンプレートと、MV候補の参照LX予測部分に対応する動き情報で指定される参照ブロックのテンプレートから得られるコストであり、例えば、SADで以下の式(32)のように算出される。
Figure JPOXMLDOC01-appb-M000019
 なお、posとは、テンプレート内の各(x, y)のペアからなる画素位置を示し、lxmvとは、MV候補の参照LX予測部分に対応する動きベクトルである。
 以上のようにすることにより、MV候補が双予測である場合、実際に生成するテンプレートを、L0予測、または、L1予測のいずれか一方へ制限することができる。したがって、双予測のMV候補に関するテンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。つまり、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。また、これにより、MV候補リストの並び替えの負荷の増大を抑制することができる。つまり、MV候補リストの並び替えに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
  <MV候補リスト並び替え処理の流れ>
 図27のフローチャートを参照して、この場合(方法#1-6(および方法#1-1))のMV候補リスト並び替え部102により、図5のステップS102において実行されるMV候補リスト並び替え処理の流れの例を説明する。
 MV候補リスト並び替え処理が開始されると、第2MV精度MV候補リスト導出部121は、ステップS211において、第2MV精度を示すMV精度パラメータ(coarseMVPrec)に基づいて、第1MV精度のMV候補リスト(MVCandList)に対応する第2MV精度のMV候補リスト(CoarseMVCandList)を導出する。
 ステップS212において、カレントPUテンプレート生成部131は、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS213において、参照ブロックテンプレート生成部132は、変数iに初期値(例えば「0」)をセットする。
 ステップS214において、参照LX予測設定部181は、第2MV精度のMV候補(CoarseMVCandList[i](i=0,...,numMVCandList-1))の動きベクトル情報を参照して、テンプレートの生成に用いる参照LX予測を設定する。
 ステップS215において、参照ブロックテンプレート生成部132は、ステップS214において設定された参照LX予測に対応するテンプレートを生成する。
 ステップS216において、コスト算出部133は、ステップS212において生成されたカレントPUのテンプレートと、ステップS215において生成された参照LX予測に対応する参照ブロックのテンプレートとに基づいて、コスト(CostList[i])を導出する。つまり、コスト算出部133は、それらのテンプレートを用いて、テンプレートマッチングを行い、コストを導出する。
 ステップS217において、参照ブロックテンプレート生成部132は、変数iの値が、第1MV精度のMV候補リスト(MVCandList)に含まれるMV候補の数を示す値(numMVCand)よりも小さいか否かを判定する。変数iがその値(numMVCand)よりも小さい(i < numMVCand)と判定された場合、処理はステップS218に進む。
 ステップS218において、参照ブロックテンプレート生成部132は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS218の処理が終了すると処理はステップS214に戻り、それ以降の処理を繰り返す。
 つまり、ステップS214乃至ステップS218の各処理が、各MV候補(MV候補に対応するコスト(CostList[i]))について実行される。
 そして、ステップS217において、変数iが値(numMVCand)以上である(i ≧ numMVCand)と判定された場合、処理はステップS219に進む。
 ステップS219において、MV候補リスト並び替え部122は、コストリスト(CostList)を参照してコストの小さい順に第1MV精度のMV候補リストのMV候補を並び替え、並び替え後のMV候補リスト(MVCandList')を導出する。
 ステップS219の処理が終了すると、MV候補リスト並び替え処理が終了し、処理は図5に戻る。
 以上のように、MV候補リスト並び替え処理を行うことにより、MV候補リスト並び替え部102は、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができ、MV候補リストの並び替えの負荷の増大を抑制することができる。
 <3.第2の実施の形態>
  <画像符号化装置>
 以上に説明した本技術は、任意の装置やデバイス等に適用することができる。例えば、画像データを符号化する画像符号化装置に、上述した本技術(テンプレートマッチングの簡略化(方法#1))を適用することができる。つまり、画像データを符号化する画像符号化装置に、上述した方法#1-1乃至方法1-6の内少なくともいずれか1つを適用することができる。
 図28は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図28に示される画像符号化装置300は、動画像の画像データを符号化する装置である。例えば、画像符号化装置300は、非特許文献1乃至非特許文献7に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データを符号化する。
 なお、図28においては、処理部やデータの流れ等の主なものを示しており、図28に示されるものが全てとは限らない。つまり、画像符号化装置300において、図28においてブロックとして示されていない処理部が存在したり、図28において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像符号化装置300内の処理部等を説明する他の図においても同様である。
 図28に示されるように画像符号化装置300は、制御部301、並べ替えバッファ311、演算部312、直交変換部313、量子化部314、符号化部315、蓄積バッファ316、逆量子化部317、逆直交変換部318、演算部319、インループフィルタ部320、フレームメモリ321、予測部322、およびレート制御部323を有する。
   <制御部>
 制御部301は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ311により保持されている動画像データを処理単位のブロック(CU, PU, 変換ブロックなど)へ分割する。また、制御部301は、各ブロックへ供給する符号化パラメータ(ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど)を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
 これらの符号化パラメータの詳細については後述する。制御部301は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。
 ヘッダ情報Hinfoは、各ブロックに供給される。
 予測モード情報Pinfoは、符号化部315と予測部322とに供給される。
 変換情報Tinfoは、符号化部315、直交変換部313、量子化部314、逆量子化部317、および逆直交変換部318に供給される。
 フィルタ情報Finfoは、インループフィルタ部320に供給される。
   <並べ替えバッファ>
 画像符号化装置300には、動画像データの各フィールド(入力画像)がその再生順(表示順)に入力される。並べ替えバッファ311は、各入力画像をその再生順(表示順)に取得し、保持(記憶)する。並べ替えバッファ311は、制御部301の制御に基づいて、その入力画像を符号化順(復号順)に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ311は、処理後の各入力画像を演算部312に供給する。また、並べ替えバッファ311は、その各入力画像(元画像)を、予測部322やインループフィルタ部320にも供給する。
   <演算部>
 演算部312は、処理単位のブロックに対応する画像I、および予測部322より供給される予測画像Pを入力とし、画像recから予測画像Pを以下の式(33)に示されるように減算して、予測残差resiを導出し、それを直交変換部313に供給する。
resi = rec - P ・・・(33)
   <直交変換部>
 直交変換部313は、演算部312から供給される予測残差resiと、制御部301から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差resiに対して直交変換を行い、係数データcoefを導出する。直交変換部313は、その得られた係数データcoefを量子化部314に供給する。
   <量子化部>
 量子化部314は、直交変換部313から供給される係数データcoefと、制御部301から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、係数データcoefをスケーリング(量子化)する。なお、この量子化のレートは、レート制御部323により制御される。量子化部314は、このような量子化により得られた量子化後の係数データ、すなわち量子化変換係数qcoefを、符号化部315および逆量子化部317に供給する。
   <符号化部>
 符号化部315は、量子化部314から供給された量子化変換係数qcoefと、制御部301から供給される各種符号化パラメータ(ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど)と、インループフィルタ部320から供給されるフィルタ係数等のフィルタに関する情報と、予測部322から供給される最適な予測モードに関する情報とを入力とする。符号化部315は、量子化変換係数qcoefを可変長符号化(例えば、算術符号化)し、ビット列(符号化データ)を生成する。
 また、符号化部315は、その量子化変換係数qcoefから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。
 さらに、符号化部315は、インループフィルタ部320から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部322から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部315は、上述した各種符号化パラメータ(ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど)を符号化し、ビット列を生成する。
 また、符号化部315は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部315は、その符号化データを蓄積バッファ316に供給する。
   <蓄積バッファ>
 蓄積バッファ316は、符号化部315において得られた符号化データを、一時的に保持する。蓄積バッファ316は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置300の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ316は、符号化データ(ビットストリーム)を伝送する伝送部でもある。
   <逆量子化部>
 逆量子化部317は、逆量子化に関する処理を行う。例えば、逆量子化部317は、量子化部314から供給される量子化変換係数qcoefと、制御部301から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化変換係数qcoefの値をスケーリング(逆量子化)する。なお、この逆量子化は、量子化部314において行われる量子化の逆処理である。逆量子化部317は、このような逆量子化により得られた係数データcoefIを、逆直交変換部318に供給する。
   <逆直交変換部>
 逆直交変換部318は、逆直交変換に関する処理を行う。例えば、逆直交変換部318は、逆量子化部317から供給される係数データcoefIと、制御部301から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、係数データcoefIに対して逆直交変換を行い、残差データresiIを導出する。なお、この逆直交変換は、直交変換部313において行われる直交変換の逆処理である。逆直交変換部318は、このような逆直交変換により得られた残差データresiIを演算部319に供給する。なお、逆直交変換部318は、復号側の逆直交変換部(後述する)と同様であるので、逆直交変換部318については、復号側について行う説明(後述する)を適用することができる。
   <演算部>
 演算部319は、逆直交変換部318から供給される残差データresiIと、予測部322から供給される予測画像Pとを入力とする。演算部319は、その残差データresiIと、その残差データresiIに対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部319は、導出した局所復号画像Rlocalをインループフィルタ部320およびフレームメモリ321に供給する。
   <インループフィルタ部>
 インループフィルタ部320は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部320は、演算部319から供給される局所復号画像Rlocalと、制御部301から供給されるフィルタ情報Finfoと、並べ替えバッファ311から供給される入力画像(元画像)とを入力とする。なお、インループフィルタ部320に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック(CU、CTU等)の情報等がインループフィルタ部320に入力されるようにしてもよい。
 インループフィルタ部320は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部320は、必要に応じて入力画像(元画像)や、その他の入力情報もそのフィルタ処理に用いる。
 例えば、インループフィルタ部320は、バイラテラルフィルタ、デブロッキングフィルタ(DBF(DeBlocking Filter))、適応オフセットフィルタ(SAO(Sample Adaptive Offset))、および適応ループフィルタ(ALF(Adaptive Loop Filter))の4つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
 もちろん、インループフィルタ部320が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部320がウィーナーフィルタ等を適用するようにしてもよい。
 インループフィルタ部320は、フィルタ処理された局所復号画像Rlocalをフレームメモリ321に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部320は、そのフィルタに関する情報を符号化部315に供給する。
   <フレームメモリ>
 フレームメモリ321は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ321は、演算部319から供給される局所復号画像Rlocalや、インループフィルタ部320から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持(記憶)する。また、フレームメモリ321は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する(フレームメモリ321内のバッファへ格納する)。フレームメモリ321は、予測部322の要求に応じて、その復号画像R(またはその一部)を予測部322に供給する。
   <予測部>
 予測部322は、予測画像の生成に関する処理を行う。例えば、予測部322は、制御部301から供給される予測モード情報Pinfoと、並べ替えバッファ311から供給される入力画像(元画像)と、フレームメモリ321から読み出す復号画像R(またはその一部)を入力とする。予測部322は、予測モード情報Pinfoや入力画像(元画像)を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部322は、生成した予測画像Pを演算部312および演算部319に供給する。また、予測部322は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部315に供給する。
   <レート制御部>
 レート制御部323は、レート制御に関する処理を行う。例えば、レート制御部323は、蓄積バッファ316に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部314の量子化動作のレートを制御する。
  <本技術の適用>
 以上のような構成の画像符号化装置300において、予測部322は、上述した本技術を適用した処理を行う。図28に示されるように、予測部322は、MV候補リスト導出部331を有する。
 予測部322は、カレントブロックのインター予測により得られた動き情報を、他のブロックの動き情報を用いて符号化する。例えば、予測部322は、カレントブロックの動きベクトルを、他のブロックの動きベクトルから導出した予測動きベクトルを用いて符号化したり、他のブロックの動きベクトルのマージを表すマージインデックスを用いて符号化したりする。その際、予測部322は、MV候補リスト導出部331にMV候補リストを導出させ、そのMV候補リストの中からMV候補を所定の規則に従って選択し、その選択したMV候補を用いて、そのような動きベクトルの符号化を行う。
 MV候補リスト導出部331は、第1の実施の形態において説明したMV候補リスト導出装置100に対応する処理部であり、MV候補リスト導出装置100と同様の構成を有し、同様の処理を行う。つまり、MV候補リスト導出部331は、<1.テンプレートマッチング>および<2.第1の実施の形態>において上述したように、MV候補リストを導出し、方法#1-1乃至方法#1-6の内の少なくともいずれか1つの方法により、テンプレートマッチングを簡略化して行い、コストを算出し、そのコストに基づいてMV候補リストの並び替えを行う。
 予測部322は、その並び替え後のMV候補リストを用いて動きベクトルの符号化を行う。つまり、予測部322は、インター予測を行って予測画像を生成し、要素が並び替えられた動きベクトル候補リストを用いて、その予測画像の生成に用いられる動きベクトルを符号化する。
 このようにMV候補リスト導出部331がMV候補リストの並び替えを行うので、予測部322は、シーケンスやブロック毎の特性の変化に対応してより好適に動きベクトルの符号化を行うことができる。したがって、符号化効率の低減を抑制する(符号化効率を向上させる)ことができる。
 また、上述のように、MV候補リスト導出部331が、方法#1-1乃至方法#1-6の内の少なくともいずれか1つの方法を適用してMV候補リストを導出するので、MV候補リスト並び替え処理において行われるテンプレートマッチングを簡略化することができる。したがって、予測部322は、動きベクトルの符号化の負荷の増大を抑制する(負荷を低減させる)ことができる。
  <画像符号化処理の流れ>
 次に、以上のような画像符号化装置300により実行される画像符号化処理の流れの例を、図29のフローチャートを参照して説明する。
 画像符号化処理が開始されると、ステップS301において、並べ替えバッファ311は、制御部301に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
 ステップS302において、制御部301は、並べ替えバッファ311が保持する入力画像に対して、処理単位を設定する(ブロック分割を行う)。
 ステップS303において、制御部301は、並べ替えバッファ311が保持する入力画像についての符号化パラメータを決定(設定)する。
 ステップS304において、予測部322は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部322は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
 ステップS305において、演算部312は、入力画像と、ステップS304の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部312は、入力画像と予測画像との予測残差resiを生成する。このようにして求められた予測残差resiは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
 ステップS306において、直交変換部313は、ステップS305の処理により生成された予測残差resiに対して直交変換処理を行い、係数データcoefを導出する。
 ステップS307において、量子化部314は、制御部301により算出された量子化パラメータを用いる等して、ステップS306の処理により得られた係数データcoefを量子化し、量子化変換係数qcoefを導出する。
 ステップS308において、逆量子化部317は、ステップS307の処理により生成された量子化変換係数qcoefを、そのステップS307の量子化の特性に対応する特性で逆量子化し、係数データcoefIを導出する。なお、この逆量子化処理は、復号側において行われる逆量子化処理(後述する)と同様であるので、このステップS308の逆量子化処理については、復号側について行う説明(後述する)を適用することができる。
 ステップS309において、逆直交変換部318は、ステップS308の処理により得られた係数データcoefIを、ステップS306の直交変換処理に対応する方法で逆直交変換し、残差データresiIを導出する。なお、この逆直交変換処理は、復号側において行われる逆直交変換処理(後述する)と同様であるので、このステップS309の逆直交変換処理については、復号側について行う説明(後述する)を適用することができる。
 ステップS310において、演算部319は、ステップS309の処理により導出された残差データresiIに、ステップS304の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
 ステップS311において、インループフィルタ部320は、ステップS310の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。
 ステップS312において、フレームメモリ321は、ステップS310の処理により導出された、局所的に復号された復号画像や、ステップS312においてフィルタ処理された、局所的に復号された復号画像を記憶する。
 ステップS313において、符号化部315は、ステップS307の処理により得られた量子化変換係数qcoefを符号化する。例えば、符号化部315は、画像に関する情報である量子化変換係数qcoefを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部315は、各種符号化パラメータ(ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo等)を符号化する。さらに、符号化部315は、量子化変換係数qcoefから残差情報RInfoを導出し、その残差情報RInfoを符号化する。
 ステップS314において、蓄積バッファ316は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置300の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部323は、必要に応じてレート制御を行う。
 ステップS314の処理が終了すると、画像符号化処理が終了する。
 以上のような流れの画像符号化処理のステップS304の処理において、上述した本技術を適用する。つまり、予測処理における動きベクトルの符号化に用いられるMV候補リストの導出において、<1.テンプレートマッチング>および<2.第1の実施の形態>において上述したように、方法#1-1乃至方法#1-6の内の少なくともいずれか1つの方法を適用し、テンプレートマッチングを簡略化して行い、MV候補リストの並び替えを行うようにする。
 このようにすることにより、テンプレートマッチングの負荷の増大を抑制することができる。つまり、この画像符号化処理を実行することにより、予測処理における動きベクトルの符号化の負荷の増大を抑制することができる。
 <4.第3の実施の形態>
  <画像復号装置>
 また、本技術(テンプレートマッチングの簡略化(方法#1))は、例えば、画像データの符号化データを復号する画像復号装置にも適用することができる。つまり、画像データの符号化データを復号する画像復号装置に、上述した方法#1-1乃至方法1-6の内の少なくともいずれか1つを適用することができる。
 図30は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図30に示される画像復号装置400は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置400は、非特許文献1乃至非特許文献7に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データが符号化された符号化データを復号する。例えば、画像復号装置400は、上述の画像符号化装置300により生成された符号化データ(ビットストリーム)を復号する。
 なお、図30においては、処理部やデータの流れ等の主なものを示しており、図30に示されるものが全てとは限らない。つまり、画像復号装置400において、図30においてブロックとして示されていない処理部が存在したり、図30において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像復号装置400内の処理部等を説明する他の図においても同様である。
 図30において、画像復号装置400は、蓄積バッファ411、復号部412、逆量子化部413、逆直交変換部414、演算部415、インループフィルタ部416、並べ替えバッファ417、フレームメモリ418、および予測部419を備えている。なお、予測部419は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置400は、符号化データ(ビットストリーム)を復号することによって、動画像データを生成するための装置である。
   <蓄積バッファ>
 蓄積バッファ411は、画像復号装置400に入力されたビットストリームを取得し、保持(記憶)する。蓄積バッファ411は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部412に供給する。
   <復号部>
 復号部412は、画像の復号に関する処理を行う。例えば、復号部412は、蓄積バッファ411から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
 シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部412は、ビットストリームから、これらの情報をパースする(解析して取得する)。これらの情報について以下に説明する。
   <ヘッダ情報Hinfo>
 ヘッダ情報Hinfoは、例えば、VPS(Video Parameter Set)/SPS(Sequence Parameter Set)/PPS(Picture Parameter Set)/SH(スライスヘッダ)などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ(横幅PicWidth、縦幅PicHeight)、ビット深度(輝度bitDepthY, 色差bitDepthC)、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize/最小値MinCUSize、4分木分割(Quad-tree分割ともいう)の最大深度MaxQTDepth/最小深度MinQTDepth、2分木分割(Binary-tree分割)の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize(最大変換スキップブロックサイズともいう)、各符号化ツールのオンオフフラグ(有効フラグともいう)などを規定する情報が含まれる。
 例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が1(真)の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が0(偽)の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
 コンポーネント間予測有効フラグ(ccp_enabled_flag)は、コンポーネント間予測(CCP(Cross-Component Prediction),CC予測とも称する)が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「1」(真)の場合、使用可能であることが示され、「0」(偽)の場合、使用不可であることが示される。なお、このCCPは、コンポーネント間線形予測(CCLMまたはCCLMP)とも称する。
   <予測モード情報Pinfo>
 予測モード情報Pinfoには、例えば、処理対象PB(予測ブロック)のサイズ情報PBSize(予測ブロックサイズ)、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
 イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。
 また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ(ccp_flag(cclmp_flag))、多クラス線形予測モードフラグ(mclm_flag)、色差サンプル位置タイプ識別子(chroma_sample_loc_type_idx)、色差MPM識別子(chroma_mpm_idx)、および、これらのシンタックスから導出される輝度イントラ予測モード(IntraPredModeC)等が含まれる。
 コンポーネント間予測フラグ(ccp_flag(cclmp_flag))は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
 多クラス線形予測モードフラグ(mclm_flag)は、線形予測のモードに関する情報(線形予測モード情報)である。より具体的には、多クラス線形予測モードフラグ(mclm_flag)は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「0」の場合、1クラスモード(単一クラスモード)(例えばCCLMP)であることを示し、「1」の場合、2クラスモード(多クラスモード)(例えばMCLMP)であることを示す。
 色差サンプル位置タイプ識別子(chroma_sample_loc_type_idx)は、色差コンポーネントの画素位置のタイプ(色差サンプル位置タイプとも称する)を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ(ChromaArrayType)が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式(34)のような割り当て方となる。
chroma_sample_loc_type_idx == 0:Type2
chroma_sample_loc_type_idx == 1:Type3
chroma_sample_loc_type_idx == 2:Type1
chroma_sample_loc_type_idx == 3:Type0
 ・・・(34)
 なお、この色差サンプル位置タイプ識別子(chroma_sample_loc_type_idx)は、色差コンポーネントの画素位置に関する情報(chroma_sample_loc_info())として(に格納されて)伝送される。
 色差MPM識別子(chroma_mpm_idx)は、色差イントラ予測モード候補リスト(intraPredModeCandListC)の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
 動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる(例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照)。
 もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
   <変換情報Tinfo>
 変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
  処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize(または、2を底とする各TBWSize(または、TrWidth)、TBHSize(または、TrHeight)の対数値log2TBWSize(または、log2TrWidth)、log2TBHSize(または、log2TrHeight)であってもよい。)
  変換スキップフラグ(ts_flag):(逆)プライマリ変換および(逆)セカンダリ変換をスキップか否かを示すフラグである。
  スキャン識別子(scanIdx)
  量子化パラメータ(qp)
  量子化マトリックス(scaling_matrix(例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax))
   <残差情報Rinfo>
 残差情報Rinfo(例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照)には、例えば以下のシンタックスが含まれる。
  cbf(coded_block_flag):残差データ有無フラグ
  last_sig_coeff_x_pos:ラスト非ゼロ係数X座標
  last_sig_coeff_y_pos:ラスト非ゼロ係数Y座標
  coded_sub_block_flag:サブブロック非ゼロ係数有無フラグ
  sig_coeff_flag:非ゼロ係数有無フラグ
  gr1_flag:非ゼロ係数のレベルが1より大きいかを示すフラグ(GR1フラグとも呼ぶ)
  gr2_flag:非ゼロ係数のレベルが2より大きいかを示すフラグ(GR2フラグとも呼ぶ)
  sign_flag:非ゼロ係数の正負を示す符号(サイン符号とも呼ぶ)
  coeff_abs_level_remaining:非ゼロ係数の残余レベル(非ゼロ係数残余レベルとも呼ぶ)
 もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
   <フィルタ情報Finfo>
 フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。
  デブロッキングフィルタ(DBF)に関する制御情報
  画素適応オフセット(SAO)に関する制御情報
  適応ループフィルタ(ALF)に関する制御情報
  その他の線形・非線形フィルタに関する制御情報
 より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
 復号部412の説明に戻り、復号部412は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数qcoefを導出する。復号部412は、その量子化変換係数qcoefを、逆量子化部413に供給する。
 また、復号部412は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数qcoef、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
  ヘッダ情報Hinfoは、逆量子化部413、逆直交変換部414、予測部419、インループフィルタ部416に供給される。
  予測モード情報Pinfoは、逆量子化部413および予測部419に供給される。
  変換情報Tinfoは、逆量子化部413および逆直交変換部414に供給される。
  フィルタ情報Finfoは、インループフィルタ部416に供給される。
 もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
   <逆量子化部>
 逆量子化部413は、逆量子化に関する処理を行う。例えば、逆量子化部413は、復号部412から供給される変換情報Tinfoおよび量子化変換係数qcoefを入力とし、その変換情報Tinfoに基づいて、量子化変換係数qcoefの値をスケーリング(逆量子化)し、逆量子化後の係数データcoefIを導出する。
 なお、この逆量子化は、量子化部314による量子化の逆処理として行われる。また、この逆量子化は、逆量子化部317による逆量子化と同様の処理である。つまり、逆量子化部317は、逆量子化部413と同様の処理(逆量子化)を行う。
 逆量子化部413は、導出した係数データcoefIを逆直交変換部414に供給する。
   <逆直交変換部>
 逆直交変換部414は、逆直交変換に関する処理を行う。例えば、逆直交変換部414は、逆量子化部413から供給される係数データcoefI、および、復号部412から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、係数データcoefIに対して逆直交変換処理を行い、残差データresiIを導出する。
 なお、この逆直交変換は、直交変換部313による直交変換の逆処理として行われる。また、この逆直交変換は、逆直交変換部318による逆直交変換と同様の処理である。つまり、逆直交変換部318は、逆直交変換部414と同様の処理(逆直交変換)を行う。
 逆直交変換部414は、導出した残差データresiI'を演算部415に供給する。
   <演算部>
 演算部415は、画像に関する情報の加算に関する処理を行う。例えば、演算部415は、逆直交変換部414から供給される残差データresiIと、予測部419から供給される予測画像Pとを入力とする。演算部415は、例えば以下の式(35)に示されるように、残差データresiIとその残差データresiIに対応する予測画像P(予測信号)とを加算し、局所復号画像Rlocalを導出する。
Rlocal = resiI + P ・・・(35)
 演算部415は、導出した局所復号画像Rlocalを、インループフィルタ部416およびフレームメモリ418に供給する。
   <インループフィルタ部>
 インループフィルタ部416は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部416は、演算部415から供給される局所復号画像Rlocalと、復号部412から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部416に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
 インループフィルタ部416は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。
 例えば、インループフィルタ部416は、バイラテラルフィルタ、デブロッキングフィルタ(DBF(DeBlocking Filter))、適応オフセットフィルタ(SAO(Sample Adaptive Offset))、および適応ループフィルタ(ALF(Adaptive Loop Filter))の4つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
 インループフィルタ部416は、符号化側(例えば画像符号化装置300のインループフィルタ部320)により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部416が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部416がウィーナーフィルタ等を適用するようにしてもよい。
 インループフィルタ部416は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ417およびフレームメモリ418に供給する。
   <並べ替えバッファ>
 並べ替えバッファ417は、インループフィルタ部416から供給された局所復号画像Rlocalを入力とし、それを保持(記憶)する。並べ替えバッファ417は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する(バッファ内に格納する)。並べ替えバッファ417は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ417は、並べ替えた復号画像R群を動画像データとして画像復号装置400の外部に出力する。
   <フレームメモリ>
 フレームメモリ418は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ418は、演算部415より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ418内のバッファへ格納する。
 また、フレームメモリ418は、インループフィルタ部416から供給される、インループフィルタ処理された局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ418内のバッファへ格納する。フレームメモリ418は、適宜、その記憶している復号画像R(またはその一部)を参照画像として予測部419に供給する。
 なお、フレームメモリ418が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
   <予測部>
 予測部419は、予測画像の生成に関する処理を行う。例えば、予測部419は、復号部412から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部419は、その予測モード情報Pinfoによって指定される、フレームメモリ418に格納されたフィルタ前またはフィルタ後の復号画像R(またはその一部)を、参照画像として利用する。予測部419は、導出した予測画像Pを、演算部415に供給する。
  <本技術の適用>
 以上のような構成の画像復号装置400において、予測部419は、上述した本技術を適用した処理を行う。図30に示されるように、予測部419は、MV候補リスト導出部431を有する。
 予測部419は、予測画像の生成(動き補償)に用いる動きベクトルを復元する。例えば、予測部419は、符号化側から伝送された差分動きベクトルにカレントブロックと異なる他のブロックの動きベクトルから導出した予測動きベクトルを加算したり、他のブロックの動きベクトルをマージしたりして、カレントブロックの動きベクトルを復元する。その際、予測部419は、MV候補リスト導出部431にMV候補リストを導出させ、そのMV候補リストの中からMV候補を所定の規則に従って選択し、その選択したMV候補を用いて、そのような動きベクトルの復元を行う。予測部419は、復元した動きベクトルを用いて動き補償を行い、予測画像を生成する。
 MV候補リスト導出部431は、第1の実施の形態において説明したMV候補リスト導出装置100に対応する処理部であり、MV候補リスト導出装置100と同様の構成を有し、同様の処理を行う。つまり、MV候補リスト導出部431は、<1.テンプレートマッチング>および<2.第1の実施の形態>において上述したように、MV候補リストを導出し、方法#1-1乃至方法#1-6の内の少なくともいずれか1つの方法により、テンプレートマッチングを簡略化して行い、コストを算出し、そのコストに基づいてMV候補リストの並び替えを行う。
 予測部419は、その並び替え後のMV候補リストを用いて動きベクトルの復元を行う。つまり、予測部419は、要素が並び替えられた動きベクトル候補リストを用いて、予測画像の生成に用いられる動きベクトルを復元する。
 このようにMV候補リスト導出部431がMV候補リストの並び替えを行うので、予測部419は、シーケンスやブロック毎の特性の変化に対応してより好適に符号化された動きベクトルを正しく復号する(動きベクトルを復元する)ことができる。したがって、符号化効率の低減を抑制する(符号化効率を向上させる)ことができる。
 また、上述のように、MV候補リスト導出部431が、方法#1-1乃至方法#1-6の内の少なくともいずれか1つの方法を適用してMV候補リストを導出するので、MV候補リスト並び替え処理において行われるテンプレートマッチングを簡略化することができる。したがって、予測部419は、動きベクトルの復元の負荷の増大を抑制する(負荷を低減させる)ことができる。
  <画像復号処理の流れ>
 次に、以上のような画像復号装置400により実行される画像復号処理の流れの例を、図31のフローチャートを参照して説明する。
 画像復号処理が開始されると、蓄積バッファ411は、ステップS401において、画像復号装置400の外部から供給される符号化データ(ビットストリーム)を取得して保持する(蓄積する)。
 ステップS402において、復号部412は、その符号化データ(ビットストリーム)を復号し、量子化変換係数qcoefを得る。また、復号部412は、この復号により、符号化データ(ビットストリーム)から各種符号化パラメータをパースする(解析して取得する)。
 ステップS403において、逆量子化部413は、ステップS402の処理により得られた量子化変換係数qcoefに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、係数データcoefIを得る。
 ステップS404において、逆直交変換部414は、ステップS403の処理により得られた係数データcoefIに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、残差データresiIを得る。
 ステップS405において、予測部419は、ステップS402においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ418に記憶されている参照画像を参照する等して、予測画像Pを生成する。
 ステップS406において、演算部415は、ステップS404の処理により得られた残差データresiIと、ステップS405の処理により得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
 ステップS407において、インループフィルタ部416は、ステップS406の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。
 また、ステップS408において、フレームメモリ418は、ステップS406の処理により得られた局所復号画像Rlocal、および、ステップS407の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
 ステップS409において、並べ替えバッファ417は、ステップS407の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。
 ステップS410において、並べ替えバッファ417は、再生順に並べ替えた復号画像R群を、動画像として画像復号装置400の外部に出力する。
 ステップS410の処理が終了すると、画像復号処理が終了する。
 以上のような流れの画像復号処理のステップS405の処理において、上述した本技術を適用する。つまり、予測処理における動きベクトルの復元に用いられるMV候補リストの導出において、<1.テンプレートマッチング>および<2.第1の実施の形態>において上述したように、方法#1-1乃至方法#1-6の内の少なくともいずれか1つの方法を適用し、テンプレートマッチングを簡略化して行い、MV候補リストの並び替えを行うようにする。
 このようにすることにより、テンプレートマッチングの負荷の増大を抑制することができる。つまり、この画像復号処理を実行することにより、予測処理における動きベクトルの復元の負荷の増大を抑制することができる。
 <5.第4の実施の形態>
  <修正MV候補導出への適用>
 以上においては、MV予測リストの並び替えにおけるテンプレートマッチングに本技術を適用する例について説明した。しかしながら、本技術は、任意の処理におけるテンプレートマッチングに適用することができる。つまり、本技術の適用は、上述の例、すなわち、MV予測リストの並び替えにおけるテンプレートマッチングに限定されない。
 例えば、非特許文献1において、並び替え後のMV候補リスト(MVCandList')の先頭MV候補を初期位置として、デコーダサイド動き探索(デコーダサイドME)により得られる修正MV候補を、さらにMV候補リストの先頭MV候補として追加する技術(修正MV候補導出処理)が提案された(図32)。図32の例の場合、図中左に示される並び替え後のMV候補リスト(Re-orderd candidate list)の先頭MV候補(B1)に基づいて、修正MV候補(Refine B1)が追加されて(Refinement)、図中右に示される更新後のMV候補リスト(Updated candidate list)が導出されている。
 なお、先頭MV候補と先頭MV候補の修正MVが同じ動き情報の場合は、MV候補リスト中の先頭から2番目のMV候補を初期値として、デコーダサイドMEにより得られる修正MV候補が、先頭MV候補として追加される。
 修正MV候補を導出する際、修正対象のMV候補を初期位置とする、所定MV精度の探索MVリストが設定され、その探索MVリストの各動き情報に対応する探索点の中でコストが最小となる探索点の動き情報が修正MV候補として選択される。
 この探索MVリストは、例えば、修正対象のMV候補に対する所定MV精度の動きベクトルのMVオフセットリストを予め設定しておき、初期位置に対してそれらのMVオフセットを足すことで設定される。
 例えば、図33に示されるような、探索初期位置を基準とする所定のMV精度(例えば、1/2^{max_mv_prec}-pel精度)の位置をMVオフセットとし、以下のように、そのリスト(MVオフセットリスト(MVOffsetList0))を予め定義しておく。ただし、動きベクトルの値は、2^{max_mv_prec}倍スケーリングされて表現されているものとする。
 MVOffsetIdx: 0, 1, 2, 3, 4, 5, 6, 7, 8
 MVOffsetList0
   = {(0,0),(-1,0),(0,-1),(+1,0),(0,+1),(-1,-1),(+1,-1),(+1,+1),(-1,+1)}
 この場合、MVOffsetIdxは、0乃至8の計9個のMVオフセットからなる。ただし、MVオフセットの構成は任意であり、上述の例に限定されない。例えば、MVOffsetIdxが0乃至4のMVオフセットからなるようにしてもよいし、MVOffsetidxが0、並びに、5乃至8のMVオフセットからなるようにしてもよい。
 1/2^{target_mv_prec}-pel精度のMVオフセットリストMVOffsetList(target_mv_prec)は、1/2^{max_mv_prec}-pel精度のMVオフセットリストMVOffsetList0と、所望の動きベクトルの精度を示すパラメータtarget_mv_precを基に、以下の式(36)のように導出される。
Figure JPOXMLDOC01-appb-M000020
 例えば、max_mv_prec=4 (1/16-pel精度)であって、target_mv_prec=2 (1/2-pel精度)であれば、MVOffsetList(target_mv_prec)は以下の式(37)のように導出される。
Figure JPOXMLDOC01-appb-M000021
 すなわち、MVOffsetList0の値を(1<<(max_mv_prec-target_mv_prec))倍したMVオフセットを有するMVオフセットリストが得られる。
 しかしながら、このような修正MV候補の導出の際に、MV候補リスト中のあるMV候補を初期位置として、デコーダサイドMEにより修正MV候補を取得する場合において、サブペル位置の探索が含まれると、各サブペル位置のテンプレートをMCにより生成して、テンプレートマッチングをする必要があるため、演算量が増大するおそれがあった。
  <テンプレートマッチングの簡略化>
 そこで、この修正MV候補の導出においても、図3の表の方法#1と同様に、テンプレートマッチングを簡略化するようにする。このようにすることにより、テンプレートマッチングの負荷の増大を抑制する(負荷を低減させる)ことができる。例えば、修正MV候補導出処理において行われるテンプレートマッチングを簡略化することにより、修正MV候補導出処理の負荷の増大を抑制する(負荷を低減させる)ことができる。負荷の増大を抑制することにより、例えば、ハードウエアのコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
   <方法#1-1の適用>
 テンプレートマッチングの簡略化の方法として、例えば、図3の表の方法#1-1と同様に、粗い精度でテンプレートマッチングを行うようにしてもよい。
 例えば、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出し、その導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、その導出した修正動きベクトル候補を用いて動きベクトル候補リストを更新するようにしてもよい。
 例えば、画像処理装置において、動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出するテンプレートマッチング部と、そのテンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、その導出した修正動きベクトル候補を用いて動きベクトル候補リストを更新する更新部とを備えるようにしてもよい。
 このようにすることにより、テンプレートマッチングにおいて行われる演算を簡略化することができ、負荷の増大を抑制することができる。
 特に、MV候補がサブペル(sub-pel)位置を示す場合、サブペル位置のテンプレートを動き補償により生成する必要があり、演算量が増大するおそれがあった。このようにMV候補リストが小数画素精度の場合に、例えば整数画素精度でテンプレートマッチングを行うようにすることにより、テンプレート生成(動き補償)の演算量の増大を抑制することができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
 その際、小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出するようにしてもよい。例えば、画像処理装置において、小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出する導出部をさらに備え、テンプレートマッチング部が、その導出部により導出された整数画素精度の動きベクトル候補リストの各動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出し、更新部が、そのテンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、その導出した修正動きベクトル候補を用いて小数画素精度の動きベクトル候補リストを更新するようにしてもよい。
 このようにすることにより、容易に整数精度でのテンプレートマッチングを行うことができる。
 例えば、導出部が、小数画素精度の各MV候補を整数画素精度に変換して、小数画素精度のMV候補リストに対応する整数画素精度のMV候補リストを生成し、その整数画素精度のMV候補リストを用いてテンプレートマッチングを行うようにしてもよい。このようにすることにより、小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出することができる。
   <方法#1-2の適用>
 また、例えば、図3の表の方法#1-2と同様に、重複するMV候補(重複MV)のテンプレートマッチングをスキップ(省略)するようにしてもよい。例えば、画像処理装置において、テンプレートマッチング部が、既にテンプレートマッチングが行われた動きベクトル候補と同一の動きベクトル候補に対するテンプレートマッチングをスキップするようにしてもよい。このようにすることにより、テンプレートマッチングの回数の増大を抑制する(回数を削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-3の適用>
 さらに、例えば、図3の表の方法#1-3と同様に、テンプレートの一部の画素を間引くようにしてもよい。例えば、カレントPUのサイズに応じた間引き率(割合)で、テンプレートの一部の画素を間引くようにしてもよい。例えば、画像処理装置において、テンプレートマッチング部が、カレントブロックのサイズに応じたサンプリング間隔の、そのカレントブロックのテンプレートと、そのカレントブロックのサイズに応じたサンプリング間隔の、探索点のテンプレートとの間でテンプレートマッチングを行い、コストを導出するようにしてもよい。
 換言するに、カレントPUの隣接復号済み画素群(カレントPUに隣接する所定の領域の画素群)から、そのカレントPUのサイズに応じた間隔で画素をサンプリングし(つまり、その隣接復号済み画素群からカレントPUのサイズに応じた割合(抽出率)で画素を抽出し)、そのサンプリングした画素により構成されるテンプレートを生成するようにしてもよい。
 このようにテンプレートを生成することにより、テンプレートの画素数が低減するので、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-4の適用>
 ところで、カレントPUがCTU境界に隣接する場合、テンプレートマッチングで参照するテンプレートのサイズだけ、CTUレベルのラインバッファを確保する必要があり、メモリサイズが増大するおそれがあった。
 そこで、例えば、図3の表の方法#1-4と同様に、カレントPUがCTU境界に隣接する場合、テンプレートのライン数を削減するようにしてもよい。つまり、カレントPUの位置に応じたサイズでテンプレートが生成される(すなわち、テンプレートサイズが、カレントPUの位置に応じて設定される)ようにしてもよい。
 例えば、画像処理装置において、テンプレートマッチング部が、カレントブロックの位置に応じたサイズのカレントブロックのテンプレートと、そのカレントブロックの位置に応じたサイズの探索点のテンプレートとのテンプレートマッチングを行い、コストを導出するようにしてもよい。
 このようにテンプレートを生成することにより、テンプレート生成に使用する復号済み画素の増大を抑制する(テンプレート生成に使用する復号済み画素を削減する)ことができる。つまり、その復号済み画素を記憶(保持)するラインバッファのサイズの増大を抑制する(ラインバッファサイズを削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-5の適用>
 また、カレントPUのサイズが小さい場合、テンプレートマッチングの際に、隣接復号済画素群や参照ピクチャへのアクセス回数が増大し、使用するメモリバンドが増大する(つまり負荷が増大する)おそれがあった。
 そこで、例えば、図3の表の方法#1-5と同様に、カレントPUのサイズが小さい場合(例えばカレントPUのサイズが所定の閾値より小さい場合)、上述の修正MV候補導出処理(つまり、MV候補リストの更新処理)をスキップ(省略)するようにしてもよい。
 例えば、画像処理装置において、テンプレートマッチング部および更新部が、カレントブロックが所定の閾値より小さい場合、処理をスキップするようにしてもよい。
 このように制御することにより、負荷が大きな、サイズが小さいカレントPUに対するテンプレートマッチング(修正MV候補導出処理)をスキップすることができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。
   <方法#1-6の適用>
 また、複数予測の場合、各予測について探索点のテンプレートを作成する必要があるため負荷が増大するおそれがあった。そこで、例えば、図3の表の方法#1-6と同様に、複数予測を行うMV候補に対して、予測数を削減し、単予測によるテンプレートマッチングを行うようにしてもよい。例えば、画像処理装置において、テンプレートマッチング部が、複数予測の動きベクトル候補について、単数予測を設定し、その単数予測の動きベクトル候補としてカレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出するようにしてもよい。
 このようにすることにより、テンプレートの生成数の増大を抑制する(テンプレートの生成数を削減する)ことができるので、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。
   <各方法の組み合わせ>
 なお、上述した方法#1-1乃至方法#1-6は、それぞれ単独で適用することもできるし、複数の方法を組み合わせて適用することもできる。例えば、方法#1-1を、方法#1-2乃至方法#1-6のいずれかと組み合わせて用いるようにしてもよい。また、例えば、方法#1-2乃至方法#1-6の中で複数の方法を組み合わせてもよい。勿論、組み合わせる方法の数は任意であり、3つ以上の方法を組み合わせてもよい。
  <MV候補リスト導出装置>
 図34は、本技術を適用した画像処理装置の一態様であるMV候補リスト導出装置の構成の一例を示すブロック図である。図34に示されるように、この場合のMV候補リスト導出装置100は、図4の場合と同様に第1MV精度MV候補リスト導出部101を有する。ただし、図4の場合のMV候補リスト並び替え部102の代わりに、修正MV候補導出部502を有する。MV候補リスト導出装置100は、MV候補リストの導出、並びに、修正MV候補の導出およびその修正MV候補を用いたMV候補リストの更新を行う。
 第1MV精度MV候補リスト導出部101は、第1の実施の形態において説明した通り、第1MV精度のMV候補リスト(MVCandList)と、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)を導出(生成)する。第1MV精度MV候補リスト導出部101は、生成した第1MV精度のMV候補リストとその第1MV精度のMV候補リストに含まれるMV候補の数を示す情報とを、修正MV候補導出部502に供給する。
 修正MV候補導出部502は、第1MV精度MV候補リスト導出部101より供給された第1MV精度のMV候補リストを用いて、修正MV候補を導出し、その修正MV候補を用いて、第1MV精度のMV候補リストを更新する。修正MV候補導出部502は、テンプレートマッチング部511を備え、このテンプレートマッチング部511によるテンプレートマッチングを利用して、この修正MV候補の導出を行う。修正MV候補導出部502は、更新後のMV候補リスト(MVCandList')を、導出したMV候補リストとして出力する。また、その際、修正MV候補導出部502は、第1MV精度のMV候補リスト(更新後MV候補リスト)に含まれるMV候補の数を示す情報(numMVCand)も出力する。
 テンプレートマッチング部511は、(修正MV候補導出のための)テンプレートマッチングを簡略化して行う。
 したがって、テンプレートマッチング部511は、<テンプレートマッチングの簡略化>において上述したように、テンプレートマッチングの負荷の増大を抑制することができ、修正MV候補導出部502は、修正MV候補導出の負荷の増大を抑制することができる。したがって、MV候補リスト導出装置100は、MV候補リスト導出の負荷の増大を抑制することができる。
  <MV候補リスト導出処理の流れ>
 このMV候補リスト導出装置100により実行されるMV候補リスト導出処理の流れの例を、図35のフローチャートを参照して説明する。
 この場合のMV候補リスト導出処理が開始されると、第1MV精度MV候補リスト導出部101は、ステップS501において、カレントPUに対する第1MV精度のMV候補リスト(MVCandList)を導出(生成)する。なお、その際、第1MV精度MV候補リスト導出部101は、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)を導出(生成)する。
 ステップS502において、修正MV候補導出部502は、テンプレートマッチングに基づいて修正MV候補を導出し、ステップS501において導出された第1MV精度のMV候補リストを更新し、更新後のMV候補リスト(MVCandList')を導出(生成)する。
 ステップS502の処理が終了すると、MV候補リスト導出処理が終了する。
 以上のように各ステップの処理を実行することにより、<テンプレートマッチングの簡略化>において上述したように、テンプレートマッチングの負荷の増大を抑制することができる。つまり、修正MV候補導出の負荷の増大を抑制することができる。すなわち、MV候補リスト導出の負荷の増大を抑制することができる。
  <方法#1-1:修正MV候補導出部への適用>
 次に、修正MV候補導出部502が、図3の方法#1-1により、修正MV候補の導出を行う場合について説明する。図36は、図34の修正MV候補導出部502の構成の一例を示すブロック図である。図36に示されるように、この場合の修正MV候補導出部502は、第2MV精度探索MVリスト導出部521、MV候補リスト更新部522、およびテンプレートマッチング部511を有する。
   <第2MV精度探索MVリスト導出部>
 第2MV精度探索MVリスト導出部521は、第1MV精度MV候補リスト導出部101から供給される第1MV精度のMV候補リスト(MVCandList)と、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)とを取得する。第2MV精度探索MVリスト導出部521は、その取得した第1MV精度のMV候補リスト(MVCandList)に対応する、第2MV精度の探索MVリスト(searchMVList)を導出(生成)する。
 第1MV精度および第2MV精度は、第1の実施の形態において説明した通りである。
 第2MV精度を示すMV精度パラメータ(targetMVPrec)が第2MV精度探索MVリスト導出部521に入力される。第2MV精度探索MVリスト導出部521は、その入力されたMV精度パラメータ(targetMVPrec)に基づいて、第1MV精度MV候補リスト導出部101から供給される第1MV精度のMV候補リストに対応する、そのMV精度パラメータ(targetMVPrec)が示す第2MV精度の探索MVリスト(searchMVList)を導出(生成)する。なお、この第2MV精度は、固定値であってもよいし、ユーザ等により設定することができるようにしてもよい。
 また、第2MV精度探索MVリスト導出部521は、導出した第2MV精度の探索MVリスト(searchMVList)を、その探索MVリストに含まれる探索MVの数を示す情報(numSearchMV)とともに、テンプレートマッチング部111(の探索点テンプレート生成部532)に供給する。
    <第2MV精度の探索MVリストの導出>
 例えば、第2MV精度探索MVリスト導出部521は、例えば、修正対象のMV候補に対する所定MV精度(=1/2^target_mv_prec-pel精度)の動きベクトルのオフセットリストMVOffsetList(target_mv_prec)を予め定義しておき、初期位置(to-be-refined-mv)に対して、オフセットの値を足すことで、以下の式(38)のように、探索MVリスト(searchMVList)を導出(生成)する。
Figure JPOXMLDOC01-appb-M000022
 MVオフセットリストは、図33を参照して説明したとおりである。ここで、target_mv_prec=0と設定することで、図37に示されるように、1-pel MV精度の探索MVリスト(searchMVList)を導出することができる。例えば、MVPの指す位置と、最近某の整数画素(int-pel)位置(IntPelMVs)に絞る。このようにすることにより、MVPの初期位置を除いて、サブペル精度のMC不要で、Decoder-side MEを実施できる。つまり、サブペル精度のテンプレートマッチングを省略することができるので、修正MV候補導出におけるテンプレートマッチング処理を簡略することができる。
   <テンプレートマッチング部>
 テンプレートマッチング部111は、第2MV精度探索MVリスト導出部521により導出された第2MV精度の探索MVリストを用いてテンプレートマッチングを行い、コストを導出(算出)する。
 図36に示されるように、テンプレートマッチング部111は、カレントPUテンプレート生成部531、探索点テンプレート生成部532、およびコスト算出部533を有する。
    <カレントPUテンプレート生成部>
 カレントPUテンプレート生成部531は、カレントPUテンプレート生成部131と同様の処理部であり、同様の構成を有し、同様の処理を行う。例えば、カレントPUテンプレート生成部531は、カレントPUのテンプレート(curTemplate)を生成する。カレントPUテンプレート生成部531は、生成したカレントPUのテンプレート(curTemplate)をコスト算出部533に供給する。
    <探索点テンプレート生成部>
 探索点テンプレート生成部532は、第2MV精度探索MVリスト導出部521により導出された第2MV精度の探索MVリストと、ピクチャバッファから復号済みの画素値とを取得し、それらに基づいて、探索点のテンプレートを導出(生成)する。例えば、探索点テンプレート生成部532は、第2MV精度の探索MVリストの各探索MV(seachMVList[i])の動き情報に対応するテンプレートを生成する。探索点テンプレート生成部532は、生成した各探索点のテンプレートをコスト算出部533に供給する。
    <コスト算出部>
 コスト算出部533は、コスト算出部133と同様の処理部であり、同様の構成を有し、同様の処理を行う。例えば、コスト算出部533は、カレントPUテンプレート生成部531から供給されたカレントPUのテンプレートと、探索点テンプレート生成部532から供給された探索点のテンプレートとを用いて、そのコスト(cost)を導出(算出)する。コスト算出部533は、算出したコストをコストリスト(costList)としてMV候補リスト更新部522に供給する。
   <MV候補リスト更新部>
 MV候補リスト更新部522は、第1MV精度MV候補リスト導出部101から供給される第1MV精度のMV候補リスト(MVCandList)と、コスト算出部533から供給される、第2MV精度の探索MVリスト(searchMVList)の各探索MVに対応するテンプレートマッチングのコストリスト(CostList)とを入力とする。MV候補リスト更新部522は、そのコストリストを参照して、コストが最小となる探索MVを修正MV候補として選択し、その修正MV候補を用いて(修正MV候補を挿入する等して)、第1MV精度のMV候補リスト(MVCandList)を更新する。
 以上のように、第2MV精度探索MVリスト導出部521は、第1MV精度のMV候補リストに対応する、第1のMV精度よりも粗い(低精度の)第2MV精度の探索MVリストを生成し、テンプレートマッチング部111は、その第2MV精度の探索MVリストを用いてテンプレートマッチングを行ってコストを算出し、MV候補リスト更新部522は、そのテンプレートマッチングにより得られたコストに基づいて修正MV候補を導出し、その修正MV候補を用いて(挿入する等して)第1MV精度のMV候補リストを更新する。
 したがって、修正MV候補導出部502は、テンプレートマッチングの負荷の増大を抑制することができ、これにより、修正MV候補導出(MV候補リストの更新)の負荷の増大を抑制することができる。
  <修正MV候補導出処理の流れ>
 図38および図39のフローチャートを参照して、この場合(方法#1-1)の修正MV候補導出部502により、図35のステップS502において実行される修正MV候補導出処理の流れの例を説明する。
 修正MV候補導出処理が開始されると、カレントPUテンプレート生成部531は、ステップS511において、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS512において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補(to-be-refined-mv)を、以下の式(39)のように、第1MV精度のMV候補リスト(MVCandList)の中から選択する。
 to-be-refined-mv = MVCandList[tgt_idx] ・・・(39)
 ステップS513において、第2MV精度探索MVリスト導出部521修正対象のMV候補を初期位置とする、1-pel精度の探索MVリスト(searchMVList)を設定する。
 ステップS514において、探索点テンプレート生成部532は、変数iに初期値(例えば「0」)をセットする。
 ステップS515において、探索点テンプレート生成部532は、探索MV(searchMVList[i])の動き情報に対応するテンプレートを生成する。
 ステップS516において、コスト算出部533は、カレントPUのテンプレートと探索点(searchPoints[i])に対応するテンプレートとからコスト(CostList[i])を導出する。
 ステップS517において、探索点テンプレート生成部532は、変数iの値が探索MVリスト(searchMVList)に含まれる探索MVの数を示す値(numSearchMV)よりも小さいか否かを判定する。変数iがその値(numSearchMV)よりも小さい(i < numSearchMV)と判定された場合、処理はステップS518に進む。
 ステップS518において、探索点テンプレート生成部532は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS518の処理が終了すると処理はステップS515に戻り、それ以降の処理を繰り返す。
 つまり、ステップS515乃至ステップS518の各処理が、各探索MV(探索MVに対応するコスト(CostList[i]))について実行される。
 そして、ステップS517において、変数iが値(numSearchMV)以上である(i ≧ numSearchMV)と判定された場合、処理は図39のステップS521に進む。
 図39のステップS521において、MV候補リスト更新部522は、探索点(searchPoints[i](i=0,...,numSearch Points))の中で、コストが最小となる探索点(best_pos)の動き情報を修正MV候補とする。
 ステップS522において、MV候補リスト更新部522は、修正MV候補と同じ動きベクトル情報がMV候補リストに存在しない場合、修正MV候補をMV候補リストへ追加する(numRefinedMV++)。
 ステップS523において、MV候補リスト更新部522は、次のMV候補の補正処理へ移るか否かを判定する。例えば、予め定義された修正MV候補の最大数maxNumRefinedMVに対して、MV候補リストへ追加した修正MV候補の数(numRefinedMV)を比較して、修正MV候補数numRefinedMVがmaxNumRefinedMV以下であれば、次のMV候補の補正処理へ進む。その場合、処理は、図38のステップS512に戻る。また、そうでなければ、修正MV候補導出処理が終了する。
 つまり、第2MV精度探索MVリスト導出部521が、図38のステップS513の処理において、第2のMV精度(例えば整数画素精度)の探索MVリストを設定する。したがって、テンプレートマッチング(ステップS516)を簡略化することができ、負荷の増大を抑制することができる。つまり、修正MV候補導出部502は、修正MV候補導出の負荷の増大を抑制することができる。
  <方法#1-2:修正MV候補導出部への適用>
 次に、図3の方法#1-2を適用する場合について説明する。図40は、図34の修正MV候補導出部502の構成の一例を示すブロック図である。この場合の修正MV候補導出部502は、方法#1-1および方法#1-2を用いて修正MV候補の導出を行う。すなわち、修正MV候補導出部502は、粗い精度でテンプレートマッチングを行い、さらに、テンプレートマッチングが実行済みの探索MVと同一の探索MV(重複MV)を検出し、その探索MVのテンプレートマッチングをスキップする(実行済みテンプレートマッチング結果(コスト値)を流用する)。
 この場合の修正MV候補導出部502は、図40に示されるように、図36の場合と同様に、第2MV精度探索MVリスト導出部521、MV候補リスト更新部522、およびテンプレートマッチング部511を有する。ただし、テンプレートマッチング部511は、図36の場合の構成に加え、重複MV検出部541を有する。
 重複MV検出部541は、第2MV精度探索MVリスト導出部521により導出(生成)された第2MV精度の探索MVリストを取得する。重複MV検出部541は、重複MV検出部141の場合と同様の手法により、その第2MV精度の探索MVリストに含まれる処理対象の探索MVが、同じ第2のMV精度の探索MVリストに含まれる、既にテンプレートマッチングが行われた探索MVと同一であるか否かを判定する。そして、重複MV検出部541は、重複MV検出部141の場合と同様の手法により、その判定結果に応じて、すなわち重複MVの検出結果に応じて、処理対象の探索MVに対して、テストフラグ(ToBeTestFlag)と、コスト参照インデックス(CostRefIdx)とを設定する。
 重複MV検出部541は、設定したテストフラグ(ToBeTestFlag)とコスト参照インデックス(CostRefIdx)の情報をコスト算出部533に供給する。
 コスト算出部533は、それらの情報に基づいてテンプレートマッチングを実行するかスキップする(コストを複製する)かして、各探索MVに対応するコストを算出する。
 このようにすることにより、修正MV候補導出部502は、テンプレートマッチングの回数の増大を抑制する(回数を削減する)ことができ、テンプレートマッチングの負荷の増大を抑制することができる。つまり、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。また、これにより、修正MV候補導出の負荷の増大を抑制することができる。つまり、修正MV候補導出に必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
  <修正MV候補導出処理の流れ>
 図41および図42のフローチャートを参照して、この場合(方法#1-2(および方法#1-1))の修正MV候補導出部502により、図35のステップS502において実行される修正MV候補導出処理の流れの例を説明する。
 修正MV候補導出処理が開始されると、カレントPUテンプレート生成部131は、図41のステップS531において、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS532において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を第1MV精度のMV候補リスト(MVCandList)から選択する(to-be-refined-mv = MVCandList[tgt_idx])。
 ステップS533において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を初期位置とする1-pelMV精度の探索MVリスト(searchMVList)を設定する。
 ステップS534において、重複MV検出部541は、1-pelMV精度の探索MVリスト中の重複MVを検出し、各探索MVについて、テンプレートマッチングを行うかを示すテストフラグ(ToBeTestedFlag)と、コストのコピー元を示すコスト参照インデックス(CostRefIdx)とを設定する。
 ステップS535において、探索点テンプレート生成部532は、変数iに初期値(例えば「0」)をセットする。
 ステップS536において、探索点テンプレート生成部532は、探索MV(searchMVList[i])のテストフラグが真であるか否かを判定する。このテストフラグが真である(例えば、ToBeTestFlag[i] == 1)と判定された場合、処理は、ステップS537に進む。
 ステップS537において、探索点テンプレート生成部532は、処理対象の探索MVの動きベクトル情報を参照して、その動きベクトル情報に対応するテンプレートを生成する。ステップS537の処理が終了すると処理は図42のステップS541に進む。
 図42のステップS541において、コスト算出部533は、図41のステップS531において生成されたカレントPUのテンプレートと、図41のステップS537において生成された処理対象の第2MV精度の探索点(searchPoints[i])に対応するテンプレートとに基づいて、コスト(CostList[i])を導出する。コストが導出されると処理はステップS543に進む。
 また、図41のステップS536において、探索MVのテストフラグが偽である(例えば、ToBeTestFlag[i] == 0)と判定された場合、処理は、図42のステップS542に進む。
 ステップS542において、コスト算出部533は、図41のステップS534において設定されたコスト参照インデックス(CostRefIdx)が示すコストを、処理対象の探索MVのコストに設定する。つまり、同一の動き情報のコスト値を再利用(代用)する。これにより、処理対象の探索MVについてのコスト値の算出(テンプレートマッチング)を省略することができる。ステップS542の処理が終了すると処理はステップS543に進む。
 ステップS543において、探索点テンプレート生成部532は、変数iの値が探索MVリスト(searchMVList)に含まれる探索MVの数を示す値(numSearchMV)よりも小さいか否かを判定する。変数iがその値(numSearchMV)よりも小さい(i < numSearchMV)と判定された場合、処理はステップS544に進む。
 ステップS544において、探索点テンプレート生成部532は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS544の処理が終了すると処理は図41のステップS536に戻り、それ以降の処理を繰り返す。
 つまり、ステップS536乃至ステップS544の各処理が、各探索MV(探索MVに対応するコスト(CostList[i]))について実行される。
 そして、図42のステップS543において、変数iが値(numSearchMV)以上である(i ≧ numSearchMV)と判定された場合、処理はステップS545に進む。
 ステップS545において、MV候補リスト更新部522は、コストリスト(CostList)を参照して、探索点(searchPoints[i])の中でコストが最小となる探索点(best_pos)の動き情報を修正MV候補とする(refined-mv = to-be-refined-mv + offsetList[best_pos])。
 ステップS546において、MV候補リスト更新部522は、修正MV候補と同じ動きベクトル情報がMV候補リストに存在しない場合、修正MV候補をMV候補リストへ追加する(numRefinedMV++)。
 ステップS547において、MV候補リスト更新部522は、次のMV候補の補正処理へ移るか否かを判定する。次のMV候補の補正処理へ進むと判定された場合、処理は、図41のステップS532に戻る。また、図42のステップS547において、次のMV候補の補正処理へ移らないと判定された場合、修正MV候補導出処理が終了する。
 以上のように、修正MV候補導出処理を行うことにより、修正MV候補導出部502は、テンプレートマッチングの回数の増大を抑制する(回数を削減する)ことができ、修正MV候補導出の負荷の増大を抑制することができる。
  <方法#1-3:テンプレートの間引きへの適用>
 次に、図3の方法#1-3を適用する場合について説明する。方法#1-3では、一部の画素を間引いたテンプレートを用いてテンプレートマッチングを行う。
 このようにすることにより、方法#1-3を適用しない場合の同一サイズのテンプレートと比べて、画素数が低減するので、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。これにより、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
 また、この間引き率をカレントPUのサイズに応じて設定するようにする。これにより、ブロックサイズの増大に伴うテンプレートの画素数の増大(すなわち、演算量の増大)を抑制したり、小さいブロックサイズに対してもテンプレートの画素数が適切となるように制御したりすることができる。
 なお、この場合も、テンプレートの画素数の制御は、生成したテンプレートから画素を間引くようにしてもよいし、方法#1-3を適用しない場合においてテンプレートに含められる隣接画素群の中の一部の画素をサンプリング(抽出)し、そのサンプリングした画素を用いてテンプレートを生成するようにしてもよい。
 また、この場合も、画素の間引き方(抽出(サンプリング)の仕方)は任意である。例えば、上部テンプレートは、列(カラム)毎に間引く(抽出する(サンプリングする))ようにし、左部テンプレートは、行(ライン)毎に間引く(抽出する(サンプリングする))ようにしてもよい。
  <修正MV候補導出部>
 図43は、図34の修正MV候補導出部502の構成の一例を示すブロック図である。この場合の修正MV候補導出部502は、方法#1-1および方法#1-3を用いて修正MV候補の導出を行う。すなわち、修正MV候補導出部502は、粗い精度でテンプレートマッチングを行い、さらに、カレントPUのサイズに応じた間引き率(割合)で、テンプレートの一部の画素を間引く。
 この場合の修正MV候補導出部502は、図43に示されるように、図36の場合と同様に、第2MV精度探索MVリスト導出部521、MV候補リスト更新部522、およびテンプレートマッチング部511を有する。ただし、テンプレートマッチング部511は、図36の場合の構成に加え、テンプレート間引き率導出部551を有する。
   <テンプレート間引き率導出部>
 テンプレート間引き率導出部551は、テンプレート間引き率導出部151の場合と同様の手法により、カレントPUのサイズに応じて、上部テンプレートおよび左部テンプレートの間引き率を導出する。テンプレート間引き率導出部551は、導出したテンプレート間引き率をカレントPUテンプレート生成部531および探索点テンプレート生成部532に供給する。
   <カレントPUテンプレート生成部>
 この場合、カレントPUテンプレート生成部531は、供給されたテンプレート間引き率を参照して、カレントPUのテンプレート(curTemplate)を生成する。カレントPUテンプレート生成部531は、生成したカレントPUのテンプレートをコスト算出部533に供給する。
   <探索点テンプレート生成部>
 探索点テンプレート生成部532は、テンプレート間引き率導出部551から供給されたテンプレート間引き率を参照して、探索点(searchMVList[i])の動き情報に対応するテンプレートを導出(生成)する。探索点テンプレート生成部532は、生成した探索点のテンプレートをコスト算出部533に供給する。
   <コスト算出部>
 コスト算出部533は、以上のように生成されたテンプレート(一部の画素が間引かれたテンプレート)を用いてテンプレートマッチングを行う。したがって、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。つまり、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。また、これにより、修正MV候補導出の負荷の増大を抑制することができる。つまり、修正MV候補導出に必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
  <修正MV候補導出処理の流れ>
 図44および図45のフローチャートを参照して、この場合(方法#1-3(および方法#1-1))の修正MV候補導出部502により、図35のステップS502において実行される修正MV候補導出処理の流れの例を説明する。
 修正MV候補導出処理が開始されると、テンプレート間引き率導出部151は、ステップS561において、上部テンプレートおよび左部テンプレートのテンプレート間引き率を導出する。
 ステップS562において、カレントPUテンプレート生成部531は、ステップS561において導出されたテンプレート間引き率を参照して、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS563において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を第1MV精度のMV候補リスト(MVCandList)から選択する(to-be-refined-mv = MVCandList[tgt_idx])。
 ステップS564において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を初期位置とする1-pelMV精度の探索MVリスト(searchMVList)を設定する。
 ステップS565において、探索点テンプレート生成部532は、変数iに初期値(例えば「0」)をセットする。
 ステップS566において、探索点テンプレート生成部532は、ステップS561において導出されたテンプレート間引き率を参照して、探索MV(searchMVList[i])の動き情報に対応するテンプレートを生成する。
 ステップS567において、コスト算出部533は、ステップS562において生成されたカレントPUのテンプレートと、ステップS566において生成された第2MV精度の探索点のテンプレートとに基づいて、コスト(CostList[i])を導出する。つまり、コスト算出部533は、ステップS561において導出されたテンプレート間引き率を参照して生成されたテンプレート(テンプレート間引き率で画素が間引かれたテンプレート)を用いて、テンプレートマッチングを行い、コストを導出する。
 ステップS568において、探索点テンプレート生成部532は、変数iの値が、探索MVリスト(searchMVList)に含まれる探索MVの数を示す値(numSearchMV)よりも小さいか否かを判定する。変数iがその値(numSearchMV)よりも小さい(i < numSearchMV)と判定された場合、処理はステップS569に進む。
 ステップS569において、探索点テンプレート生成部532は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS569の処理が終了すると処理はステップS566に戻り、それ以降の処理を繰り返す。
 つまり、ステップS566乃至ステップS569の各処理が、各探索MV(探索MVに対応するコスト(CostList[i]))について実行される。
 そして、ステップS568において、変数iが値(numSearchMV)以上である(i ≧ numSearchMV)と判定された場合、処理は図45のステップS571に進む。
 ステップS571においてMV候補リスト更新部522は、コストリスト(CostList)を参照して、探索点(searchPoints[i])の中でコストが最小となる探索点(best_pos)を検索し、その動き情報を修正MV候補とする(refined-mv = to-be-refined-mv + offsetList[best_pos])。
 ステップS572において、MV候補リスト更新部522は、修正MV候補と同じ動きベクトル情報がMV候補リストに存在しない場合、修正MV候補をMV候補リストへ追加する(numRefinedMV++)。
 ステップS573において、MV候補リスト更新部522は、次のMV候補の補正処理へ移るか否かを判定する。次のMV候補の補正処理へ進むと判定された場合、処理は、図44のステップS563に戻る。また、図45のステップS573において、次のMV候補の補正処理へ移らないと判定された場合、修正MV候補導出処理が終了する。
 以上のように、修正MV候補導出処理を行うことにより、修正MV候補導出部502は、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができ、修正MV候補導出の負荷の増大を抑制することができる。
  <方法#1-4:修正MV候補導出部への適用>
 次に、図3の方法#1-4を適用する場合について説明する。図46は、図34の修正MV候補導出部502の構成の一例を示すブロック図である。この場合の修正MV候補導出部502は、方法#1-1および方法#1-4を用いて修正MV候補導出を行う。すなわち、修正MV候補導出部502は、粗い精度でテンプレートマッチングを行い、さらに、カレントPUの位置に応じてテンプレートサイズを制御する。
 この場合の修正MV候補導出部502は、図46に示されるように、図36の場合と同様に、第2MV精度探索MVリスト導出部521、MV候補リスト更新部522、およびテンプレートマッチング部511を有する。ただし、テンプレートマッチング部511は、図36の場合の構成に加え、テンプレートサイズ設定部561を有する。
   <テンプレートサイズ設定部>
 テンプレートサイズ設定部561は、上部テンプレートおよび左部テンプレートのサイズ(テンプレートサイズ)を設定する。カレントCTUを符号化・復号するために必要な隣接復号済画素群(ラインバッファ)を削減することにより、ハードウエアの回路規模を削減することができる。そこで、テンプレートサイズ設定部561は、復号済画素を保持するCTUレベルのラインバッファのサイズを削減するために、テンプレートサイズ設定部161の場合と同様に手法により、CTU内におけるカレントPUの位置に応じて、テンプレートサイズを設定するようにする。この場合もtemplateSize1およびtemplateSize2の値は、templateSize1<templateSize2の関係を有する限り、任意である。
 同様に、イントラ予測の参照画素領域のサイズも、CTU内におけるカレントPUの位置に応じて決定するようにしてもよい。このようにすることにより、イントラ予測の参照画素領域の保持に用いられるラインバッファの増大を抑制する(ラインバッファを削減する)ことができる。
 テンプレートサイズ設定部561は、以上のように設定したテンプレートサイズの情報をカレントPUテンプレート生成部531および探索点テンプレート生成部532に供給する。
   <カレントPUテンプレート生成部>
 カレントPUテンプレート生成部531は、テンプレートサイズ設定部561から供給されたテンプレートサイズを参照して、カレントPUのテンプレートを生成する。カレントPUテンプレート生成部531は、生成したカレントPUのテンプレートをコスト算出部533に供給する。
   <探索点テンプレート生成部>
 探索点テンプレート生成部532は、第2MV精度探索MVリスト導出部521により導出された第2MV精度の探索MVリストと、ピクチャバッファから復号済みの画素値と、テンプレートサイズ設定部561から供給されたテンプレートサイズを取得し、それらに基づいて、探索MVのテンプレートを導出(生成)する。探索点テンプレート生成部532は、生成した探索MVのテンプレートをコスト算出部533に供給する。
   <コスト算出部>
 コスト算出部533は、以上のように生成されたテンプレート(カレントPUの位置に応じてテンプレートサイズが制御されたテンプレート)を用いてテンプレートマッチングを行う。したがって、テンプレート生成に使用する復号済み画素の増大を抑制する(テンプレート生成に使用する復号済み画素を削減する)ことができる。つまり、その復号済み画素を記憶(保持)するラインバッファのサイズの増大を抑制する(ラインバッファサイズを削減する)ことができる。つまり、テンプレートマッチングの負荷の増大を抑制することができる。また、これにより、修正MV候補の導出の負荷の増大を抑制することができる。
  <修正MV候補導出処理の流れ>
 図47および図48のフローチャートを参照して、この場合(方法#1-4(および方法#1-1))の修正MV候補導出部502により、図35のステップS502において実行される修正MV候補導出処理の流れの例を説明する。
 修正MV候補導出処理が開始されると、テンプレートサイズ設定部561は、ステップS581において、上部テンプレートおよび左部テンプレートのテンプレートサイズを設定する。
 ステップS582において、カレントPUテンプレート生成部531は、ステップS581において設定されたテンプレートサイズを参照して、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS583において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を第1MV精度のMV候補リスト(MVCandList)から選択する(to-be-refined-mv = MVCandList[tgt_idx])。
 ステップS584において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を初期位置とする1-pelMV精度の探索MVリスト(searchMVList)を設定する。
 ステップS585において、探索点テンプレート生成部532は、変数iに初期値(例えば「0」)をセットする。
 ステップS586において、探索点テンプレート生成部532は、ステップS581において導出されたテンプレートサイズを参照して、探索MV(searchMVList[i])の動き情報に対応するテンプレートを生成する。
 ステップS587において、コスト算出部533は、ステップS582において生成されたカレントPUのテンプレートと、ステップS586において生成された探索点(searchPoints[i])に対応するテンプレートとから、コスト(CostList[i])を導出する。つまり、コスト算出部533は、ステップS581において設定されたテンプレートサイズ(カレントPUの位置に応じて設定されたテンプレートサイズ)のテンプレートを用いて、テンプレートマッチングを行い、コストを導出する。
 ステップS588において、探索点テンプレート生成部532は、変数iの値が、探索MVリストに含まれる探索MVの数を示す値(numSearchMV)よりも小さいか否かを判定する。変数iがその値(numSearchMV)よりも小さい(i < numSearchMV)と判定された場合、処理はステップS589に進む。
 ステップS589において、探索点テンプレート生成部532は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS589の処理が終了すると処理はステップS586に戻り、それ以降の処理を繰り返す。つまり、ステップS586乃至ステップS589の各処理が、各探索MV(各探索MVに対応するコスト(CostList[i]))について実行される。
 そして、ステップS587において、変数iが値(numSearchMV)以上である(i ≧ numSearchMV)と判定された場合、処理は図48のステップS591に進む。
 図48のステップS591において、MV候補リスト更新部522は、探索点(searchPoints[i])の中でコストが最小となる探索点(best_pos)の動き情報を修正MV候補とする(refined-mv = to-be-refined-mv + offsetList[best_pos])。
 ステップS592において、MV候補リスト更新部522は、修正MV候補と同じ動きベクトル情報がMV候補リストに存在しない場合、修正MV候補をMV候補リストへ追加する(numRefinedMV++)。
 ステップS593において、MV候補リスト更新部522は、次のMV候補の補正処理へ移るか否かを判定する。次のMV候補の補正処理へ進むと判定された場合、処理は、図47のステップS583に戻る。また、図48のステップS593において、次のMV候補の補正処理へ移らないと判定された場合、修正MV候補導出処理が終了する。
 以上のように、修正MV候補導出処理を行うことにより、修正MV候補導出部502は、テンプレートマッチングに用いられるラインバッファのサイズの増大を抑制する(ラインバッファサイズを削減する)ことができ、修正MV候補導出の負荷の増大を抑制することができる。
  <方法#1-5:修正MV候補導出部への適用>
 次に、図3の方法#1-5を適用する場合について説明する。図49は、図34の修正MV候補導出部502の構成の一例を示すブロック図である。この場合の修正MV候補導出部502は、方法#1-1および方法#1-5を用いて修正MV候補の導出を行う。すなわち、修正MV候補導出部502は、粗い精度でテンプレートマッチングを行い、さらに、カレントPUのサイズが小さい場合、修正MV候補導出処理をスキップ(省略)する。
 この場合の修正MV候補導出部502は、図49に示されるように、図36の場合の構成(第2MV精度探索MVリスト導出部521、MV候補リスト更新部522、およびテンプレートマッチング部511)に加え、ブロックサイズ判定部571を有する。
   <ブロックサイズ判定部>
 ブロックサイズ判定部571は、ブロックサイズ判定部171と同様の手法により、カレントPUのブロックサイズを判定する。例えば、ブロックサイズ判定部571は、カレントPUのブロックサイズを示す情報に基づいて、そのカレントPUのブロックサイズが所定の閾値より小さいか否かを判定する。そして、カレントPUのブロックサイズが所定の閾値より小さいと判定された場合、ブロックサイズ判定部571は、第2MV精度探索MVリスト導出部521、テンプレートマッチング部511、およびMV候補リスト更新部522を制御し、それぞれの処理をスキップ(省略)させる。つまり、修正MV候補導出処理をスキップ(省略)させる。
 カレントPUのブロックサイズが小さいと、テンプレートマッチングの際に隣接復号済画素群や参照ピクチャへのアクセス回数が増大し、処理に必要なメモリバンドが増大するおそれがあった。そこで、修正MV候補導出部502は、カレントPUのサイズが所定ブロックサイズより小さい場合、テンプレートマッチングによる修正MV候補の導出処理を省略する。このように制御することにより、処理に必要なメモリバンドの増大を抑制することができる。つまり、テンプレートマッチングや修正MV候補導出の負荷の増大を抑制することができる。
  <MV候補リスト導出処理の流れ>
 図50のフローチャートを参照して、この場合のMV候補リスト導出装置100により実行されるMV候補リスト導出処理の流れの例を説明する。
 MV候補リスト導出処理が開始されると、第1MV精度MV候補リスト導出部101は、ステップS601において、カレントPUに対する第1MV精度のMV候補リスト(MVCandList)を導出(生成)する。なお、その際、第1MV精度MV候補リスト導出部101は、その第1MV精度のMV候補リストに含まれるMV候補の数を示す情報(numMVCand)を導出(生成)する。
 ステップS602において、ブロックサイズ判定部571は、カレントPUのブロックサイズを示す情報に基づいて、カレントPUのサイズが所定の閾値より小さいか否かを判定する。カレントPUのサイズが所定の閾値より小さくない(閾値以上である)と判定された場合、ブロックサイズ判定部171は、修正MV候補導出処理が行われるように制御する。すなわち、処理はステップS603に進む。
 ステップS603において、修正MV候補導出部502(第2MV精度探索MVリスト導出部521、テンプレートマッチング部511、およびMV候補リスト更新部522)は、テンプレートマッチングに基づいて修正MV候補を導出し、その修正MV候補を用いて、ステップS601において導出された第1MV精度のMV候補リストを更新し、更新後のMV候補リスト(MVCandList')を導出(生成)する。
 ステップS603の処理が終了すると、MV候補リスト導出処理が終了する。
 また、ステップS602において、カレントPUのサイズが所定の閾値より小さいと判定された場合、ブロックサイズ判定部571は、修正MV候補導出処理をスキップ(省略)するように制御する。すなわち、ステップS603の処理はスキップ(省略)されてMV候補リスト導出処理が終了する。
 以上のように各ステップの処理を実行することにより、処理に必要なメモリバンドの増大を抑制することができ、テンプレートマッチングやMV候補リストの更新処理の負荷の増大を抑制することができる。
  <方法#1-6:修正MV候補導出部への適用>
 次に、図3の方法#1-6を適用する場合について説明する。図51は、図34の修正MV候補導出部502の構成の一例を示すブロック図である。この場合の修正MV候補導出部502は、方法#1-1および方法#1-6を用いて修正MV候補の導出を行う。すなわち、修正MV候補導出部502は、粗い精度でテンプレートマッチングを行い、さらに、複数予測を行うMV候補に対して、予測数を削減し、単予測によるテンプレートマッチングを行う。
 この場合の修正MV候補導出部502は、図51に示されるように、図36の場合と同様に、第2MV精度探索MVリスト導出部521、MV候補リスト更新部522、およびテンプレートマッチング部511を有する。ただし、テンプレートマッチング部511は、図36の場合の構成に加え、参照LX予測設定部581を有する。
   <参照LX予測設定部>
 参照LX予測設定部581は、参照LX予測設定部181の場合と同様の手法により、第2のMV精度の探索MV(searchMVList[i])の動きベクトル情報を参照して、テンプレート生成に用いる参照LX予測を設定する。参照LX予測設定部581は、設定した参照LX予測を示す情報を、探索点テンプレート生成部532およびコスト算出部533に供給する。
   <探索点テンプレート生成部>
 探索点テンプレート生成部532は、参照LX予測設定部581から供給される参照LX予測に対応するテンプレートを生成し、生成した参照ブロックのテンプレートをコスト算出部533に供給する。
   <コスト算出部>
 コスト算出部533は、カレントPUテンプレート生成部531により生成されたカレントPUのテンプレートと、探索点テンプレート生成部532により生成された参照LX予測に対応するテンプレートとのテンプレートマッチングを行い、コスト(CostList[i])を導出(算出)する。
 以上のようにすることにより、MV候補が双予測である場合、実際に生成するテンプレートを、L0予測、または、L1予測のいずれか一方へ制限することができる。したがって、双予測のMV候補に関するテンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができる。つまり、テンプレートマッチングに必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。また、これにより、修正MV候補の導出の負荷の増大を抑制することができる。つまり、修正MV候補の導出に必要なハードウエアコストの増大、処理時間の増大、消費電力の増大等を抑制することができる。
  <修正MV候補導出処理の流れ>
 図52および図53のフローチャートを参照して、この場合(方法#1-6(および方法#1-1))の修正MV候補導出部502により、図35のステップS502において実行される修正MV候補導出処理の流れの例を説明する。
 修正MV候補導出処理が開始されると、カレントPUテンプレート生成部531は、ステップS611において、カレントPUのテンプレート(curTemplate)を生成する。
 ステップS612において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を第1MV精度のMV候補リスト(MVCandList)から選択する(to-be-refined-mv = MVCandList[tgt_idx])。
 ステップS613において、第2MV精度探索MVリスト導出部521は、修正対象のMV候補を初期位置とする1-pelMV精度の探索MVリスト(searchMVList)を設定する。
 ステップS614において、探索点テンプレート生成部532は、変数iに初期値(例えば「0」)をセットする。
 ステップS615において、参照LX予測設定部581は、探索MV(searchMVList[i])の動き情報を参照して、テンプレートに用いる参照LX予測を設定する。
 ステップS616において、探索点テンプレート生成部532は、ステップS615において設定された参照LX予測に対応するテンプレートを生成する。
 ステップS617において、コスト算出部533は、ステップS611において生成されたカレントPUのテンプレートと、ステップS616において生成された参照LX予測に対応するテンプレートとに基づいて、コスト(CostList[i])を導出する。つまり、コスト算出部533は、それらのテンプレートを用いて、テンプレートマッチングを行い、コストを導出する。
 ステップS618において、探索点テンプレート生成部532は、変数iの値が、探索MVリスト(searchMVList)に含まれる探索点の数を示す値(numSearchMV)よりも小さいか否かを判定する。変数iがその値(numSearchMV)よりも小さい(i < numSearchMV)と判定された場合、処理はステップS619に進む。
 ステップS619において、探索点テンプレート生成部532は、変数iをインクリメントする(変数iの値に「+1」を加算する)。ステップS619の処理が終了すると処理はステップS615に戻り、それ以降の処理を繰り返す。
 つまり、ステップS615乃至ステップS619の各処理が、各探索MVに対応するコスト(CostList[i])について実行される。
 そして、ステップS618において、変数iが値(numSearchMV)以上である(i ≧ numSearchMV)と判定された場合、処理は図53のステップS621に進む。
 ステップS621において、MV候補リスト更新部522は、探索点(searchPoints[i])の中でコストが最小となる探索点(base_pos)の動き情報を修正MV候補とする(refined-mv = to-be-refined-mv + offsetList[best_pos])。
 ステップS622において、MV候補リスト更新部522は、修正MV候補と同じ動きベクトル情報がMV候補リストに存在しない場合、修正MV候補をMV候補リストへ追加する(numRefinedMV++)。
 ステップS623において、MV候補リスト更新部522は、次のMV候補の補正処理へ移るか否かを判定する。次のMV候補の補正処理へ進むと判定された場合、処理は、図52のステップS612に戻る。また、図53のステップS623において、次のMV候補の補正処理へ移らないと判定された場合、修正MV候補導出処理が終了する。
 以上のように、修正MV候補導出処理を行うことにより、修正MV候補導出部502は、テンプレートマッチングの演算量の増大を抑制する(演算量を削減する)ことができ、MV候補リストの更新処理の負荷の増大を抑制することができる。
  <画像符号化装置への適用>
 なお、本実施の形態において説明した本技術の場合も、第1の実施の形態の場合と同様に、任意の装置やデバイス等に適用することができる。例えば、上述した画像符号化装置300に適用するようにしてもよい。例えば、画像符号化装置300において予測部322が動きベクトル符号化を行い、その際MV候補リスト導出部331が、方法#1-1乃至方法1-6の内少なくともいずれか1つを適用したテンプレートマッチングを行って修正MV候補を導出し、その修正MV候補を用いてMV候補リストを更新するようにしてもよい。
 予測部322は、その更新後のMV候補リストを用いて動きベクトルの符号化を行う。つまり、予測部322は、インター予測を行って予測画像を生成し、修正動きベクトル候補を用いて更新された動きベクトル候補リストを用いて、その予測画像の生成に用いられる動きベクトルを符号化する。
 このようにすることにより、修正MV候補導出処理において行われるテンプレートマッチングを簡略化することができる。したがって、予測部322は、動きベクトルの符号化の負荷の増大を抑制する(負荷を低減させる)ことができる。
  <画像復号装置への適用>
 同様に、本実施の形態において説明した本技術の場合も、上述した画像復号装置400に適用するようにしてもよい。例えば、画像復号装置400において予測部419が動きベクトルの復元を行い、その際MV候補リスト導出部431が、方法#1-1乃至方法1-6の内少なくともいずれか1つを適用したテンプレートマッチングを行って修正MV候補を導出し、その修正MV候補を用いてMV候補リストを更新するようにしてもよい。
 予測部419は、その更新後のMV候補リストを用いて動きベクトルの復元を行う。つまり、予測部419は、修正動きベクトル候補を用いて更新された動きベクトル候補リストを用いて、予測画像の生成に用いられる動きベクトルを復元する。
 このようにすることにより、修正MV候補導出処理において行われるテンプレートマッチングを簡略化することができる。したがって、予測部419は、動きベクトルの復元の負荷の増大を抑制する(負荷を低減させる)ことができる。
  <組み合わせ>
 なお、第1の実施の形態において説明したMV候補リストの並び替えと、第4の実施の形態において説明した修正MV候補の導出との両方を行うようにしてもよい。例えば、図4や図34に示される、第1MV精度MV候補リスト導出部101、MV候補リスト並び替え部102、修正MV候補導出部502を互いに直列に接続し、第1MV精度MV候補リスト導出部101が第1MV精度のMV候補リストを導出し、MV候補リスト並び替え部102がそのMV候補リストを並び替え、さらに、修正MV候補導出部502がその並び替え後のMV候補リストについて、修正MV候補を導出し、更新するようにしてもよい。
 <6.第5の実施の形態>
  <差分動きベクトルの符号(sign)導出への適用>
 本技術は、さらに上述した例以外の他の装置にも適用することができる。例えば、非特許文献7においては、x方向およびy方向の絶対値と、符号(sign)の組み合わせによって差分動きベクトルをシグナリングし、その符号(sign)の組み合わせを導出するために、符号の組み合わせの各候補のコストをテンプレートマッチングで導出し、各候補をコスト順に並べてリスト化し、その候補リストの中から選択する手法が提案された(図54)。
 このような処理においても、上述した本技術を適用し、テンプレートマッチングを簡略化することができる。
  <動きベクトル導出処理の流れ>
 このような場合に実行される動きベクトル導出処理の流れの例を、図55のフローチャートを参照して説明する。
 復号済動き情報とLX予測の参照ピクチャインデックス(ref_idx_lx)とからAMVP(Adaptive Motion Vector Prediction)予測動きベクトル候補リストを構築する(ステップS701)。
 AMVP予測動きベクトルリスト(AMVPCandList)からmvp_lx_idxで指定される動きベクトルをLX予測の予測動きベクトル(LX_MVP)とする(ステップS702)。
 LX予測の差分動きベクトルの絶対値(AbsMVD_LX)から差分動きベクトルの候補リスト(LXMVDCandList)を生成する(ステップS703)。
 LX予測の予測動きベクトルと、各LX差分動きベクトル候補(LXMVDCandList[i])とに基づいて、テンプレートマッチングを行い、コストを取得する(ステップS704)。
 LX差分動きベクトル候補をコスト順にソートしたリスト(SortedLXMVDCandList)を求める(ステップS705)。
 ソート済みLX差分動きベクトル候補リストからLX_MVD候補インデックス(mvds_lx_idx)で指定されるMVD候補をLX予測の差分動きベクトル(LX_MVD)とする(ステップS706)。
 求めたLX予測の差分動きベクトル(LX_MVD)とLX予測の動きベクトル(LX_MVP)とから、LX予測の動きベクトル(LX_MV)を設定する(LX_MV = (ref_idx_lx, LX_MVP + LX_MVD))(ステップS707)。
 以上のような処理において、ステップS704の処理に、上述した本技術を適用し、テンプレートマッチングを簡略化する。このようにすることにより、テンプレートマッチングの負荷の増大を抑制することができる。つまり、差分動きベクトルの導出の負荷の増大を抑制することができる。
 <7.付記>
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
 図56は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 図56に示されるコンピュータ800において、CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803は、バス804を介して相互に接続されている。
 バス804にはまた、入出力インタフェース810も接続されている。入出力インタフェース810には、入力部811、出力部812、記憶部813、通信部814、およびドライブ815が接続されている。
 入力部811は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部812は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部813は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部814は、例えば、ネットワークインタフェースよりなる。ドライブ815は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア821を駆動する。
 以上のように構成されるコンピュータでは、CPU801が、例えば、記憶部813に記憶されているプログラムを、入出力インタフェース810およびバス804を介して、RAM803にロードして実行することにより、上述した一連の処理が行われる。RAM803にはまた、CPU801が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータ(CPU801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア821に記録して適用することができる。その場合、プログラムは、リムーバブルメディア821をドライブ815に装着することにより、入出力インタフェース810を介して、記憶部813にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部814で受信し、記憶部813にインストールすることができる。
 その他、このプログラムは、ROM802や記憶部813に、あらかじめインストールしておくこともできる。
  <情報・処理の単位>
 以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU(Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU(Largest Coding Unit)、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
  <制御情報>
 以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可(または禁止)するか否かを制御する制御情報(例えばenabled_flag)を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象(または適用しない対象)を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する(または、適用を許可若しくは禁止する)ブロックサイズ(上限若しくは下限、またはその両方)、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
  <本技術の適用対象>
 本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換(逆変換)、量子化(逆量子化)、符号化(復号)、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
 また本技術は、複数の視点(ビュー(view))の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点(ビュー(view))の符号化・復号において、本技術を適用するようにすればよい。
 さらに本技術は、所定のパラメータについてスケーラビリティ(scalability)機能を有するように複数レイヤ化(階層化)された階層画像の符号化・復号を行う階層画像符号化(スケーラブル符号化)・復号システムに適用することができる。その場合、各階層(レイヤ)の符号化・復号において、本技術を適用するようにすればよい。
 上述した実施の形態に係る画像処理装置、画像符号化装置、および画像復号装置は、例えば、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機(例えばテレビジョン受像機や携帯電話機)、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置(例えばハードディスクレコーダやカメラ)などの、様々な電子機器に応用され得る。
 また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等(すなわち、装置の一部の構成)として実施することもできる。
 さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスに適用することもできる。
 なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
 例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
  <その他>
 なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
 また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
 なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 100 MV候補リスト導出装置, 101 第1MV精度MV候補リスト導出部, 102 MV候補リスト並び替え部, 111 テンプレートマッチング部, 121 第2MV精度MV候補リスト導出部, 122 MV候補リスト並び替え部, 131 カレントPUテンプレート生成部, 132 参照ブロックテンプレート生成部, 133 コスト算出部, 141 重複MV検出部, 151 テンプレート間引き率導出部, 161 テンプレートサイズ設定部, 171 ブロックサイズ判定部, 181 参照LX予測設定部, 300 画像符号化装置, 322 予測部, 331 MV候補リスト導出部, 400 画像復号装置, 419 予測部, 431 MV候補リスト導出部, 502 修正MV候補導出部, 511 テンプレートマッチング部, 521 第2MV精度探索MVリスト導出部, 522 MV候補リスト更新部, 531 カレントPUテンプレート生成部, 532 探索点テンプレート生成部, 533 コスト算出部, 541 重複MV検出部, 551 テンプレート間引き率導出部, 561 テンプレートサイズ設定部, 571 ブロックサイズ判定部, 581 参照LX予測設定部

Claims (20)

  1.  動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出するテンプレートマッチング部と、
     前記テンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて、前記動きベクトル候補リストの要素を並び替える並び替え部と
     を備える画像処理装置。
  2.  小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出する導出部をさらに備え、
     前記テンプレートマッチング部は、前記導出部により導出された前記整数画素精度の動きベクトル候補リストの各動きベクトル候補について、前記カレントブロックのテンプレートと前記参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出し、
     前記並び替え部は、前記テンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて、前記小数画素精度の動きベクトル候補リストの要素を並び替える
     請求項1に記載の画像処理装置。
  3.  前記テンプレートマッチング部は、テンプレートマッチングが行われた動きベクトル候補と同一の動きベクトル候補に対するテンプレートマッチングをスキップする
     請求項1に記載の画像処理装置。
  4.  前記テンプレートマッチング部は、前記カレントブロックのサイズに応じたサンプリング間隔の前記カレントブロックのテンプレートと、前記カレントブロックのサイズに応じたサンプリング間隔の前記参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出する
     請求項1に記載の画像処理装置。
  5.  前記テンプレートマッチング部は、前記カレントブロックの位置に応じたサイズの前記カレントブロックのテンプレートと、前記カレントブロックの位置に応じたサイズの前記参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出する
     請求項1に記載の画像処理装置。
  6.  前記テンプレートマッチング部および前記並び替え部は、カレントブロックが所定の閾値より小さい場合、処理をスキップする
     請求項1に記載の画像処理装置。
  7.  前記テンプレートマッチング部は、複数予測の動きベクトル候補について、単数予測を設定し、前記単数予測の動きベクトル候補として前記カレントブロックのテンプレートと前記参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出する
     請求項1に記載の画像処理装置。
  8.  インター予測を行って予測画像を生成し、前記並び替え部により要素が並び替えられた前記動きベクトル候補リストを用いて、前記予測画像の生成に用いられる動きベクトルを符号化する符号化部をさらに備える
     請求項1に記載の画像処理装置。
  9.  前記並び替え部により要素が並び替えられた前記動きベクトル候補リストを用いて、予測画像の生成に用いられる動きベクトルを復元する復元部をさらに備える
     請求項1に記載の画像処理装置。
  10.  動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと参照ブロックのテンプレートとのテンプレートマッチングを行い、コストを導出し、
     導出された各動きベクトル候補のコストに基づいて、前記動きベクトル候補リストの要素を並び替える
     画像処理方法。
  11.  動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出するテンプレートマッチング部と、
     前記テンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、導出した前記修正動きベクトル候補を用いて前記動きベクトル候補リストを更新する更新部と
     を備える画像処理装置。
  12.  小数画素精度の動きベクトル候補リストに対応する整数画素精度の動きベクトル候補リストを導出する導出部をさらに備え、
     前記テンプレートマッチング部は、前記導出部により導出された前記整数画素精度の動きベクトル候補リストの各動きベクトル候補について、前記カレントブロックのテンプレートと前記探索点のテンプレートとのテンプレートマッチングを行い、コストを導出し、
     前記更新部は、前記テンプレートマッチング部により導出された各動きベクトル候補のコストに基づいて前記修正動きベクトル候補を導出し、導出した前記修正動きベクトル候補を用いて前記小数画素精度の動きベクトル候補リストを更新する
     請求項11に記載の画像処理装置。
  13.  前記テンプレートマッチング部は、テンプレートマッチングが行われた動きベクトル候補と同一の動きベクトル候補に対するテンプレートマッチングをスキップする
     請求項11に記載の画像処理装置。
  14.  前記テンプレートマッチング部は、前記カレントブロックのサイズに応じたサンプリング間隔の前記カレントブロックのテンプレートと、前記カレントブロックのサイズに応じたサンプリング間隔の前記探索点のテンプレートとのテンプレートマッチングを行い、コストを導出する
     請求項11に記載の画像処理装置。
  15.  前記テンプレートマッチング部は、前記カレントブロックの位置に応じたサイズの前記カレントブロックのテンプレートと、前記カレントブロックの位置に応じたサイズの前記探索点のテンプレートとのテンプレートマッチングを行い、コストを導出する
     請求項11に記載の画像処理装置。
  16.  前記テンプレートマッチング部および前記更新部は、カレントブロックが所定の閾値より小さい場合、処理をスキップする
     請求項11に記載の画像処理装置。
  17.  前記テンプレートマッチング部は、複数予測の動きベクトル候補について、単数予測を設定し、前記単数予測の動きベクトル候補として前記カレントブロックのテンプレートと前記探索点のテンプレートとのテンプレートマッチングを行い、コストを導出する
     請求項11に記載の画像処理装置。
  18.  インター予測を行って予測画像を生成し、前記更新部により前記修正動きベクトル候補を用いて更新された前記動きベクトル候補リストを用いて、前記予測画像の生成に用いられる動きベクトルを符号化する符号化部をさらに備える
     請求項11に記載の画像処理装置。
  19.  前記更新部により前記修正動きベクトル候補を用いて更新された前記動きベクトル候補リストを用いて、予測画像の生成に用いられる動きベクトルを復元する復元部をさらに備える
     請求項11に記載の画像処理装置。
  20.  動きベクトル候補リストの精度よりも粗い精度の動きベクトル候補について、カレントブロックのテンプレートと探索点のテンプレートとのテンプレートマッチングを行い、コストを導出し、
     導出された各動きベクトル候補のコストに基づいて修正動きベクトル候補を導出し、導出した前記修正動きベクトル候補を用いて前記動きベクトル候補リストを更新する
     画像処理方法。
PCT/JP2019/022684 2018-06-22 2019-06-07 画像処理装置および方法 WO2019244669A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980040155.9A CN112313956A (zh) 2018-06-22 2019-06-07 图像处理装置和方法
JP2020525518A JPWO2019244669A1 (ja) 2018-06-22 2019-06-07 画像処理装置および方法
US17/252,292 US11533471B2 (en) 2018-06-22 2019-06-07 Image processing apparatus and image processing method
EP19821653.3A EP3817387A4 (en) 2018-06-22 2019-06-07 IMAGE PROCESSING DEVICE AND METHOD
KR1020207035404A KR20210021971A (ko) 2018-06-22 2019-06-07 화상 처리 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-119063 2018-06-22
JP2018119063 2018-06-22

Publications (1)

Publication Number Publication Date
WO2019244669A1 true WO2019244669A1 (ja) 2019-12-26

Family

ID=68984006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022684 WO2019244669A1 (ja) 2018-06-22 2019-06-07 画像処理装置および方法

Country Status (6)

Country Link
US (1) US11533471B2 (ja)
EP (1) EP3817387A4 (ja)
JP (1) JPWO2019244669A1 (ja)
KR (1) KR20210021971A (ja)
CN (1) CN112313956A (ja)
WO (1) WO2019244669A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210203944A1 (en) * 2018-09-13 2021-07-01 Huawei Technologies Co., Ltd. Decoding method and decoding apparatus for predicting motion information
EP3973708A4 (en) * 2019-06-25 2023-02-22 Zhejiang Dahua Technology Co., Ltd. INTRA-FRAME PREDICTION SYSTEMS AND METHODS

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757105B (zh) * 2020-06-30 2023-07-04 北京百度网讯科技有限公司 图像编码处理方法、装置、设备和介质
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding
KR20240050409A (ko) * 2021-08-28 2024-04-18 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
US11930177B2 (en) * 2021-10-29 2024-03-12 Tencent America LLC Primary transforms for cross-component level reconstruction
WO2023106603A1 (ko) * 2021-12-10 2023-06-15 현대자동차주식회사 템플릿 매칭 기반 이차적인 mpm 리스트를 이용하는 비디오 코딩을 위한 방법 및 장치
WO2023132509A1 (ko) * 2022-01-04 2023-07-13 현대자동차주식회사 공간적 상관성을 이용하는 디코더측 움직임벡터 유도를 위한 방법
WO2023200217A1 (ko) * 2022-04-11 2023-10-19 엘지전자 주식회사 템플릿 매칭을 이용하는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
TW202404365A (zh) * 2022-07-01 2024-01-16 法商內數位Ce專利控股公司 利用次取樣之模板匹配預測
WO2024076220A1 (ko) * 2022-10-07 2024-04-11 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2024169962A1 (en) * 2023-02-17 2024-08-22 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061151A (ja) * 1999-08-19 2001-03-06 Denso Corp 動きベクトル検出方法及び記録媒体
WO2010131601A1 (ja) * 2009-05-15 2010-11-18 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2012532501A (ja) * 2009-07-02 2012-12-13 クゥアルコム・インコーポレイテッド ビデオコーディングのためのテンプレートマッチング

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US10595046B2 (en) * 2016-05-13 2020-03-17 Sony Corporation Image processing apparatus and method
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN110574377B (zh) * 2017-05-10 2021-12-28 联发科技股份有限公司 用于视频编解码的重新排序运动向量预测候选集的方法及装置
WO2019234669A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Signaled mv precision
US10863190B2 (en) * 2018-06-14 2020-12-08 Tencent America LLC Techniques for memory bandwidth optimization in bi-predicted motion vector refinement
JP7181395B2 (ja) * 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
CN110809155B (zh) * 2018-08-04 2023-01-31 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061151A (ja) * 1999-08-19 2001-03-06 Denso Corp 動きベクトル検出方法及び記録媒体
WO2010131601A1 (ja) * 2009-05-15 2010-11-18 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2012532501A (ja) * 2009-07-02 2012-12-13 クゥアルコム・インコーポレイテッド ビデオコーディングのためのテンプレートマッチング

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (INTERNATIONAL TELECOMMUNICATION UNION, April 2017 (2017-04-01)
"High efficiency video coding", TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (INTERNATIONAL TELECOMMUNICATION UNION, December 2016 (2016-12-01)
AN, JICHENG ET AL.: "Enhanced Merge Mode based on JEM7.0", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING, 15 April 2018 (2018-04-15), San Diego, US, pages 1 - 7, XP030151245 *
B. BROSS: "Versatile Video Coding (Draft 1", JVET-J1001, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10 April 2018 (2018-04-10)
HSU, CHIH-WEI ET AL.: "Description of SDR video coding technology proposal by MediaTek", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING, 11 April 2018 (2018-04-11), San Diego, US, pages 10 - 11 , 14-16, XP055640340 *
HUANBANG CHENJIANLE CHENROMAN CHERNYAKSEMIH ESENLIKALEXEY FILIPPOVSHAN GAOSERGEY IKONINALEXANDER KARABUTOVANAND MEHER KOTRAXIAOMU : "Description of SDR, HDR and 360° video coding technology proposal by Huawei, GoPro, HiSilicon, and Samsung", JVET-J0025_V2, BUJOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10 April 2018 (2018-04-10)
JIANE CHENELENA ALSHINA: "Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1", JVET-J1002, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10 April 2018 (2018-04-10)
JIANLE CHENELENA ALSHINAGARY J. SULLIVANJENS-RAINERJILL BOYCE: "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001 V1, JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: TORINO, IT, 13 July 2017 (2017-07-13)
KOO, MOONMO ET AL.: "Description of SDR video coding technology proposal by LG Electronics", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING, 11 April 2018 (2018-04-11), San Diego , CA, pages 4 - 6, XP030151178 *
MOONMO KOOJIN HEOJUNGHAK NAMNAERI PARTJAEHO LEEJANGWON CHOISUNMI YOOHYEONGMUN JANGLING LIJAEHYUN LIM: "Description of SDR video coding technology proposal by LG Electronics", JVET-J0017-VL, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, CA, 10 April 2018 (2018-04-10)
See also references of EP3817387A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210203944A1 (en) * 2018-09-13 2021-07-01 Huawei Technologies Co., Ltd. Decoding method and decoding apparatus for predicting motion information
EP3973708A4 (en) * 2019-06-25 2023-02-22 Zhejiang Dahua Technology Co., Ltd. INTRA-FRAME PREDICTION SYSTEMS AND METHODS

Also Published As

Publication number Publication date
CN112313956A (zh) 2021-02-02
EP3817387A4 (en) 2021-07-07
KR20210021971A (ko) 2021-03-02
JPWO2019244669A1 (ja) 2021-07-08
US20210266525A1 (en) 2021-08-26
US11533471B2 (en) 2022-12-20
EP3817387A1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
WO2019244669A1 (ja) 画像処理装置および方法
JP7517350B2 (ja) 画像処理装置および方法
CN111713104B (zh) 图像处理装置和方法
US20240298034A1 (en) Video or image coding method and device therefor
US20220256151A1 (en) Image processing device and method
JP2024105675A (ja) 画像処理装置および方法
KR102494880B1 (ko) 화상 처리 장치 및 방법
US20210006836A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
EP4351143A1 (en) Image processing device and method
JP2022002352A (ja) 画像処理装置および方法
CN115336274B (zh) 与残差编码关联的图像解码方法以及用于其的装置
US20240163437A1 (en) Image processing device and method
CN115443659B (zh) 与残差编码相关的图像解码方法以及用于其的装置
US20240275970A1 (en) Image processing device and method
KR20220113369A (ko) 화상 처리 장치 및 방법
KR20220053560A (ko) 화상 처리 장치 및 방법
CN115699758A (zh) 图像解码方法及其装置
CN117981322A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19821653

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020525518

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019821653

Country of ref document: EP