WO2018047952A1 - イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体 - Google Patents

イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体 Download PDF

Info

Publication number
WO2018047952A1
WO2018047952A1 PCT/JP2017/032526 JP2017032526W WO2018047952A1 WO 2018047952 A1 WO2018047952 A1 WO 2018047952A1 JP 2017032526 W JP2017032526 W JP 2017032526W WO 2018047952 A1 WO2018047952 A1 WO 2018047952A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
block
intra prediction
intra
mpm
Prior art date
Application number
PCT/JP2017/032526
Other languages
English (en)
French (fr)
Inventor
誠也 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/332,022 priority Critical patent/US10721468B2/en
Priority to JP2018538492A priority patent/JP6965887B2/ja
Publication of WO2018047952A1 publication Critical patent/WO2018047952A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to an intra prediction mode determination method, an intra prediction mode determination device, and an intra prediction mode determination program applied to a video encoding device.
  • Non-Patent Document 1 describes HEVC (High Efficiency Video Coding) which is a video encoding system based on the ITU-T Recommendation H.265 standard.
  • HEVC High Efficiency Video Coding
  • each frame of a digitized video is divided into coding tree units (CTU: Coding Tree Units), and each CTU is coded in raster scan order.
  • CTU Coding Tree Unit
  • Each CTU is a quad-tree structure and is recursively divided into coding units (CU: Coding Unit).
  • CU Coding Unit
  • Each CU is predicted by being divided into prediction units (PU: Prediction Unit).
  • PU Prediction Unit
  • the prediction error (residual) of each CU is divided into transform units (TU: Transform Unit) in a quadtree structure and frequency-transformed.
  • FIG. 10A and FIG. 10B are explanatory diagrams showing a quadtree structure corresponding to an example of CTU IV CU partitioning.
  • FIG. 11 is an explanatory view showing the PU division shape of the CU.
  • a square PU partition (2N ⁇ 2N or N ⁇ N) can be selected (however, if the CU is larger than the minimum size, only 2N ⁇ 2N can be selected).
  • CU is predictively encoded by intra prediction or inter-frame prediction for each PU.
  • intra prediction will be described.
  • Intra prediction is prediction in which a prediction image is generated from reference pixels of an encoding target frame.
  • 33 types of angle intra prediction shown in FIG. 12 are defined.
  • reference pixels around the encoding target block are extrapolated in any of the 33 types of directions shown in FIG. 12 to generate an intra prediction signal (predicted pixel).
  • DC prediction that averages reference pixels around the encoding target block and Planar prediction that linearly interpolates reference pixels around the encoding target block are defined. Yes.
  • each rectangle in the top row and each rectangle in the leftmost column indicate reference pixels. Numbers in the rectangle indicate coordinates.
  • the arrow indicates the prediction direction. The number attached in the vicinity of the arrow indicates the prediction mode.
  • FIG. 13 is a block diagram showing an example of a general video encoding device. 13 includes a transform unit 301, a quantization unit 302, an entropy coding unit 303, an inverse quantization / inverse transform unit 304, a buffer 305, a prediction unit 306, and a prediction mode / block size determination unit 307. Is provided.
  • the prediction mode / block size determination unit 307 determines a combination of a prediction mode and a block size that minimizes the coding cost for each CTU. Further, the prediction mode / block size determination unit 307 determines the TU quadtree structure in addition to the CU quadtree structure / PU split shape.
  • the prediction unit 306 generates a prediction signal for the input image signal of the CU based on the prediction mode and block size determined by the prediction mode / block size determination unit 307.
  • the prediction signal is generated based on intra prediction or inter prediction.
  • the conversion unit 301 Based on the TU quadtree structure determined by the prediction mode / block size determination unit 307, the conversion unit 301 performs frequency conversion on a residual image (residual signal: prediction error signal) obtained by subtracting the prediction signal from the input image signal. .
  • the transform unit 301 uses orthogonal transform of 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16, or 32 ⁇ 32 block size based on frequency transform in transform coding of the residual signal.
  • the n ⁇ n block size means the size of vertical n pixels and horizontal n pixels.
  • the quantization unit 302 quantizes the orthogonal transform coefficient supplied from the transform unit 301.
  • the quantized orthogonal transform coefficient may be referred to as a transform quantization value.
  • the inverse quantization / inverse transform unit 304 inversely quantizes the transform quantization value. Further, the inverse quantization / inverse transform unit 304 inversely transforms the inversely quantized orthogonal transform coefficient.
  • the residual image that has been inversely transformed is added with a prediction signal (prediction image) and supplied to the buffer 305.
  • the buffer 305 stores the image as a reference image.
  • the prediction mode / block size determination unit 307 determines the prediction mode and the PU partition shape
  • all available prediction modes and all block sizes in the case of intra prediction, 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32, and 64 ⁇ 64
  • the optimum combination is, for example, a combination that minimizes the coding cost.
  • the video encoding apparatus including the prediction mode / block size determination unit 307 that evaluates combinations of all prediction modes and all block sizes is referred to as a first video encoding apparatus.
  • Patent Document 2 describes an image processing apparatus that evaluates all usable prediction modes and determines an optimal prediction mode (see, for example, paragraph 0329).
  • a video encoding device based on such a scheme is hereinafter referred to as a second video encoding device.
  • a large block size such as HEVC
  • PU block size PU block size
  • TU block size TU block size
  • a video encoding device having a function of enlarging a block when a predetermined condition is satisfied in order to increase the block size as much as possible (see, for example, Patent Document 3).
  • Enlarging a block means combining a plurality of blocks into one.
  • the video encoding device having such a function is referred to as a third video encoding device.
  • FIG. 14 is a block diagram showing the configuration of the third video encoding device described in Patent Document 3.
  • the video encoding apparatus shown in FIG. 14 includes an encoding parameter determination unit 110 that generates and outputs an encoding parameter using an input video as an input, an encoding unit 120, and a block enlargement unit 370.
  • the encoding unit 120 has a configuration equivalent to the configuration in which the prediction mode / block size determination unit 307 is removed from the video encoding apparatus shown in FIG.
  • the encoding parameter determination unit 110 When encoding of the input image is started, the encoding parameter determination unit 110 performs block division and searches for an encoding mode (intra prediction, inter prediction, skip mode, etc.) and a prediction mode for each divided block. Encoding parameter # 1 is determined. The encoding parameter determination unit 110 calculates an encoding cost and determines an encoding parameter based on the encoding cost. The encoding cost reflects a value related to the code amount (bin number) and encoding distortion (correlated with image quality). For example, the encoding parameter determination unit 110 uses the following RD (Rate Distortion ⁇ ⁇ ⁇ ) cost.
  • D is coding distortion
  • R is the amount of code including the transform coefficient
  • ⁇ is a Lagrange multiplier
  • the block enlargement unit 370 receives the encoding parameter # 1, changes the block size and motion vector information in the encoding parameter, and outputs them.
  • the output encoding parameter is input to the encoding unit 120.
  • the block expansion unit 370 expands a block when, for example, all four adjacent blocks have the same size and m (m: integer) or more of the four blocks are intra prediction blocks. To do. That is, four blocks are integrated into one.
  • the motion vector of the integrated block is further determined based on the motion vectors of the four blocks before integration. For example, the block enlargement unit 370 converts the motion vector of any one of the four blocks before integration into the integrated motion vector of one block, or integrates the average vector of the motion vectors of the four blocks. Let it be a motion vector of one block.
  • Patent Document 4 a plurality of basic CUs included in an integrated region, which is an N ⁇ N pixel region including a plurality of basic blocks, are integrated as one new CU, and a code string is generated based on the new CU after integration. Is described. Multiple basic CUs included in the integrated area are integrated when the multiple basic CUs and basic PUs belonging to the integrated area are all the same block size and the prediction information of all the basic PUs included in the integrated area is the same. The
  • a configuration shown in FIG. 15 can be considered as an implementation example of the prediction mode / block size determination unit 307 in the first video encoding device.
  • the prediction mode / block size determination unit 307 includes a 4 ⁇ 4 intra prediction image generation unit 311, an 8 ⁇ 8 intra prediction image generation unit 312, and a 16 ⁇ 16 intra prediction image generation.
  • Each intra prediction image generation unit sequentially generates a prediction image for each of the usable prediction modes.
  • the usable prediction modes are all (35 types) as an example. For example, when the prediction mode is narrowed down using a predetermined narrowing down method, the number is a number after narrowing down (less than 35) and can be used in advance. If the number of prediction modes (less than 35) is determined, this is the number.
  • the prediction mode / block size determination unit 307 further includes a 4 ⁇ 4 intra prediction image generation unit 311, an 8 ⁇ 8 intra prediction image generation unit 312, a 16 ⁇ 16 intra prediction image generation unit 313, and a 32 ⁇ 32 intra prediction image generation unit.
  • 314 and 64 ⁇ 64 intra prediction image generation units 315 include residual calculation units 321 to 325 that calculate the difference (residual) between the prediction image generated by the corresponding prediction image generation unit and the input image.
  • the prediction mode / block size determination unit 307 further calculates the code amount determined according to the residual calculated by the corresponding residual calculation unit of the residual calculation units 321 to 325 and the prediction mode being handled.
  • Bin number calculation units (Bin number determination units) 331 to 335 are used to calculate the number of bin numbers.
  • the prediction mode / block size determination unit 307 is a bin calculated by the calculation result of the corresponding residual calculation unit of the residual calculation units 321 to 325 and the bin number calculation unit of the corresponding Bin power calculation unit 331 to 335. And cost calculation units 341 to 345 for calculating the encoding cost using the number.
  • the prediction mode / block size determination unit 307 further includes prediction mode selection units 351 to 355 that select a prediction mode based on the encoding cost calculated by the corresponding cost calculation unit among the cost calculation units 341 to 345.
  • the prediction mode / block size determination unit 307 further includes a size selection unit 360 that selects a block size based on the prediction mode selected by the prediction mode selection units 351 to 355.
  • the prediction mode / block size determination unit 307 illustrated in FIG. 15 converts, for example, a 64 ⁇ 64 size block (CTU) into a 4 ⁇ 4 size block, an 8 ⁇ 8 size block, and a 16 ⁇ 16 size block. , 32 ⁇ 32 size blocks and 64 ⁇ 64 size blocks, and for each divided block, intra prediction, residual calculation, bin power calculation, coding cost calculation and prediction mode selection are performed. .
  • the 64 ⁇ 64 size block is a block when the CTU is not divided.
  • the size selection unit 360 identifies the prediction mode with the lowest coding cost. That is, among the prediction mode selection units 351 to 355, the combination of the prediction mode selection units that minimizes the coding cost, in other words, the quadtree structure of CTU is specified. Since the prediction mode selection units 351 to 355 are provided corresponding to the block size (in other words, the block shape), the size selection unit 360 specifies the optimal quadtree by specifying the prediction mode selection unit. The structure can be determined.
  • the circuit scale of the prediction mode / block size determination unit 307 increases.
  • prediction is performed for each block of 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32 and 64 ⁇ 64 as illustrated in FIG.
  • Execute calculate residuals, calculate coding cost, and provide a circuit for determining the prediction mode, 4x4, 8x8, 16x16, 32x32 and 64x64 sizes This is because the processing for each block is required to be executed in parallel.
  • the prediction mode / block size determination unit 307 is realized by an integrated circuit such as an FPGA (Field-Programmable Gate Array), there is a possibility that the request not to increase the size (area) of the integrated circuit may not be met.
  • FPGA Field-Programmable Gate Array
  • the circuit scale of the prediction mode / block size determination unit 307 is smaller in the second video encoding device than in the first video encoding device. However, the circuit scale of the second video encoding device is larger than that of the third video encoding device.
  • the third video encoding device reduces the bit amount (bin number) of encoded data while realizing a smaller circuit scale than the first video encoding device and the second video encoding device.
  • An object of the present invention is to provide an intra prediction mode determination method, an intra prediction mode determination device, and an intra prediction mode determination program that do not increase the circuit scale while reducing the number of bins of encoded data.
  • An intra prediction mode determination method is an intra prediction mode determination applied to a video encoding device that recursively divides an input video block into small blocks and encodes the block by intra prediction or interframe prediction.
  • a method wherein, for each small block, only in one of the possible sizes of the small block, a plurality of bins are assigned based on the residual corresponding to the prediction mode candidate and the bin number assigned to the prediction mode candidate.
  • An intra prediction mode determination device is an intra prediction mode determination applied to a video encoding device that recursively divides an input video block into small blocks and encodes the block by intra prediction or interframe prediction.
  • An apparatus for evaluating a coding cost of a plurality of prediction mode candidates for each small block based on a residual corresponding to the prediction mode candidate and a bin number assigned to the prediction mode candidate, and based on the evaluation result A prediction mode selection means for selecting an intra prediction mode from a plurality of prediction mode candidates, and a Bin power adjustment for increasing the number of bin power corresponding to a specific prediction mode candidate when the prediction mode selection means evaluates the coding cost.
  • the means is provided corresponding to only one of the possible sizes of the small block.
  • a storage medium includes a small block in a computer mounted on a video encoding device that recursively divides an input video block into small blocks and performs encoding by intra prediction or inter-frame prediction. Evaluate the coding cost of multiple prediction mode candidates for each small block based on the residual corresponding to the prediction mode candidate and the number of bins assigned to the prediction mode candidate for only one of the sizes to be obtained. A process for selecting an intra prediction mode from a plurality of prediction mode candidates based on the evaluation result, and a process for increasing the number of bins corresponding to a specific prediction mode candidate when evaluating the encoding cost. An intra prediction mode determination program to be executed is stored.
  • One aspect of the present invention is also realized by an intra prediction mode determination program stored in the storage medium.
  • the circuit scale can be prevented from increasing while reducing the number of bins of encoded data.
  • FIG. 1 is a block diagram illustrating an example of a video encoding device including a prediction mode determination device.
  • FIG. 2 is a block diagram illustrating a configuration example of the intra prediction mode determination unit.
  • FIG. 3 is a flowchart showing the operation of the intra prediction mode determination unit.
  • FIG. 4 is an explanatory diagram for explaining the MPM bag.
  • FIG. 5A is an explanatory diagram for explaining an upper block and a lower block.
  • FIG. 5B is an explanatory diagram for explaining an upper block and a lower block.
  • FIG. 5C is an explanatory diagram for explaining an upper block and a lower block.
  • FIG. 6 is an explanatory diagram for explaining prediction mode candidates that contribute to an increase in block size.
  • FIG. 5A is an explanatory diagram for explaining an upper block and a lower block.
  • FIG. 5B is an explanatory diagram for explaining an upper block and a lower block.
  • FIG. 5C is an explanatory diagram for explaining an upper block and a lower block
  • FIG. 7 is a block diagram illustrating a configuration example of an information processing system capable of realizing the function of the intra prediction mode determination unit.
  • FIG. 8 is a block diagram illustrating a main part of the prediction mode determination device.
  • FIG. 9 is a block diagram illustrating a main part of the prediction mode determination device and an integration unit that integrates a plurality of small blocks into one block.
  • FIG. 10A is an explanatory diagram showing an example of CU division of CTU.
  • FIG. 10B is an explanatory diagram showing a quadtree structure corresponding to a CU partitioning example of CTU.
  • FIG. 11 is an explanatory diagram showing the PU division shape of the CU.
  • FIG. 12 is an explanatory diagram showing angle intra prediction.
  • FIG. 10A is an explanatory diagram showing an example of CU division of CTU.
  • FIG. 10B is an explanatory diagram showing a quadtree structure corresponding to a CU partitioning example of CTU.
  • FIG. 11 is an ex
  • FIG. 13 is a block diagram illustrating an example of a general video encoding device.
  • FIG. 14 is a block diagram illustrating a configuration of a video encoding device including a block enlargement unit.
  • FIG. 15 is a block diagram illustrating a configuration of the prediction mode / block size determination unit.
  • FIG. 1 is a block diagram showing an example of a video encoding device including a prediction mode determination device according to the present invention.
  • the direction of data transmission is not limited to the direction indicated by the arrow.
  • 1 includes a transform unit 301, a quantization unit 302, an entropy coding unit 303, an inverse quantization / inverse transform unit 304, a buffer 305, a prediction unit 306, a block enlargement unit 370, and a prediction mode determination unit. 350.
  • the prediction mode determination unit 350 performs block division, and determines the encoding mode (intra prediction, inter prediction, skip mode, etc.) and the prediction mode of intra prediction obtained by the division.
  • the block enlargement unit 370 enlarges the block when a predetermined condition is satisfied. That is, a plurality of blocks are integrated into one.
  • FIG. 2 is a block diagram illustrating a configuration example of the intra prediction mode determination unit 200 included in the prediction mode determination unit 350.
  • the intra prediction mode determination unit 200 includes an intra prediction image generation unit 210, a residual calculation unit 220, a Bin power number determination unit 230, a cost calculation unit 240, a prediction mode selection unit 250, and a Bin power number correction unit 260.
  • the intra prediction mode determination unit 200 illustrated in FIG. 2 corresponds to a part that performs processing related to one type of block size (for example, 4 ⁇ 4) in the prediction mode / block size determination unit 307 illustrated in FIG. Taking a 4 ⁇ 4 block size as an example, the intra prediction mode determination unit 200 includes a 4 ⁇ 4 intra prediction image generation unit 311, a residual calculation unit 321, a Bin power calculation unit 331, a cost calculation unit 341, and a prediction mode selection unit. 351 functions.
  • the video encoding device of the present embodiment has a smaller circuit scale for executing the intra prediction mode determination processing.
  • the size of the target of processing performed by the intra prediction mode determination unit 200 is small. This is because when the target size is small, the circuit scale is small.
  • the intra prediction mode determination unit 200 is realized by an integrated circuit and can be realized within the allowable circuit scale, a size larger than the minimum size 4 ⁇ 4 (for example, 8 ⁇ 8) is processed. You may make it the size of object.
  • the intra prediction mode determination unit 200 is executed only by a portion that performs processing relating to one type of size, but the intra prediction mode determination unit 200 is realized by an integrated circuit and allowed. If it can be realized within the range of the circuit scale, a part that performs processing related to sizes of more than one type (for example, 4 ⁇ 4 and 8 ⁇ 8) may be mounted.
  • the minimum size is not limited to 4x4.
  • the minimum size is 8 ⁇ 8.
  • the intra prediction mode determination unit 200 is configured to perform processing related to 4 ⁇ 4 size.
  • the intra prediction mode determination unit 200 divides each input CTU (64 pixels ⁇ 64 pixels) into 4 ⁇ 4 size blocks (PU) (step S11). A block obtained by division is called a small block. Strictly speaking, after CTU is divided into CUs, it is divided into PUs.
  • the intra prediction image generation unit 210 performs intra prediction for each small block (step S12). That is, the intra predicted image generation unit 210 generates a predicted image for each prediction mode for each small block.
  • the residual calculation unit 220 calculates a residual for the prediction image generated by the intra prediction image generation unit 210 (step S13). Since the prediction modes handled by the intra prediction image generation unit 210, the residual calculation unit 220, the Bin power determination unit 230, and the cost calculation unit 240 are not final prediction modes, the prediction modes handled by them are hereinafter referred to as prediction mode candidates.
  • the bin number determining unit 230 determines the number of bins corresponding to the prediction mode candidate (step S14). The number of bins in this embodiment will be described later.
  • the cost calculation unit 240 uses the residual calculated by the residual calculation unit 220 and the bin number determined by the Bin number determination unit 230 for the prediction mode, for example, according to the following equation (2), The coding cost (Cost) of the prediction mode is calculated (step S15).
  • generation part 210 produces
  • the expression “predicted mode being handled” means that the intra prediction image generation unit 210, the residual calculation unit 220, the Bin power determination unit 230, and the cost calculation unit 240 at the time when the processing is actually executed. It means the target prediction mode candidate.
  • SAD Sud Absolute Difference: sum of absolute differences
  • ⁇ is a weighting value, and is determined by a trade-off between image quality and code amount. For example, if it is desired to reduce the code amount even if the image quality is slightly reduced, ⁇ is increased. Instead of SAD, for example, SSD (Sum of Squared Difference) may be used. Further, the formulas after the formula (2) are expressed using C ++ language operators as necessary.
  • MPM Most probable mode
  • three types of prediction mode candidates are set based on the prediction mode of the PU (adjacent PU) adjacent to the prediction target PU.
  • the first prediction mode candidate MPM [0]
  • MPM the prediction mode of the left adjacent PU.
  • the second prediction mode candidate (MPM [1]) is the prediction mode of the upper adjacent PU (see FIG. 4).
  • the intra prediction mode determination unit 200 uses the MPM ⁇ ⁇ ⁇ when determining the prediction mode.
  • FIG. 4 illustrates a case where MPM [0] is the prediction mode with the prediction mode number “20” and MPM [1] is the prediction mode with the prediction mode number “32”.
  • the block with “ModeX” is the evaluation target PU (PU for which the prediction mode is determined), and “ModeX” means the prediction mode candidate that is handled at the time when the process is actually executed .
  • rectangles with “A” and “B” indicate pixels adjacent to the evaluation target PU.
  • the third prediction mode candidate (referred to as MPM [2]) is set.
  • MPM [2] Planar prediction with a prediction mode number “0”, DC prediction with a prediction mode number “1”, or angle intra prediction with a prediction mode number “26” can be set (Non-Patent Document 1). Refer to 8.4.2). In this embodiment, a case where MPM [2] is Planar prediction is taken as an example.
  • the video encoding device uses prev_intra_luma_pred_flag ⁇ ⁇ ⁇ which is a flag for designating whether to use MPM and the prediction mode of which neighboring PU Mpm_idx (1bin or 2bin) indicating whether to apply to the PU is included in the bitstream (see non-patent document 1 7.3.8.5).
  • the video encoding device When the prediction mode of MPM is not selected as the prediction mode for the PU, the video encoding device includes prev_intra_luma_pred_flag and 5bin rem_intra_luma_pred_mode which is data (syntax element) indicating the selected prediction mode in the bitstream. Become. Therefore, when the PU is determined to be MPM, the data amount related to the prediction mode in the bitstream is reduced.
  • the bin number is basically assigned to prediction mode candidates as follows, for example.
  • X indicates the prediction mode of the evaluation object PU (prediction mode of the evaluation object).
  • ” means “or”. “otherwise” indicates a prediction mode candidate other than MPM.
  • the cost calculating unit 240 uses MPM [0] as the prediction mode candidate of the evaluation target PU in the process of step S15.
  • the encoding cost is calculated according to equation (2), assuming that the bin number is 2.
  • MPM [1] or MPM [2] is handled as a prediction mode candidate of the evaluation target PU, the encoding cost is calculated according to the equation (2), assuming that the bin number is 3.
  • bin number 2 related to MPM [0] is based on the fact that prev_intra_luma_pred_flag is expressed in 1bin (1bit) and MPM [0] is expressed in 1bin (1bit).
  • the bin number 3 related to MPM [1] 2
  • MPM [2] is based on the fact that prev_intra_luma_pred_flag is expressed by 1bin (1 bit) and MPM [1]
  • the bin number 6 when not MPM is based on that prev_intra_luma_pred_flag is expressed in 1bin (1 bit) and rem_intra_luma_pred_mode corresponding to an index for specifying a prediction mode other than MPM is expressed in 5 bin (5 bits).
  • the video encoding device includes a block enlargement unit 370.
  • the block enlargement unit 370 is provided to reduce the number of bins of encoded data by integrating small blocks.
  • the Bin number correction unit 260 has a function of adjusting the bin number so that the block enlargement unit 370 increases the chances of integrating the small blocks.
  • the Bin power correction unit 260 determines whether or not each prediction mode candidate contributes to the block size expansion by the block expansion unit 370 and determines that it does not contribute to the block size expansion by the block expansion unit 370 Adjust the bin number for prediction mode candidates.
  • the Bin power number correcting unit 260 instructs the Bin power number determining unit 230 to increase the Bin power number.
  • each prediction mode candidate that is not MPM does not contribute to the block size expansion (the opportunity to integrate small blocks is not increased).
  • the bin number determining unit 230 does not actually determine the number of bins based on the above equation (3), but determines the number of bins based on the following equation (4).
  • “adjust” indicates an adjustment (increment) of the bin number output from the Bin number correcting unit 260. Note that the value of “adjust” is determined based on the increment of the bin number that occurs when the block size is not enlarged by the block enlargement unit 370.
  • the prediction mode selection unit 250 determines a prediction mode candidate corresponding to the minimum encoding cost among the encoding costs of each prediction mode candidate calculated by the cost calculation unit 240 as a prediction mode (step S16).
  • the prediction mode selection unit 250 can easily select MPM as the prediction mode, compared to the case where the Bin number correction unit 260 does not exist. This is because the encoding cost of prediction mode candidates other than MPM is higher than that in the case where the Bin number correction unit 260 does not exist.
  • the block expansion unit 370 integrates four small blocks into one block when the prediction modes of the four small blocks constituting the quadtree match.
  • configuring a quadtree means that it is included in one PU partition shape (see FIG. 11, for example, N ⁇ N block).
  • composing a quadtree means that four small blocks are based on one node in the hierarchy one level above the quadtree structure. That is, the four small blocks correspond to child nodes based on one node of the quadtree structure.
  • the block enlargement unit 370 may use other conditions as conditions for integrating the small blocks into one block. Examples of other conditions include, for example, that three or more prediction modes out of four match.
  • the possibility that the block expanding unit 370 integrates small blocks for the purpose of reducing the number of bins of encoded data is increased. This is because if the MPM is selected, the prediction mode of the block indicated as ModeX is relatively likely to match the prediction mode of other small blocks.
  • the bin number correction unit 260 increases the number of bins so that the selection rate of the intra prediction mode for integrating small blocks is increased.
  • the evaluation target after increasing the number of bins is larger than the block size. This is because if the prediction mode candidate is selected without enlarging, the overall coding cost may be reduced. The same applies to other embodiments.
  • a condition is weighted with respect to a criterion for determining whether or not to contribute to the block size expansion in the first embodiment.
  • the condition is determined depending on whether the evaluation target PU is positioned on the upper side or the lower side in one N ⁇ N block (in the quadtree, that is, in one PU partition shape). Weighted.
  • the conditions are expressed as follows, for example.
  • A indicates the prediction mode of the PU adjacent to the left of the evaluation target PU
  • B indicates the prediction mode of the PU adjacent to the evaluation target PU.
  • the Bin power correction unit 260 further weights the value of “adjust” based on the above condition (5) when outputting “adjust” expressed by equation (4). Although it is configured to output, the Bin power correction unit 260 may output “adjust” based only on the above condition (5) without using the equation (4). Further, the Bin power correction unit 260 may output “adjust” based on one of the conditions of the expression (4) and the condition (5).
  • the Bin power correction unit 260 performs the above processing when the same prediction mode candidate as the prediction mode of the PU adjacent to the left is handled. “Adjust” defined in (5) is output to the bin number determining unit 230. The definitions of “upper side” and “lower side” are shown in FIG. 5A. In FIG. 5B and FIG. 5C, “X” indicates an evaluation target PU.
  • the Bin power correction unit 260 handles the same prediction mode candidate as the prediction mode of the adjacent PU on the upper side.
  • “adjust” defined in (5) above is output to the bin number determining unit 230.
  • the evaluation target PU When the evaluation target PU is positioned on the lower side of the quadtree by the output of “adjust” defined in (5) above by the Bin power correction unit 260 (see FIG. 5C), the evaluation target PU The possibility that the prediction mode is the same as the prediction mode of the PU adjacent above is increased. This is because the number of bins corresponding to a prediction mode candidate different from the prediction mode of the PU adjacent above is increased, and the coding cost is increased.
  • the prediction mode of the evaluation target PU is likely to be the same as the prediction mode of the PU adjacent to the left. This is because the number of bins corresponding to prediction mode candidates different from the prediction mode of the PU to be increased increases, and the coding cost increases.
  • a prediction mode candidate different from the prediction mode of the PU adjacent to the upper side does not contribute to the block size expansion by the block expansion unit 370. Further, when the evaluation target PU is positioned on the upper side in the quadtree, a prediction mode candidate different from the prediction mode of the PU adjacent to the left does not contribute to the block size expansion by the block expansion unit 370.
  • the block expanding unit 370 integrates small blocks in order to reduce the number of bins of the encoded data is increased.
  • the prediction mode of the evaluation target PU is likely to be the same as the prediction mode of the PU adjacent above.
  • MPM [0] may be selected as the prediction mode in the first embodiment. Is relatively expensive.
  • the prediction mode candidate that contributes to the block size expansion by the block expansion unit 370 is the same prediction mode candidate as the prediction mode of the adjacent block above.
  • “X” indicates an evaluation target PU.
  • a broken-line rectangle indicates that four PUs constitute a quadtree (one PU divided shape).
  • the Bin power correction unit 260 outputs “adjust” based on the following equation (6).
  • the Bin power correction unit 260 is adjacent to the prediction mode candidate when MPM [0] is handled as the prediction mode candidate.
  • the prediction mode of the PU is the same, “adjust” is not output, but when the prediction mode candidate is different from the prediction mode of the PU adjacent above, “adjust” is output. Therefore, when the MPM [0] is handled as a prediction mode candidate and the prediction mode candidate is the same as the prediction mode of the adjacent PU, the bin bin number determination unit 230 sets the bin number to 2. When the prediction mode candidate is different from the prediction mode of the adjacent PU above, the bin number is set to 2 + adjust.
  • the Bin power correction unit 260 when MPM [1] or MPM [2] is treated as a prediction mode candidate, Is not output when the prediction mode of the PU adjacent to the upper side is the same, but “adjust” is output when the prediction mode candidate is different from the prediction mode of the upper adjacent PU. Therefore, when the MPM [1] or MPM [2] is handled as a prediction mode candidate, the Bin power determining unit 230 has a bin power when the prediction mode candidate is the same as the prediction mode of the adjacent PU. Is 3, but when the prediction mode candidate is different from the prediction mode of the adjacent PU above, the bin number is 3 + adjust.
  • the prediction mode of the evaluation target PU is likely to be the same as the prediction mode of the PU adjacent above. This is because the number of bins corresponding to a prediction mode candidate different from the prediction mode of the PU adjacent above is increased, and the coding cost is increased.
  • a prediction mode candidate different from the prediction mode of the PU adjacent to the upper side does not contribute to the block enlargement by the block enlargement unit 370.
  • the Bin power correction unit 260 determines whether or not the evaluation target PU is located in the lower left. Easy to judge.
  • the value of “adjust” in the expression (6) is generally the same value as the value of “adjust” in the first embodiment (the value of “adjust” in the expression (4)). It may be different from the value of “adjust” in the form.
  • the block expanding unit 370 integrates small blocks in order to reduce the number of bins of encoded data is increased.
  • MPM [0] may be selected as the prediction mode when the evaluation target PU is located on the lower left (that is, lower left) in one PU division shape.
  • the Bin power correction unit 260 outputs “adjust” based on the following equation (7).
  • the bin number determining unit 230 determines the bin number based on, for example, the above equation (4).
  • MPM [0] prediction mode for left adjacent PU
  • MPM [1] prediction mode for upper adjacent PU
  • the bin number determining unit 230 always determines the number of bin numbers based on the above equation (4). However, when the evaluation target PU located at the lower left in the quadtree is targeted, MPM [0] The number of bins may be determined using the prediction mode of the adjacent PU of and the prediction mode of MPM [1] of the left adjacent PU.
  • the bin number is increased when the prediction mode candidate being handled is the same as the prediction mode of the PU adjacent to the left.
  • the prediction mode (MPM [1]) of the adjacent block on the upper side is set to MPM assigned the smallest number of bins.
  • the intra prediction mode determination unit 200 is configured to perform processing related to the minimum block size (for example, 4 ⁇ 4), thereby determining the intra prediction mode. Since the Bin power correction unit 260 makes it difficult to select a prediction mode candidate that does not contribute to the block size expansion by the block expansion unit 370 while preventing the size (area) of the integrated circuit that implements the unit 200 from increasing, the block expansion unit The possibility of block size expansion by 370 increases. As a result, the number of bins in the encoded data can be reduced.
  • the minimum block size for example, 4 ⁇ 4
  • the bitstream includes split_cu_flag, cu_skip_flag, pred_mode, part_mode, intra_chroma_pred_mode, and rqt_root_cbf.
  • the bin number increases.
  • intra prediction mode determination part 200 is function-divided as shown in FIG. 2, how to allocate such a function is an example, Comprising: Division may be performed.
  • intra prediction including an intra prediction image generation unit 210, a prediction mode selection unit 250, and other blocks (one block that realizes the functions of the residual calculation unit 220, the Bin power determination unit 230, and the cost calculation unit 240).
  • the mode determination unit 200, the prediction mode selection unit 250, and other blocks one block that implements the functions of the intra prediction image generation unit 210, the residual calculation unit 220, the Bin power determination unit 230, and the cost calculation unit 240
  • an intra prediction mode determination unit 200 including
  • the intra prediction mode determination unit 200 of each of the above embodiments can be realized by an integrated circuit such as an FPGA or a PLD (Programmable logic device), but can also be realized by a computer program.
  • an integrated circuit such as an FPGA or a PLD (Programmable logic device)
  • PLD Programmable logic device
  • the information processing system shown in FIG. 7 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream and the like.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a semiconductor storage medium such as a magnetic storage medium or a RAM (Random Access Memory) can be used.
  • the program memory 1002 stores a program for realizing the function of each block shown in FIG. Then, the processor 1001 implements the function of the intra prediction mode determination unit 200 shown in FIG. 2 by executing processing according to the program stored in the program memory 1002.
  • the video encoding device including the intra prediction mode determination unit 200 can be realized by an information processing system.
  • the program memory 1002 stores a program for realizing the function of each block (excluding the buffer) shown in FIG.
  • FIG. 8 is a block diagram showing the main part of the prediction mode determination device.
  • the prediction mode determination apparatus shown in FIG. 8 is applied to an apparatus that recursively divides an input video block (for example, CTU) into small blocks and encodes the blocks by intra prediction or interframe prediction. Based on the residual corresponding to the prediction mode candidate and the number of bins assigned to the prediction mode candidate, the encoding cost of the plurality of prediction mode candidates is evaluated, and the intra prediction mode is selected from the plurality of prediction mode candidates based on the evaluation result.
  • a prediction mode selection unit 11 (corresponding to the intra prediction image generation unit 210, the residual calculation unit 220, the Bin power determination unit 230, the cost calculation unit 240, and the prediction mode selection unit 250 in FIG.
  • the Bin power adjustment unit 12 (Bin in FIG. 2) increases the number of bin power corresponding to a specific prediction mode candidate. Equivalent to the power correction unit 260).
  • the prediction mode selection part 11 and the Bin power adjustment part 12 are provided corresponding to only one size (for example, 4x4) among the sizes which a small block can take.
  • the prediction mode determination device is applied to a video encoding device having an integration unit 13 that integrates a plurality of small blocks into one block when a predetermined condition is satisfied.
  • the bin number may be increased so that the selection rate of the intra prediction mode that satisfies the predetermined condition is increased.
  • An intra prediction mode determination method applied to a video encoding device that recursively divides an input video block into small blocks and encodes the block by intra prediction or inter-frame prediction, A plurality of prediction mode candidates based on the residual corresponding to the prediction mode candidate and the number of bins assigned to the prediction mode candidate for each of the small blocks only in one of the possible sizes of the small block. Evaluate the coding cost of Based on the evaluation result, an intra prediction mode is selected from the plurality of prediction mode candidates, An intra prediction mode determination method characterized by increasing the number of bins corresponding to a specific prediction mode candidate when evaluating the coding cost.
  • An intra prediction mode determination device applied to a video encoding device that recursively divides an input video block into small blocks and encodes the block by intra prediction or inter-frame prediction, For each of the small blocks, the encoding cost of a plurality of prediction mode candidates is evaluated based on the residual corresponding to the prediction mode candidate and the number of bins assigned to the prediction mode candidate.
  • Prediction mode selection means for selecting an intra prediction mode from the prediction mode candidates, When the prediction mode selection means evaluates the encoding cost, the Bin number adjustment means for increasing the number of bins corresponding to a specific prediction mode candidate, The intra-prediction mode determination device, which is provided corresponding to only one of the sizes that the small block can take.
  • the Bin number adjusting means is When the small block to be evaluated is located on the upper side in one divided shape, Increase the number of bins corresponding to prediction mode candidates different from the prediction mode of the block adjacent to the left of the small block, When the small block to be evaluated is positioned on the lower side in one divided shape, the bin number corresponding to a prediction mode candidate different from the prediction mode of the block adjacent on the small block is increased. Intra prediction mode determining apparatus.
  • the Bin number adjusting means has an MPM prediction mode candidate and is different from the prediction mode of a block adjacent on the small block.
  • the intra prediction mode determination device according to attachment 9, wherein the number of bins corresponding to the prediction mode candidate is increased.
  • the prediction mode selection unit evaluates the encoding cost using the prediction mode of the adjacent block above as the MPM to which the smallest bin number is assigned.
  • the intra prediction mode determination device according to appendix 9.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化後のデータのbin 数を少なくしつつ、回路規模を増大させないようにする。 イントラ予測モード決定装置は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用され、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、予測モード選択手段が符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられている。

Description

イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体
　本発明は、映像符号化装置に適用されるイントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムに関する。
　非特許文献１には、ITU-T 勧告H.265 規格に基づく映像符号化方式であるHEVC（High Efficiency Video Coding）が記載されている。
　HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTU は、クアッドツリー（四分木）構造で、符号化ユニット（CU:Coding Unit）に再帰的に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差（残差）は、四分木構造で変換ユニット（TU: Transform Unit）に分割されて周波数変換される。
　図１０Ａ及び図１０Ｂは、CTU のCU分割例に対応する四分木構造を示す説明図である。図１０Ａに示す例では、CTU の四分木構造は、図１０Ｂに示す階層構造に示されるように、６４×６４のブロックを分割することを示すCUDepth=0 のcu_split_flag=1 、最初の３つの３２×３２のCU（CU0, CU1、およびCU2 ）を分割しないことを示す３つのCUDepth=1 のcu_split_flag=0 、最後の３２×３２のCUを分割することを示すCUDepth=1 のcu_split_flag=1 、最初の３つの１６×１６のCU（CU3, CU4, およびCU5 ）を分割しないことを示す３つのCUDepth=2 のcu_split_flag=0 、最後の１６×１６のCUを分割することを示すCUDepth=2 のcu_split_flag=1 、すべての８×８CU（CU6, CU7, CU8 、およびCU9 ）を分割しないことを示す４つのCUDepth=3 のcu_split_flag=0 で表現できる。
　図１１は、CUのPU分割形状を示す説明図である。イントラ予測の場合、正方形のPU分割（２Ｎ×２ＮまたはＮ×Ｎ）を選択できる（ただし、CUが最小サイズよりも大きい場合、２Ｎ×２Ｎのみを選択できる）。
　CUは、PU毎にイントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測を説明する。
　イントラ予測は、符号化対象フレームの参照画素から予測画像を生成する予測である。
非特許文献１では、図１２に示す３３種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の参照画素を図１２に示す３３種類の方向のいずれかに外挿して、イントラ予測信号（予測画素）を生成する。非特許文献１では、３３種類の角度イントラ予測に加えて、符号化対象ブロック周辺の参照画素を平均するDC予測、および、符号化対象ブロック周辺の参照画素を線形補間するPlanar予測が定義されている。
　図１２において、最上位行の各矩形および最左列の各矩形は、参照画素を示す。矩形中の数字は、座標を示す。矢印は、予測方向を示す。矢印の近傍に付された数字は、予測モードを示す。
　図１３を参照して、ディジタル化された映像の各フレームの各CTU を入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
　図１３は、一般的な映像符号化装置の一例を示すブロック図である。図１３に示す映像符号化装置は、変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５、予測部３０６、および予測モード／ブロックサイズ決定部３０７を備える。
　予測モード／ブロックサイズ決定部３０７は、CTU 毎に符号化コストを最小とする予測モードとブロックサイズの組み合わせを決定する。また、予測モード／ブロックサイズ決定部３０７は、CU四分木構造／PU分割形状に加えて、TU四分木構造を決定する。
　予測部３０６は、予測モード／ブロックサイズ決定部３０７が決定した予測モードおよびブロックサイズに基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測に基づいて生成される。
　変換部３０１は、予測モード／ブロックサイズ決定部３０７が決定したTU四分木構造に基づいて、入力画像信号から予測信号を減じた残差画像（残差信号：予測誤差信号）を周波数変換する。変換部３０１は、残差信号の変換符号化において、周波数変換に基づいた４×４、８×８、１６×１６または３２×３２ブロックサイズの直交変換を使用する。なお、ｎ×ｎブロックサイズは、縦ｎ画素で横ｎ画素のサイズを意味する。
　量子化部３０２は、変換部３０１から供給される直交変換係数を量子化する。以下、量子化された直交変換係数を変換量子化値ということがある。逆量子化／逆変換部３０４は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換部３０４は、逆量子化した直交変換係数を逆変換する。逆変換された残差画像は、予測信号（予測画像）が加えられて、バッファ３０５に供給される。バッファ３０５は、画像を参照画像として格納する。
　予測モード／ブロックサイズ決定部３０７が、予測モードおよびPU分割形状を決定するときに、例えば、使用可能な全ての予測モードと全てのブロックサイズ（イントラ予測の場合、４×４、８×８、１６×１６、３２×３２および６４×６４）との組み合わせについて予測を実行し、残差を算出した後に、予測結果等に基づいて最適な組み合わせを決定するように構成されることがある（例えば、特許文献１の段落００５２～００５４参照）。最適な組み合わせは、例えば、符号化コストを最小にする組み合わせである。全ての予測モードと全てのブロックサイズとの組み合わせを評価する予測モード／ブロックサイズ決定部３０７を有する映像符号化装置を、以下、第１の映像符号化装置という。また、特許文献２には、使用可能な全ての予測モードを評価して、最適な予測モードを決定する画像処理装置が記載されている（例えば、段落０３２９参照）。
　また、事前にすなわち予測モードを決定する前に、符号化コスト等に基づいてブロックサイズを決定し、決定されたブロックサイズで予測モードを決定する方式もある。そのような方式に基づく映像符号化装置を、以下、第２の映像符号化装置という。
　ＨＥＶＣのように大きなブロックサイズが許容される符号化では、映像信号の特徴が類似する領域において、大きなPUサイズ（PUのブロックサイズ）や大きなTUサイズ（TUのブロックサイズ）を適用することによって、符号化効率が高まる。具体的には、符号化後のデータのビット量（bin 数）が少なくなる。
　できるだけブロックサイズを大きくするために、所定の条件が成立すると、ブロックを拡大する機能を有する映像符号化装置がある（例えば、特許文献３参照）。ブロックの拡大は、複数のブロックを１つに統合することを意味する。そのような機能を有する映像符号化装置を、以下、第３の映像符号化装置という。
　図１４は、特許文献３に記載された第３の映像符号化装置の構成を示すブロック図である。図１４に示す映像符号化装置は、入力映像を入力として符号化パラメータを生成して出力する符号化パラメータ決定部１１０と、符号化部１２０と、ブロック拡大部３７０とを含む。符号化部１２０は、図１３に示された映像符号化装置から予測モード／ブロックサイズ決定部３０７を除いた構成と同等の構成を有する。
　入力画像の符号化が開始されると、符号化パラメータ決定部１１０は、ブロック分割を行い、分割されたブロック毎の符号化モード（イントラ予測、インター予測、スキップモード等）および予測モードを探索し符号化パラメータ＃１を決定する。符号化パラメータ決定部１１０は、符号化コストを計算し、符号化コストに基づいて符号化パラメータを決定する。符号化コストには、符号量に関する値（bin 数）と符号化歪み（画質に相関する。）とが反映されている。符号化パラメータ決定部１１０は、一例として、以下のRD（Rate Distortion ）コストを使用する。
　　Cost ＝ D ＋　λ・R　　　　　　　　　　　　　　　　（１）
　（１）式において、D は符号化歪みであり、R は、変換係数まで加味した符号量であり、λはラグランジュ乗数である。
　ブロック拡大部３７０は、符号化パラメータ＃１を入力して、符号化パラメータ中のブロックサイズおよび動きベクトル情報を変更して出力する。出力された符号化パラメータは符号化部１２０に入力される。
　ブロック拡大部３７０は、例えば、隣接する４つのブロックがすべて同じサイズであり、かつ、それら４つのうちあらかじめ決められているｍ（ｍ：整数）個以上がイントラ予測ブロックである場合にブロックを拡大する。すなわち、４つのブロックを１つに統合する。なお、インター予測が用いられるときには、さらに、統合前の４つのブロックの動きベクトルに基づいて、統合されたブロックの動きベクトルを決定する。ブロック拡大部３７０は、例えば、統合前の４つのブロックのいずれかのブロックの動きベクトルを、統合された１つのブロックの動きベクトルとしたり、４つのブロックの動きベクトルの平均ベクトルを、統合された１つのブロックの動きベクトルとする。
　特許文献４には、複数の基本ブロックからなるＮ×Ｎ画素の領域である統合領域に含まれる複数の基本CUを１つの新たなCUとして統合し、統合後の新たなCUに基づいて符号列を生成することが記載されている。統合領域に含まれる複数の基本CUは、統合領域に属する複数の基本CUおよび基本PUがすべて同じブロックサイズかつ、統合領域に含まれる全ての基本PUの予測情報が同じである場合に、統合される。
国際公開第２０１１／０３３８５３号 国際公開第２０１２／１０５４０６号 国際公開第２０１６／１１６９８４号 特開２０１５－１８１２２５号公報
ITU-T 勧告 H.265 High efficiency video coding, April 2015
　イントラ予測に関して、第１の映像符号化装置における予測モード／ブロックサイズ決定部３０７の実現例として、図１５に示す構成が考えられる。
　図１５に示す第１の映像符号化装置において、予測モード／ブロックサイズ決定部３０７は、４×４イントラ予測画像生成部３１１、８×８イントラ予測画像生成部３１２、１６×１６イントラ予測画像生成部３１３、３２×３２イントラ予測画像生成部３１４および６４×６４イントラ予測画像生成部３１５を含む。各々のイントラ予測画像生成部は、使用可能な予測モードのそれぞれについて、順次、予測画像を生成する。使用可能な予測モードは、一例として全て（３５通り）であるが、例えば所定の絞り込み手法を用いて予測モードが絞り込まれた場合には絞り込み後の数（３５未満）であり、あらかじめ使用可能な予測モードの数（３５未満）が定められた場合にはその数である。
　予測モード／ブロックサイズ決定部３０７は、さらに、４×４イントラ予測画像生成部３１１、８×８イントラ予測画像生成部３１２、１６×１６イントラ予測画像生成部３１３、３２×３２イントラ予測画像生成部３１４および６４×６４イントラ予測画像生成部３１５のうちの対応する予測画像生成部が生成した予測画像と入力画像との差（残差）を計算する残差計算部３２１～３２５を含む。予測モード／ブロックサイズ決定部３０７は、さらに、残差計算部３２１～３２５のうちの対応する残差計算部が算出した残差および取り扱われている予測モードに応じて決められている符号量を用いてbin 数を算出するBin 数算出部（Bin 数決定部）３３１～３３５を含む。
　予測モード／ブロックサイズ決定部３０７は、残差計算部３２１～３２５のうちの対応する残差計算部の計算結果とBin 数算出部３３１～３３５のうちの対応するBin 数算出部が算出したbin 数とを用いて符号化コストを計算するコスト計算部３４１～３４５を含む。予測モード／ブロックサイズ決定部３０７は、さらに、コスト計算部３４１～３４５のうちの対応するコスト計算部が計算した符号化コストに基づいて予測モードを選択する予測モード選択部３５１～３５５を含む。予測モード／ブロックサイズ決定部３０７は、さらに、予測モード選択部３５１～３５５が選択した予測モードに基づいてブロックサイズを選択するサイズ選択部３６０を含む。
　図１５に示す予測モード／ブロックサイズ決定部３０７は、例えば６４×６４のサイズのブロック（CTU ）を、４×４のサイズのブロック、８×８のサイズのブロック、１６×１６のサイズのブロック、３２×３２のサイズのブロックおよび６４×６４のサイズのブロックに分割し、分割後の各ブロックについて、イントラ予測、残差計算、bin 数算出、符号化コストの計算および予測モードの選択を行う。なお、６４×６４のサイズのブロックは、CTU を分割しない場合のブロックである。
　そして、サイズ選択部３６０は、符号化コストが最小である予測モードを特定する。すなわち、予測モード選択部３５１～３５５のうち、符号化コストを最小にする予測モード選択部の組み合わせ、換言するとCTU の四分木構造を特定する。予測モード選択部３５１～３５５は、ブロックサイズ（換言すれば、ブロック形状）に対応して設けられているので、サイズ選択部３６０は、予測モード選択部を特定することによって、最適な四分木構造を決定できる。
　第１の映像符号化装置では、予測モード／ブロックサイズ決定部３０７の回路規模が大きくなる。所定の時間内に符号化処理を完了させるために、図１５に例示するように、４×４、８×８、１６×１６、３２×３２および６４×６４のサイズの各ブロックについて、予測を実行し、残差を算出し、符号化コストを算出し、かつ、予測モードを決定するための回路を設け、４×４、８×８、１６×１６、３２×３２および６４×６４のサイズの各ブロックについての処理が並列して実行されることが求められるからである。その結果、FPGA（Field-Programmable Gate Array ）などの集積回路で予測モード／ブロックサイズ決定部３０７を実現する場合、集積回路のサイズ（面積）を大きくしないという要請に応えられないおそれがある。
　第２の映像符号化装置では、第１の映像符号化装置に比べて、予測モード／ブロックサイズ決定部３０７の回路規模は小さい。しかし、第２の映像符号化装置は、第３の映像符号化装置に比べて、回路規模は大きくなる。
　第３の映像符号化装置は、第１の映像符号化装置および第２の映像符号化装置よりも小さな回路規模を実現しつつ、符号化後のデータのビット量（bin 数）を少なくすることができるという効果を奏する。しかし、そのような効果は、複数のブロックが統合される機会が多い場合に得られる。複数のブロックが統合される機会が少ない場合には、bin 数を少なくすることができるという効果は得られない。特許文献４の技術でも、そのような効果は得られない。
　本発明は、符号化後のデータのbin 数を少なくしつつ、回路規模を増大させないイントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを提供することを目的とする。
　本発明の一態様に係るイントラ予測モード決定方法は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定方法であって、小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択し、符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加することを特徴とする。
　本発明の一態様に係るイントラ予測モード決定装置は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定装置であって、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、予測モード選択手段が符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられていることを特徴とする。
　本発明の一態様に係る記憶媒体は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に搭載されるコンピュータに、小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価する処理と、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する処理と、符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する処理とを実行させるイントラ予測モード決定プログラムを記憶することを特徴とする。本発明の一態様は、上記記憶媒体に格納されるイントラ予測モード決定プログラムによっても実現される。
　本発明によれば、符号化後のデータのbin 数を少なくしつつ、回路規模を増大させないようにすることができる。
図１は、予測モード決定装置を含む映像符号化装置の一例を示すブロック図である。 図２は、イントラ予測モード決定部の構成例を示すブロック図である。 図３は、イントラ予測モード決定部の動作を示すフローチャートである。 図４は、MPM を説明するための説明図である。 図５Ａは、上側のブロックおよび下側のブロックを説明するための説明図である。 図５Ｂは、上側のブロックおよび下側のブロックを説明するための説明図である。 図５Ｃは、上側のブロックおよび下側のブロックを説明するための説明図である。 図６は、ブロックサイズ拡大に寄与する予測モード候補を説明するための説明図である。 図７は、イントラ予測モード決定部の機能を実現可能な情報処理システムの構成例を示すブロック図である。 図８は、予測モード決定装置の主要部を示すブロック図である。 図９は、予測モード決定装置の主要部および複数の小ブロックを１つのブロックに統合する統合部を示すブロック図である。 図１０Ａは、CTU のCU分割例を示す説明図である。 図１０Ｂは、CTU のCU分割例に対応する四分木構造を示す説明図である。 図１１は、CUのPU分割形状を示す説明図である。 図１２は、角度イントラ予測を示す説明図である。 図１３は、一般的な映像符号化装置の一例を示すブロック図である。 図１４は、ブロック拡大部を含む映像符号化装置の構成を示すブロック図である。 図１５は、予測モード／ブロックサイズ決定部の構成を示すブロック図である。
　（第１の実施形態）
　図１は、本発明による予測モード決定装置を含む映像符号化装置の一例を示すブロック図である。図１及び他の図面において、データの送信の方向は、矢印によって示される方向に限られない。
　図１に示す映像符号化装置は、変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５、予測部３０６、ブロック拡大部３７０および予測モード決定部３５０を備える。
　変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５および予測部３０６の機能は、図１３に示されたそれらの機能と同じである。
　予測モード決定部３５０は、ブロック分割を行い、分割によって得られた各ブロックの符号化モード（イントラ予測、インター予測、スキップモード等）およびイントラ予測の予測モードを決定する。
　ブロック拡大部３７０は、所定の条件が成立すると、ブロックを拡大する。すなわち、複数のブロックを１つに統合する。
　図２は、予測モード決定部３５０に含まれるイントラ予測モード決定部２００の構成例を示すブロック図である。イントラ予測モード決定部２００は、イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０、コスト計算部２４０、予測モード選択部２５０およびBin 数修正部２６０を含む。
　図２に示すイントラ予測モード決定部２００は、図１５に示された予測モード／ブロックサイズ決定部３０７における１種類のブロックサイズ（例えば、４×４）に関する処理を遂行する部分に相当する。４×４のブロックサイズを例にすると、イントラ予測モード決定部２００は、４×４イントラ予測画像生成部３１１、残差計算部３２１、Bin 数算出部３３１、コスト計算部３４１および予測モード選択部３５１の機能を有する。
　図１５に示された予測モード／ブロックサイズ決定部３０７を有する映像符号化装置と比較すると、本実施形態の映像符号化装置は、イントラ予測モード決定処理を実行する回路規模が小さくなる。
　なお、イントラ予測モード決定部２００が遂行する処理の対象のサイズは小さいことが好ましい。対象のサイズが小さい場合には、回路規模が小さくなるからである。
　ただし、イントラ予測モード決定部２００が集積回路で実現され、許容される回路規模の範囲内で実現できるのであれば、最小サイズである４×４よりも大きいサイズ（例えば、８×８）を処理対象のサイズにしてもよい。また、本実施形態では、イントラ予測モード決定部２００には、１種類のサイズに関する処理を遂行する部分のみが実行されているが、イントラ予測モード決定部２００が集積回路で実現され、許容される回路規模の範囲内で実現できるのであれば、１種類より多い種類（例えば、４×４と８×８）のサイズに関する処理を遂行する部分が実装されてもよい。
　また、最小サイズは４×４に限定されない。例えば、８×８のブロックサイズを最小サイズとする映像符号化装置では、最小サイズは８×８が最小サイズである。
　次に、図３のフローチャートを参照して、イントラ予測モード決定部２００の動作を説明する。上述したように、本実施形態では、イントラ予測モード決定部２００は、４×４サイズに関する処理を遂行するように構成されている。
　イントラ予測モード決定部２００は、入力されるCTU （６４画素×６４画素であるとする。）毎に、４×４サイズのブロック（PU）に分割する（ステップＳ１１）。分割で得られるブロックを、小ブロックという。なお、厳密には、CTU がCUに分割されてから、PUに分割される。
　イントラ予測モード決定部２００において、イントラ予測画像生成部２１０は、各小ブロックについてイントラ予測を行う（ステップＳ１２）。すなわち、イントラ予測画像生成部２１０は、各小ブロックについて、予測モード毎に予測画像を生成する。残差計算部２２０は、イントラ予測画像生成部２１０が生成した予測画像に対する残差を計算する（ステップＳ１３）。イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０が扱う予測モードは最終的な予測モードはないので、以下、それらが扱う予測モードを予測モード候補という。
　Bin 数決定部２３０は、予測モード候補に対応するbin 数を決定する（ステップＳ１４）。なお、本実施形態におけるbin 数については後述する。
　コスト計算部２４０は、残差計算部２２０が計算した残差と、予測モードについてBin 数決定部２３０が決定したbin 数（bins）とを用いて、例えば以下の（２）式によって、各々の予測モードの符号化コスト（Cost）を計算する（ステップＳ１５）。
　なお、イントラ予測画像生成部２１０は、各小ブロックについて、使用可能な予測モード候補の全てに応じた予測画像を順次生成する。よって、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０は、使用可能な予測モード候補の各々に応じて、順次処理を実行する。以下、「扱われている予測モード」という表現は、実際に処理を実行している時点で、イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０の処理対象になっている予測モード候補を意味する。
　Cost = SAD + λ * bins　　　　　　　　　　　　　（２）
　（２）式において、SAD （Sum of Absolute Difference：差分絶対値和）は、画素毎の残差の絶対値和である。λは、重み付け値であるが、画質と符号量とのトレードオフで決定される。例えば、画質を若干落としても符号量を減少させたい場合には、λを大きくする。なお、SAD に代えて、例えばSSD （Sum of Squared Difference ）を用いてもよい。また、（２）式以降の式は、必要に応じてＣ＋＋言語の演算子を用いて表されている。
　HEVCでは、Most probable mode（MPM ）と呼ばれる符号化方式を用いることができる。
MPM として、予測対象PUに隣接するPU（隣接PU）の予測モードに基づいて３種類の予測モード候補が設定される。３種類の予測モードのうち最初の予測モード候補（MPM[0]とする。）は、例えば、左の隣接PUの予測モードである。２番目の予測モード候補（MPM[1]とする。）は、上の隣接PUの予測モードである（図４参照）。
　本実施形態では、イントラ予測モード決定部２００は、予測モードを決定するときに、MPM を使用する。
　図４には、MPM[0]が予測モード番号が「２０」の予測モードであり、MPM[1]が予測モード番号が「３２」の予測モードである場合が例示されている。"ModeX" が表記されているブロックが評価対象PU（予測モードの決定対象のPU）であり、"ModeX"は、実際に処理を実行している時点で扱われている予測モード候補を意味する。なお、図４において、「Ａ」および「Ｂ」が付された矩形は、評価対象PUに隣接する画素を示す。
　MPM[0]とMPM[1]とが不一致である場合、３番目の予測モード候補（MPM[2]とする。）が設定される。MPM[2]として、予測モード番号が「０」のPlanar予測、予測モード番号が「１」のDC予測、または予測モード番号「２６」の角度イントラ予測が設定可能である（非特許文献１の8.4.2 参照）。本実施形態では、MPM[2]がPlanar予測である場合を例にする。
　なお、MPM[0]、MPM[1]およびMPM[2]に対応する予測モードは、MPM リストとして逐次作成されて保持される。
　また、映像符号化装置は、PUに対する予測モードとしてMPM の予測モードが選択された場合には、MPM を使用するか否かを指定するフラグであるprev_intra_luma_pred_flag と、どの隣接PUの予測モードを予測対象PUに適用するかを示すmpm_idx （1binまたは2bin）をビットストリームに含める（非特許文献１の7.3.8.5 参照）。
　PUに対する予測モードとしてMPM の予測モードが選択されなかった場合には、映像符号化装置は、prev_intra_luma_pred_flag と選択された予測モードを示すデータ（シンタクス要素）である5binのrem_intra_luma_pred_modeをビットストリームに含めることになる。従って、PUがMPM に決定されたときには、ビットストリームにおける予測モードに関するデータ量が減る。
　また、本実施形態では、bin 数は、基本的に、例えば以下のように予測モード候補に割り当てられる。X は、評価対象PUの予測モード（評価対象の予測モード）を示す。"||"は、"or"を意味する。"otherwise" は、MPM 以外の予測モード候補を示す。
  bin 数 = 2  if (X == MPM[0])
           3  if (X == MPM[1] || MPM[2])
           6  otherwise
　　　　　　　　　　　　　　　　　　　　　　　　　（３）
　Bin 数決定部２３０が、（３）式に従って各々の予測モード候補のbin 数を決定する場合、コスト計算部２４０は、ステップＳ１５の処理で、評価対象PUの予測モード候補としてMPM[0]を扱っているときに、bin 数を2  として、（２）式に従って符号化コストを計算する。評価対象PUの予測モード候補としてMPM[1]またはMPM[2]を扱っているときに、bin 数を3 として、（２）式に従って符号化コストを計算する。
　なお、MPM[0]に関するbin 数 = 2は、prev_intra_luma_pred_flagが1bin（1bit）で表現され、MPM[0]が1bin（1bit）で表現されることに基づく。MPM[1] || MPM[2]に関するbin 数 = 3は、prev_intra_luma_pred_flagが1bin（1bit）で表現され、MPM[1] || MPM[2]が2bin（2bit）で表現されることに基づく。MPM でない場合のbin 数 = 6は、prev_intra_luma_pred_flagが1bin（1bit）で表現され、MPM 以外の予測モードを指定するためのインデックスに相当するrem_intra_luma_pred_modeが5bin（5bit）で表現されることに基づく。
　本実施形態では、映像符号化装置は、ブロック拡大部３７０を含む。上述したように、ブロック拡大部３７０は、小ブロックを統合することによって符号化後のデータのbin 数を少なくするために設けられている。Bin 数修正部２６０は、ブロック拡大部３７０が小ブロックを統合する機会を増やすようにbin 数を調整する機能を有する。換言すれば、Bin 数修正部２６０は、各々の予測モード候補について、ブロック拡大部３７０によるブロックサイズ拡大に寄与するかしないか判定し、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないと判断した場合に予測モード候補についてbin 数を調整する。具体的には、Bin 数修正部２６０は、Bin 数を増加することをBin 数決定部２３０に指示する。
　本実施形態（第１の実施形態）では、MPM でない各予測モード候補は、ブロックサイズ拡大に寄与しない（小ブロックを統合する機会を増やさない。）とする。
　従って、ステップＳ１４の処理において、Bin 数決定部２３０は、実際には、上記の（３）式に基づいてbin 数を決定するのではなく、下記の（４）式に基づいてbin 数を決定する。（４）式において、"adjust"は、Bin 数修正部２６０が出力したbin 数の調整分（増分）を示す。なお、"adjust"の値は、ブロック拡大部３７０によるブロックサイズ拡大がなされない場合に生ずるbin 数の増分に基づいて定められる。
  bin 数 = 2  if (X == MPM[0])
           3  if (X == MPM[1] || MPM[2])
           6+adjust  otherwise
　　　　　　　　　　　　　　　　　　　　　　　　　（４）
　予測モード選択部２５０は、コスト計算部２４０が計算した各々の予測モード候補の符号化コストうちの最小の符号化コストに対応する予測モード候補を、予測モードに決定する（ステップＳ１６）。
　本実施形態では、予測モード選択部２５０は、Bin 数修正部２６０が存在しない場合に比べて、予測モードとして、MPM を選択しやすい。MPM 以外の予測モード候補の符号化コストが、Bin 数修正部２６０が存在しない場合に比べて大きくなるからである。
　ブロック拡大部３７０は、一例として、四分木を構成する４つの小ブロックの予測モードが一致する場合に、４つの小ブロックを１つのブロックに統合する。なお、本明細書において、四分木を構成するということは、１つのPU分割形状（図１１参照：例えば、Ｎ×Ｎブロック）に含まれることを意味する。換言すれば、四分木を構成するということは、４つの小ブロックが四分木構造の１つ上の階層における１つのノードに基づくことを意味する。つまり、４つの小ブロックは、四分木構造の１つのノードに基づく子ノードに相当する。
　なお、ブロック拡大部３７０は、小ブロックを１つのブロックに統合する条件として、他の条件を用いてもよい。他の条件の例として、例えば、４つのうち３つ以上の予測モードが一致することが挙げられる。
　本実施形態では、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくすることを目的として小ブロックを統合する可能性が高まる。MPM を選んでおけば、ModeXと記されているブロックの予測モードが、他の小ブロックの予測モードと一致する可能性が相対的に高いからである。
　すなわち、本実施形態では、Bin 数修正部２６０は、小ブロックを統合させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する。
　なお、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされた予測モード候補を除外するのではなく、bin 数を増やした上で評価対象とするのは、ブロックサイズを拡大するよりも、ブロックサイズを拡大せずに当該予測モード候補を選択した方が全体的な符号化コストが低くなる可能性があるからである。このことは、他の実施形態でも同様である。
　（第２の実施形態）
　第２の実施形態では、第１の実施形態におけるブロックサイズ拡大に寄与するかしないかの判定基準に対して、条件が加重される。
　なお、第２の実施形態の映像符号化装置の構成は、図１に示された構成と同じである。
　本実施形態では、評価対象PUが、１つのＮ×Ｎブロック内で（四分木において、すなわち、１つのPU分割形状において）上側に位置するのか下側に位置するのかに応じて、条件が加重される。条件は、例えば、以下のように表される。
　if （四分木における上側ブロック）{
    if （X != A ）bin 数 += adjust;
} else { //下側
    if （X != B） bin 数 += adjust;
}
                                    （５）
　「Ａ」は評価対象PUの左に隣接するPUの予測モードを示し、「Ｂ」は評価対象PUの上に隣接するPUの予測モードを示す。
　なお、本実施形態では、Bin 数修正部２６０は、（４）式で表される"adjust"を出力する際に、さらに上記の（５）の条件に基づく"adjust"の値を加重して出力するように構成されるが、Bin 数修正部２６０は、（４）式を用いず、上記の（５）の条件のみに基づいて"adjust"を出力するようにしてもよい。また、Bin 数修正部２６０は、（４）式と（５）の条件のどちらか一方の条件が成立するときにその条件に基づく"adjust"を出力するようにしてもよい。
　Bin 数修正部２６０は、評価対象PUが四分木において上側に位置する場合には（図５Ｂ参照）、左に隣接するPUの予測モードと同じ予測モード候補が扱われているときに、上記の（５）で規定される"adjust"をBin 数決定部２３０に出力する。なお、「上側」よび「下側」の定義は、図５Ａに示されている。図５Ｂ、図５Ｃにおいて、「Ｘ」は、評価対象PUを示す。
　また、Bin 数修正部２６０は、評価対象PUが四分木において下側に位置する場合には（図５Ｃ参照）、上に隣接するPUの予測モードと同じ予測モード候補が扱われているときに、上記の（５）で規定される"adjust"をBin 数決定部２３０に出力する。
　なお、（５）式における"adjust"の値は、一般に、第１の実施形態における"adjust"の値（（４）式における"adjust"の値）と同じ値であるが、第１の実施形態における"adjust"の値と異なっていてもよい。
　Bin 数修正部２６０が上記の（５）で規定される"adjust"を出力することによって、評価対象PUが四分木において下側に位置する場合には（図５Ｃ参照）、評価対象PUの予測モードが、上に隣接するPUの予測モードと同じになる可能性が高まる。上に隣接するPUの予測モードと異なる予測モード候補に対応するbin 数が多くなって、符号化コストが大きくなるからである。
　また、評価対象PUが四分木において上側に位置する場合には（図５Ｂ参照、評価対象PUの予測モードが、左に隣接するPUの予測モードと同じになる可能性が高まる。左に隣接するPUの予測モードと異なる予測モード候補に対応するbin 数が多くなって、符号化コストが大きくなるからである。
　つまり、評価対象PUが四分木において下側に位置する場合には、上に隣接するPUの予測モードと異なる予測モード候補は、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされる。また、評価対象PUが四分木において上側に位置する場合には、左に隣接するPUの予測モードと異なる予測モード候補は、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされる。
　従って、本実施形態でも、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくするために小ブロックを統合する可能性が高まる。
　（第３の実施形態）
　次に、第３の実施形態を説明する。第３の実施形態の映像符号化装置の構成は、図１に示された構成と同じである。
　第２の実施形態では、評価対象PUが四分木において下側に位置するときに、評価対象PUの予測モードとして、上に隣接するPUの予測モードと同じになる可能性が高まる。
　図６に示すように、評価対象PUが四分木において下側の左（すなわち、左下）に位置するときに、第１の実施形態では、MPM[0]が予測モードとして選択される可能性は比較的高い。図６に示す例では、ブロック拡大部３７０によるブロックサイズ拡大に寄与する予測モード候補は、上に隣接するブロックの予測モードと同じ予測モード候補である。なお、図６において、「Ｘ」は、評価対象PUを示す。破線の矩形は、４つのPUが四分木を構成する（１つのPU分割形状を構成する。）ことを示す。
　そこで、本実施形態では、評価対象PUが１つのPU分割形状において左下に位置する場合には、Bin 数修正部２６０は、下記の（６）式に基づく"adjust"を出力する。
  bin 数 = 2         if (X==MPM[0] && X==B)
           2+adjust  if (X==MPM[0] && X!=B)
           3         if ((X == MPM[1] || MPM[2]) && X==B)
           3+adjust  if ((X == MPM[1] || MPM[2]) && X!=B)
           6+adjust  otherwise
　　　　　　　　　　　　　　　　　　　　　　　　　（６）
　すなわち、Bin 数修正部２６０は、評価対象PUが１つのPU分割形状において左下に位置する場合、予測モード候補としてMPM[0]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときには"adjust"を出力しないが、その予測モード候補が上に隣接するPUの予測モードと異なるときに"adjust"を出力する。よって、Bin 数決定部２３０は、予測モード候補としてMPM[0]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときにはbin 数を2  とするが、その予測モード候補が上に隣接するPUの予測モードと異なるときにはbin 数を2+adjustとする。
　また、Bin 数修正部２６０は、評価対象PUが１つのPU分割形状において左下に位置する場合、予測モード候補としてMPM[1]またはMPM[2]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときには"adjust"を出力しないが、その予測モード候補が上に隣接するPUの予測モードと異なるときに"adjust"を出力する。よって、Bin 数決定部２３０は、予測モード候補としてMPM[1]またはMPM[2]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときにはbin 数を3  とするが、その予測モード候補が上に隣接するPUの予測モードと異なるときにはbin 数を3+adjustとする。
　その結果、評価対象PUが１つのPU分割形状において左下に位置する場合に、評価対象PUの予測モードが、上に隣接するPUの予測モードと同じになる可能性が高まる。上に隣接するPUの予測モードと異なる予測モード候補に対応するbin 数が多くなって、符号化コストが大きくなるからである。
　つまり、評価対象PUが１つのPU分割形状において左下に位置する場合には、上に隣接するPUの予測モードと異なる予測モード候補は、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされる。
　なお、イントラ予測モード決定部２００において、４×４のサイズの４つのブロックの処理順はあらかじめ決められているので、Bin 数修正部２６０は、評価対象のPUが左下に位置するか否かを容易に判断できる。
　また、（６）式における"adjust"の値は、一般に、第１の実施形態における"adjust"の値（（４）式における"adjust"の値）と同じ値であるが、第１の実施形態における"adjust"の値と異なっていてもよい。
　本実施形態でも、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくするために小ブロックを統合する可能性が高まる。
　（第４の実施形態）
　次に、第４の実施形態を説明する。第４の実施形態の映像符号化装置の構成は、図１に示された構成と同じである。
　図６に示されたように、評価対象PUが１つのPU分割形状において下側の左（すなわち、左下）に位置するときに、MPM[0]が予測モードとして選択される可能性がある。
　そこで、本実施形態では、評価対象PUが１つのPU分割形状において左下に位置する場合には、Bin 数修正部２６０は、下記の（７）式に基づく"adjust"を出力する。
  bin 数 = 2  if (X == MPM[1])
           3  if (X == MPM[0] || MPM[2])
           6+adjust  otherwise
　　　　　　　　　　　　　　　　　　　　　　　　　（７）
　評価対象PUが１つのPU分割形状において左下に位置しない場合には、Bin 数決定部２３０は、例えば、上記の（４）式に基づいてbin 数を決定する。
　（４）式と（７）式の違いは、MPM[0]（左の隣接PUの予測モード）とMPM[1]（上の隣接PUの予測モード）とが入れ替わっていることである。
　なお、Bin 数決定部２３０は、常に、上記の（４）式に基づいてbin 数を決定するが、四分木において左下に位置する評価対象PUを対象としているときに、MPM[0]上の隣接PUの予測モードとし、MPM[1]を左の隣接PUの予測モードとして、bin 数を決定してもよい。
　本実施形態では、評価対象PUが四分木において左下に位置する場合、扱われている予測モード候補が左に隣接するPUの予測モード同じであるときにbin 数が増やされる。具体的には、評価対象PUが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モード（MPM[1]）を最も少ないbin 数が割り当てられたMPM とする。その結果、評価対象PUの予測モードが左に隣接するPUの予測モードに決定される可能性が低くなる。すなわち、本実施形態でも、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくするために小ブロックを統合する可能性が高まる。
　以上に説明したように、上記の各実施形態では、イントラ予測モード決定部２００が、最小のブロックサイズ（例えば、４×４）に関する処理を遂行するように構成されることによって、イントラ予測モード決定部２００を実現する集積回路のサイズ（面積）を大きくしないようにしつつ、Bin 数修正部２６０が、ブロック拡大部３７０によるブロックサイズ拡大に寄与しない予測モード候補を選択されにくくするので、ブロック拡大部３７０によるブロックサイズ拡大の可能性が高まる。その結果、符号化後のデータのbin 数を少なくすることができる。
　なお、CU分割およびPU分割に関して、ビットストリームに、split_cu_flag, cu_skip_flag,  pred_mode, part_mode, intra_chroma_pred_mode, rqt_root_cbfが含まれるが、ブロック拡大部３７０がブロックの拡大を行わなかったときには、それらの分だけビットストリームにおけるbin 数が増加する。
　また、上記の各実施形態では、イントラ予測モード決定部２００は、図２に示されたように機能分割されているが、そのような機能の分担のさせ方は一例であって、他の機能分割を行ってもよい。一例として、イントラ予測画像生成部２１０と予測モード選択部２５０と他のブロック（残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０の機能を実現する１つのブロック）とを含むイントラ予測モード決定部２００としたり、予測モード選択部２５０と他のブロック（イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０の機能を実現する１つのブロック）とを含むイントラ予測モード決定部２００としたりしてもよい。
　上記の各実施形態のイントラ予測モード決定部２００は、FPGAやPLD（Programmable logic device ）等の集積回路で実現可能であるが、コンピュータプログラムにより実現することも可能である。
　図７に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリーム等を格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、磁気記憶媒体やRAM （Random Access Memory）等の半導体の記憶媒体を用いることができる。
　図７に示された情報処理システムにおいて、プログラムメモリ１００２には、図２に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図２に示されたイントラ予測モード決定部２００の機能を実現する。
　また、イントラ予測モード決定部２００を含む映像符号化装置を情報処理システムで実現することもできる。その場合には、プログラムメモリ１００２には、図１に示された各ブロック（バッファを除く。）の機能を実現するためのプログラムが格納される。
　図８は、予測モード決定装置の主要部を示すブロック図である。図８に示す予測モード決定装置は、入力映像のブロック（例えば、CTU ）を再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する装置に適用され、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する予測モード選択部１１（図２におけるイントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０、コスト計算部２４０および予測モード選択部２５０に相当）と、予測モード選択部１１が符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整部１２（図２におけるBin 数修正部２６０に相当）とを備える。なお、予測モード選択部１１およびBin 数調整部１２は、小ブロックが取り得るサイズのうちの１つのサイズ（例えば、４×４）のみに対応して設けられている。
　図９に示すように、予測モード決定装置は、所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合部１３を有する映像符号化装置に適用され、Bin 数調整部１２は、所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加するように構成されていてもよい。
　上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
　（付記１）
　入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定方法であって、
　前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、
　評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択し、
　前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する
　ことを特徴とするイントラ予測モード決定方法。
　（付記２）
　所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に適用され、
　前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
　付記１記載のイントラ予測モード決定方法。
　（付記３）
　MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数を割り当て、
　MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する
　付記１または付記２記載のイントラ予測モード決定方法。
　（付記４）
　評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
　当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
　評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
　付記１または付記２記載のイントラ予測モード決定方法。
　（付記５）
　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
　付記３記載のイントラ予測モード決定方法。
　（付記６）
　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として扱う
　付記３記載のイントラ予測モード決定方法。
　（付記７）
　入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定装置であって、
　各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、
　前記予測モード選択手段が前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、
　前記小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられている
　ことを特徴とするイントラ予測モード決定装置。
　（付記８）
　所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合手段を有する映像符号化装置に適用され、
　前記Bin 数調整手段は、前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
　付記７記載のイントラ予測モード決定装置。
　（付記９）
　MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数が割り当てられ、
　前記Bin 数調整手段は、MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する
　付記７または付記８記載のイントラ予測モード決定装置。
　（付記１０）
　前記Bin 数調整手段は、
　評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
　当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
　評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
　付記７または付記８記載のイントラ予測モード決定装置。
　（付記１１）
　前記Bin 数調整手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
　付記９記載のイントラ予測モード決定装置。
　（付記１２）
　前記予測モード選択手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として前記符号化コストを評価する
　付記９記載のイントラ予測モード決定装置。
　（付記１３）
　入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に搭載されるコンピュータに、
　前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価する処理と、
　評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する処理と、
　前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する処理と
　を実行させるためのイントラ予測モード決定プログラムを記憶する記憶媒体。
　（付記１４）
　所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に搭載されるコンピュータに、
　前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する処理を実行させる
　前記イントラ予測モード決定プログラムを記憶する付記１３記載の記憶媒体。
　（付記１５）
　MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数が割り当てられ、
　コンピュータに、MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する処理を実行させる
　前記イントラ予測モード決定プログラムを記憶する付記１３または付記１４記載の記憶媒体。
　（付記１６）
　コンピュータに、
　評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する処理を実行させる
　前記イントラ予測モード決定プログラムを記憶する付記１３または付記１４記載の記憶媒体。
　（付記１７）
　コンピュータに、
　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する処理を実行させる
　前記イントラ予測モード決定プログラムを記憶する付記１５記載の記憶媒体。
　（付記１８）
　コンピュータに、
　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として前記符号化コストを評価する処理を実行させる
　前記イントラ予測モード決定プログラムを記憶する付記１５記載の記憶媒体。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１６年９月１２日に出願された日本出願特願２０１６－１７７３０３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　　予測モード選択部
　１２　　　Bin 数調整部
　１３　　　統合部
　１１０　　符号化パラメータ決定部
　１２０　　符号化部
　２００　　イントラ予測モード決定部
　２１０　　イントラ予測画像生成部
　２２０　　残差計算部
　２３０　　Bin 数決定部
　２４０　　コスト計算部
　２５０　　予測モード選択部
　２６０　　Bin 数修正部
　３０１　　変換部
　３０２　　量子化部
　３０３　　エントロピー符号化部
　３０４　　逆量子化／逆変換部
　３０５　　バッファ
　３０６　　予測部
　３０７　　予測モード／ブロックサイズ決定部
　３５０　　予測モード決定部
　３７０　　ブロック拡大部
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (18)

  1. 　入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定方法であって、
    　前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、
    　評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択し、
    　前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する
    　ことを特徴とするイントラ予測モード決定方法。
  2. 　所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に適用され、
    　前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
    　請求項１記載のイントラ予測モード決定方法。
  3. 　MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数を割り当て、
    　MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する
    　請求項１または請求項２記載のイントラ予測モード決定方法。
  4. 　評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
    　当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
    　評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
    　請求項１または請求項２記載のイントラ予測モード決定方法。
  5. 　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
    　請求項３記載のイントラ予測モード決定方法。
  6. 　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として扱う
    　請求項３記載のイントラ予測モード決定方法。
  7. 　入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定装置であって、
    　各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、
    　前記予測モード選択手段が前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、
    　前記小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられている
    　ことを特徴とするイントラ予測モード決定装置。
  8. 　所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合手段を有する映像符号化装置に適用され、
    　前記Bin 数調整手段は、前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
    　請求項７記載のイントラ予測モード決定装置。
  9. 　MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数が割り当てられ、
    　前記Bin 数調整手段は、MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する
    　請求項７または請求項８記載のイントラ予測モード決定装置。
  10. 　前記Bin 数調整手段は、
    　評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
    　当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
    　評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
    　請求項７または請求項８記載のイントラ予測モード決定装置。
  11. 　前記Bin 数調整手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
    　請求項９記載のイントラ予測モード決定装置。
  12. 　前記予測モード選択手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として前記符号化コストを評価する
    　請求項９記載のイントラ予測モード決定装置。
  13. 　入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に搭載されるコンピュータに、
    　前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価する処理と、
    　評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する処理と、
    　前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する処理と
    　を実行させるためのイントラ予測モード決定プログラムを記憶する記憶媒体。
  14. 　所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に搭載されるコンピュータに、
    　前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する処理を実行させる
    　前記イントラ予測モード決定プログラムを記憶する請求項１３記載の記憶媒体。
  15. 　MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数が割り当てられ、
    　コンピュータに、MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する処理を実行させる
    　前記イントラ予測モード決定プログラムを記憶する請求項１３または請求項１４記載の記憶媒体。
  16. 　コンピュータに、
    　評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する処理を実行させる
    　前記イントラ予測モード決定プログラムを記憶する請求項１３または請求項１４記載の記憶媒体。
  17. 　コンピュータに、
    　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する処理を実行させる
    　前記イントラ予測モード決定プログラムを記憶する請求項１５記載の記憶媒体。
  18. 　コンピュータに、
    　評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として前記符号化コストを評価する処理を実行させる
    　前記イントラ予測モード決定プログラムを記憶する請求項１５記載の記憶媒体。
PCT/JP2017/032526 2016-09-12 2017-09-08 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体 WO2018047952A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/332,022 US10721468B2 (en) 2016-09-12 2017-09-08 Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program
JP2018538492A JP6965887B2 (ja) 2016-09-12 2017-09-08 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016177303 2016-09-12
JP2016-177303 2016-09-12

Publications (1)

Publication Number Publication Date
WO2018047952A1 true WO2018047952A1 (ja) 2018-03-15

Family

ID=61562288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032526 WO2018047952A1 (ja) 2016-09-12 2017-09-08 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体

Country Status (3)

Country Link
US (1) US10721468B2 (ja)
JP (1) JP6965887B2 (ja)
WO (1) WO2018047952A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189903A1 (ja) * 2018-03-30 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2020143684A1 (zh) * 2019-01-08 2020-07-16 华为技术有限公司 图像预测方法、装置、设备、系统及存储介质
US11323708B2 (en) 2018-08-28 2022-05-03 Huawei Technologies Co., Ltd. Picture partitioning method and apparatus
US11388399B2 (en) 2019-01-08 2022-07-12 Huawei Technologies Co., Ltd. Image prediction method, apparatus, and system, device, and storage medium
WO2022176019A1 (ja) * 2021-02-16 2022-08-25 日本電信電話株式会社 映像符号化方法、映像符号化装置、及び映像符号化プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918058B (zh) * 2020-07-02 2022-10-28 北京大学深圳研究生院 硬件友好的帧内预测模式快速确定方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266679A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 動画像符号化装置
WO2013125171A1 (ja) * 2012-02-20 2013-08-29 日本電気株式会社 イントラ予測モード判定装置、方法、プログラム記憶媒体
JP2014187535A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2015177466A (ja) * 2014-03-17 2015-10-05 富士通株式会社 動画符号化装置、動画符号化方法および動画符号化プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677932B2 (ja) * 2006-03-06 2011-04-27 日本電気株式会社 動画像符号化方法及び動画像符号化装置とプログラムならびに媒体
JP5363581B2 (ja) 2009-09-16 2013-12-11 株式会社日立製作所 動画像復号化方法及び動画像符号化方法
EP2557792A4 (en) * 2010-04-09 2014-08-13 Mitsubishi Electric Corp VIDEO CODING DEVICE AND VIDEO CODING DEVICE
JP2012160991A (ja) 2011-02-02 2012-08-23 Sony Corp 画像処理装置および方法、並びに、プログラム
US9148667B2 (en) * 2013-02-06 2015-09-29 Qualcomm Incorporated Intra prediction mode decision with reduced storage
JP6731574B2 (ja) 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
EP3198869A1 (en) * 2014-09-23 2017-08-02 Intel Corporation Intra-prediction complexity reduction using a reduced number of angular modes and subsequent refinement
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding
WO2016116984A1 (ja) 2015-01-19 2016-07-28 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266679A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 動画像符号化装置
WO2013125171A1 (ja) * 2012-02-20 2013-08-29 日本電気株式会社 イントラ予測モード判定装置、方法、プログラム記憶媒体
JP2014187535A (ja) * 2013-03-22 2014-10-02 Fujitsu Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2015177466A (ja) * 2014-03-17 2015-10-05 富士通株式会社 動画符号化装置、動画符号化方法および動画符号化プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189903A1 (ja) * 2018-03-30 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11388414B2 (en) 2018-03-30 2022-07-12 Nippon Hoso Kyokai Device and method for allocating code amounts to intra prediction modes
US11991367B2 (en) 2018-03-30 2024-05-21 Nippon Hoso Kyokai Device and method for allocating code amounts to intra prediction modes
US11323708B2 (en) 2018-08-28 2022-05-03 Huawei Technologies Co., Ltd. Picture partitioning method and apparatus
US11758134B2 (en) 2018-08-28 2023-09-12 Huawei Technologies Co., Ltd. Picture partitioning method and apparatus
WO2020143684A1 (zh) * 2019-01-08 2020-07-16 华为技术有限公司 图像预测方法、装置、设备、系统及存储介质
US11388399B2 (en) 2019-01-08 2022-07-12 Huawei Technologies Co., Ltd. Image prediction method, apparatus, and system, device, and storage medium
US11849109B2 (en) 2019-01-08 2023-12-19 Huawei Technologies Co., Ltd. Image prediction method, apparatus, and system, device, and storage medium
WO2022176019A1 (ja) * 2021-02-16 2022-08-25 日本電信電話株式会社 映像符号化方法、映像符号化装置、及び映像符号化プログラム

Also Published As

Publication number Publication date
JPWO2018047952A1 (ja) 2019-07-11
US20190364271A1 (en) 2019-11-28
JP6965887B2 (ja) 2021-11-10
US10721468B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
KR102613966B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102618513B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
WO2018047952A1 (ja) イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体
KR102410424B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20210136949A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US9462271B2 (en) Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
KR20180121402A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2019525577A (ja) 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体
KR102358871B1 (ko) 인트라 예측 방법 및 그 장치
WO2012087034A2 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US10681354B2 (en) Image encoding/decoding method and apparatus therefor
KR20180040088A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180080132A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180061027A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2013066026A1 (ko) 양자화 계수 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20180031615A (ko) 비디오 신호 처리 방법 및 장치
KR20180061025A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20220098114A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR102447511B1 (ko) 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
JP6652068B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
KR102297268B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR102069784B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR102038818B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848890

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018538492

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848890

Country of ref document: EP

Kind code of ref document: A1