WO2023067822A1 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム Download PDF

Info

Publication number
WO2023067822A1
WO2023067822A1 PCT/JP2021/045640 JP2021045640W WO2023067822A1 WO 2023067822 A1 WO2023067822 A1 WO 2023067822A1 JP 2021045640 W JP2021045640 W JP 2021045640W WO 2023067822 A1 WO2023067822 A1 WO 2023067822A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
intra
code amount
video
prediction mode
Prior art date
Application number
PCT/JP2021/045640
Other languages
English (en)
French (fr)
Inventor
健太 徳満
慶一 蝶野
健太 飯田
裕哉 八巻
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023554230A priority Critical patent/JPWO2023067822A1/ja
Publication of WO2023067822A1 publication Critical patent/WO2023067822A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to a video encoding device, a video decoding device, a video encoding method, a video decoding method, and a video system for encoding or decoding video signals.
  • Non-Patent Document 1 discloses a video coding method called VVC (Versatile Video Coding).
  • each frame of a digitized video is divided into coding tree units (CTUs: Coding Tree Units), and each CTU is encoded in raster scan order.
  • CTUs Coding Tree Units
  • Each CTU is divided into coding units (CU: Coding Units) and encoded in a quad-tree (QT) structure or a multi-type tree (MMT: multi-type tree) structure.
  • CU Coding Units
  • MMT multi-type tree
  • blocks are equally partitioned horizontally and vertically.
  • partitioning using a multi-type tree structure a block is split horizontally or vertically into two or three.
  • Each CU is divided into prediction units (PUs) and predictively encoded.
  • Predictive coding includes intra prediction and motion compensation prediction (hereinafter referred to as inter prediction).
  • the prediction error of each PU is transform-coded based on the frequency transform.
  • Intra prediction is prediction that generates a predicted image from a reconstructed image that has the same display time as the frame to be encoded.
  • 65 types of angular intra prediction shown in FIG. 14 are defined.
  • numbers indicate prediction mode numbers.
  • angular intra prediction an intra prediction signal is generated by extrapolating reconstructed pixels around the encoding target block in any one of 65 different directions.
  • Non-Patent Document 1 defines, in addition to angle prediction, DC prediction for averaging reconstructed pixels around an encoding target block and planar prediction for linearly interpolating reconstructed pixels around an encoding target block.
  • FIG. 15 is an explanatory diagram for explaining the dependence of the intra prediction of the encoding target block on the prediction mode of the block adjacent to the upper side of the encoding target block and the prediction mode of the block adjacent to the left side of the encoding target block.
  • arrows indicate dependencies.
  • the prediction direction selection unit 205 does not calculate the code amount, that is, when the code amount calculation unit 211 is removed, the calculation of the encoding cost can be executed in parallel.
  • the prediction direction selector 205 is so configured, the coding efficiency is calculated based only on the coding distortion. As a result, the prediction mode selection accuracy of the encoding target block decreases. In other words, the coding efficiency due to intra prediction is reduced.
  • the present invention provides a video encoding device, a video decoding device, a video encoding method, a video decoding method, and a video system capable of executing intra-prediction in CU units in parallel while preventing a decrease in encoding efficiency.
  • the purpose is to
  • a video coding apparatus includes prediction mode determination means for determining a prediction mode for intra prediction based on a code amount and coding distortion, and the prediction mode determination means determines a code used when intra prediction is performed. It includes code amount estimation means for estimating the generated code amount of the encoding target block without using the encoding information of the blocks adjacent to the encoding target block.
  • the video decoding device is a generated code amount of a block to be encoded when intra prediction is executed, which is estimated without using coding information of blocks adjacent to the block to be encoded.
  • Correspondence storage means in which the relationship between the prediction mode determined based on the amount and syntax elements related to intra prediction is set; Prediction mode identification means for identifying the prediction mode based on the relationship set in the correspondence storage means; including.
  • a video coding method determines a prediction mode for intra prediction based on a code amount and coding distortion, and when determining a prediction mode, predicts a block to be coded when intra prediction is executed.
  • the generated code amount is estimated without using the coding information of the blocks adjacent to the current block to be coded.
  • the generated code amount of the encoding target block when intra prediction is executed is estimated without using the encoding information of the blocks adjacent to the encoding target block.
  • the prediction mode is specified based on the relationship set in the correspondence storage means in which the relationship between the prediction mode determined based on the code amount and the syntax element related to intra prediction is set.
  • a video system includes the above video encoding device and the above video decoding device.
  • FIG. 4 is a block diagram showing a configuration example of a prediction direction selection unit that selects a prediction direction
  • 4 is a block diagram showing a configuration example of a prediction direction selection unit in the first embodiment
  • FIG. 4 is an explanatory diagram showing the relationship between prediction modes and estimated code amounts in the first embodiment
  • 4 is a flow chart showing the operation of a prediction direction selection unit
  • FIG. 11 is an explanatory diagram showing the relationship between prediction modes and estimated code amounts in the second embodiment
  • FIG. 4 is a block diagram showing a configuration example of a prediction direction selection unit that selects a prediction direction
  • 4 is a block diagram showing a configuration example of a prediction direction selection unit in the first embodiment
  • FIG. 4 is an explanatory diagram showing the relationship between prediction modes and estimated code amounts in the first embodiment
  • 4 is a flow chart showing the operation of a prediction direction selection unit
  • FIG. 11 is an explanatory diagram showing the relationship between prediction modes and estimated code amounts in the second embodiment
  • FIG. 4 is an explanatory diagram showing the intra-prediction dependency of a coding target block;
  • FIG. 1 is a block diagram showing a configuration example of a video encoding device capable of executing video encoding described in Non-Patent Document 1.
  • the video encoding device 100 shown in FIG. It includes a frame memory 108 and a predictor 110 .
  • the prediction unit 110 includes an intra predictor 111 and an inter predictor 112 .
  • the video encoding device shown in FIG. 1 performs encoding processing based on the VVC standard, but other standards such as the HEVC standard, H.264, etc. 264/AVC standard, MPEG (Moving Picture Experts Group)-2 standard.
  • the subtractor 101 subtracts the prediction signal from the input signal (input pixel value) for each block (eg, PU) to generate a prediction error signal.
  • the prediction error signal is also called prediction residual or prediction residual signal. Since the size of a PU is often set equal to the size of a CU, it is assumed that blocks are CUs.
  • the transform/quantizer 102 frequency-transforms the prediction error signal to obtain transform coefficients.
  • the transform/quantizer 102 further quantizes the frequency-transformed prediction error signal (transform coefficient).
  • a quantized transform coefficient is hereinafter referred to as a transform quantized value.
  • the entropy encoder 104 entropy-encodes the prediction parameter (encoding information) and the transform quantization value.
  • Prediction parameters are CTU (Coding Tree Unit) and block prediction such as prediction mode (intra prediction, inter prediction), intra prediction block size, intra prediction direction, inter prediction block size, and motion vector determined by prediction unit 110 This is related information.
  • the entropy-encoded data supplied from the entropy encoder 104 and other data are multiplexed and output as a bitstream.
  • the inverse quantization/inverse transformer 103 inversely quantizes the transform quantized values to restore transform coefficients. Furthermore, the inverse quantization/inverse transformer 103 restores the prediction error signal by inverse frequency transforming the inversely quantized transform coefficients.
  • the adder 105 adds the reconstructed prediction error signal and the prediction signal to generate a reconstructed signal (reconstructed image). Block memory 106 and in-loop filter 107 receive the reconstructed signal.
  • the block memory 106 is a buffer memory for storing reference blocks in the picture to be coded.
  • the in-loop filter 107 includes, for example, a deblocking filter, a sample adaptive offset filter and an adaptive loop filter, and performs appropriate filtering.
  • a reconstructed signal filtered by the in-loop filter 107 is stored in the frame memory 108 .
  • the intra predictor 111 refers to a reference block in the frame memory 108 that is different from the block to be coded, performs intra prediction on the block to be coded, and generates a prediction signal (in this case, an intra prediction signal). .
  • the intra predictor 111 determines the prediction direction for the block to be coded. When the VVC method is used, the intra predictor 111 selects a prediction direction with the best coding efficiency from 67 types of prediction directions.
  • FIG. 2 is a block diagram showing a general configuration example of a prediction direction selection unit that selects a prediction direction.
  • prediction direction selection section 205 includes code amount calculation section 211 , distortion calculation section 212 and prediction direction determination section 213 .
  • the code amount calculation unit 211 calculates a code amount cost (hereinafter referred to as a code amount) corresponding to each generated code amount when a block to be encoded is encoded using each of a plurality of prediction directions. calculate.
  • the distortion calculation unit 212 calculates each encoding distortion when the encoding target block is encoded using each of the plurality of prediction directions.
  • the prediction direction determination unit 213 uses each code amount R and each coding distortion D to calculate an RD (Rate-distortion) cost represented by the following equation (1), for example.
  • ⁇ is a Lagrangian multiplier.
  • the prediction direction determination unit 213 determines the prediction direction corresponding to the lowest RD cost as the prediction direction that maximizes the encoding efficiency.
  • the distortion calculation unit 212 calculates distortion based on, for example, the difference between the input signal (input image) and the reconstructed image.
  • a method of calculating the code amount for example, a method of calculating the code amount based on syntax can be considered.
  • VVC method there are the following syntax elements as syntax elements related to intra prediction.
  • MPM (Most Probable Mode) can be used in the VVC system.
  • MPM is a mechanism for allocating a small amount of code to a prediction mode (prediction direction) that is considered to be highly likely to be used in the encoding target lock.
  • tra_luma_mpm_flag[x0][y0] is a flag indicating whether the prediction mode corresponds to one of the prediction modes included in the MPM list used in the MPM.
  • a plurality of prediction modes are set in the MPM list.
  • the prediction modes set in the MPM list are set based on the prediction modes of the blocks adjacent above and to the left of the current block to be encoded.
  • intra_luma_mpm_flag[x0][y0] is "1" it indicates that the prediction mode is the prediction mode set in the MPM list.
  • intra_luma_not_planar_flag[x0][y0] is a flag indicating whether the prediction mode is Planar.
  • intra_luma_not_planar_flag[x0][y0] is "1"
  • intra_luma_mpm_idx[x0][y0] is an index indicating a candidate number in the MPM list when the prediction mode is MPM.
  • intra_luma_mpm_remainder[x0][y0] indicates which prediction mode number the prediction mode when the MPM is not used, that is, the prediction mode not set in the MPM list.
  • the prediction mode when MPM is not used (prediction mode not set in the MPM list) may be referred to as non-MPM prediction mode.
  • intra_luma_mpm_flag[x0][y0] and intra_luma_not_planar_flag[x0][y0] is a constant value (specifically, 1 bit).
  • intra_luma_mpm_idx[x0][y0] and intra_luma_mpm_remainder[x0][y0] are respectively variable values according to dependencies.
  • intra-prediction of a block to be coded a decoded reconstructed image of a block located above or to the left of the block to be coded is used as a reference signal. Therefore, the intra-prediction of the block to be coded has a dependency on the prediction modes of the blocks adjacent to the top and to the left of the block to be coded.
  • the prediction modes of blocks positioned above and to the left of the block to be coded are also taken into account with respect to the amount of code generated by the block to be coded.
  • dir_(x0-1, y0) represents the prediction mode (prediction direction) of the block adjacent to the left side of the current block.
  • dir_(x0, y0-1) represents the prediction mode (prediction direction) of the block adjacent above the current block.
  • the code amount Code(dir) (dir: 0 to 66) regarding the prediction mode can be expressed as the following formula (2).
  • F1 means a function with each parameter in parentheses as a variable.
  • A(x0, y0) is intra_luma_mpm_flag[x0][y0].
  • B(x0,y0) is intra_luma_not_planar_flag[x0][y0].
  • C(x0,y0) is intra_luma_mpm_idx[x0][y0].
  • D(x0,y0) is intra_luma_mpm_remainder[x0][y0].
  • A(x0, y0), B(x0, y0), C(x0, y0), and D(x0, y0) may be denoted as A, B, C, and D. Therefore, the correspondence between A, B, C, and D and the syntax elements is as follows.
  • ⁇ A intra_luma_mpm_flag[x0][y0]
  • B intra_luma_not_planar_flag[x0][y0]
  • C intra_luma_mpm_idx[x0][y0]
  • D intra_luma_mpm_remainder[x0][y0]
  • FIG. 3 is a block diagram showing a configuration example of a prediction direction selection unit that selects a prediction direction according to the first embodiment. Note that the overall configuration of the video encoding device is the same as the configuration shown in FIG.
  • the prediction direction selection unit 200 includes a code amount estimation unit 210, a distortion calculation unit 212, and a prediction direction determination unit 213.
  • the prediction direction selection unit 200 is provided within the intra predictor 111, for example.
  • the prediction direction selection unit 200 may be provided outside the intra predictor 111 .
  • the code amount estimation unit 210 estimates each generated code amount when a block to be encoded is encoded using each of a plurality of prediction directions. Similar to the example shown in FIG. 2, the distortion calculation unit 212 calculates each encoding distortion when the encoding target block is encoded using each of the plurality of prediction directions.
  • the prediction direction determination unit 213 uses each code amount and each coding distortion, similarly to the example shown in FIG. do.
  • the code amount estimating unit 210 does not consider the dependency of prediction modes when estimating the code amount for each prediction mode. Therefore, the code amount Code(dir) related to the prediction mode can be determined, for example, as shown in Equation (3) below.
  • F2 means a function with each parameter in parentheses as a variable.
  • the code amount represented by F2 corresponds to the estimated code amount (estimated code amount).
  • prediction parameters for example, prediction direction
  • prediction direction prediction parameters of blocks adjacent to the current block are not used when determining the prediction mode used in intra prediction.
  • the code amount Code(dir) can be expressed as follows by expressing the number of bits that can express the syntax elements (A, B, C, D) corresponding to each prediction mode. Note that both MPM-related syntax elements and non-MPM-related syntax elements are considered when determining the code amount Code(dir).
  • the code amount estimator 210 uses the larger one (assumed maximum value) of a plurality of values that can express the code amount. In the above example, 3 is adopted for Code(1), for example. Note that the code amount estimation unit 210 may use an arbitrary value instead of using the assumed maximum value.
  • FIG. 4 is an explanatory diagram showing the relationship between the prediction mode and the estimated code amount based on the concept described above.
  • the code amounts shown in FIG. 4 are stored in advance as a code amount table corresponding to the prediction mode in the prediction direction selection unit 200, for example.
  • the code amount estimation unit 210 estimates the generated code amount by acquiring the code amount corresponding to each prediction mode from the code amount table.
  • FIG. 5 is a flowchart showing the operation of the prediction direction selection unit 200.
  • the prediction direction determination unit 213 sets an initial value in the RD cost buffer (step S101). Also, the prediction direction determination unit 213 sets 0 to the variable i (step S102).
  • the RD cost buffer is provided in prediction direction selection section 200 .
  • the initial value is, for example, the maximum value that can be set in the RD cost buffer.
  • the code amount estimation unit 210 acquires the code amount corresponding to dir(i) from the code amount table (step S103).
  • the distortion calculator 212 calculates coding distortion (step S104). Note that the distortion calculation unit 212 may use any known technique for calculating the coding distortion.
  • the prediction direction determination unit 213 calculates the RD cost using the above formula (1) (step S105).
  • the prediction direction determining unit 213 compares the calculated RD cost with the RD cost set in the RD cost buffer (step S105). If the calculated RD cost is greater than or equal to the RD cost set in the RD cost buffer, the process proceeds to step S108 (step S106).
  • the prediction direction determining unit 213 determines that the RD cost calculated in step S105 is set in the RD cost buffer.
  • the RD cost is updated (step S107). Also, the prediction direction determination unit 213 stores the current value of the variable i in, for example, the RD cost buffer.
  • the prediction direction determination unit 213 checks whether the value of the variable i has reached 66 (step S108). If the value of the variable i has not reached 66, the prediction direction determining unit 213 increases the value of the variable i by 1 (step S109). Then, the process returns to step S103.
  • the prediction direction determination unit 213 sets the prediction mode indicated by the value of variable i stored in the RD cost buffer as the prediction mode used in intra prediction (step S110).
  • the prediction direction determination unit 213 can determine the prediction mode used in intra prediction performed in the encoding process.
  • the prediction direction selector 200 does not use dependencies on the prediction modes of neighboring blocks. Therefore, the prediction direction selection unit 200 can execute the calculation of the encoding cost in parallel for each block.
  • the intra predictor 111 can execute intra prediction in parallel in units of CUs.
  • the prediction direction selection unit 200 does not consider dir_(x0-1, y0) and dir_(x0, y0-1), but the syntax elements (A, B, C, D) corresponding to each prediction mode Since the code amount Code(dir) is estimated based on the above, the coding efficiency does not drop so much.
  • Embodiment 2 The overall configuration of the video encoding device of the second embodiment is the same as the configuration shown in FIG.
  • the configuration of the prediction direction selector in the second embodiment is the same as the configuration shown in FIG.
  • the prediction direction selection unit 200 basically selects the larger number of bits (assumed maximum value) among a plurality of values that can express the number of bits that can express the syntax element for each prediction mode. to adopt. However, in the second embodiment, the prediction direction selection unit 200 uses a code amount (number of bits ) is made smaller than the code amount in the first embodiment. Note that “actually executed intra prediction” is intra prediction executed using the determined optimum prediction mode.
  • the following dir (prediction mode number) prediction modes can be exemplified as frequent prediction modes.
  • the code amount Code(dir) can be expressed as follows by expressing the number of bits that can express the syntax elements (A, B, C, D) corresponding to each prediction mode.
  • FIG. 6 is an explanatory diagram showing the relationship between prediction modes and estimated code amounts in the second embodiment.
  • the code amounts shown in FIG. 6 are stored in advance in the code amount table in association with the prediction mode in the prediction direction selection unit 200, for example.
  • the code amount estimation unit 210 acquires the code amount corresponding to each prediction mode from the code amount table.
  • the prediction direction selection unit 200 performs the processing illustrated in the flowchart of FIG.
  • the code amount (estimated code amount) for prediction modes that frequently appear in intra prediction is smaller than in the first embodiment. Therefore, compared to the first embodiment, it becomes easier to select a prediction mode that frequently appears in general intra prediction. As a result, it is possible to improve the coding efficiency, which may slightly decrease by determining the prediction mode using the estimated code amount, that is, the coding efficiency in the first embodiment.
  • frequent prediction modes are not limited to the above examples.
  • a set composed of different prediction modes may be used as a frequent prediction mode.
  • Embodiment 3 the relationship between the prediction mode and the estimated amount of code is determined using the distribution of prediction directions from adjacent blocks in intra-prediction of a block to be coded that has been executed in the past.
  • FIG. 7 is a block diagram showing a configuration example of a prediction direction selection unit that selects a prediction direction in the third embodiment. Note that the overall configuration of the video encoding device is the same as the configuration shown in FIG.
  • a prediction direction storage unit 214 and a prediction direction update unit 215 are added to the prediction direction selection unit 201 shown in FIG.
  • prediction direction storage unit 214 determines the optimum prediction mode by the processing according to the flowchart illustrated in FIG. 5 .
  • the prediction direction selection unit 201 determines frequently used prediction modes during actual operation of the video encoding device. However, the prediction direction selection unit 201 may determine a frequently occurring prediction mode before the video encoding device starts operating. That is, the prediction direction selection unit 201 may perform the processing shown in FIG. 8 on a trial basis before the video encoding device operates.
  • the prediction direction storage unit 214 stores the number of determinations of the prediction mode determined as the optimum prediction mode (prediction mode determined in the process of step S110). That is, the prediction direction storage unit 214 stores the number of times the prediction mode used in intra prediction is used over a plurality of actually executed intra predictions. Specifically, when intra prediction is executed, the prediction direction storage unit 214 increases, for example, the value of the counter corresponding to the prediction mode used in intra prediction by 1 (step S201). Counters are prepared for the number of types of prediction modes.
  • the prediction direction update unit 215 updates a plurality of prediction modes in descending order of the number of times of use (for example, 6) prediction modes are extracted from the prediction direction storage unit 214 (steps S202 and S203).
  • the prediction direction updating unit 215 updates the contents of the code amount table with the plurality of extracted prediction modes (step S204). Specifically, the prediction direction update unit 215 allocates the code amount to each of the prediction modes extracted from the prediction direction storage unit 214 in step S203. The prediction direction updating unit 215 allocates the code amount to the prediction mode, for example, based on the same concept as the method of setting the code amount set in the code amount table illustrated in FIG. 6 . That is, the prediction direction updating unit 215 uses, for example, the MPM. Then, the prediction direction update unit 215 sets the code amount and the prediction mode in the code amount table. Note that the previous code amount and prediction mode in the code amount table are deleted. Also, as the code amount newly set in the code amount table, a smaller number of bits is set as in the frequently occurring prediction mode in the second embodiment.
  • the intra predictor 111 may perform general VVC intra prediction on the encoding target block. That is, the intra predictor 111 may perform intra prediction in the optimum prediction mode determined using the functions of the code amount calculation unit 211 shown in FIG. In other words, when the processes of steps S201 to S203 are executed, the optimum prediction mode may be determined by a general method that considers the dependency of prediction modes. In that case, the prediction direction selection unit 201 also has the function of the code amount calculation unit 211 shown in FIG.
  • the prediction direction selection unit 201 performs the same process as in the second embodiment. That is, the prediction direction selection unit 201 estimates the code amount using the code amount table without using the prediction mode dependency.
  • the code amount table illustrated in FIG. 6 is stored in the prediction direction selection unit 201 in advance.
  • the code amount table illustrated in FIG. 4 may be stored.
  • the code amount table does not have to be stored in the prediction direction selection unit 201 before the processing according to the flowchart illustrated in FIG. 8 is started. In that case, the prediction direction updating unit 215 creates a code amount table instead of updating the code amount table.
  • the prediction direction selection unit 201 updates or creates the code amount table
  • the processing shown in FIG. 8 is executed again when a predetermined period of time elapses or when intra prediction is performed a predetermined number of times. You may
  • the code amount estimation unit 210 may estimate the generated code amount based on pre-analysis of each image forming the video to be encoded.
  • Pre-analysis is a process of analyzing which prediction mode number is likely to be determined as a prediction mode for a block to be encoded in a video signal to be encoded, for example, before the video encoding device operates. . It should be noted that "pre-analysis" means analysis performed before the video encoding device is actually put into operation.
  • FIG. 9 is a block diagram showing a configuration example of a video decoding device.
  • the prediction unit 310 includes an intra predictor 311 , an inter predictor 312 and a correspondence storage unit 313 .
  • the video decoding device shown in FIG. 9 can receive bitstreams from the video encoding devices of the first to third embodiments, for example.
  • the entropy decoder 301 entropy-decodes the entropy-encoded data.
  • Entropy-encoded data includes data in which prediction parameters are entropy-encoded and data in which transform quantization values are entropy-encoded.
  • the entropy decoder 301 supplies the entropy-decoded transform quantized values to the inverse quantizer/inverse transformer 302 .
  • the entropy decoder 301 also supplies the entropy-decoded prediction parameters to the prediction section 310 .
  • the inverse quantizer/inverse transformer 302 inversely quantizes the transform quantized values. Furthermore, the inverse quantizer/inverse transformer 302 inverse frequency transforms the inversely quantized frequency transform coefficients.
  • the correspondence storage unit 313 stores the generated code amount of the encoding target block when intra prediction is executed, which is estimated without using the encoding information of the blocks adjacent to the encoding target block.
  • the relationship between the prediction mode determined based on and the syntax element regarding intra prediction is set. That is, the relationship between [A+B], [A+B+C], or [A+D] (see FIGS. 4 and 6) used for code amount calculation in the first to third embodiments and the prediction mode number is stored in the corresponding memory. It is set in advance in the section 313 .
  • the prediction unit 304 generates a prediction signal for each block based on the prediction parameters. Note that when the prediction parameter indicates intra prediction, the intra predictor 311 generates a prediction signal. If the prediction parameters indicate inter prediction, inter predictor 312 generates a prediction signal.
  • the intra predictor 311 identifies the prediction mode from the prediction parameters (specifically, the syntax for intra prediction) and the relationship set in the correspondence storage unit 313.
  • the prediction error signal inversely frequency-transformed by the inverse quantization/inverse transformer 302 is added to the prediction signal supplied from the prediction unit 310 by the adder 303, and then supplied to the buffer 304 as a reconstructed image.
  • a buffer 304 stores the reconstructed image. Each reconstructed image stored in the buffer 304 is output as a decoded video in display order.
  • the video decoding device 300 is configured as described above and operates as described above, interoperability between the video encoding device and the video decoding device of the first to third embodiments is ensured.
  • FIG. 10 is a block diagram showing an example of a video system.
  • the video system shown in FIG. 10 is a system in which the video encoding devices of the first to third embodiments and the video decoding device 300 illustrated in FIG. 9 are connected via a wireless transmission line or a wired transmission line 400. .
  • the configuration and operation of the video encoding device 100 are the same as those of the video encoding device shown in FIG.
  • the configuration and operation of video decoding device 300 are the same as the configuration and operation of video decoding device 300 shown in FIG.
  • a video encoding device that executes encoding processing based on the VVC standard and a video decoding device that executes decoding processing based on the VVC standard are used as examples.
  • the decoding device conforms to the HEVC standard and H.264 standard.
  • the encoding and decoding processes may also be performed according to other standards such as the H.264/AVC standard.
  • FIG. 11 is a block diagram showing an example of a computer having a CPU (Central Processing Unit).
  • the computer can be implemented in each of the video encoding device 100 shown in FIG. 1 and the video decoding device 300 shown in FIG.
  • the CPU 1000 implements each function in each of the above embodiments by executing processing according to a program (video encoding program or video decoding program) stored in the storage device 1001 .
  • a program video encoding program or video decoding program
  • entropy encoder 104 when the computer is implemented in the video encoding device 100 shown in FIG. 103 , entropy encoder 104 , adder 105 , in-loop filter 107 , and functions of intra predictor 111 and inter predictor 112 in prediction section 110 .
  • the storage device 1001 is, for example, a non-transitory computer readable medium.
  • Non-transitory computer readable media include various types of tangible storage media. Specific examples of non-transitory computer-readable media include magnetic recording media (e.g., hard disks), CD-ROMs (Compact Disc-Read Only Memory), CD-Rs (Compact Disc-Recordable), CD-R/Ws (Compact Disc-ReWritable), semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM).
  • magnetic recording media e.g., hard disks
  • CD-ROMs Compact Disc-Read Only Memory
  • CD-Rs Compact Disc-Recordable
  • CD-R/Ws Compact Disc-ReWritable
  • semiconductor memory eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM.
  • the program may also be stored on various types of transitory computer readable medium.
  • a transitory computer-readable medium is provided with a program, for example, via a wired or wireless communication path, ie, via an electrical, optical or electromagnetic wave.
  • the memory 1002 is realized by RAM (Random Access Memory), for example.
  • the memory 1002 is storage means for temporarily storing data when the CPU 1000 executes processing.
  • a mode in which a program held by the storage device 1001 or a temporary computer-readable medium is transferred to the memory 1002 and the CPU 1000 executes processing based on the program in the memory 1002 is also conceivable.
  • the memory 1002 can also be used as the block memory 106 and frame memory 108 shown in FIG. Memory 1002 can be used as prediction direction storage unit 214 shown in FIG. Memory 1002 can be used as buffer 304 and corresponding storage unit 313 shown in FIG.
  • FIG. 12 is a block diagram showing the main parts of the video encoding device.
  • the video encoding device 10 shown in FIG. 12 includes a prediction mode determination unit 11 (prediction mode determination unit: in the embodiment, a prediction direction selection unit 200 , 201), and the prediction mode determination unit 11 determines the generated code amount of the encoding target block when intra prediction is performed using the encoding information of the blocks adjacent to the encoding target block.
  • code amount estimating section 12 (code amount estimating means: realized by code amount estimating section 210 in the embodiment).
  • the prediction mode determination unit 11 includes a frequent prediction mode specifying unit (frequent prediction mode specifying means: In the embodiment, it is realized by the prediction direction storage unit 214 and the prediction direction update unit 215.) may be included.
  • FIG. 13 is a block diagram showing the main part of the video decoding device.
  • the video decoding device 20 shown in FIG. 13 is based on the generated code amount of the encoding target block when intra prediction is performed, which is estimated without using the encoding information of the blocks adjacent to the encoding target block.
  • the correspondence storage unit 21 (correspondence storage means: realized by the correspondence storage unit 313 in the embodiment) in which the relationship between the determined prediction mode and the syntax element related to intra prediction is set, and the correspondence storage unit 21 and a prediction mode identification unit 22 (prediction mode identification means: realized by the intra predictor 311 in the embodiment) that identifies the prediction mode based on the relationship.
  • a video encoding device having at least an intra prediction function, Prediction mode determination means for determining the prediction mode of intra prediction based on the code amount and coding distortion,
  • the prediction mode determination means includes code amount estimation means for estimating the generated code amount of the encoding target block when intra prediction is performed without using the encoding information of the blocks adjacent to the encoding target block.
  • Video encoding device
  • Appendix 3 A video encoding device that performs intra prediction in the VCC method, The video encoding device according to appendix 2, wherein the code amount estimation means estimates the generated code amount based on the number of bits that can express syntax elements intra_luma_mpm_flag, intra_luma_not_planar_flag, intra_luma_mpm_idx, and intra_luma_mpm_remainder.
  • the prediction mode determination means includes frequent prediction mode identification means for identifying frequent prediction modes from prediction modes used for blocks encoded by each of a plurality of past intra predictions.
  • the video encoding device according to .
  • the prediction mode determination means analyzes in advance which prediction mode number prediction mode is likely to be determined as the prediction mode for the encoding target block in the encoding target video signal, and based on the analysis result , and frequent prediction mode identification means for identifying a frequent prediction mode.
  • a video decoding device having at least an intra prediction function, Prediction determined based on the generated code amount of the block to be coded when intra prediction is performed, which is estimated without using the coding information of the blocks adjacent to the block to be coded
  • a correspondence storage means in which the relationship between the mode and the syntax element related to intra prediction is set;
  • a video decoding device comprising: prediction mode identification means for identifying a prediction mode based on the relationship set in the correspondence storage means.
  • a video encoding method that performs at least intra prediction, Determine the prediction mode of intra prediction based on the code amount and coding distortion, estimating a generated code amount of a block to be coded when intra prediction is performed when determining the prediction mode without using coding information of blocks adjacent to the block to be coded Method.
  • Appendix 9 The video encoding method according to appendix 8, wherein the amount of generated code is estimated based on the number of bits that can express a syntax element related to a prediction mode.
  • Appendix 10 A video encoding method that performs intra prediction in the VCC format, The video encoding method according to appendix 9, wherein the generated code amount is estimated based on the number of bits that can express the syntax elements intra_luma_mpm_flag, intra_luma_not_planar_flag, intra_luma_mpm_idx and intra_luma_mpm_remainder.
  • Supplementary note 11 The video encoding method according to Supplementary note 9 or 10, wherein the number of bits that can express syntax elements related to frequently appearing prediction modes is reduced.
  • Supplementary Note 12 The video encoding method according to Supplementary Note 11, wherein a frequent prediction mode is identified from prediction modes used for blocks encoded by each of a plurality of past intra predictions.
  • a video decoding method that performs at least intra prediction, Prediction determined based on the generated code amount of the block to be coded when intra prediction is performed, which is estimated without using the coding information of the blocks adjacent to the block to be coded
  • Prediction determined based on the generated code amount of the block to be coded when intra prediction is performed, which is estimated without using the coding information of the blocks adjacent to the block to be coded
  • a video decoding program for specifying a prediction mode based on a relationship set in a correspondence storage means in which a relationship between a mode and a syntax element related to intra prediction is set.
  • Prediction When executed on a computer, Prediction determined based on the generated code amount of the block to be coded when intra prediction is performed, which is estimated without using the coding information of the blocks adjacent to the block to be coded
  • a non-transitory computer-readable recording medium storing a video decoding program that identifies a prediction mode based on the relationship set in a corresponding storage means in which a relationship between a mode and a syntax element related to intra prediction is set .
  • Appendix 18 The video encoding device according to any one of Appendices 1 to 6;
  • a video system comprising: the video decoding device according to appendix 7;
  • REFERENCE SIGNS LIST 10 video encoding device 11 prediction mode determination unit 12 code amount estimation unit 20 video decoding device 21 correspondence storage unit 22 prediction mode specifying unit 100 video encoding device 101 subtractor 102 transform/quantizer 103 inverse quantization/inverse transformer 104 entropy encoder 105 adder 106 block memory 107 in-loop filter 108 frame memory 110 predictor 111 intra predictor 112 inter predictor 200, 201 prediction direction selector 210 code amount estimator 211 code amount estimator 212 distortion calculator 213 prediction direction determination unit 214 prediction direction storage unit 215 prediction direction update unit 300 video decoding device 301 entropy decoder 302 inverse quantization/inverse transformer 303 adder 304 buffer 310 prediction unit 311 intra predictor 312 inter predictor 313 correspondence storage part 1000 CPU 1001 storage device 1002 memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像符号化装置１０は、イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定する予測モード決定部１１を含み、予測モード決定部１１は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する符号量推定部１２を含む。

Description

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム
　本発明は、映像信号を符号化または復号する映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システムに関する。
　非特許文献１は、ＶＶＣ（Versatile Video Coding）と呼ばれる映像符号化方式を開示する。
　非特許文献１に記載された映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）に分割され、ラスタスキャン順に各ＣＴＵが符号化される。
　各ＣＴＵは、四分木（ＱＴ：Quad-Tree）構造またはマルチタイプ木（ＭＭＴ：Multi-Type Tree）構造で、符号化ユニット（ＣＵ：Coding Unit）に分割されて符号化される。四分木構造を用いる分割では、ブロックが、水平および垂直に等分割される。マルチタイプ木構造を用いる分割では、ブロックが、水平もしくは垂直に２分割または３分割される。
　各ＣＵは、予測ユニット（ＰＵ：Prediction Unit）に分割されて予測符号化される。予測符号化には、イントラ予測と動き補償予測（以下、インター予測という。）がある。各ＰＵの予測誤差は、周波数変換に基づいて変換符号化される。
　イントラ予測は、符号化対象フレームと表示時刻が同一の再構築画像から予測画像を生成する予測である。非特許文献１では、図１４に示す６５種類の角度イントラ予測が定義されている。図１４において、数字は、予測モード番号を示す。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を６５種類の方向のいずれかに外挿して、イントラ予測信号が生成される。非特許文献１では、角度予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDC予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanar予測が定義されている。
"Versatile video coding", Recommendation ITU-T H.266 (08/2020)
　図１５は、符号化対象ブロックのイントラ予測の、符号化対象ブロックの上側で隣接するブロックの予測モードおよび左側で隣接するブロックの予測モードへの依存関係を説明するための説明図である。図１５において、矢印は、依存関係を示す。
　上記のような依存関係が存在するので、ＣＵ単位での符号化コストの計算を並列して実行することはできない。その結果、ＣＵ単位でのイントラ予測を並列して実行することはできない。
　なお、予測方向選択部２０５が、符号量の計算をしない場合、すなわち、符号量計算部２１１が取り除かれた場合には、符号化コストの計算を並列して実行可能である。しかし、予測方向選択部２０５がそのように構成された場合には、符号化歪みのみに基づいて符号化効率が計算される。その結果、符号化対象ブロックの予測モードの選択精度が低下する。換言すれば、イントラ予測による符号化効率が低下する。
　本発明は、符号化効率の低下を防止しつつ、ＣＵ単位でのイントラ予測を並列して実行可能な映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システムを提供することを目的とする。
　本発明による映像符号化装置は、イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定する予測モード決定手段を含み、予測モード決定手段は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する符号量推定手段を含む。
　本発明による映像復号装置は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段と、対応記憶手段に設定されている関係に基づいて予測モードを特定する予測モード特定手段とを含む。
　本発明による映像符号化方法は、イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定し、予測モードを決定するときに、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する。
　本発明による、映像復号方法は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段に設定されている関係に基づいて予測モードを特定する。
　本発明による映像システムは、上記の映像符号化装置と、上記の映像復号装置とを含む。
　本発明によれば、符号化効率の低下を防止しつつ、ＣＵ単位でのイントラ予測を並列して実行可能になる。
映像符号化装置の構成例を示すブロック図である。 予測方向を選択する予測方向選択部の構成例を示すブロック図である。 第１の実施形態における予測方向選択部の構成例を示すブロック図である。 第１の実施形態における予測モードと推定符号量との関係を示す説明図である。 予測方向選択部の動作を示すフローチャートである。 第２の実施形態における予測モードと推定符号量との関係を示す説明図である。 第３の実施形態における予測方向選択部の構成例を示すブロック図である。 予測方向記憶部および予測方向更新部の動作を示すフローチャートである。 映像復号装置の構成例を示すブロック図である。 映像システムの一例を示すブロック図である。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 映像符号化装置の主要部を示すブロック図である。 映像復号装置の主要部を示すブロック図である。 ６５種類の角度イントラ予測の例を示す説明図である。 符号化対象ブロックのイントラ予測の依存関係を示す説明図である。
　図１は、非特許文献１に記載された映像符号化を実行可能な映像符号化装置の構成例を示すブロック図である。図１に示す映像符号化装置１００は、減算器１０１、変換／量子化器１０２、逆量子化／逆変換器１０３、エントロピー符号化器１０４、加算器１０５、ブロックメモリ１０６、インループフィルタ１０７、フレームメモリ１０８、および予測部１１０を含む。予測部１１０は、イントラ予測器１１１とインター予測器１１２とを含む。
　なお、図１に示す映像符号化装置は、ＶＶＣ規格に基づいて符号化処理を実行するが、他の規格、例えば、ＨＥＶＣ規格、Ｈ．２６４／ＡＶＣ規格、ＭＰＥＧ（Moving Picture Experts Group）－２規格に基づいて符号化処理を実行してもよい。
　減算器１０１は、ブロック（例えば、ＰＵ）ごとに、入力信号（入力画素値）から予測信号を減算し、予測誤差信号を生成する。予測誤差信号は、予測残差または予測残差信号とも呼ばれる。なお、ＰＵのサイズはＣＵのサイズと等しく設定されることが多いので、以下、ブロックはＣＵであることを想定する。
　変換／量子化器１０２は、予測誤差信号を周波数変換して変換係数を得る。変換／量子化器１０２は、さらに、周波数変換された予測誤差信号（変換係数）を量子化する。以下、量子化された変換係数を変換量子化値という。
　エントロピー符号化器１０４は、予測パラメータ（符号化情報）と変換量子化値とをエントロピー符号化する。予測パラメータは、予測部１１０が決定した予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、および動きベクトルなど、ＣＴＵ（Coding Tree Unit）およびブロックの予測に関連した情報である。エントロピー符号化器１０４から供給されるエントロピー符号化データと他のデータとが多重化され、ビットストリームとして出力される。
　逆量子化／逆変換器１０３は、変換量子化値を逆量子化して変換係数を復元する。さらに、逆量子化／逆変換器１０３は、逆量子化した変換係数を逆周波数変換して予測誤差信号を復元する。加算器１０５は、復元された予測誤差信号と予測信号とを加算して再構築信号（再構築画像）を生成する。ブロックメモリ１０６およびインループフィルタ１０７は、再構築信号を入力する。
　ブロックメモリ１０６は、符号化対象ピクチャ内の参照ブロックを格納するためのバッファメモリである。
　インループフィルタ１０７は、例えば、デブロッキングフィルタ、サンプル適応オフセットフィルタおよび適応ループフィルタを含み、適切なフィルタリングを行う。インループフィルタ１０７でフィルタリングされた再構築信号は、フレームメモリ１０８に格納される。
　イントラ予測器１１１は、符号化対象ブロックとは異なるフレームメモリ１０８内の参照ブロックを参照して、符号化対象ブロックについてイントラ予測を行い、予測信号（この場合には、イントラ予測信号）を生成する。
　イントラ予測器１１１は、符号化対象のブロックのための予測方向を決定する。ＶＶＣ方式が用いられている場合、イントラ予測器１１１は、６７種類の予測方向から、符号化効率が最もよい予測方向を選択する。
　図２は、予測方向を選択する予測方向選択部の一般的な構成例を示すブロック図である。図２に示す例では、予測方向選択部２０５は、符号量計算部２１１、歪み計算部２１２および予測方向決定部２１３を含む。
　符号量計算部２１１は、複数の予測方向のそれぞれを使用して符号化対象のブロックが符号化されたときの、それぞれの発生符号量に対応する符号量コスト（以下、符号量という。）を計算する。歪み計算部２１２は、複数の予測方向のそれぞれを使用して符号化対象のブロックが符号化されたときの、それぞれの符号化歪みを計算する。予測方向決定部２１３は、各々の符号量Ｒと各々の符号化歪みＤとを使用して、例えば、下記の（１）式で表されるＲＤ（Rate-distortion）コストを計算する。下記の（１）式において、λは、ラグランジュ乗数である。そして、予測方向決定部２１３は、最小のＲＤコストに対応する予測方向を、符号化効率を最も高くする予測方向として決定する。
　Cost＝Ｄ＋λＲ　　　　　　・・・（１）
　なお、歪み計算部２１２は、例えば、入力信号（入力画像）と再構築画像との差に基づいて歪みを計算する。
　符号量の計算方法として、例えば、シンタクスに基づく符号量を計算する方法が考えられる。ＶＶＣ方式では、イントラ予測に関するシンタクス要素として、下記のシンタクス要素がある。なお、ＶＶＣ方式では、ＭＰＭ（Most Probable Mode）が使用されうる。ＭＰＭは、符号化対象ロックで使用される確率が高いと考えられる予測モード（予測方向）に対して少ない符号量を割り当てる仕組みである。
・intra_luma_mpm_flag[x0][y0]
・intra_luma_not_planar_flag[x0][y0]
・intra_luma_mpm_idx[x0][y0]
・intra_luma_mpm_remainder[x0][y0]
　intra_luma_mpm_flag[x0][y0]は、予測モードがＭＰＭで使用されるＭＰＭリストに含まれる予測モードのいずれかに該当するか否かを示すフラグである。ＭＰＭリストには、複数の予測モードが設定される。ＭＰＭリストに設定される予測モードは、符号化対象ブロックの上側で隣接するブロックの予測モードと左側で隣接するブロックの予測モードを基に設定される。intra_luma_mpm_flag[x0][y0]が「１」である場合、予測モードがＭＰＭリストに設定された予測モードであることを示す。
　intra_luma_not_planar_flag[x0][y0]は、予測モードがPlanarであるか否かを示すフラグである。intra_luma_not_planar_flag[x0][y0]が「１」である場合に、予測モードはPlanarでないことを示す。
　intra_luma_mpm_idx[x0][y0]は、予測モードがＭＰＭである場合に、ＭＰＭリストにおける候補番号を示すインデックスである。
　intra_luma_mpm_remainder[x0][y0]は、ＭＰＭが使用されないときの予測モード、すなわち、ＭＰＭリストに設定されていない予測モードが、どの予測モード番号の予測モードであるのかを示す。以下、ＭＰＭが使用されないときの予測モード（ＭＰＭリストに設定されていない予測モード）を、非ＭＰＭの予測モードということがある。
　なお、符号量をビット数で表すと、intra_luma_mpm_flag[x0][y0]およびintra_luma_not_planar_flag[x0][y0]のビット数は、それそれ一定値（具体的には、１ビット）である。intra_luma_mpm_idx[x0][y0]およびintra_luma_mpm_remainder[x0][y0]は、それぞれ、依存関係に応じた可変値である。符号化対象ブロックのイントラ予測では、符号化対象ブロックの上側や左側に位置するブロックの復号済みの再構築画像が参照信号として利用される。したがって、符号化対象ブロックのイントラ予測は、符号化対象ブロックの上側で隣接するブロックの予測モードおよび左側で隣接するブロックの予測モードへの依存関係を有する。
　そこで、符号化対象ブロックの発生符号量に関して、符号化対象ブロックの上側や左側に位置するブロックの予測モードも考慮される。
　符号化対象ブロックの上側や左側に位置するブロックの予測モードを以下のように表す。
・dir_(x0-1,y0)
・dir_(x0,y0-1)
　dir_(x0-1,y0)は、符号化対象ブロックの左側で隣接するブロックの予測モード（予測方向）を表す。dir_(x0,y0-1)は、符号化対象ブロックの上側で隣接するブロックの予測モード（予測方向）を表す。
　上記の検討に基づいて、予測モードに関する符号量Code(dir)（dir：０～６６）を下記の（２）式のように表すことができる。F1は、括弧内の各パラメータを変数とする関数を意味する。
　Code(dir) = F1(A(x0,y0), B(x0,y0), C(x0,y0), D(x0,y0), dir_(x0-1,y0), dir_(x0,y0-1))　　　　　　・・・（２）
　（２）式において、A(x0,y0)は、intra_luma_mpm_flag[x0][y0]である。B(x0,y0)は、intra_luma_not_planar_flag[x0][y0]である。C(x0,y0)は、intra_luma_mpm_idx[x0][y0]である。D(x0,y0)は、intra_luma_mpm_remainder[x0][y0]である。以下、A(x0,y0)、B(x0,y0)、C(x0,y0)、D(x0,y0)を、Ａ、Ｂ、Ｃ、Ｄと表記することがある。したがって、Ａ、Ｂ、Ｃ、Ｄとシンタクス要素との対応は、以下のようになる。
・Ａ：intra_luma_mpm_flag[x0][y0]
・Ｂ：intra_luma_not_planar_flag[x0][y0]
・Ｃ：intra_luma_mpm_idx[x0][y0]
・Ｄ：intra_luma_mpm_remainder[x0][y0]
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図３は、第１の実施形態における予測方向を選択する予測方向選択部の構成例を示すブロック図である。なお、映像符号化装置の全体的な構成は、図１に示された構成と同じである。
　図３に示す例では、予測方向選択部２００は、符号量推定部２１０、歪み計算部２１２および予測方向決定部２１３を含む。予測方向選択部２００は、例えば、イントラ予測器１１１内に設けられる。予測方向選択部２００は、イントラ予測器１１１の外部に設けられていてもよい。
　符号量推定部２１０は、複数の予測方向のそれぞれを使用して符号化対象のブロックが符号化されるときの、それぞれの発生符号量を推定する。歪み計算部２１２は、図２に示された例と同様に、複数の予測方向のそれぞれを使用して符号化対象のブロックが符号化されたときの、それぞれの符号化歪みを計算する。予測方向決定部２１３は、図２に示された例と同様に、各々の符号量と各々の符号化歪みとを使用して、例えば、上記の（１）式で表されるＲＤコストを計算する。
　符号量推定部２１０は、各予測モードについて符号量を推定するときに、予測モードの依存関係を考慮しない。よって、予測モードに関する符号量Code(dir)を、例えば、下記の（３）式のように定めることができる。F2は、括弧内の各パラメータを変数とする関数を意味する。なお、F2で表される符号量は、推定された符号量（推定符号量）に相当する。（３）式に示されるように、イントラ予測で使用される予測モードを決定するときに、符号化対象ブロックに隣接するブロックの予測パラメータ（例えば、予測方向）は使用されない。
　　Code(dir) = F2(A(x0,y0), B(x0,y0), C(x0,y0), D(x0,y0))　　　　　　・・・（３）
　符号量Code(dir)を、各々の予測モードに対応するシンタクス要素（Ａ、Ｂ、Ｃ、Ｄ）を表現できるビット数で表すと、以下のように表現することができる。なお、符号量Code(dir)を定めるときに、ＭＰＭに関するシンタクス要素と非ＭＰＭに関するシンタクス要素との双方が考慮される。
・Code(0)＝Ａ＋Ｂ＝２
・Code(1)＝Ａ＋Ｂ＋Ｃ＝３　または　Ａ＋Ｄ＝２
・Code(dir)（dir：０、１以外）＝Ａ＋Ｄ＝１＋ceil（log2(dir+1)）
　ceilは、最も近い整数に切り上げることを意味する。
　ＭＰＭでのシンタクス要素を表現できるビット数と非ＭＰＭでのシンタクス要素を表現できるビット数とが異なる場合には、多い方のビット数が採用される。すなわち、符号量推定部２１０は、符号量を表現可能な複数の値のうち、多い方（想定最大値）を使用する。上記の例では、例えばCode(1)に対して３が採用される。なお、符号量推定部２１０は、想定最大値を使用するのではなく、任意の値を使用してもよい。
　図４は、上述した考え方に基づく、予測モードと推定符号量との関係を示す説明図である。図４に示す符号量は、例えば、予測方向選択部２００において、あらかじめ予測モードに対応した符号量テーブルとして記憶される。符号量推定部２１０は、符号量テーブルから、各予測モードに対応する符号量を取得することによって、発生符号量を推定する。
　図５は、予測方向選択部２００の動作を示すフローチャートである。
　予測方向選択部２００において、予測方向決定部２１３は、ＲＤコストバッファに初期値をセットする（ステップＳ１０１）。また、予測方向決定部２１３は、変数ｉに０をセットする（ステップＳ１０２）。ＲＤコストバッファは、予測方向選択部２００に設けられている。初期値は、例えば、ＲＤコストバッファに設定可能な最大の値である。
　符号量推定部２１０は、dir（ｉ）に対応する符号量を符号量テーブルから取得する（ステップＳ１０３）。歪み計算部２１２は、符号化歪みを計算する（ステップＳ１０４）。なお、歪み計算部２１２は、符号化歪みの計算のために、公知のいずれの手法を用いてもよい。
　予測方向決定部２１３は、上記の（１）式を用いてＲＤコストを計算する（ステップＳ１０５）。予測方向決定部２１３は、計算されたＲＤコストとＲＤコストバッファに設定されているＲＤコストとを比較する（ステップＳ１０５）。計算されたＲＤコストがＲＤコストバッファに設定されているＲＤコスト以上である場合には、処理は、ステップＳ１０８に移行する（ステップＳ１０６）。
　計算されたＲＤコストがＲＤコストバッファに設定されているＲＤコストよりも小さい場合には、予測方向決定部２１３は、ステップＳ１０５の処理で計算されたＲＤコストで、ＲＤコストバッファに設定されているＲＤコストを更新する（ステップＳ１０７）。また、予測方向決定部２１３は、変数ｉのそのときの値を例えばＲＤコストバッファに保存する。
　次に、予測方向決定部２１３は、変数ｉの値が６６に達しているか否か確認する（ステップＳ１０８）。変数ｉの値が６６に達していない場合には、予測方向決定部２１３は、変数ｉの値を１増やす（ステップＳ１０９）。そして、処理は、ステップＳ１０３に戻る。
　変数ｉの値が６６に達している場合には、予測方向決定部２１３は、ＲＤコストバッファに保存されている変数ｉの値が示す予測モードを、イントラ予測において使用される予測モードとする（ステップＳ１１０）。
　以上の処理によって、予測方向決定部２１３は、符号化処理で実行されるイントラ予測において使用される予測モードを決定することができる。予測モードを決定する際に、予測方向選択部２００は、隣接するブロックの予測モードへの依存関係を使用しない。よって、予測方向選択部２００は、ブロック単位で、符号化コストの計算を並列して実行可能になる。その結果、イントラ予測器１１１は、ＣＵ単位でのイントラ予測を並列して実行可能になる。また、予測方向選択部２００は、dir_(x0-1,y0)およびdir_(x0,y0-1)を考慮しないが、各々の予測モードに対応するシンタクス要素（Ａ、Ｂ、Ｃ、Ｄ）に基づいて符号量Code(dir)を推定するので、符号化効率はさほど低下しない。
実施形態２．
　第２の実施形態の映像符号化装置の全体的な構成は、図１に示された構成と同じである。第２の実施形態における予測方向選択部の構成は、図３に示された構成と同じである。
　第２の実施形態でも、予測方向選択部２００は、基本的に、各予測モードについて、シンタクス要素を表現できるビット数を表現可能な複数の値のうち、多い方のビット数（想定最大値）を採用する。しかし、第２の実施形態では、予測方向選択部２００は、一般的なイントラ予測において頻出する予測モード（実際に実行されるイントラ予測で使用される頻度が高い予測モード）に対する符号量（ビット数）を、第１の実施形態における符号量に比べて少なくする。なお、「実際に実行されるイントラ予測」は、決定された最適な予測モードを用いて実行されるイントラ予測である。
　頻出する予測モードとして、以下のdir（予測モード番号）の予測モードを例示することができる。
・dir＝０（Planar）
・dir＝１（ＤＣ）
・dir＝５０（垂直方向）
・dir＝１８（水平方向）
・dir＝４６
・dir＝５４
　符号量Code(dir)を、各々の予測モードに対応するシンタクス要素（Ａ、Ｂ、Ｃ、Ｄ）を表現できるビット数で表すと、以下のように表現することができる。
・Code(0)＝Ａ＋Ｂ＝２
・Code(1)＝Ａ＋Ｂ＋Ｃ＝３
・Code(50)＝Ａ＋Ｂ＋Ｃ＝４
・Code(18)＝Ａ＋Ｂ＋Ｃ＝５
・Code(46)＝Ａ＋Ｂ＋Ｃ＝６
・Code(54)＝Ａ＋Ｂ＋Ｃ＝７
・Code(dir)（dir：上記のdir以外）＝Ａ＋Ｄ＝１＋ceil（log2(dir+1)）
　図６は、第２の実施形態における予測モードと推定符号量との関係を示す説明図である。第１の実施形態と同様に、図６に示す符号量は、例えば、予測方向選択部２００において、あらかじめ予測モードに対応させて符号量テーブルに記憶される。符号量推定部２１０は、符号量テーブルから、各予測モードに対応する符号量を取得する。
　図６に示す関係と図４に示す第１の実施形態における関係とを比較すると、特に、dir＝５０、dir＝１８（水平方向）およびdir＝４６に対応する符号量が少なくなっている。なお、頻出する予測モードに対するビット数の割り当ては、ＭＰＭを流用している。すなわち、dir＝０以外の予測モード（dir＝１、dir＝５０、dir＝１８、dir＝４６、およびdir＝５４）は、Ｃで特定される。
　第２の実施形態でも、予測方向選択部２００は、図５のフローチャートに例示された処理を行う。しかし、第２の実施形態では、イントラ予測において頻出する予測モードに対する符号量（推定符号量）が第１の実施形態よりも少なくなっている。よって、第１の実施形態に比べて、一般的なイントラ予測において頻出する予測モードが選択されやすくなる。その結果、推定符号量を用いて予測モードを決定することによってやや低下する可能性がある符号化効率すなわち第１の実施形態における符号化効率を改善することができる。
　なお、頻出する予測モードは、上記の例に限られない。別の予測モードで構成される集合を頻出する予測モードとしてもよい。
実施形態３．
　第３の実施形態では、過去に実行された符号化対象ブロックのイントラ予測における隣接ブロックからの予測方向の分布を使用して、予測モードと推定符号量との関係が決定される。
　図７は、第３の実施形態における予測方向を選択する予測方向選択部の構成例を示すブロック図である。なお、映像符号化装置の全体的な構成は、図１に示された構成と同じである。
　図３に示された予測方向選択部２００と比較すると、図７に示す予測方向選択部２０１には、予測方向記憶部２１４と予測方向更新部２１５とが追加されている。
　図８のフローチャートを参照して、予測方向記憶部２１４および予測方向更新部２１５の動作を説明する。なお、予測方向選択部２０１は、図５に例示されたフローチャートによる処理で、最適な予測モードを決定する。
　また、以下の説明では、映像符号化装置の実稼働中に、予測方向選択部２０１が頻出する予測モードを決定することが想定されている。しかし、映像符号化装置が稼働する前に、予測方向選択部２０１が頻出する予測モードを決定してもよい。すなわち、映像符号化装置が稼働する前に、予測方向選択部２０１が、試験的に図８に示される処理を実行してもよい。
　予測方向記憶部２１４は、最適な予測モードとして決定された予測モード（ステップＳ１１０の処理で決定される予測モード）の決定回数を記憶する。すなわち、予測方向記憶部２１４は、実際に実行される複数回のイントラ予測に亘って、イントラ予測で使用された予測モードの使用回数を記憶する。具体的には、イントラ予測が実行されると、予測方向記憶部２１４は、例えば、イントラ予測で使用された予測モードに対応するカウンタの値を１増やす（ステップＳ２０１）。カウンタは、予測モードの種類数分用意されている。予測方向更新部２１５は、予測方向記憶部２１４に、あらかじめ定められた数の予測モードが記憶されると、すなわち、所定回のイントラ予測が実行されると、使用回数が多い順に複数（例えば、６個）の予測モードを予測方向記憶部２１４から抽出する（ステップＳ２０２，Ｓ２０３）。
　予測方向選択部２０１に、図６に例示された符号量テーブルが記憶されている場合を想定する。その場合、予測方向更新部２１５は、抽出された複数の予測モードで符号量テーブルの内容を更新する（ステップＳ２０４）。具体的には、予測方向更新部２１５は、ステップＳ２０３の処理で予測方向記憶部２１４から抽出した予測モードのそれぞれに符号量を割り当てる。予測方向更新部２１５は、例えば、図６に例示された符号量テーブルに設定される符号量の設定の仕方と同様の考え方に基づいて、符号量を予測モードに割り当てる。すなわち、予測方向更新部２１５は、例えば、ＭＰＭを流用する。そして、予測方向更新部２１５は、符号量を予測モードとともに符号量テーブルに設定する。なお、符号量テーブルにおける従前の符号量および予測モードは削除される。また、新たに符号量テーブルに設定される符号量として、第２の実施形態における頻出する予測モードと同様に、より少ないビット数が設定される。
　なお、図８に示された処理が実行されるときに、イントラ予測器１１１は、符号化対象ブロックを対象として、一般的なＶＶＣ方式のイントラ予測を実行してもよい。すなわち、イントラ予測器１１１は、図２に示された符号量計算部２１１の機能を用いて決定された最適な予測モードでイントラ予測を実行してもよい。換言すれば、ステップＳ２０１～Ｓ２０３の処理が実行されるときに、予測モードの依存関係を考慮した一般的な方法で最適な予測モードを決定してもよい。その場合には、予測方向選択部２０１は、図２に示された符号量計算部２１１の機能も有する。
　そして、ステップＳ２０４の処理が実行された後、予測方向選択部２０１は、第２の実施形態における処理と同様の処理を行う。すなわち、予測方向選択部２０１は、予測モードの依存関係を使用せず、符号量テーブルを使用して符号量を推定する。
　第３の実施形態でも、頻出する予測モードが選択されやすくなる。その結果、推定符号量を用いて予測モードを決定することによってやや低下する可能性がある符号化効率、すなわち第１の実施形態における符号化効率を改善することができる。また、第３の実施形態では、実際に頻出した予測モードが選択されやすくなるので、符号化効率がより改善することが期待される。
　なお、上記の例では、予測方向選択部２０１に、事前に図６に例示された符号量テーブルが記憶されている。しかし、図４に例示された符号量テーブルが記憶されていてもよい。さらに、図８に例示されたフローチャートによる処理が開始される前に、予測方向選択部２０１に符号量テーブルが記憶されていなくてもよい。その場合には、予測方向更新部２１５は、符号量テーブルの更新を行うのではなく、符号量テーブルの作成を行う。
　また、予測方向選択部２０１が、符号量テーブルの更新または作成を行った後、所定期間が経過したら、または、所定回数のイントラ予測が実行されたら、再度、図８に示された処理を実行してもよい。
　また、符号量推定部２１０は、符号化対象の映像を構成する各画像の事前解析に基づいて発生符号量を推定してもよい。事前解析は、映像符号化装置が稼働する前に、例えば、符号化対象の映像信号における符号化対象ブロックへの予測モードとしてどの予測モード番号の予測モードが決定されやすいかを解析する処理である。なお、「事前解析」は、映像符号化装置の実稼働前に実行される解析を意味する。
実施形態４．
　図９は、映像復号装置の構成例を示すブロック図である。図９に示す映像復号装置３００は、エントロピー復号器３０１、逆量子化／逆変換器３０２、加算器３０３、予測部３１０、およびバッファ３０４を含む。予測部３１０は、イントラ予測器３１１、インター予測器３１２および対応記憶部３１３を含む。なお、図９に示す映像復号装置は、例えば、第１～第３の実施形態の映像符号化装置からのビットストリームを受信することができる。
　エントロピー復号器３０１は、エントロピー符号化データをエントロピー復号する。エントロピー符号化データは、予測パラメータがエントロピー符号化されたデータと変換量子化値がエントロピー符号化されたデータとを含む。エントロピー復号器３０１は、エントロピー復号した変換量子化値を逆量子化／逆変換器３０２に供給する。また、エントロピー復号器３０１は、エントロピー復号した予測パラメータを、予測部３１０に供給する。
　逆量子化／逆変換器３０２は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器３０２は、逆量子化した周波数変換係数を逆周波数変換する。
　予測部３１０において、対応記憶部３１３には、符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された、イントラ予測が実行されるときの符号化対象ブロックの発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定されている。すなわち、第１～第３の実施形態において符号量の計算に利用された［Ａ＋Ｂ］、［Ａ＋Ｂ＋Ｃ］、または［Ａ＋Ｄ］（図４、図６参照）と予測モード番号との関係が、対応記憶部３１３にあらかじめ設定されている。
　予測部３０４は、予測パラメータに基づいて、各ブロックの予測信号を生成する。なお、予測パラメータがイントラ予測を示している場合には、イントラ予測器３１１が予測信号を生成する。予測パラメータがインター予測を示している場合には、インター予測器３１２が予測信号を生成する。
　なお、イントラ予測器３１１は、予測パラメータ（具体的には、イントラ予測に関するシンタクス）と対応記憶部３１３に設定されている関係とから、予測モードを特定する。
　逆量子化／逆変換器３０２で逆周波数変換された予測誤差信号は、加算器３０３によって、予測部３１０から供給される予測信号が加えられた後、再構築画像としてバッファ３０４に供給される。バッファ３０４は、再構築画像を格納する。バッファ３０４に格納された各再構築画像は、表示順に復号映像として出力される。
　映像復号装置３００が、上記のように構成され、かつ、上記のように動作するので、第１～第３の実施形態の映像符号化装置と映像復号装置との相互運用性が確保される。
実施形態５．
　図１０は、映像システムの一例を示すブロック図である。図１０に示す映像システムは、第１～第３の実施形態の映像符号化装置と図９に例示された映像復号装置３００とが、無線伝送路または有線伝送路４００で接続されるシステムである。
　映像符号化装置１００の構成および動作は、図１に示された映像符号化装置の構成および動作と同じである。映像復号装置３００の構成および動作は、図９に示された映像復号装置３００の構成および動作と同じである。
　なお、上記の実施形態では、ＶＶＣ規格に基づいて符号化処理を実行する映像符号化装置とＶＶＣ規格に基づいて復号処理を実行する映像復号装置とを例にしたが、映像符号化装置および映像復号装置は、ＨＥＶＣ規格やＨ．２６４／ＡＶＣ規格などの他の規格に基づいて符号化処理および復号処理を実行してもよい。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１１は、ＣＰＵ（Central Processing Unit ）を有するコンピュータの一例を示すブロック図である。コンピュータは、図１に示された映像符号化装置１００と図９に示された映像復号装置３００のそれぞれに実装可能である。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラム（映像符号化プログラムまたは映像復号プログラム）に従って処理を実行することによって、上記の各実施形態における各機能を実現する。
　すなわち、コンピュータが図１に示された映像符号化装置１００に実装される場合には、ＣＰＵ１０００は、映像符号化装置１００における、減算器１０１、変換／量子化器１０２、逆量子化／逆変換器１０３、エントロピー符号化器１０４、加算器１０５、インループフィルタ１０７、ならびに予測部１１０におけるイントラ予測器１１１およびインター予測器１１２の機能を実現する。
　コンピュータが図９に示された映像復号装置３００に実装される場合には、ＣＰＵ１０００は、映像復号装置３００における、エントロピー復号器３０１、逆量子化／逆変換器３０２、加算器３０３、ならびに予測部３１０におけるイントラ予測器３１１およびインター予測器３１２の機能を実現する。
　記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、ハードディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
　メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現される。メモリ１００２は、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
　また、メモリ１００２は、図１に示されたブロックメモリ１０６およびフレームメモリ１０８として使用可能である。メモリ１００２は、図７に示された予測方向記憶部２１４として使用可能である。メモリ１００２は、図９に示されたバッファ３０４および対応記憶部３１３として使用可能である。
　図１２は、映像符号化装置の主要部を示すブロック図である。図１２に示す映像符号化装置１０は、イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定する予測モード決定部１１（予測モード決定手段：実施形態では、予測方向選択部２００，２０１で実現される。）を備え、予測モード決定部１１は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する符号量推定部１２（符号量推定手段：実施形態では、符号量推定部２１０で実現される。）を含む。
　予測モード決定部１１は、過去の複数回のイントラ予測の各々によって符号化されたブロックについて使用された予測モードのうち、頻出した予測モードを特定する頻出予測モード特定部（頻出予測モード特定手段：実施形態では、予測方向記憶部２１４および予測方向更新部２１５で実現される。）を含んでいてもよい。
　図１３は、映像復号装置の主要部を示すブロック図である。図１３に示す映像復号装置２０は、符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された、イントラ予測が実行されるときの符号化対象ブロックの発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶部２１（対応記憶手段：実施形態では、対応記憶部３１３で実現される。）と、対応記憶部２１に設定されている関係に基づいて予測モードを特定する予測モード特定部２２（予測モード特定手段：実施形態では、イントラ予測器３１１で実現される。）とを備える。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。
（付記１）少なくともイントラ予測機能を有する映像符号化装置であって、
　イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定する予測モード決定手段を備え、
　前記予測モード決定手段は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する符号量推定手段を含む
　映像符号化装置。
（付記２）前記符号量推定手段は、予測モードに関するシンタクス要素を表現しうるビット数に基づいて発生符号量を推定する
　付記１に記載の映像符号化装置。
（付記３）ＶＣＣ方式でイントラ予測を行う映像符号化装置であって、
　前記符号量推定手段は、シンタクス要素であるintra_luma_mpm_flag、intra_luma_not_planar_flag、intra_luma_mpm_idxおよびintra_luma_mpm_remainderを表現しうるビット数に基づいて発生符号量を推定する
　付記２に記載の映像符号化装置。
（付記４）前記符号量推定手段は、頻出する予測モードに関するシンタクス要素を表現しうるビット数を減らす
　付記２または付記３に記載の映像符号化装置。
（付記５）前記予測モード決定手段は、過去の複数回のイントラ予測の各々によって符号化されたブロックについて使用された予測モードから、頻出した予測モードを特定する頻出予測モード特定手段を含む
　付記４に記載の映像符号化装置。
（付記６）前記予測モード決定手段は、符号化対象の映像信号における符号化対象ブロックへの予測モードとしてどの予測モード番号の予測モードが決定されやすいかを事前に解析し、解析結果に基づいて、頻出した予測モードを特定する頻出予測モード特定手段を含む
　付記４に記載の映像符号化装置。
（付記７）少なくともイントラ予測機能を有する映像復号装置であって、
　イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段と、
　前記対応記憶手段に設定されている前記関係に基づいて予測モードを特定する予測モード特定手段と
　を備えた映像復号装置。
（付記８）少なくともイントラ予測を実行する映像符号化方法であって、
　イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定し、
　前記予測モードを決定するときに、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する
　映像符号化方法。
（付記９）予測モードに関するシンタクス要素を表現しうるビット数に基づいて発生符号量を推定する
　付記８に記載の映像符号化方法。
（付記１０）ＶＣＣ方式でイントラ予測を実行する映像符号化方法であって、
　シンタクス要素であるintra_luma_mpm_flag、intra_luma_not_planar_flag、intra_luma_mpm_idxおよびintra_luma_mpm_remainderを表現しうるビット数に基づいて発生符号量を推定する
　付記９に記載の映像符号化方法。
（付記１１）頻出する予測モードに関するシンタクス要素を表現しうるビット数を減らす
　付記９または付記１０に記載の映像符号化方法。
（付記１２）過去の複数回のイントラ予測の各々によって符号化されたブロックについて使用された予測モードから、頻出した予測モードを特定する
　付記１１に記載の映像符号化方法。
（付記１３）少なくともイントラ予測を実行する映像復号方法であって、
　イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段に設定されている前記関係に基づいて予測モードを特定する
　映像復号方法。
（付記１４）コンピュータに、
　イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定させ、
　前記予測モードを決定させるときに、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定させる
　ための映像符号化プログラム。
（付記１５）コンピュータに、
　イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段に設定されている前記関係に基づいて予測モードを特定させる
　ための映像復号プログラム。
（付記１６）コンピュータで実行されるときに、
　イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定し、
　前記予測モードを決定させるときに、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する
　映像符号化プログラムが格納された非一時的なコンピュータ読み取り可能な記録媒体。
（付記１７）コンピュータで実行されるときに、
　イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段に設定されている前記関係に基づいて予測モードを特定する
　映像復号プログラムが格納された非一時的なコンピュータ読み取り可能な記録媒体。
（付記１８）付記１から付記６のうちのいずれか１項に記載の映像符号化装置と、
　付記７に記載の映像復号装置と
　を備える映像システム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２１年１０月２２日に出願された日本特許出願２０２１－１７２８９３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　　映像符号化装置
　１１　　　予測モード決定部
　１２　　　符号量推定部
　２０　　　映像復号装置
　２１　　　対応記憶部
　２２　　　予測モード特定部
　１００　　映像符号化装置
　１０１　　減算器
　１０２　　変換／量子化器
　１０３　　逆量子化／逆変換器
　１０４　　エントロピー符号化器
　１０５　　加算器
　１０６　　ブロックメモリ
　１０７　　インループフィルタ
　１０８　　フレームメモリ
　１１０　　予測部
　１１１　　イントラ予測器
　１１２　　インター予測器
　２００，２０１　予測方向選択部
　２１０　　符号量推定部
　２１１　　符号量推定部
　２１２　　歪み計算部
　２１３　　予測方向決定部
　２１４　　予測方向記憶部
　２１５　　予測方向更新部
　３００　　映像復号装置
　３０１　　エントロピー復号器
　３０２　　逆量子化／逆変換器
　３０３　　加算器
　３０４　　バッファ
　３１０　　予測部
　３１１　　イントラ予測器
　３１２　　インター予測器
　３１３　　対応記憶部
　１０００　ＣＰＵ
　１００１　記憶装置
　１００２　メモリ

Claims (10)

  1. 　少なくともイントラ予測機能を有する映像符号化装置であって、
    　イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定する予測モード決定手段を備え、
    　前記予測モード決定手段は、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する符号量推定手段を含む
    　映像符号化装置。
  2. 　前記符号量推定手段は、予測モードに関するシンタクス要素を表現しうるビット数に基づいて発生符号量を推定する
    　請求項１に記載の映像符号化装置。
  3. 　ＶＣＣ方式でイントラ予測を行う映像符号化装置であって、
    　前記符号量推定手段は、シンタクス要素であるintra_luma_mpm_flag、intra_luma_not_planar_flag、intra_luma_mpm_idxおよびintra_luma_mpm_remainderを表現しうるビット数に基づいて発生符号量を推定する
    　請求項２に記載の映像符号化装置。
  4. 　前記符号量推定手段は、頻出する予測モードに関するシンタクス要素を表現しうるビット数を減らす
    　請求項２または請求項３に記載の映像符号化装置。
  5. 　前記予測モード決定手段は、過去の複数回のイントラ予測の各々によって符号化されたブロックについて使用された予測モードから、頻出した予測モードを特定する頻出予測モード特定手段を含む
    　請求項４に記載の映像符号化装置。
  6. 　少なくともイントラ予測機能を有する映像復号装置であって、
    　イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段と、
    　前記対応記憶手段に設定されている前記関係に基づいて予測モードを特定する予測モード特定手段と
    　を備えた映像復号装置。
  7. 　少なくともイントラ予測を実行する映像符号化方法であって、
    　イントラ予測の予測モードを、符号量と符号化歪みとに基づいて決定し、
    　前記予測モードを決定するときに、イントラ予測が実行されるときの符号化対象ブロックの発生符号量を、当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定する
    　映像符号化方法。
  8. 　予測モードに関するシンタクス要素を表現しうるビット数に基づいて発生符号量を推定する
    　請求項７に記載の映像符号化方法。
  9. 　少なくともイントラ予測を実行する映像復号方法であって、
    　イントラ予測が実行されるときの符号化対象ブロックの発生符号量であって当該符号化対象ブロックに隣接するブロックの符号化情報を使用せずに推定された発生符号量に基づいて決定された予測モードと、イントラ予測に関するシンタクス要素との関係が設定された対応記憶手段に設定されている前記関係に基づいて予測モードを特定する
    　映像復号方法。
  10. 　請求項１から請求項５のうちのいずれか１項に記載の映像符号化装置と、
    　請求項６に記載の映像復号装置と
    　を備える映像システム。
PCT/JP2021/045640 2021-10-22 2021-12-10 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム WO2023067822A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023554230A JPWO2023067822A1 (ja) 2021-10-22 2021-12-10

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021172893 2021-10-22
JP2021-172893 2021-10-22

Publications (1)

Publication Number Publication Date
WO2023067822A1 true WO2023067822A1 (ja) 2023-04-27

Family

ID=86058089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045640 WO2023067822A1 (ja) 2021-10-22 2021-12-10 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム

Country Status (2)

Country Link
JP (1) JPWO2023067822A1 (ja)
WO (1) WO2023067822A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010526515A (ja) * 2007-05-04 2010-07-29 クゥアルコム・インコーポレイテッド 推定されたコーディングコストを用いた映像コーディングモード選択
WO2011155377A1 (ja) * 2010-06-11 2011-12-15 ソニー株式会社 画像処理装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010526515A (ja) * 2007-05-04 2010-07-29 クゥアルコム・インコーポレイテッド 推定されたコーディングコストを用いた映像コーディングモード選択
WO2011155377A1 (ja) * 2010-06-11 2011-12-15 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Versatile video coding; H.266 (08/20)", ITU-T STANDARD H.266, INTERNATIONAL TELECOMMUNICATION UNION, GENEVA ; CH, no. H.266 (08/20), 29 August 2020 (2020-08-29), Geneva ; CH , pages 1 - 513, XP044296169 *

Also Published As

Publication number Publication date
JPWO2023067822A1 (ja) 2023-04-27

Similar Documents

Publication Publication Date Title
EP3772261B1 (en) Deblocking filter for video coding and processing
CN107396117B (zh) 视频编码和解码方法及非暂时性计算机可读存储介质
US11516507B2 (en) Image encoding/decoding methods and apparatuses
KR102283407B1 (ko) 중첩 구역 내에서의 재구성된 샘플 값의 블록 벡터 예측 및 추정에서의 혁신
US11533470B2 (en) Method and apparatus for encoding/decoding an image signal
CN117354513A (zh) 图像编码方法和图像解码方法以及计算机可读记录介质
US20100329362A1 (en) Video encoding and decoding apparatus and method using adaptive in-loop filter
KR20190029526A (ko) 적응형 클리핑에 의한 비디오 코딩을 위한 방법 및 장치
KR20160106127A (ko) 인코딩된 비트 스트림에서의 움직임 벡터 표현
US11659174B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
KR20210084567A (ko) 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
WO2016205154A1 (en) Intra/inter decisions using stillness criteria and information from previous pictures
US20220345703A1 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
US20240214556A1 (en) Video encoding/decoding method and apparatus
JP2010258739A (ja) 画像処理装置および方法、並びにプログラム
WO2023067822A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム
KR20150105347A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
CN117256141A (zh) 用于编解码树划分的边界处理
CN117256152A (zh) 多个分区的相互作用
KR101659343B1 (ko) 동영상 처리 방법 및 장치
US20230388541A1 (en) Method and apparatus for video coding using intra prediction based on subblock partitioning
JP7392764B2 (ja) 映像符号化装置、映像符号化方法および映像システム
US20240179303A1 (en) Video encoding/decoding method and apparatus
US20240107011A1 (en) Video encoding/decoding method and apparatus
US20230283768A1 (en) Method for predicting quantization parameter used in a video encoding/decoding apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21961469

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023554230

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE