WO2015146278A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2015146278A1
WO2015146278A1 PCT/JP2015/052512 JP2015052512W WO2015146278A1 WO 2015146278 A1 WO2015146278 A1 WO 2015146278A1 JP 2015052512 W JP2015052512 W JP 2015052512W WO 2015146278 A1 WO2015146278 A1 WO 2015146278A1
Authority
WO
WIPO (PCT)
Prior art keywords
bit depth
pcm
unit
image
depth information
Prior art date
Application number
PCT/JP2015/052512
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/787,395 priority Critical patent/US20170034525A1/en
Publication of WO2015146278A1 publication Critical patent/WO2015146278A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method.
  • J. Joint Collaboration Team-Video Coding a joint standardization body of ITU-T and ISO / IEC, aims to further improve coding efficiency over H.264 / AVC, by using High Efficiency Video Coding (HEVC).
  • HEVC High Efficiency Video Coding
  • the standardization of the image coding system called “1.” is in progress (see, for example, Non-Patent Document 1).
  • HEVC provides not only single layer coding but also scalable coding as well as existing image coding schemes such as MPEG2 and AVC (Advanced Video Coding).
  • the HEVC scalable coding technology is also referred to as SHVC (Scalable HEVC) (see, for example, Non-Patent Document 2).
  • Scalable coding generally refers to a technique for hierarchically coding a layer for transmitting a coarse image signal and a layer for transmitting a fine image signal.
  • the bit depth of available pixels in HEVC is usually 8 bits or 10 bits. However, by supporting the extensions described in [3], larger bit depths are available.
  • first bit depth information for decoding a luminance component of a coded image and second bit depth information for decoding a chrominance component of the coded image are obtained.
  • An acquisition unit; and a decoding unit that decodes the luminance component according to the first bit depth information and decodes the color difference component according to the second bit depth information, the decoding unit including the first bit Provided is an image processing apparatus for decoding the chrominance component at a second bit depth calculated based on a first bit depth indicated by depth information and a bit depth difference indicated by the second bit depth information. Be done.
  • non-PCM bit depth information for decoding non-PCM samples of a coded image and PCM bit depth information for decoding PCM samples of the coded image are described.
  • a decoding unit that decodes the non-PCM sample according to the non-PCM bit depth information and decodes the PCM sample according to the PCM bit depth information, the decoding unit including the non-PCM Image processing for decoding the PCM sample at a PCM bit depth calculated based on the non-PCM bit depth indicated by the bit depth information and the first bit depth difference indicated by the PCM bit depth information
  • an encoding unit that encodes a luminance component of an image at a first bit depth and a chrominance component of the image at a second bit depth, and a first indicating the first bit depth And a generator configured to generate second bit depth information indicating a bit depth difference between the first bit depth and the second bit depth,
  • An image processing apparatus is provided that further encodes the first bit depth information and the second bit depth information.
  • an encoding unit that encodes a non-PCM sample of an image and a PCM sample of the image at a separately defined bit depth, and non-PCM bit depth information indicating a non-PCM bit depth, And a generation unit for generating PCM bit depth information indicating a first bit depth difference between the non-PCM bit depth and the PCM bit depth, and the encoding unit includes the non-PCM bit
  • An image processing apparatus is provided that further encodes depth information and the bit depth information for the PCM.
  • a sequence parameter set includes the following four types of bit depth information.
  • Luminance bit depth information is information indicating a bit depth used when encoding or decoding a luminance component of an image It is.
  • the chrominance bit depth information is information indicating a bit depth used when encoding or decoding a chrominance component of an image.
  • the luminance bit depth information and the chrominance bit depth information are Collectively referred to as non-PCM bit depth information.
  • the luminance bit depth information for PCM is information indicating a bit depth used when encoding or decoding a luminance component of a PCM (Pulse Code Modulation) sample of an image.
  • the PCM chrominance bit depth information is information representing a bit depth used when encoding or decoding a chrominance component of a PCM sample of an image.
  • bit depth information for PCM the luminance bit depth information for PCM and the chrominance bit depth information for PCM are collectively referred to as bit depth information for PCM.
  • Table 1 below shows portions of the SPS syntax in Non-Patent Document 1 related to these bit depth information.
  • the parameter bit_depth_luma_minus 8 in Table 1 corresponds to the luminance bit depth information described above, and indicates a value obtained by subtracting 8 from the bit depth of the luminance component of the non-PCM sample.
  • the parameter bit_depth_chroma_minus 8 corresponds to the color difference bit depth information described above, and indicates a value obtained by subtracting 8 from the bit depth of the color difference component of the non-PCM sample. For example, when both the luminance component and the color difference component are encoded with 10 bits, the parameters bit_depth_luma_minus 8 and bit_depth_chroma_minus 8 both indicate “2”.
  • the parameter pcm_sample_bit_depth_luma_minus1 in Table 1 corresponds to the above-described luminance bit depth information for PCM, and indicates a value obtained by subtracting 1 from the bit depth of the luminance component of the PCM sample.
  • the parameter pcm_sample_bit_depth_chroma_minus1 corresponds to the above-mentioned color difference bit depth information for PCM, and indicates a value obtained by subtracting 1 from the bit depth of the color difference component of the PCM sample.
  • the parameters pcm_sample_bit_depth_luma_minus1 and pcm_sample_bit_depth_chroma_minus1 are encoded if the flag pcm_enabled_flag is set to true, ie if PCM encoding is enabled.
  • the SPS of the base layer includes the non-PCM bit depth information and the PCM bit depth information described above.
  • the SPS of the enhancement layer includes an index of the representation format when there is an update of the representation format, and the representation format specified by the index includes non-PCM bit depth information to be applied to the enhancement layer.
  • Table 2 below shows a portion of the syntax of the expression format in Non-Patent Document 2 that is related to bit depth information.
  • the parameter bit_depth_vps_luma_minus 8 in Table 1 may correspond to the luminance bit depth information described above, and the parameter bit_depth_vps_chroma_minus 8 may correspond to the color difference bit depth information described above.
  • bit depth information is encoded.
  • bit depth information being defined as a coding parameter
  • various coding tools to optimize the operation of the encoder and decoder from any point of view such as image quality, compression ratio or processing cost It became.
  • the bit depth may be equal between the luminance component and the color difference component.
  • the non-PCM bit depth may be equal to the PCM bit depth. The correlation between these different types of bit depths may be used to eliminate the redundancy of bit depth related information and to further improve the coding efficiency.
  • the slice header includes syntax for weighted prediction information that specifies parameters (typically, weights and offsets) used in weighted prediction.
  • Weighted prediction is an encoding tool introduced to improve the prediction accuracy of inter prediction for videos to which effects such as fade in and fade out are applied.
  • Table 3 partially shows the syntax for weighted prediction information in Non-Patent Document 3.
  • the weighted prediction information actually includes a portion defining a parameter corresponding to the L0 reference frame and a portion defining a parameter corresponding to the L1 reference frame, but for simplicity of explanation corresponds to the L1 reference frame
  • the part defining the parameters is omitted in Table 3.
  • the weights applied to the luminance component are given in fractional form by specifying the denominator with the parameter luma_log2_weight_denom and the numerator with the parameter delta_luma_weight_l0 [i].
  • the weight applied to the color difference component is a fractional format by specifying the denominator with the parameter delta_chroma_log2_weight_denom (indicating the difference between the weight component and the denominator of the luminance component) and the numerator with the parameter delta_chroma_weight_10 [i] [j] Given by
  • bit depth information and information such as weighted prediction information controlled in association with the bit depth information are collectively referred to as bit depth related information.
  • FIG. 1 is a block diagram showing an example of the configuration of an image coding apparatus 1 according to an embodiment.
  • the image encoding device 1 includes a rearrangement buffer 11, a bit depth control unit 12, a subtraction unit 13, an orthogonal transformation unit 14, a quantization unit 15, a lossless encoding unit 16, an accumulation buffer 17, and rate control.
  • a section 18, an inverse quantization section 21, an inverse orthogonal transformation section 22, an addition section 23, a loop filter 24, a frame memory 25, selectors 26 and 27, an intra prediction section 30, an inter prediction section 35, and a weighting prediction section 45 are provided.
  • the rearrangement buffer 11 rearranges the images included in the series of image data of the video to be encoded.
  • the rearrangement buffer 11 rearranges the images according to the GOP (Group of Pictures) structure related to the encoding process, and then outputs the rearranged image data to the subtraction unit 13, the intra prediction unit 30, and the inter prediction unit 35. Do.
  • GOP Group of Pictures
  • the bit depth control unit 12 holds settings related to various types of bit depths related to encoding processing in the image encoding device 1, and controls the bit depth of image data to be encoded according to the settings. Also, the bit depth control unit 12 generates bit depth information required to decode image data.
  • the bit depth information generated by the bit depth control unit 12 includes at least luminance bit depth information and chrominance bit depth information. When PCM coding is enabled, the bit depth information generated by the bit depth control unit 12 may further include luminance bit depth information for PCM and chrominance bit depth information for PCM. These bit depth informations are accompanied by a reduced amount of code compared to the information based on the existing specifications, as will be described later.
  • the bit depth control unit 12 outputs the generated bit depth information to the lossless encoding unit 16.
  • the subtraction unit 13 is supplied with the image data (original image data) input from the reordering buffer 11 and predicted image data input from the intra prediction unit 30 or the inter prediction unit 35 described later.
  • the subtracting unit 13 calculates prediction error data which is the difference between the image data input from the reordering buffer 11 and the prediction image data for the non-PCM samples, and outputs the calculated prediction error data to the orthogonal transformation unit 14.
  • the bit depth control unit 12 skips the calculation of prediction error data by the subtraction unit 13 for PCM samples. In this case, the subtraction unit 13 outputs the PCM sample of the original image data as it is.
  • the orthogonal transformation unit 14 performs orthogonal transformation on prediction error data of non-PCM samples input from the subtraction unit 13.
  • the orthogonal transformation performed by the orthogonal transformation unit 14 may be, for example, Discrete Cosine Transform (DCT) or Karhunen-Loeve Transform.
  • the orthogonal transform unit 14 outputs transform coefficient data acquired by the orthogonal transform process to the quantization unit 15.
  • the bit depth control unit 12 skips the execution of the orthogonal transform process by the orthogonal transform unit 14 for the PCM samples. In this case, the orthogonal transform unit 14 outputs the PCM sample of the original image data to the quantization unit 15 as it is.
  • the quantization unit 15 is supplied with transform coefficient data of non-PCM samples or image data of PCM samples input from the orthogonal transform unit 14 and a rate control signal from the rate control unit 18 described later.
  • the quantization unit 15 quantizes the transform coefficient data in a quantization step determined according to the rate control signal.
  • the quantization unit 15 quantizes the image data by performing bit shift with a shift amount determined according to the rate control signal. Then, the quantization unit 15 outputs the quantized data to the lossless encoding unit 16 and the inverse quantization unit 21.
  • the lossless encoding unit 16 generates an encoded stream by performing lossless encoding processing on the quantized data input from the quantization unit 15.
  • the luminance and chrominance components of the image may be coded with the same bit depth as each other or may be coded with different bit depths.
  • the luminance and chrominance components of the PCM sample may be encoded at the same bit depth as the luminance and chrominance components of the non-PCM sample, or may be encoded at different bit depths.
  • the lossless encoding unit 16 encodes various parameters referred to when decoding the encoded stream, and inserts the encoded parameter into the header area of the encoded stream.
  • the lossless encoding unit 16 encodes the bit depth information input from the bit depth control unit 12 and inserts the encoded bit depth information into the SPS.
  • the parameters encoded by the lossless encoding unit 16 also include information on intra prediction and information on inter prediction described later.
  • the information regarding inter prediction may include weighted prediction information. Then, the lossless encoding unit 16 outputs the generated encoded stream to the accumulation buffer 17.
  • the accumulation buffer 17 temporarily accumulates the encoded stream input from the lossless encoding unit 16 using a storage medium such as a semiconductor memory. Then, the accumulation buffer 17 outputs the accumulated encoded stream to a transmission unit (not shown) (for example, a communication interface or a connection interface with a peripheral device) at a rate according to the band of the transmission path.
  • a transmission unit for example, a communication interface or a connection interface with a peripheral device
  • the rate control unit 18 monitors the free space of the accumulation buffer 17. Then, the rate control unit 18 generates a rate control signal according to the free space of the accumulation buffer 17, and outputs the generated rate control signal to the quantization unit 15. For example, when the free space of the accumulation buffer 17 is small, the rate control unit 18 generates a rate control signal for reducing the bit rate of the quantized data. Also, for example, when the free space of the accumulation buffer 17 is sufficiently large, the rate control unit 18 generates a rate control signal for increasing the bit rate of the quantized data.
  • the inverse quantization unit 21, the inverse orthogonal transform unit 22 and the addition unit 23 constitute a local decoder.
  • the inverse quantization unit 21 inversely quantizes the quantized data with the same quantization step or bit shift amount as used by the quantization unit 15 to restore transform coefficient data of a non-PCM sample or image data of a PCM sample. . Then, the inverse quantization unit 21 outputs the restored data to the inverse orthogonal transform unit 22.
  • the inverse orthogonal transformation unit 22 restores prediction error data by performing inverse orthogonal transformation processing on transform coefficient data of non-PCM samples input from the inverse quantization unit 21. Then, the inverse orthogonal transform unit 22 outputs the restored prediction error data to the addition unit 23. The inverse orthogonal transformation process is not performed on the PCM samples, and the decoded image data of the PCM samples is output as it is.
  • the adding unit 23 adds the prediction error data of the non-PCM sample input from the inverse orthogonal transformation unit 22 and the prediction image data input from the intra prediction unit 30 or the inter prediction unit 35 to generate decoded image data ( Generate a construct image). Then, the adding unit 23 outputs the generated decoded image data to the loop filter 24 and the frame memory 25. The addition of the prediction error data is not performed for the PCM samples, and the decoded image data of the PCM samples is output as it is.
  • the loop filter 24 includes a group of filters aiming to improve the image quality.
  • the deblocking filter (DF) is a filter that reduces block distortion that occurs when encoding an image.
  • a sample adaptive offset (SAO) filter is a filter that adds an offset value that is adaptively determined to each pixel value.
  • the loop filter 24 filters the decoded image data input from the addition unit 23 and outputs the filtered decoded image data to the frame memory 25.
  • the frame memory 25 stores the decoded image data input from the adding unit 23 and the decoded image data after filtering input from the loop filter 24 using a storage medium.
  • the selector 26 reads the decoded image data before filtering used for intra prediction from the frame memory 25 and supplies the read decoded image data to the intra prediction unit 30 as reference image data. Further, the selector 26 reads the decoded image data after filtering used for inter prediction from the frame memory 25 and supplies the read decoded image data to the inter prediction unit 35 as reference image data.
  • the selector 27 outputs predicted image data as a result of the intra prediction output from the intra prediction unit 30 to the subtraction unit 13 in the intra prediction mode, and outputs information on the intra prediction to the lossless encoding unit 16.
  • the selector 27 outputs predicted image data as a result of the inter prediction output from the inter prediction unit 35 to the subtraction unit 13 and outputs information on the inter prediction to the lossless encoding unit 16. .
  • the selector 27 switches between the intra prediction mode and the inter prediction mode according to the size of the cost function value.
  • the intra prediction unit 30 performs intra prediction processing based on the original image data input from the reordering buffer 11 and the decoded image data read from the frame memory 25. For example, the intra prediction unit 30 evaluates the prediction result in each candidate mode in the prediction mode set using a predetermined cost function. Next, the intra prediction unit 30 selects the prediction mode in which the cost function value is the smallest, that is, the prediction mode in which the compression ratio is the highest, as the optimum prediction mode. In addition, the intra prediction unit 30 generates predicted image data according to the optimal prediction mode. The intra prediction unit 30 outputs information on intra prediction including prediction mode information representing the selected optimal prediction mode, a cost function value, and predicted image data to the selector 27.
  • the inter prediction unit 35 performs inter prediction processing based on the original image data input from the reordering buffer 11 and the decoded image data read from the frame memory 25. For example, the inter prediction unit 35 evaluates the prediction result by each candidate mode in the prediction mode set using a predetermined cost function. Next, the inter prediction unit 35 selects the prediction mode in which the cost function value is the smallest, that is, the prediction mode in which the compression ratio is the highest, as the optimum prediction mode. In addition, the inter prediction unit 35 generates predicted image data according to the optimal prediction mode.
  • the set of candidate modes for inter prediction may include Weighted Prediction. The weighting prediction is performed by a weighting prediction unit 45 described later.
  • the inter prediction unit 35 outputs, to the selector 27, information on inter prediction including the prediction mode information indicating the selected optimum prediction mode and the motion information, the cost function value, and the prediction image data. If weighted prediction is selected as the best prediction mode, the information on inter prediction may include weighted prediction information.
  • the weighting prediction unit 45 obtains the original image data and the decoded image data from the inter prediction unit 35, and determines an optimal weighting prediction parameter.
  • Weighted prediction parameters typically include weights and offsets for each reference frame. The weights and offsets may have separate values for the luminance and chrominance components. Then, the weighting prediction unit 45 performs weighted prediction with the determined optimal parameters, and generates a prediction image. In addition, the weighting prediction unit 45 generates weighted prediction information representing the optimal parameter.
  • the weighted prediction information generated by the weighting prediction unit 45 may include weighted denominator information that represents the denominator of the weight for the luminance component and the chrominance component. The weight denominator information is accompanied by a reduced code amount as compared to the information based on the existing specification, as will be described later. Then, the weighting prediction unit 45 outputs the generated prediction image and the weighting prediction information to the inter prediction unit 35.
  • FIG. 2 is a block diagram showing an example of a detailed configuration of the bit depth control unit 12 shown in FIG. Referring to FIG. 2, the bit depth control unit 12 includes a bit depth setting unit 41, a non-PCM information generation unit 42, a PCM mode setting unit 43, and a PCM information generation unit 44.
  • the bit depth setting unit 41 sets a bit depth for encoding the luminance component and the color difference component of the non-PCM sample, and the luminance component and the color difference component of the PCM sample.
  • the bit depth setting unit 41 may set each bit depth, for example, according to a setting value that is predefined or input by the user.
  • the bit depth setting unit 41 may change the set value of the bit depth for each sequence, for example. Then, the bit depth setting unit 41 outputs the set bit depths to the non-PCM information generation unit 42 and the PCM information generation unit 44.
  • the non-PCM information generation unit 42 generates non-PCM bit depth information indicating the bit depth for encoding the luminance component and the color difference component of the non-PCM sample, which is input from the bit depth setting unit 41.
  • the non-PCM bit depth information includes luminance bit depth information (for non-PCM) and chrominance bit depth information (for non-PCM).
  • the luminance bit depth information indicates a first bit depth for encoding a luminance component.
  • the chrominance bit depth information indicates a second bit depth for encoding a chrominance component using a bit depth difference between the first bit depth and the second bit depth.
  • the bit depth difference indicated by the chrominance bit depth information is equal to “0”.
  • the bit depth difference indicated by the chrominance bit depth information is equal to “0”.
  • the bit depth difference may be indicated by a single parameter of the type of signed integer, or may be indicated by a plurality of parameters respectively corresponding to the sign and the absolute value. As a result, the bit depth of the color difference component can be appropriately represented even when either the bit depth of the luminance component or the bit depth of the color difference component is large.
  • the PCM mode setting unit 43 sets whether or not to enable the coding in the PCM mode in the series of image data (or in each sequence).
  • the PCM mode setting unit 43 may set whether to activate the PCM mode, for example, according to setting values predefined or input by the user, or based on analysis of a video in advance.
  • the PCM mode setting unit 43 may change the setting for each sequence, for example. Then, the PCM mode setting unit 43 outputs the setting result to the PCM information generation unit 44.
  • the PCM information generation unit 44 generates a flag indicating the result of setting regarding the PCM mode input from the PCM mode setting unit 43.
  • the flag may indicate, for example, True if encoding in PCM mode is enabled, and False if encoding in PCM mode is disabled.
  • the PCM information generation unit 44 further has a bit depth for encoding the luminance component and the color difference component of the PCM sample, which are input from the bit depth setting unit 41 when the encoding in the PCM mode is enabled.
  • To generate PCM bit depth information representing The bit depth information for PCM includes luminance bit depth information for PCM and chrominance bit depth information for PCM.
  • the PCM luminance bit depth information indicates a bit depth difference between the non-PCM luminance bit depth and the PCM luminance bit depth.
  • the PCM chrominance bit depth is differentially encoded using the PCM luminance bit depth and the bit depth differential indicated by the non-PCM chrominance bit depth information.
  • the PCM chrominance bit depth information is Indicates the residual difference.
  • the non-PCM bit depth is higher than the PCM bit depth. Therefore, the luminance bit depth information for PCM may be indicated by a single parameter of the type of unsigned integer. Meanwhile, the color difference bit depth information for PCM may be indicated by a single parameter of the type of signed integer, or may be indicated by a plurality of parameters respectively corresponding to the sign and the absolute value.
  • Table 4 below shows an example of the syntax of bit depth information that can be generated according to the present embodiment. This syntax may, for example, be located in part of the SPS.
  • the parameter bit_depth_luma_minus 8 in Table 4 corresponds to (non-PCM) luminance bit depth information, and indicates a value obtained by subtracting 8 from the non-PCM luminance bit depth (the same parameters as those shown in Table 1).
  • the parameter delta_bit_depth_chroma corresponds to (non-PCM) color difference bit depth information, and indicates a bit depth difference between the non-PCM luminance bit depth and the non-PCM color difference bit depth.
  • the flag pcm_enabled_flag indicates whether the encoding in the PCM mode is enabled (the same flag as shown in Table 1).
  • the parameter delta_pcm_sample_bit_depth_luma in Table 4 corresponds to the luminance bit depth information for PCM, and indicates the bit depth difference between the luminance bit depth for non-PCM and the luminance bit depth for PCM.
  • the parameter delta_pcm_sample_bit_depth_chroma corresponds to the color difference bit depth information for PCM, and from the color difference bit depth for PCM, the luminance bit depth for PCM and the bit depth difference (between the luminance bit depth for non PCM and the color difference bit depth for non PCM) are calculated. The residual difference obtained by subtraction is shown.
  • non-PCM luminance bit depth bit_depth_luma and the non-PCM chrominance bit depth bit_depth_chroma are expressed by the following formulas (1) and (2) with the non-PCM bit depth information: Have a relationship represented by
  • the luminance bit depth for PCM pcm_bit_depth_luma and the chrominance bit depth for PCM pcm_bit_depth_chroma are the following equations (3) between the non-PCM bit depth information and the PCM bit depth information: And the relationship expressed by equation (4).
  • the present invention is not limited to the above-described example, and the PCM chrominance bit depth information may indicate a bit depth difference obtained by subtracting only the PCM luminance bit depth from the PCM chrominance bit depth. In that case, the second term of the right side of equation (4) is omitted.
  • the non-PCM information generation unit 42 outputs non-PCM bit depth information (Non-PCM BD Information) that can be generated according to the above-described method to the lossless encoding unit 16 and the weighting prediction unit 45.
  • the PCM information generation unit 44 outputs, to the lossless encoding unit 16, PCM bit depth information (PCM BD Information) that can be generated according to the above-described method.
  • the lossless encoding unit 16 encodes bit depth information including the non-PCM bit depth information and the PCM bit depth information.
  • the bit depth setting unit 41 may set different bit depths for different CU (Coding Unit) sizes.
  • the CU size is set smaller if the image area contains more high frequency components. Then, for an image region where a large CU size is set because it contains a large amount of high frequency components, the image quality is degraded even if the PCM bit depth is relatively low, that is, even if the expressible gradation is coarser. It is thought that it is not so sensed. Therefore, if it is possible to use different bit depths for different CU sizes, it is possible to variably control the bit depth for each image area to suppress the rate of PCM samples.
  • the PCM information generation unit 44 generates PCM bit depth information indicating different bit depth differences for different CU sizes (for example, the parameter pairs delta_pcm_sample_bit_depth_luma, delta_pcm_sample_bit_depth_chroma illustrated in Table 4 have CU sizes). Only the number of candidates may be provided).
  • the bit depth difference for one CU size included in the PCM bit depth information may be differentially encoded based on the bit depth difference for another CU size. Thereby, the code amount of the PCM bit depth information in the present modification can be reduced.
  • FIG. 3 is a block diagram showing an example of a detailed configuration of the weighting prediction unit 45 shown in FIG.
  • the weight prediction unit 45 includes a search unit 46, a prediction image generation unit 47, and a weight prediction (WP) information generation unit 48.
  • WP weight prediction
  • the search unit 46 is an optimal weighted prediction parameter (for prediction of the image of the prediction target block based on the original image data of the prediction target block (typically, PU (Prediction Unit)) and the decoded image data. Determine WP Parameters, ie weights and offsets for each reference frame. Then, the search unit 46 outputs the determined weighted prediction parameter to the predicted image generation unit 47 and the WP information generation unit 48.
  • PU Prediction Unit
  • the predicted image generation unit 47 performs weighted prediction by applying the weighted prediction parameters input from the search unit 46 to the respective reference frames, and generates a predicted image of a prediction target block. Then, the predicted image generation unit 47 outputs the generated predicted image to the inter prediction unit 35.
  • the WP information generation unit 48 generates weighted prediction information (WP Information) representing the optimum weighted prediction parameter determined by the search unit 46.
  • the weighted prediction information includes, for example, a denominator of a weight applied to the luminance component of each reference frame, a numerator and an offset of the weight, a denominator of a weight applied to a color difference component of each reference frame, a numerator and an offset of the weight, and , Can be shown respectively.
  • the first weight denominator information indicating the weight denominator of the luminance component may be, for example, the logarithmic parameter luma_log2_weight_denom as shown in Table 3.
  • the denominator of the weight of the chrominance component is differentially encoded using the bit depth difference between the luminance component and the chrominance component, which is input from the bit depth control unit 12. That is, the logarithm (base 2) of the denominator of the weight of the chrominance component is the sum of the logarithm of the denominator of the luminance component weight, the bit depth difference between the luminance component and the chrominance component, and the residual difference Then, the second weight denominator information indicates the residual difference.
  • the numerator and offset of the weight may be indicated by the same information as the existing parameters as shown in Table 3.
  • the syntax of weighted prediction information that can be generated according to this embodiment may be basically similar to the syntax shown in Table 3. However, the meaning of the logarithmic parameter delta_chroma_log2_weight_denom included in the syntax is redefined.
  • the denominator luma_weight_denom of the weight of the luminance component and the denominator chroma_weight_denom of the weight of the color difference component are expressed by the following equations (5) and (6) between the first weight denominator information luma_log2_weight_denom and the second weight denominator information delta_chroma_log2_weight_denom Have a relationship that
  • the WP information generation unit 48 outputs, to the inter prediction unit 35, weighted prediction information that can be generated based on the above-described relational expression.
  • the lossless encoding unit 16 encodes the weighted prediction information (including the first weight denominator information and the second weight denominator information) input from the inter prediction unit 35. Do.
  • the amount of code of various types of bit depth related information is reduced using a differential encoding method. For example, if the luminance bit depth and the chrominance bit depth are equal, the parameter value of the chrominance bit depth information is zero. When the non-PCM luminance bit depth is equal to the PCM luminance bit depth, the parameter value of the PCM luminance bit depth information is zero. Also, utilizing the correlation between the weight prediction weight denominator and the bit depth, the parameter value of the weight denominator information is also reduced to zero or a value closer to zero. And, in general, the length of the code word assigned to zero or closer values through variable length coding is shorter.
  • FIG. 4 is a flowchart showing an example of a schematic process flow at the time of encoding according to an embodiment. Note that, for the sake of simplicity, processing steps not directly related to the technology of the present disclosure are omitted from the drawings.
  • the bit depth control unit 12 sets bit depth information based on the bit depths of the luminance component and the chrominance component for non-PCM, and the bit depth of the luminance component and the chrominance component for PCM. It generates (step S11).
  • the bit depth information generated here may have syntax including non-PCM bit depth information and PCM bit depth information as illustrated in Table 4, for example.
  • the bit depth control unit 12 outputs the non-PCM bit depth information and the PCM bit depth information to the lossless encoding unit 16.
  • the lossless encoding unit 16 encodes the bit depth information generated by the bit depth control unit 12, and inserts the encoded bit depth information into, for example, the SPS of the encoded stream (step S12). The subsequent processing is repeated for each sample contained in one or more pictures in the sequence.
  • the bit depth control unit 12 determines whether to encode a sample in the PCM mode (step S13).
  • the intra prediction by the intra prediction unit 30 and the inter prediction by the inter prediction unit 35 are performed on the sample, and the optimum The prediction image of the prediction mode is generated (step S14).
  • the inter prediction performed here includes weighted prediction by the weighted prediction unit 45. Note that execution of inter prediction is skipped for I slices.
  • the subtraction unit 13 calculates a prediction error of the non-PCM sample by subtracting the prediction image from the original image (step S15).
  • the orthogonal transform unit 14 transforms the prediction error of the non-PCM sample into orthogonal transform to generate transform coefficient data (step S16).
  • the quantization unit 15 quantizes the transform coefficient data to generate quantized data of the non-PCM sample (step S17).
  • the quantization unit 15 performs bit shift on the original image of the PCM sample to generate quantized data of the PCM sample ( Step S18).
  • the lossless encoding unit 16 encodes the quantized data of the non-PCM sample or the PCM sample generated by the quantization unit 15 to generate an encoded stream (step S19). Also, the lossless encoding unit 16 encodes the information related to the encoded sample, and inserts the encoded information into the header area of the encoded stream (step S20). For example, weighted prediction information generated by the weighted prediction unit 45 may be inserted into a slice header.
  • step S21 the flowchart shown in FIG. 4 ends.
  • FIG. 5 is a flowchart illustrating an example of the flow of bit depth information generation processing according to an embodiment.
  • the bit depth information generation process shown in FIG. 5 may be executed by the bit depth control unit 12 in step S11 of FIG. 4, for example.
  • the non-PCM information generation unit 42 of the bit depth control unit 12 generates luminance bit depth information (for example, parameter bit_depth_luma_minus8) indicating the bit depth of the luminance component for non-PCM (step S31). .
  • luminance bit depth information for example, parameter bit_depth_luma_minus8
  • the non-PCM information generation unit 42 generates chrominance bit depth information (for example, parameter delta_bit_depth_chroma) indicating a bit depth difference between the bit depth of the luminance component for non-PCM and the bit depth of the chrominance component (step S32).
  • chrominance bit depth information for example, parameter delta_bit_depth_chroma
  • the PCM information generation unit 44 generates a PCM enabled flag (for example, the flag pcm_enabled_flag) indicating whether the encoding in the PCM mode is enabled or not according to the setting by the PCM mode setting unit 43 (step S33). ).
  • the subsequent processing is executed only when encoding in the PCM mode is enabled (step S34).
  • the PCM information generation unit 44 displays the PCM luminance bit depth information (for example, the PCM luminance bit depth information indicating the bit depth difference between the non-PCM luminance bit depth and the PCM luminance bit depth).
  • the parameter delta_pcm_sample_bit_depth_luma) is generated (step S35).
  • the PCM information generation unit 44 subtracts the luminance bit depth for PCM and the bit depth difference calculated in step S32 from the residual difference for PCM color difference bit depth (that is, the PCM color difference bit depth).
  • PCM color difference bit depth information (for example, parameter delta_pcm_sample_bit_depth_chroma) indicating the residual difference calculated by the equation (step S36).
  • FIG. 6 is a flowchart showing an example of the flow of WP information generation processing according to an embodiment.
  • the WP information generation process shown in FIG. 6 may be performed by the weighting prediction unit 45, for example, in step S14 of FIG.
  • the WP information generation unit 48 of the weighting prediction unit 45 acquires the bit depth difference between the luminance component and the color difference component from the bit depth control unit 12 (step S41).
  • the WP information generation unit 48 generates first weight denominator information (for example, logarithmic parameter luma_log2_weight_denom) indicating the denominator of the weight of the luminance component determined by the search unit 46 (step S42).
  • first weight denominator information for example, logarithmic parameter luma_log2_weight_denom
  • the WP information generation unit 48 calculates the difference between the logarithm (base 2) of the weight denominator of the luminance component and the logarithm of the denominator of the weight of the color difference component determined by the search unit 46. (Step S43).
  • the WP information generation unit 48 generates second weight denominator information (for example, residual logarithm parameter delta_chroma_log2_weight_denom) indicating the residual obtained by subtracting the bit depth difference acquired in step S41 from the calculated logarithmic difference (step S44). ).
  • second weight denominator information for example, residual logarithm parameter delta_chroma_log2_weight_denom
  • the WP information generation unit 48 generates remaining weighted prediction parameters respectively indicating the numerator and offset of the weight of the luminance component and the numerator and offset of the weight of the color difference component (step S45).
  • FIG. 7 is a block diagram showing an example of the configuration of the image decoding device 6 according to an embodiment.
  • the image decoding device 6 includes an accumulation buffer 61, a lossless decoding unit 62, an inverse quantization unit 63, an inverse orthogonal transformation unit 64, an addition unit 65, a loop filter 66, a rearrangement buffer 67, D / A ( Digital to Analogue) conversion unit 68, frame memory 69, selectors 70 and 71, intra prediction unit 80, inter prediction unit 85, bit depth control unit 90, and weighting prediction unit 95.
  • D / A Digital to Analogue
  • the accumulation buffer 61 temporarily accumulates the coded stream input through the transmission path using a storage medium.
  • the lossless decoding unit 62 decodes the quantized data from the encoded stream accumulated by the accumulation buffer 61 according to the encoding scheme used in the encoding.
  • the luminance and chrominance components of the non-PCM sample and the luminance and chrominance components of the PCM sample are decoded at the bit depth indicated by the bit depth information.
  • the lossless decoding unit 62 outputs the quantized data to the inverse quantization unit 63. Further, the lossless decoding unit 62 decodes the information inserted in the header area of the encoded stream.
  • the bit depth information is decoded, for example, from the SPS and output to the bit depth control unit 90.
  • Information on intra prediction is output to the intra prediction unit 80.
  • Information on inter prediction is output to the inter prediction unit 85.
  • the information regarding inter prediction may include weighted prediction information.
  • the bit depth control unit 90 sets various types of bit depths related to the decoding process in the image decoding device 6 according to the bit depth information decoded by the lossless decoding unit 62. Also, the bit depth control unit 90 controls the bit depth of the image data to be decoded according to the setting.
  • the bit depth information includes at least luminance bit depth information and chrominance bit depth information. When PCM coding is enabled, the bit depth information may further include luminance bit depth information for PCM and chrominance bit depth information for PCM. These bit depth informations are accompanied by a reduced amount of code based on the techniques described so far.
  • the bit depth control unit 90 may output the chrominance bit depth information to the weighting prediction unit 95.
  • the inverse quantization unit 63 inversely quantizes the quantized data of the non-PCM sample in the same quantization step as that used in the encoding, and restores the transform coefficient data of the non-PCM sample.
  • the inverse quantization unit 63 inversely quantizes the quantized data of the PCM sample by bit shifting the same shift amount as that used in the encoding, and restores the image data of the PCM sample.
  • the inverse quantization unit 63 outputs the restored transform coefficient data or image data to the inverse orthogonal transform unit 64.
  • the inverse orthogonal transformation unit 64 generates prediction error data by performing inverse orthogonal transformation on transformation coefficient data of a non-PCM sample input from the inverse quantization unit 63 according to the orthogonal transformation method used in encoding. Do. Then, the inverse orthogonal transform unit 64 outputs prediction error data of non-PCM samples to the addition unit 65.
  • the bit depth control unit 90 causes the inverse orthogonal transform unit 64 to skip the execution of the inverse orthogonal transform process. In this case, the inverse orthogonal transform unit 64 outputs the image data of the PCM sample as it is.
  • the adding unit 65 reconstructs the decoded image data of the non-PCM sample by adding the prediction error data of the non-PCM sample input from the inverse orthogonal transformation unit 64 and the predicted image data input from the selector 71. . Then, the adding unit 65 outputs the decoded image data of the non-PCM sample to the loop filter 66 and the frame memory 69.
  • the bit depth control unit 90 skips the addition of prediction error data by the addition unit 65 for PCM samples. In this case, the adding unit 65 outputs the image data (decoded image data) of the PCM sample as it is.
  • the loop filter 66 includes a deblocking filter for reducing block distortion and a sample adaptive offset filter for adding an offset value to each pixel value.
  • the loop filter 66 filters the decoded image data input from the adding unit 65, and outputs the decoded image data after filtering to the rearrangement buffer 67 and the frame memory 69.
  • the rearrangement buffer 67 rearranges the images input from the loop filter 66 to generate a series of time-series image data. Then, the rearrangement buffer 67 outputs the generated image data to the D / A converter 68.
  • the D / A conversion unit 68 converts the digital format image data input from the rearrangement buffer 67 into an analog format image signal. Then, the D / A conversion unit 68 displays an image, for example, by outputting an analog image signal to a display (not shown) connected to the image decoding device 6.
  • the frame memory 69 stores the decoded image data before filtering input from the adding unit 65 and the decoded image data after filtering input from the loop filter 66 using a storage medium.
  • the selector 70 switches the output destination of the image data from the frame memory 69 between the intra prediction unit 80 and the inter prediction unit 85 for each block in the image according to the mode information acquired by the lossless decoding unit 62. .
  • the selector 70 outputs the decoded image data before filtering supplied from the frame memory 69 to the intra prediction unit 80 as reference image data.
  • the selector 70 outputs the decoded image data after filtering to the inter prediction unit 85 as reference image data.
  • the selector 71 switches the output source of the predicted image data to be supplied to the addition unit 65 between the intra prediction unit 80 and the inter prediction unit 85 in accordance with the mode information acquired by the lossless decoding unit 62. For example, when the intra prediction mode is designated, the selector 71 supplies predicted image data output from the intra prediction unit 80 to the addition unit 65. Further, when the inter prediction mode is specified, the selector 71 supplies predicted image data output from the inter prediction unit 85 to the addition unit 65.
  • the intra prediction unit 80 executes intra prediction based on the information on intra prediction input from the lossless decoding unit 62 and the reference image data from the frame memory 69, and generates predicted image data.
  • the intra prediction unit 80 outputs the generated predicted image data to the selector 71.
  • the inter prediction unit 85 executes inter prediction based on the information on inter prediction input from the lossless decoding unit 62 and the reference image data from the frame memory 69 to generate predicted image data.
  • the inter prediction unit 85 causes the weighted prediction unit 95 to execute weighted prediction.
  • the inter prediction unit 85 outputs the reference image data and the weighted prediction information to the weighted prediction unit 95. Then, the inter prediction unit 85 outputs the generated predicted image data to the selector 71.
  • the weighting prediction unit 95 acquires decoded image data and weighted prediction information from the inter prediction unit 85, performs weighted prediction in accordance with a weighted prediction parameter reconstructed from the weighted prediction information, and generates a prediction image.
  • the weighted prediction parameters include the weights and offsets for each reference frame, as described above.
  • the weights and offsets may have separate values for the luminance and chrominance components. Then, the weighting prediction unit 95 outputs the generated prediction image to the inter prediction unit 85.
  • FIG. 8 is a block diagram showing an example of a detailed configuration of the bit depth control unit 90 shown in FIG. Referring to FIG. 8, the bit depth control unit 90 includes a non-PCM information acquisition unit 91, a PCM information acquisition unit 92, a PCM mode setting unit 93, and a bit depth setting unit 94.
  • the non-PCM information acquisition unit 91 acquires non-PCM bit depth information decoded by the lossless decoding unit 62.
  • the bit depth information acquired here includes luminance bit depth information for decoding a luminance component of a coded image, and chrominance bit depth information for decoding a chrominance component of the image.
  • the chrominance bit depth information indicates the bit depth difference between the luminance bit depth and the chrominance bit depth.
  • the luminance bit depth information may correspond to, for example, the parameter bit_depth_luma_minus8 in Table 4.
  • the chrominance bit depth information may correspond to the parameter delta_bit_depth_chroma in Table 4.
  • the non-PCM information acquisition unit 91 adds (or subtracts) the bit depth difference indicated by the color difference bit depth information to the luminance bit depth indicated by the luminance bit depth information, for example, according to Equation (2). Calculate Then, the non-PCM information acquisition unit 91 outputs the luminance bit depth and the chrominance bit depth for non-PCM to the bit depth setting unit 94.
  • the PCM information acquisition unit 92 acquires PCM bit depth information decoded by the lossless decoding unit 62.
  • the PCM bit depth information includes at least a PCM enabled flag (eg, the flag pcm_enabled_flag in Table 4) indicating whether or not the coding in the PCM mode is enabled.
  • the PCM information acquisition unit 92 outputs the PCM validation flag to the PCM mode setting unit 93.
  • the PCM bit depth information acquired by the PCM information acquisition unit 92 further indicates the PCM of the encoded image. It includes PCM bit depth information for decoding a sample.
  • the PCM bit depth information includes luminance bit depth information for PCM and chrominance bit depth information for PCM.
  • the PCM luminance bit depth information indicates a bit depth difference between the non-PCM luminance bit depth and the PCM luminance bit depth indicated by the non-PCM bit depth information.
  • the PCM chrominance bit depth information indicates a residual difference associated with the PCM chrominance bit depth.
  • the luminance bit depth information for PCM may correspond to, for example, the parameter delta_pcm_sample_bit_depth_luma in Table 4.
  • the color difference bit depth information for PCM may correspond to the parameter delta_pcm_sample_bit_depth_chroma in Table 4.
  • the PCM information acquisition unit 92 adds (or subtracts) the bit depth difference indicated by the PCM luminance bit depth information to the non-PCM luminance bit depth in accordance with, for example, the equation (3) to obtain the PCM luminance bit depth. calculate.
  • the PCM information acquisition unit 92 adds the bit depth difference indicated by the non-PCM chrominance bit depth information to the PCM luminance bit depth and the residual difference indicated by the PCM chrominance bit depth information to the luminance bit depth for PCM, for example. By doing (or subtracting), the color difference bit depth for PCM is calculated. Then, the PCM information acquisition unit 92 outputs the luminance bit depth and the chrominance bit depth for PCM to the bit depth setting unit 94.
  • the PCM mode setting unit 93 validates or invalidates the decoding in the PCM mode in the image decoding device 6 in accordance with the PCM validation flag input from the PCM information acquisition unit 92. For example, when decoding in the PCM mode is enabled and PCM samples are decoded, the PCM mode setting unit 93 causes the inverse quantization unit 63 to bit-shift the quantization data to restore the image data, The inverse orthogonal transformation processing in the inverse orthogonal transformation unit 64 and the addition of the prediction error in the addition unit 65 are skipped. If decoding in PCM mode is disabled, the sequence does not include PCM samples.
  • the bit depth setting unit 94 sets the luminance bit depth and chrominance bit depth for non-PCM input from the non-PCM information acquisition unit 91, and the luminance bit depth and chrominance bit depth for PCM input from the PCM information acquisition unit 92. , Set for image decoding.
  • the image decoding device 6 decodes the luminance component of the non-PCM sample according to the non-PCM luminance bit depth, and decodes the chrominance component of the non-PCM sample according to the non-PCM chrominance bit depth. Further, the image decoding apparatus 6 decodes the luminance component of the PCM sample according to the luminance bit depth for PCM, and decodes the chrominance component of the PCM sample according to the chrominance bit depth for PCM.
  • the PCM bit depth information may include parameters indicating different bit depth differences for different CU sizes, and the bit depth setting unit 94 may set different bit depths for different CU sizes. .
  • the PCM bit depth information may include the parameter pairs delta_pcm_sample_bit_depth_luma and delta_pcm_sample_bit_depth_chroma illustrated in Table 4 as many as the number of CU size candidates.
  • the bit depth difference for one CU size may be differentially encoded based on the bit depth difference for another CU size. Thereby, the code amount of the PCM bit depth information in this modification is reduced.
  • FIG. 9 is a block diagram showing an example of a detailed configuration of the weighting prediction unit 95 shown in FIG. Referring to FIG. 9, the weighting prediction unit 95 includes a parameter setting unit 97 and a prediction image generation unit 98.
  • the parameter setting unit 97 obtains weighted prediction information decoded by the lossless decoding unit 62 when weighted prediction is designated as a prediction mode of inter prediction.
  • the weighted prediction information acquired here is, for example, the denominator of the weight applied to the luminance component of each reference frame, the numerator and weight of the weight, the denominator of the weight applied to the color difference component of each reference frame, and the weight The numerator and the offset may be shown respectively.
  • the first weight denominator information indicating the denominator of the weight of the luminance component indicates, for example, the denominator of the weight of the luminance component by logarithm with a base of 2.
  • the second weight denominator information indicating the weight denominator of the color difference component indicates, for example, a residual difference (logarithm of the denominator) associated with the weight denominator of the color difference component.
  • the parameter setting unit 97 calculates the logarithm of the denominator of the weight of the luminance component indicated by the first weight denominator information, the bit depth difference between the luminance component and the color difference component input from the bit depth control unit 90, The denominator of the weight of the color difference component is calculated based on the residual difference indicated by the second weight denominator information.
  • the weighted prediction information may have, for example, a syntax as exemplified in Table 3.
  • the first weight denominator information may correspond to the logarithmic parameter luma_log2_weight_denom
  • the second weight denominator information may correspond to the logarithmic parameter delta_chroma_log2_weight_denom.
  • the meaning of the logarithmic parameter delta_chroma_log2_weight_denom is redefined to indicate the residual logarithm, as described using equation (6).
  • the parameter setting unit 97 sets weighted prediction parameters (weights and offsets for each color component of each reference frame) reconstructed from the weighted prediction information in the prediction target block.
  • the predicted image generation unit 98 performs weighted prediction by applying weighted prediction parameters set by the parameter setting unit 97 to the respective reference frames, and generates a predicted image of a prediction target block. Then, the predicted image generation unit 98 outputs the generated predicted image to the inter prediction unit 85.
  • FIG. 10 is a flowchart illustrating an example of a schematic process flow at the time of decoding according to an embodiment. Note that, for the sake of simplicity, processing steps not directly related to the technology of the present disclosure are omitted from the drawings.
  • the lossless decoding unit 62 decodes bit depth information, for example, from the SPS of the encoded stream (step S61).
  • the bit depth information decoded here includes non-PCM bit depth information and PCM bit depth information.
  • the lossless decoding unit 62 outputs the decoded bit depth information to the bit depth control unit 90.
  • the bit depth control unit 90 determines the bit depths of the luminance and chrominance components for non-PCM, and the bit depths of luminance and chrominance components for PCM. Are set (step S62). The subsequent processing is repeated for each sample contained in one or more pictures in the sequence.
  • the lossless decoding unit 62 decodes the information related to the sample to be decoded, for example, from the slice header (step S63).
  • the information decoded here may include prediction mode information and weighted prediction information when weighted prediction is designated by the prediction mode information.
  • the lossless decoding unit 62 decodes the quantized data of the non-PCM sample or the PCM sample (step S64).
  • the bit depth control unit 90 determines whether to decode a sample in the PCM mode (step S65).
  • the dequantization unit 63 dequantizes the quantized data of the non-PCM sample and restores the transform coefficient data (step S66).
  • the inverse orthogonal transform unit 64 performs inverse orthogonal transform on transform coefficient data of non-PCM samples to generate prediction error data (step S67).
  • the intra prediction mode is specified, the intra prediction is performed by the intra prediction unit 80, and when the inter prediction mode is specified, the inter prediction is performed by the inter prediction unit 85 (step S68). As a result, a predicted image is generated.
  • the inter prediction performed here may include weighted prediction by the weighted prediction unit 95.
  • the addition unit 65 reconstructs the decoded image data of the non-PCM sample by adding the prediction error of the non-PCM sample and the predicted image (step S69).
  • the inverse quantization unit 63 performs inverse quantization by bit shifting the quantized data of the PCM sample, and reconstructs the image data of the PCM sample. (Step S70).
  • step S71 the flowchart shown in FIG. 10 ends.
  • FIG. 11 is a flowchart showing an example of the flow of bit depth calculation processing according to an embodiment.
  • the bit depth calculation process shown in FIG. 11 may be performed by the bit depth control unit 90, for example, in step S62 of FIG.
  • non-PCM information acquisition unit 91 of bit depth control unit 90 calculates non-PCM luminance bit depth according to, for example, equation (1) based on luminance bit depth information (step S81). .
  • the non-PCM information acquisition unit 91 uses the non-PCM luminance bit depth calculated in step S81 and the bit depth difference indicated by the color difference bit depth information, for example, according to Equation (2), The bit depth is calculated (step S82).
  • the PCM information acquisition unit 92 determines whether the PCM validation flag included in the PCM bit depth information indicates that the decoding in the PCM mode is validated (step S83). If the PCM validation flag indicates that the decoding in the PCM mode is enabled, the subsequent processing is performed.
  • the PCM information acquisition unit 92 When decoding in the PCM mode is enabled, the PCM information acquisition unit 92, for example, according to Formula (3), based on the non-PCM luminance bit depth and the bit depth difference indicated by the PCM luminance bit depth information.
  • the luminance bit depth for PCM is calculated (step S84).
  • the PCM information acquisition unit 92 performs, for example, an expression based on the luminance bit depth for PCM, the bit depth difference indicated by the color difference bit depth information for non-PCM, and the residual difference indicated by the color difference bit depth information for PCM. According to (4), the color difference bit depth for PCM is calculated (step S85).
  • FIG. 12 is a flowchart illustrating an example of the flow of WP parameter calculation processing according to an embodiment.
  • the WP parameter calculation process shown in FIG. 12 may be executed by the weighting prediction unit 95, for example, at step S68 in FIG.
  • the parameter setting unit 97 of the weighting prediction unit 95 acquires the bit depth difference between the luminance component and the color difference component from the bit depth control unit 90 (step S91).
  • the parameter setting unit 97 calculates the denominator of the weight of the luminance component from the first weight denominator information included in the weighted prediction information, for example, according to equation (5) (step S92).
  • the parameter setting unit 97 determines, for example, the equation (6) based on the logarithm of the weight component of the luminance component, the bit depth difference obtained in step S91, and the residual difference indicated by the second weight denominator information. In accordance with, the denominator of the weight of the color difference component is calculated (step S93).
  • the parameter setting unit 97 uses the remaining parameters included in the weighted prediction information to calculate the weight and offset of the luminance component, and the weight and offset of the color difference component (step S94).
  • steps S92 to S93 shown in FIG. 12 may be repeated for each reference frame.
  • the image encoding device 1 and the image decoding device 6 are transmitters or receivers in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, distribution to terminals by cellular communication, etc.
  • the present invention can be applied to various electronic devices such as a recording device for recording an image on a medium such as an optical disk, a magnetic disk and a flash memory, or a reproduction device for reproducing an image from the storage medium.
  • a recording device for recording an image on a medium such as an optical disk, a magnetic disk and a flash memory
  • a reproduction device for reproducing an image from the storage medium.
  • FIG. 13 shows an example of a schematic configuration of a television set to which the embodiment described above is applied.
  • the television device 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface 909, a control unit 910, a user interface 911, And a bus 912.
  • the tuner 902 extracts a signal of a desired channel from a broadcast signal received via the antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the coded bit stream obtained by demodulation to the demultiplexer 903. That is, the tuner 902 has a role as a transmission means in the television apparatus 900 for receiving a coded stream in which an image is coded.
  • the demultiplexer 903 separates the video stream and audio stream of the program to be viewed from the coded bit stream, and outputs the separated streams to the decoder 904. Also, the demultiplexer 903 extracts auxiliary data such as an EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. When the coded bit stream is scrambled, the demultiplexer 903 may perform descrambling.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. Further, the decoder 904 outputs the audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display a video. Also, the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via the network. Further, the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting. Furthermore, the video signal processing unit 905 may generate an image of a graphical user interface (GUI) such as a menu, a button, or a cursor, for example, and may superimpose the generated image on the output image.
  • GUI graphical user interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays a video or an image on the video surface of a display device (for example, a liquid crystal display, a plasma display, or an OLED).
  • a display device for example, a liquid crystal display, a plasma display, or an OLED.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on audio data input from the decoder 904, and causes the speaker 908 to output audio. Further, the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television device 900 to an external device or a network.
  • a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also serves as a transmission means in the television apparatus 900 for receiving the coded stream in which the image is coded.
  • the control unit 910 includes a processor such as a central processing unit (CPU) and memories such as a random access memory (RAM) and a read only memory (ROM).
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the television device 900 is started.
  • the CPU controls the operation of the television apparatus 900 according to an operation signal input from, for example, the user interface 911 by executing a program.
  • the user interface 911 is connected to the control unit 910.
  • the user interface 911 has, for example, buttons and switches for the user to operate the television device 900, a receiver of remote control signals, and the like.
  • the user interface 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 mutually connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910.
  • the decoder 904 has the function of the image decoding device 6 according to the above-described embodiment. This enables the television apparatus 900 to properly decode the coded stream having redundant bit depth related information.
  • FIG. 14 shows an example of a schematic configuration of a mobile phone to which the embodiment described above is applied.
  • the mobile phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a multiplexing and separating unit 928, a recording and reproducing unit 929, a display unit 930, a control unit 931, an operation.
  • a unit 932 and a bus 933 are provided.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 mutually connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931.
  • the cellular phone 920 can transmit and receive audio signals, transmit and receive electronic mail or image data, capture an image, and record data in various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode. Do the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, and A / D converts and compresses the converted audio data. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates audio data to generate a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 decompresses and D / A converts audio data to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting an electronic mail in accordance with an operation by the user via the operation unit 932. Further, the control unit 931 causes the display unit 930 to display characters. Further, the control unit 931 generates electronic mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated electronic mail data to the communication unit 922.
  • a communication unit 922 encodes and modulates electronic mail data to generate a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. The communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the e-mail data, and outputs the restored e-mail data to the control unit 931.
  • the control unit 931 causes the display unit 930 to display the content of the e-mail, and stores the e-mail data in the storage medium of the recording and reproduction unit 929.
  • the recording and reproducing unit 929 includes an arbitrary readable and writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted storage medium such as a hard disk, a magnetic disk, a magnetooptical disk, an optical disk, a USB memory, or a memory card. May be
  • the camera unit 926 captures an image of a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926, and stores the encoded stream in the storage medium of the recording and reproduction unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the communication unit 922 multiplexes the multiplexed stream.
  • Output to The communication unit 922 encodes and modulates the stream to generate a transmission signal.
  • the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the transmission signal and the reception signal may include a coded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream to generate video data.
  • the video data is supplied to the display unit 930, and the display unit 930 displays a series of images.
  • the audio codec 923 decompresses and D / A converts the audio stream to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device 1 and the image decoding device 6 according to the above-described embodiment. Thereby, it is possible to appropriately encode or decode in the mobile phone 920 a coded stream having redundant bit depth related information.
  • FIG. 15 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied.
  • the recording / reproducing device 940 encodes, for example, audio data and video data of the received broadcast program, and records the encoded data on a recording medium.
  • the recording and reproduction device 940 may encode, for example, audio data and video data acquired from another device and record the encoded data on a recording medium.
  • the recording / reproducing device 940 reproduces the data recorded on the recording medium on the monitor and the speaker, for example, in accordance with the user's instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. And 950.
  • the tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown) and demodulates the extracted signal. Then, the tuner 941 outputs the coded bit stream obtained by demodulation to the selector 946. That is, the tuner 941 has a role as a transmission means in the recording / reproducing device 940.
  • the external interface 942 is an interface for connecting the recording and reproducing device 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 has a role as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the coded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream obtained by compressing content data such as video and audio, various programs, and other data in an internal hard disk. Also, the HDD 944 reads these data from the hard disk when reproducing video and audio.
  • the disk drive 945 records and reads data on the attached recording medium.
  • the recording medium mounted on the disk drive 945 may be, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk, etc. .
  • the selector 946 selects the coded bit stream input from the tuner 941 or the encoder 943 at the time of recording video and audio, and outputs the selected coded bit stream to the HDD 944 or the disk drive 945. Also, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 at the time of reproduction of video and audio.
  • the decoder 947 decodes the coded bit stream to generate video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. Also, the decoder 904 outputs the generated audio data to an external speaker.
  • the OSD 948 reproduces the video data input from the decoder 947 and displays the video.
  • the OSD 948 may superimpose an image of a GUI such as a menu, a button, or a cursor on the video to be displayed.
  • the control unit 949 includes a processor such as a CPU, and memories such as a RAM and a ROM.
  • the memory stores programs executed by the CPU, program data, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the recording and reproducing device 940 is started.
  • the CPU controls the operation of the recording / reproducing apparatus 940 in accordance with an operation signal input from, for example, the user interface 950 by executing a program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording and reproducing device 940, a receiver of a remote control signal, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image coding apparatus 1 according to the embodiment described above.
  • the decoder 947 has the function of the image decoding device 6 according to the above-described embodiment. As a result, it is possible to appropriately encode or decode a coded stream having redundant bit depth related information in the recording / reproducing device 940.
  • FIG. 16 illustrates an example of a schematic configuration of an imaging device to which the above-described embodiment is applied.
  • the imaging device 960 captures an object to generate an image, encodes image data, and records the image data in a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972 is provided.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 mutually connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970.
  • the optical block 961 has a focus lens, an aperture mechanism, and the like.
  • the optical block 961 forms an optical image of a subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD or a CMOS, and converts an optical image formed on an imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 to generate encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965.
  • the image processing unit 964 may output the image data input from the signal processing unit 963 to the display unit 965 to display an image. The image processing unit 964 may superimpose the display data acquired from the OSD 969 on the image to be output to the display unit 965.
  • the OSD 969 generates an image of a GUI such as a menu, a button, or a cursor, for example, and outputs the generated image to the image processing unit 964.
  • a GUI such as a menu, a button, or a cursor
  • the external interface 966 is configured as, for example, a USB input / output terminal.
  • the external interface 966 connects the imaging device 960 and the printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • removable media such as a magnetic disk or an optical disk may be attached to the drive, and a program read from the removable media may be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted in the media drive 968 may be, for example, any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as, for example, a built-in hard disk drive or a solid state drive (SSD) may be configured.
  • SSD solid state drive
  • the control unit 970 includes a processor such as a CPU, and memories such as a RAM and a ROM.
  • the memory stores programs executed by the CPU, program data, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the imaging device 960 starts up.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from, for example, the user interface 971 by executing a program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device 1 and the image decoding device 6 according to the above-described embodiment. This enables the imaging device 960 to properly encode or decode a coded stream having redundant bit depth related information.
  • bit depth for the luminance component of the enhancement layer image to be scalable encoded may be differentially encoded based on the bit depth for the luminance component of the base layer image.
  • the luminance bit depth information (for non-PCM) of the enhancement layer may indicate a bit depth difference between the luminance bit depth of the enhancement layer image and the luminance bit depth of the base layer image.
  • the code amount of bit depth information of the enhancement layer can be further reduced.
  • the bit depth information of the enhancement layer may be encoded not in the SPS but in, for example, a representation format in a video parameter set (VPS).
  • the code amount of the weight denominator information specifying the denominator of the weight of the color difference component is the difference code described using equation (6). It may be reduced by the method of Also, even when weighted prediction is performed for inter-layer dynamic range conversion, weight denominator information specifying the denominator of the color difference component weight in the syntax defining the weight and offset for dynamic range conversion The code amount of may be reduced as well.
  • FIG. 17 is a block diagram showing a schematic configuration of an image coding apparatus 10 according to an embodiment that supports scalable coding.
  • the image coding apparatus 10 includes a base layer (BL) coding unit 1 a, an enhancement layer (EL) coding unit 1 b, a common memory 2 and a multiplexing unit 3.
  • BL base layer
  • EL enhancement layer
  • the BL encoding unit 1a encodes a base layer image to generate an encoded stream of a base layer.
  • the EL encoding unit 1b encodes the enhancement layer image to generate a coded stream of the enhancement layer.
  • the common memory 2 stores information commonly used between layers.
  • the multiplexing unit 3 multiplexes the coded stream of the base layer generated by the BL coding unit 1a and the coded stream of one or more enhancement layers generated by the EL coding unit 1b, and performs multi-layering. Generate a multiplexed stream.
  • the common memory 2 stores, for example, luminance bit depth information of the base layer.
  • the EL encoding unit 1 b can differentially encode the luminance bit depth information of the enhancement layer using the luminance bit depth information of the base layer stored by the common memory 2.
  • the EL encoding unit 1b includes a weighting (WP) prediction unit 45b.
  • the WP prediction unit 45 b performs weighted prediction for inter-layer gamut conversion or dynamic range conversion. Then, the WP prediction unit 45 b can differentially encode the weight denominator information specifying the denominator of the weight of the color difference component using the bit depth difference between the luminance component and the color difference component.
  • FIG. 18 is a block diagram showing a schematic configuration of an image decoding apparatus 60 according to an embodiment that supports scalable coding.
  • the image decoding device 60 includes a demultiplexer 5, a base layer (BL) decoder 6a, an enhancement layer (EL) decoder 6b, and a common memory 7.
  • BL base layer
  • EL enhancement layer
  • the demultiplexing unit 5 demultiplexes the multiplexed stream of the multilayer into the coded stream of the base layer and the coded stream of one or more enhancement layers.
  • the BL decoding unit 6a decodes a base layer image from the coded stream of the base layer.
  • the EL decoding unit 6 b decodes the enhancement layer image from the coded stream of the enhancement layer.
  • the common memory 7 stores information commonly used between layers.
  • the common memory 7 stores, for example, luminance bit depth information of the base layer.
  • the EL decoding unit 6 b can differentially decode the luminance bit depth information of the enhancement layer using the luminance bit depth information of the base layer stored by the common memory 7.
  • the EL decoding unit 6b includes a weighting (WP) prediction unit 95b.
  • the WP prediction unit 95 b performs weighted prediction for inter-layer gamut conversion or dynamic range conversion. Then, the WP prediction unit 95b can differentially decode the weight denominator information specifying the denominator of the weight of the color difference component using the bit depth difference between the luminance component and the color difference component.
  • the data transmission system 1000 includes a stream storage device 1001 and a distribution server 1002.
  • the distribution server 1002 is connected to several terminal devices via the network 1003.
  • the network 1003 may be a wired network or a wireless network, or a combination thereof.
  • FIG. 19 shows a PC (Personal Computer) 1004, an AV device 1005, a tablet device 1006, and a mobile phone 1007 as an example of the terminal device.
  • PC Personal Computer
  • the stream storage device 1001 stores, for example, stream data 1011 including a multiplexed stream generated by the image coding device 10.
  • the multiplexed stream includes the base layer (BL) coded stream and the enhancement layer (EL) coded stream.
  • the distribution server 1002 reads the stream data 1011 stored in the stream storage device 1001, and at least a part of the read stream data 1011 is transmitted to the PC 1004, the AV device 1005, the tablet device 1006, and the portable telephone 1007 via the network 1003. Deliver to.
  • the delivery server 1002 selects a stream to be delivered based on some condition such as the capability of the terminal device or the communication environment. For example, the distribution server 1002 may avoid the occurrence of delay, overflow, or processor overload at the terminal device by not distributing a coded stream having an image quality as high as that the terminal device can handle. . In addition, the distribution server 1002 may avoid the occupation of the communication band of the network 1003 by not distributing the encoded stream having high image quality. On the other hand, the distribution server 1002 may distribute all multiplexed streams to the terminal device if there is no risk to be avoided or if it is judged appropriate based on a contract with the user or some conditions. Good.
  • the distribution server 1002 reads the stream data 1011 from the stream storage device 1001. Then, the distribution server 1002 distributes the stream data 1011 as it is to the PC 1004 having high processing capability. Further, since the AV device 1005 has low processing capability, the distribution server 1002 generates stream data 1012 including only the base layer encoded stream extracted from the stream data 1011 and distributes the stream data 1012 to the AV device 1005. Do. Also, the distribution server 1002 distributes the stream data 1011 as it is to the tablet device 1006 that can communicate at a high communication rate. Further, since the mobile telephone 1007 can communicate only at a low communication rate, the distribution server 1002 distributes stream data 1012 including only the base layer coded stream to the mobile telephone 1007.
  • the multiplexed stream By using the multiplexed stream in this way, the amount of traffic to be transmitted can be adaptively adjusted.
  • the code amount of the stream data 1011 is reduced as compared to the case where each layer is individually encoded alone, even if the entire stream data 1011 is distributed, the load on the network 1003 is suppressed. Be done. Furthermore, memory resources of the stream storage device 1001 are also saved.
  • the hardware performance of the terminal device varies from device to device. Also, the capabilities of the application executed in the terminal device are various. Furthermore, the communication capacity of the network 1003 also varies. The capacity available for data transmission may change from time to time due to the presence of other traffic. Therefore, before starting distribution of stream data, the distribution server 1002 performs terminal information on the hardware performance and application capability of the terminal device, communication capacity of the network 1003, and the like through signaling with the terminal device of the distribution destination. And network information related to Then, the distribution server 1002 can select a stream to be distributed based on the acquired information.
  • the extraction of the layer to be decoded may be performed in the terminal device.
  • the PC 1004 may display a base layer image extracted and decoded from the received multiplexed stream on its screen. Also, the PC 1004 may extract the base layer coded stream from the received multiplexed stream to generate stream data 1012 and store the generated stream data 1012 in a storage medium or transfer it to another device .
  • the configuration of the data transmission system 1000 shown in FIG. 19 is merely an example.
  • the data transmission system 1000 may include any number of stream storage devices 1001, distribution servers 1002, networks 1003, and terminal devices.
  • a data transmission system 1100 includes a broadcasting station 1101 and a terminal device 1102.
  • the broadcast station 1101 broadcasts the base layer coded stream 1121 on the terrestrial channel 1111. Also, the broadcast station 1101 transmits the encoded stream 1122 of the enhancement layer to the terminal device 1102 via the network 1112.
  • the terminal device 1102 has a reception function for receiving terrestrial broadcast broadcasted by the broadcast station 1101, and receives the base layer coded stream 1121 via the terrestrial channel 1111. Further, the terminal device 1102 has a communication function for communicating with the broadcast station 1101, and receives the encoded stream 1122 of the enhancement layer via the network 1112.
  • the terminal device 1102 receives the base layer coded stream 1121 in response to an instruction from the user, decodes the base layer image from the received coded stream 1121, and displays the base layer image on the screen. Good. Also, the terminal device 1102 may store the decoded base layer image in a storage medium or transfer it to another device.
  • the terminal device 1102 receives the coded stream 1122 of the enhancement layer via the network 1112 according to an instruction from the user, for example, and transmits the coded stream 1121 of the base layer and the coded stream 1122 of the enhancement layer. Multiplexed streams may be generated by multiplexing. Also, the terminal device 1102 may decode the enhancement layer image from the encoded stream 1122 of the enhancement layer and display the enhancement layer image on the screen. The terminal device 1102 may also store the decoded enhancement layer image in a storage medium or transfer it to another device.
  • the coded stream of each layer included in the multiplexed stream may be transmitted via different communication channels for each layer. Thereby, the load applied to each channel can be distributed, and the occurrence of communication delay or overflow can be suppressed.
  • the communication channel to be used for transmission may be dynamically selected according to some conditions.
  • the base layer coded stream 1121 having a relatively large amount of data is transmitted via a wide bandwidth communication channel
  • the coded layer 1122 of an enhancement layer having a relatively small amount of data is arranged via a narrow bandwidth communication channel.
  • the communication channel through which the coded stream 1122 of a particular layer is transmitted may be switched according to the bandwidth of the communication channel. Thereby, loads applied to the individual channels can be more effectively suppressed.
  • Data transmission system 1100 shown in FIG. 20 is merely an example.
  • Data transmission system 1100 may include any number of communication channels and terminals.
  • the configuration of the system described herein may be used in applications other than broadcasting.
  • the data transmission system 1200 includes an imaging device 1201 and a stream storage device 1202.
  • the imaging apparatus 1201 scalable encodes image data generated by imaging the subject 1211, and generates a multiplexed stream 1221.
  • the multiplexed stream 1221 includes the coded stream of the base layer and the coded stream of the enhancement layer. Then, the imaging device 1201 supplies the multiplexed stream 1221 to the stream storage device 1202.
  • the stream storage device 1202 stores the multiplexed stream 1221 supplied from the imaging device 1201 with different image quality for each mode. For example, the stream storage device 1202 extracts the base layer coded stream 1222 from the multiplexed stream 1221 in the normal mode, and stores the extracted base layer coded stream 1222. On the other hand, the stream storage device 1202 stores the multiplexed stream 1221 as it is in the high image quality mode. As a result, the stream storage device 1202 can record a high quality stream having a large amount of data only when it is desired to record a high quality video. Therefore, memory resources can be saved while suppressing the influence on the user of the deterioration of the image quality.
  • the imaging device 1201 is a surveillance camera.
  • the monitoring target for example, an intruder
  • the normal mode is selected. In this case, since the captured image is not likely to be important, reduction of the data amount is prioritized, and the video is recorded with low image quality (ie, only the base layer coded stream 1222 is stored).
  • the monitoring target for example, the object 1211 which is an intruder
  • the high image quality mode is selected. In this case, since the captured image is likely to be important, high image quality is given priority, and the video is recorded with high image quality (ie, the multiplexed stream 1221 is stored).
  • the mode is selected by the stream storage device 1202 based on, for example, an image analysis result.
  • the imaging device 1201 may select the mode. In the latter case, the imaging device 1201 may supply the base layer coded stream 1222 to the stream storage device 1202 in the normal mode, and may supply the multiplexed stream 1221 to the stream storage device 1202 in the high image quality mode.
  • the selection criteria for selecting the mode may be any criteria.
  • the mode may be switched according to the size of the sound acquired through the microphone or the waveform of the sound.
  • the mode may be switched periodically.
  • the mode may be switched according to an instruction from the user.
  • the number of selectable modes may be any number as long as the number of layers to be hierarchized is not exceeded.
  • Data transmission system 1200 may include any number of imaging devices 1201.
  • system configuration described herein may be used in applications other than surveillance cameras.
  • the multi-view codec is a type of multi-layer codec, and is an image coding method for coding and decoding so-called multi-view video.
  • FIG. 22 is an explanatory diagram for describing a multiview codec. Referring to FIG. 22, a sequence of frames of three views captured respectively at three viewpoints is shown. Each view is assigned a view ID (view_id). One of these multiple views is designated as a base view. Views other than the base view are called non-base views. In the example of FIG. 22, the view whose view ID is “0” is a base view, and the two views whose view ID is “1” or “2” are non-base views.
  • each view may correspond to a layer.
  • the non-base view image is encoded and decoded with reference to the base view image (other non-base view images may also be referred to).
  • FIG. 23 is a block diagram showing a schematic configuration of an image coding device 10v supporting a multiview codec.
  • the image coding device 10 v includes a first layer coding unit 1 c, a second layer coding unit 1 d, a common memory 2 and a multiplexing unit 3.
  • the function of the first layer coding unit 1c is equivalent to the function of the BL coding unit 1a described using FIG. 17 except that a base view image is received instead of the base layer image as an input.
  • the first layer coding unit 1c codes the base view image to generate a coded stream of the first layer.
  • the function of the second layer coding unit 1 d is equivalent to the function of the EL coding unit 1 b described with reference to FIG. 17 except that a non-base view image is received instead of the enhancement layer image as an input.
  • the second layer coding unit 1 d codes the non-base view image to generate a coded stream of the second layer.
  • the common memory 2 stores information commonly used between layers.
  • the multiplexing unit 3 multiplexes the coded stream of the first layer generated by the first layer coding unit 1 c and the coded stream of the second layer generated by the second layer coding unit 1 d, Generate a multiplexed stream of layers.
  • FIG. 24 is a block diagram showing a schematic configuration of an image decoding device 60v supporting a multiview codec.
  • the image decoding device 60v includes a demultiplexing unit 5, a first layer decoding unit 6c, a second layer decoding unit 6d, and a common memory 7.
  • the demultiplexer 5 demultiplexes the multiplexed stream of the multilayer into the coded stream of the first layer and the coded stream of the second layer.
  • the function of the first layer decoding unit 6c is equivalent to the function of the BL decoding unit 6a described with reference to FIG. 18 except that it receives an encoded stream in which a base view image is encoded instead of a base layer image as input. It is.
  • the first layer decoding unit 6c decodes a base view image from the coded stream of the first layer.
  • the function of the second layer decoding unit 6 d is the same as the function of the EL decoding unit 6 b described with reference to FIG.
  • the second layer decoding unit 6d decodes the non-base view image from the coded stream of the second layer.
  • the common memory 7 stores information commonly used between layers.
  • the technology according to the present disclosure may be applied to a streaming protocol.
  • a streaming protocol For example, in MPEG-DASH (Dynamic Adaptive Streaming over HTTP), a plurality of encoded streams having different parameters such as resolution are prepared in advance in a streaming server. Then, the streaming server dynamically selects, in units of segments, appropriate data to be streamed from the plurality of encoded streams, and delivers the selected data.
  • bit depth related information may be differentially encoded between encoded streams according to the technology according to the present disclosure.
  • the chrominance bit depths for the chrominance components of the image to be encoded or decoded are the luminance bit depth indicated by the luminance bit depth information and the bit depth difference indicated by the chrominance bit depth information. Calculated based on. Therefore, the code amount of chrominance bit depth information can be reduced in many applications where the difference between luminance bit depth and chrominance bit depth has a value of zero or close to zero.
  • a code of bit depth related information by further differentially coding a parameter that may have a correlation with the bit depth, such as a denominator of a weight of a weighted prediction, using a bit depth difference indicated by color difference bit depth information It is also possible to reduce the amount further.
  • the non-PCM bit depth and the PCM bit depth information indicated by the non-PCM bit depth information for the PCM bit depth for the PCM sample of the image to be encoded or decoded Is calculated based on the bit depth difference indicated by. Therefore, the code amount of the non-PCM bit depth information can be reduced in many applications where the difference between the non-PCM sample and the PCM sample is not large. It is also possible to further reduce the code amount of the PCM color difference bit depth information using the bit depth difference between the non-PCM luminance component and the color difference component.
  • CU, PU, and TU described herein mean a logical unit that also includes syntax associated with individual blocks in HEVC. When focusing only on individual blocks as part of an image, these may be replaced with the terms CB (Coding Block), PB (Prediction Block) and TB (Transform Block) respectively.
  • the CB is formed by hierarchically dividing a coding tree block (CTB) into a quad-tree shape. The whole of one quadtree corresponds to CTB, and a logical unit corresponding to CTB is called CTU (Coding Tree Unit).
  • CTBs and CBs in HEVC are processing units of the encoding process in that they are H.264.
  • CTB and CB differ from macroblocks in that their sizes are not fixed (macroblock size is always 16 ⁇ 16 pixels).
  • the size of the CTB is selected from 16 ⁇ 16 pixels, 32 ⁇ 32 pixels and 64 ⁇ 64 pixels, and is specified by parameters in the coding stream.
  • the size of CB may vary with the depth of CTB segmentation.
  • bit depth related information is multiplexed in the header of the coded stream and transmitted from the coding side to the decoding side.
  • the method of transmitting such information is not limited to such an example.
  • the information may be transmitted or recorded as separate data associated with the coded bit stream without being multiplexed into the coded bit stream.
  • the term “associate” allows an image (a slice or a block, which may be a part of an image) included in a bitstream to be linked at the time of decoding with information corresponding to the image. Means That is, the information may be transmitted on a different transmission path from the image (or bit stream).
  • the information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream).
  • the information and the image (or bit stream) may be associated with each other in any unit such as, for example, a plurality of frames, one frame, or a part in a frame.
  • Decrypt the component Image processing device.
  • the image processing apparatus further includes a prediction unit that performs weighted prediction using different weights for the luminance component and the color difference component, The prediction unit calculates the denominator of the weight of the color difference component by taking the bit depth difference into account.
  • the image processing apparatus according to (1).
  • the acquisition unit further acquires first weight denominator information indicating a denominator of the weight of the luminance component, and second weight denominator information indicating a residual difference related to the denominator of the weight of the color difference component.
  • the prediction unit is configured to calculate the first weight based on the denominator of the weight indicated by the first weight denominator information, the bit depth difference, and the residual difference indicated by the second weight denominator information.
  • the image processing apparatus calculates the denominator of the weight of the chrominance component, The image processing apparatus according to (2).
  • the image is a scalable decoded enhancement layer image, The prediction unit performs the weighted prediction for inter-layer gamut conversion or dynamic range conversion.
  • the image is a scalable decoded enhancement layer image,
  • the first bit depth information indicates the difference between the first bit depth for the luminance component of the enhancement layer image and the bit depth for the luminance component of the base layer image.
  • the non-PCM bit depth information may be a first bit depth information indicating a first bit depth for a luminance component of the non-PCM sample, and a first bit depth and a chrominance component of the non-PCM sample.
  • Second bit depth information indicating a second bit depth difference between the second bit depth of A fourth for the chrominance component of the PCM sample by taking a third bit depth for the luminance component of the PCM sample based on the first bit depth difference and the second bit depth differential. Bit depth is calculated, The image processing apparatus according to (6).
  • the bit depth information for PCM includes third bit depth information indicating the first bit depth difference and fourth bit depth information indicating a residual difference associated with the fourth bit depth.
  • the fourth bit depth is calculated based on the third bit depth, the second bit depth difference, and the residual difference indicated by the fourth bit depth information.
  • the image processing apparatus according to (7).
  • the image processing device according to any one of (6) to (8), wherein the PCM bit depth information indicates different bit depth differences for different CU (Coding Unit) sizes.
  • the PCM bit depth information indicates a bit depth difference for a second CU size differentially encoded based on a bit depth difference for a first CU size.
  • An encoding unit encoding the luminance component of the image at a first bit depth and the chrominance component of the image at a second bit depth;
  • a generator configured to generate first bit depth information indicating the first bit depth and second bit depth information indicating a bit depth difference between the first bit depth and the second bit depth; , Equipped with The encoding unit further encodes the first bit depth information and the second bit depth information.
  • Image processing device (12) The image processing apparatus further includes a prediction unit that performs weighted prediction using different weights for the luminance component and the color difference component, The denominator of the weight of the color difference component is differentially encoded using the bit depth difference.
  • the denominator of the weight of the chrominance component is calculated based on the denominator of the weight of the luminance component, the bit depth difference, and the residual difference,
  • the encoding unit further encodes first weight denominator information indicating the denominator of the weight of the luminance component and second weight denominator information indicating the residual difference.
  • the image is an enhancement layer image to be scalable coded,
  • the prediction unit performs the weighted prediction for inter-layer gamut conversion or dynamic range conversion.
  • the image is an enhancement layer image to be scalable coded
  • the first bit depth information indicates the difference between the first bit depth for the luminance component of the enhancement layer image and the bit depth for the luminance component of the base layer image.
  • the image processing apparatus according to any one of the items (11) to (14).
  • An encoding unit encoding non-PCM samples of the image and PCM samples of the image at separately defined bit depths;
  • a generation unit configured to generate non-PCM bit depth information indicating non-PCM bit depth and PCM bit depth information indicating a first bit depth difference between the non-PCM bit depth and the PCM bit depth; Equipped with The encoding unit further encodes the non-PCM bit depth information and the PCM bit depth information.
  • the non-PCM bit depth information may be a first bit depth information indicating a first bit depth for a luminance component of the non-PCM sample, and a first bit depth and a chrominance component of the non-PCM sample.
  • Second bit depth information indicating a second bit depth difference between the second bit depth of
  • a fourth bit depth for chrominance components of the PCM samples is differentially encoded using a third bit depth for luminance components of the PCM samples and the second bit depth difference.
  • the fourth bit depth is calculated based on the third bit depth, the second bit depth difference, and a residual difference.
  • the PCM bit depth information includes third bit depth information indicating the first bit depth difference and fourth bit depth information indicating the residual difference.
  • the image processing apparatus according to (17).
  • (19) The image processing device according to any one of (16) to (18), wherein the PCM bit depth information indicates different bit depth differences for different CU (Coding Unit) sizes.
  • (20) The image processing device according to (19), wherein the PCM bit depth information indicates a bit depth difference for a second CU size to be differentially encoded based on a bit depth difference for a first CU size.
  • (21) Obtaining first bit depth information for decoding a luminance component of a coded image and second bit depth information for decoding a chrominance component of the coded image; Decoding the luminance component according to the first bit depth information; Decoding the chrominance component according to the second bit depth information; Including The chrominance component is decoded at a second bit depth calculated based on a first bit depth indicated by the first bit depth information and a bit depth difference indicated by the second bit depth information. , Image processing method.

Abstract

【課題】ビット深度関連情報の冗長的な符号化を回避すること。 【解決手段】符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、を備え、前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、画像処理装置を提供する。

Description

画像処理装置及び画像処理方法
　本開示は、画像処理装置及び画像処理方法に関する。
　現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ－ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint　Collaboration　Team-Video　Coding）により、ＨＥＶＣ（High　Efficiency　Video　Coding）と呼ばれる画像符号化方式の標準化が進められている（例えば、非特許文献１参照）。
　ＨＥＶＣは、ＭＰＥＧ２及びＡＶＣ（Advanced　Video　Coding）などの既存の画像符号化方式と同様、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable　HEVC）ともいう（例えば、非特許文献２参照）。スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。
　ＨＥＶＣの標準仕様の初版は２０１３年の年初に公表されたが、上述したＳＨＶＣ以外にも、符号化ツールの充実化などの様々な観点での仕様の拡張が継続的に行われている（例えば、非特許文献３参照）。例えば、ＨＥＶＣにおいて利用可能な画素のビット深度は、通常は８ビット又は１０ビットである。しかし、非特許文献３において説明されている拡張をサポートすることで、より大きいビット深度が利用可能となる。
Benjamin　Bross,　el.　al,　"High　Efficiency　Video　Coding　(HEVC)　text　specification　draft　10　(for　FDIS　&　Consent)"（JCTVC-L1003_v4,　2013年1月14-23日） Jianle　Chen,　el.　al,　"High　efficiency　video　coding　(HEVC)　scalable　extensions　Draft　5"（JCTVC-P1008_v4，　2014年1月9-17日） David　Flynn,　el.　al,　"High　Efficiency　Video　Coding　(HEVC)　Range　Extensions　text　specification:　Draft　5"（JCTVC-O1005_v2，　2013年10月23-11月1日）
　しかしながら、既存の仕様では、多様な符号化ツールが提供される一方で、それらに伴うビット深度関連情報の情報量が増加している。ビデオコーデックの通常の用途において、幾通りもの異なるビット深度を同時に扱うことは稀であると想定されるため、ビット深度関連情報の冗長的な符号化は、回避されることが望ましい。
　本開示によれば、符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、を備え、前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、画像処理装置が提供される。
　また、本開示によれば、符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得する取得部と、前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号し、前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号する復号部と、を備え、前記復号部は、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で、前記ＰＣＭサンプルを復号する、画像処理装置が提供される。
　また、本開示によれば、画像の輝度成分を第１のビット深度で、前記画像の色差成分を第２のビット深度で符号化する符号化部と、前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成する生成部と、を備え、前記符号化部は、前記第１のビット深度情報及び前記第２のビット深度情報をさらに符号化する、画像処理装置が提供される。
　また、本開示によれば、画像の非ＰＣＭサンプル及び前記画像のＰＣＭサンプルを別々に定義されるビット深度で符号化する符号化部と、非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度とＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成する生成部と、を備え、前記符号化部は、前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報をさらに符号化する、画像処理装置が提供される。
　本開示に係る技術によれば、ビット深度関連情報の冗長的な符号化を回避し、符号化効率を高めることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 図１に示したビット深度制御部の詳細な構成の一例を示すブロック図である。 図１に示した重み付け予測部の詳細な構成の一例を示すブロック図である。 一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。 一実施形態に係るビット深度情報生成処理の流れの一例を示すフローチャートである。 一実施形態に係るＷＰ情報生成処理の流れの一例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 図７に示したビット深度制御部の詳細な構成の一例を示すブロック図である。 図７に示した重み付け予測部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。 一実施形態に係るビット深度計算処理の流れの一例を示すフローチャートである。 一実施形態に係るＷＰパラメータ計算処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化をサポートする画像符号化装置の概略的な構成を示すブロック図である。 スケーラブル符号化をサポートする画像復号装置の概略的な構成を示すブロック図である。 スケーラブル符号化の用途の第１の例について説明するための説明図である。 スケーラブル符号化の用途の第２の例について説明するための説明図である。 スケーラブル符号化の用途の第３の例について説明するための説明図である。 マルチビューコーデックについて説明するための説明図である。 マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。 マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．ビット深度関連情報の概略
　　２．一実施形態に係る画像符号化装置の構成例
　　３．一実施形態に係る符号化時の処理の流れ
　　４．一実施形態に係る画像復号装置の構成例
　　５．一実施形態に係る復号時の処理の流れ
　　６．応用例
　　７．スケーラブル符号化
　　８．まとめ
　＜１．ビット深度関連情報の概略＞
　　［１－１．ビット深度情報］
　非特許文献１によれば、シーケンスパラメータセット（ＳＰＳ）は、次の４種類のビット深度情報を含む。
　　－輝度ビット深度情報
　　－色差ビット深度情報
　　－ＰＣＭ用輝度ビット深度情報
　　－ＰＣＭ用色差ビット深度情報
輝度ビット深度情報は、画像の輝度成分を符号化し又は復号する際に利用されるビット深度を表す情報である。色差ビット深度情報は、画像の色差成分を符号化し又は復号する際に利用されるビット深度を表す情報である。通常のサンプルは、非ＰＣＭ方式（典型的には、ＤＰＣＭ（Differential　Pulse　Code　Modulation）方式）で符号化され及び復号されるため、本明細書では、これら輝度ビット深度情報及び色差ビット深度情報を、非ＰＣＭ用ビット深度情報と総称する。ＰＣＭ用輝度ビット深度情報は、画像のＰＣＭ（Pulse　Code　Modulation）サンプルの輝度成分を符号化し又は復号する際に利用されるビット深度を表す情報である。ＰＣＭ用色差ビット深度情報は、画像のＰＣＭサンプルの色差成分を符号化し又は復号する際に利用されるビット深度を表す情報である。本明細書では、これらＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報を、ＰＣＭ用ビット深度情報と総称する。次の表１は、非特許文献１におけるＳＰＳのシンタックスのうちの、これらビット深度情報に関連する部分を示している。
Figure JPOXMLDOC01-appb-T000001
　表１におけるパラメータbit_depth_luma_minus8は、上述した輝度ビット深度情報に相当し、非ＰＣＭサンプルの輝度成分のビット深度から８を減算した値を示す。パラメータbit_depth_chroma_minus8は、上述した色差ビット深度情報に相当し、非ＰＣＭサンプルの色差成分のビット深度から８を減算した値を示す。例えば、輝度成分及び色差成分の双方が１０ビットで符号化される場合、パラメータbit_depth_luma_minus8及びbit_depth_chroma_minus8は、共に“２”を示す。
　表１におけるパラメータpcm_sample_bit_depth_luma_minus1は、上述したＰＣＭ用輝度ビット深度情報に相当し、ＰＣＭサンプルの輝度成分のビット深度から１を減算した値を示す。パラメータpcm_sample_bit_depth_chroma_minus1は、上述したＰＣＭ用色差ビット深度情報に相当し、ＰＣＭサンプルの色差成分のビット深度から１を減算した値を示す。パラメータpcm_sample_bit_depth_luma_minus1及びpcm_sample_bit_depth_chroma_minus1は、フラグpcm_enabled_flagが真（True）に設定される場合、即ちＰＣＭ符号化が有効化される場合に符号化される。
　非特許文献２によれば、ＳＨＶＣにおいて、ベースレイヤのＳＰＳは、上述した非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含む。エンハンスメントレイヤのＳＰＳは、表現フォーマット（representation　format）の更新がある場合に表現フォーマットのインデックスを含み、当該インデックスにより指定される表現フォーマットがそのエンハンスメントレイヤに適用すべき非ＰＣＭ用ビット深度情報を含む。次の表２は、非特許文献２における表現フォーマットのシンタックスのうちの、ビット深度情報に関連する部分を示している。
Figure JPOXMLDOC01-appb-T000002
　表１におけるパラメータbit_depth_vps_luma_minus8は上述した輝度ビット深度情報に相当し、パラメータbit_depth_vps_chroma_minus8は上述した色差ビット深度情報に相当し得る。
　このように、既存の仕様では、多くの種類のビット深度情報が符号化される。こうしたビット深度情報が符号化パラメータとして定義された結果として、画質、圧縮率又は処理コストといった任意の観点でエンコーダ及びデコーダの動作を最適化するために、多様な符号化ツールを活用することが可能となった。しかしながら、通常の用途において、幾通りもの異なるビット深度を同時に扱うことは稀であると想定される。例えば、輝度成分と色差成分との間で、ビット深度は等しいかもしれない。また、非ＰＣＭ用ビット深度とＰＣＭ用ビット深度とは等しいかもしれない。こうした異なる種類のビット深度の間の相関を利用すれば、ビット深度関連情報の冗長性を排除し、符号化効率を一層向上させることができるであろう。
　　［１－２．重み付け予測情報］
　非特許文献３によれば、スライスヘッダは、重み付け予測（Weighted　Prediction）において使用されるパラメータ（典型的には、重み及びオフセット）を指定する重み付け予測情報のためのシンタックスを含む。重み付け予測は、フェードイン及びフェードアウトなどのエフェクトが適用される映像についてインター予測の予測精度を改善するために導入される符号化ツールである。次の表３は、非特許文献３における重み付け予測情報のためのシンタックスを部分的に示している。
Figure JPOXMLDOC01-appb-T000003
　重み付け予測情報は、実際にはＬ０参照フレームに対応するパラメータを定義する部分とＬ１参照フレームに対応するパラメータを定義する部分とを含むが、説明の簡明さのために、Ｌ１参照フレームに対応するパラメータを定義する部分は表３において省略されている。表３から理解されるように、輝度成分に適用される重みは、分母をパラメータluma_log2_weight_denomで指定し、分子をパラメータdelta_luma_weight_l0[i]で指定することにより、分数形式で与えられる。色差成分に適用される重みは、分母を（輝度成分の重みの分母との間の差分を示す）パラメータdelta_chroma_log2_weight_denomで指定し、分子をパラメータdelta_chroma_weight_l0[i][j]で指定することにより、分数形式で与えられる。
　上述した重み付け予測情報は、直接的にビット深度を表すものではない。しかし、ビット深度が大きいほど、重みを精細に調整すること望ましい。そのため、後に説明する実施形態では、特に重みの分母とビット深度との間の相関を仮定し、分母情報の生成もまた、ビット深度情報に関連付けて制御される。本明細書では、ビット深度情報と、ビット深度情報に関連付けて制御される重み付け予測情報のような情報とを、ビット深度関連情報と総称する。
　＜２．一実施形態に係る画像符号化装置の構成例＞
　　［２－１．全体的な構成例］
　図１は、一実施形態に係る画像符号化装置１の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１は、並び替えバッファ１１、ビット深度制御部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５、並びに重み付け予測部４５を備える。
　並び替えバッファ１１は、符号化すべき映像の一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group　of　Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０及びインター予測部３５へ出力する。
　ビット深度制御部１２は、画像符号化装置１における符号化処理に関連する様々な種類のビット深度に関連する設定を保持し、符号化される画像データのビット深度を当該設定に従って制御する。また、ビット深度制御部１２は、画像データを復号するために必要とされるビット深度情報を生成する。ビット深度制御部１２により生成されるビット深度情報は、少なくとも、輝度ビット深度情報及び色差ビット深度情報を含む。ＰＣＭ符号化が有効化される場合には、ビット深度制御部１２により生成されるビット深度情報は、ＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報をさらに含み得る。これらビット深度情報は、後にさらに説明するように、既存の仕様に基づく情報と比較してより低減された符号量を伴う。ビット深度制御部１２は、生成したビット深度情報を可逆符号化部１６へ出力する。
　減算部１３には、並び替えバッファ１１から入力される画像データ（原画像データ）、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、非ＰＣＭサンプルについて、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。ビット深度制御部１２は、ＰＣＭサンプルについては、減算部１３による予測誤差データの算出をスキップさせる。この場合、減算部１３は、原画像データのＰＣＭサンプルをそのまま出力する。
　直交変換部１４は、減算部１３から入力される非ＰＣＭサンプルの予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete　Cosine　Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。ビット深度制御部１２は、ＰＣＭサンプルについては、直交変換部１４による直交変換処理の実行をスキップさせる。この場合、直交変換部１４は、原画像データのＰＣＭサンプルをそのまま量子化部１５へ出力する。
　量子化部１５には、直交変換部１４から入力される非ＰＣＭサンプルの変換係数データ又はＰＣＭサンプルの画像データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、非ＰＣＭサンプルの変換係数データが供給された場合には、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。また、量子化部１５は、ＰＣＭサンプルの画像データが供給された場合には、レート制御信号に従って決定されるシフト量でのビットシフトを行うことにより、画像データを量子化する。そして、量子化部１５は、量子化データを可逆符号化部１６及び逆量子化部２１へ出力する。
　可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。画像の輝度成分及び色差成分は、互いに同じビット深度で符号化されてもよく、又は異なるビット深度で符号化されてもよい。また、ＰＣＭサンプルの輝度成分及び色差成分は、非ＰＣＭサンプルの輝度成分及び色差成分と同じビット深度で符号化されてもよく、又は異なるビット深度で符号化されてもよい。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。例えば、可逆符号化部１６は、ビット深度制御部１２から入力されるビット深度情報を符号化し、符号化したビット深度情報をＳＰＳへ挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報をも含む。インター予測に関する情報は、重み付け予測情報を含み得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
　蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
　逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップ又はビットシフト量で量子化データを逆量子化し、非ＰＣＭサンプルの変換係数データ又はＰＣＭサンプルの画像データを復元する。そして、逆量子化部２１は、復元したデータを逆直交変換部２２へ出力する。
　逆直交変換部２２は、逆量子化部２１から入力される非ＰＣＭサンプルの変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。ＰＣＭサンプルについては逆直交変換処理は実行されず、ＰＣＭサンプルの復号画像データがそのまま出力される。
　加算部２３は、逆直交変換部２２から入力される非ＰＣＭサンプルの予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。ＰＣＭサンプルについては予測誤差データの加算は実行されず、ＰＣＭサンプルの復号画像データがそのまま出力される。
　ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
　フレームメモリ２５は、加算部２３から入力される復号画像データ及びループフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。
　セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
　イントラ予測部３０は、並び替えバッファ１１から入力される原画像データ及びフレームメモリ２５から読み出される復号画像データに基づいて、イントラ予測処理を行う。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従って予測画像データを生成する。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
　インター予測部３５は、並び替えバッファ１１から入力される原画像データ及びフレームメモリ２５から読み出される復号画像データに基づいて、インター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従って予測画像データを生成する。インター予測の候補モードのセットは、重み付け予測（Weighted　Prediction）を含み得る。重み付け予測は、後述する重み付け予測部４５により実行される。インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。重み付け予測が最適な予測モードとして選択された場合には、インター予測に関する情報は、重み付け予測情報を含み得る。
　重み付け予測部４５は、インター予測部３５から原画像データ及び復号画像データを取得し、最適な重み付け予測パラメータを決定する。重み付け予測パラメータは、典型的には、参照フレームごとの重み及びオフセットを含む。重み及びオフセットは、輝度成分及び色差成分について別々の値を有し得る。そして、重み付け予測部４５は、決定した最適なパラメータで重み付け予測を実行し、予測画像を生成する。また、重み付け予測部４５は、当該最適なパラメータを表す重み付け予測情報を生成する。重み付け予測部４５により生成される重み付け予測情報は、輝度成分及び色差成分のための重みの分母を表す重み分母情報を含み得る。当該重み分母情報は、後にさらに説明するように、既存の仕様に基づく情報と比較してより低減された符号量を伴う。そして、重み付け予測部４５は、生成した予測画像と重み付け予測情報とを、インター予測部３５へ出力する。
　　［２－２．ビット深度制御部の構成例］
　図２は、図１に示したビット深度制御部１２の詳細な構成の一例を示すブロック図である。図２を参照すると、ビット深度制御部１２は、ビット深度設定部４１、非ＰＣＭ情報生成部４２、ＰＣＭモード設定部４３及びＰＣＭ情報生成部４４を含む。
　ビット深度設定部４１は、非ＰＣＭサンプルの輝度成分及び色差成分、並びにＰＣＭサンプルの輝度成分及び色差成分をそれぞれ符号化するためのビット深度を設定する。ビット深度設定部４１は、例えば、事前に定義され又はユーザにより入力される設定値に従って、各ビット深度を設定し得る。ビット深度設定部４１は、例えばシーケンスごとにビット深度の設定値を変化させてもよい。そして、ビット深度設定部４１は、設定したそれぞれのビット深度を、非ＰＣＭ情報生成部４２及びＰＣＭ情報生成部４４へ出力する。
　非ＰＣＭ情報生成部４２は、ビット深度設定部４１から入力される、非ＰＣＭサンプルの輝度成分及び色差成分を符号化するためのビット深度を表す非ＰＣＭ用ビット深度情報を生成する。非ＰＣＭ用ビット深度情報は、（非ＰＣＭ用）輝度ビット深度情報、及び（非ＰＣＭ用）色差ビット深度情報を含む。本実施形態において、輝度ビット深度情報は、輝度成分を符号化するための第１のビット深度を示す。色差ビット深度情報は、色差成分を符号化するための第２のビット深度を、第１のビット深度と第２のビット深度との間のビット深度差分を用いて示す。例えば、輝度成分及び色差成分の双方が８ビットで符号化される場合、色差ビット深度情報により示されるビット深度差分は、“０”に等しい。同様に、輝度成分及び色差成分の双方が１０ビットで符号化される場合にも、色差ビット深度情報により示されるビット深度差分は、“０”に等しい。当該ビット深度差分は、符号付き整数（signed　integer）というタイプの単一のパラメータで示されてもよく、又は符号及び絶対値にそれぞれ対応する複数のパラメータで示されてもよい。それにより、輝度成分のビット深度及び色差成分のビット深度のいずれが大きい場合にも、色差成分のビット深度を適切に表現することができる。
　ＰＣＭモード設定部４３は、一連の画像データにおいて（又は各シーケンスにおいて）ＰＣＭモードでの符号化を有効化するか否かを設定する。ＰＣＭモード設定部４３は、例えば、事前に定義され若しくはユーザにより入力される設定値に従って、又は事前の映像の解析に基づいて、ＰＣＭモードを有効化すべきかを設定し得る。ＰＣＭモード設定部４３は、例えばシーケンスごとに設定を変化させてもよい。そして、ＰＣＭモード設定部４３は、設定の結果をＰＣＭ情報生成部４４へ出力する。
　ＰＣＭ情報生成部４４は、ＰＣＭモード設定部４３から入力されるＰＣＭモードに関する設定の結果を示すフラグを生成する。当該フラグは、例えば、ＰＣＭモードでの符号化が有効化された場合には真（True）を、ＰＣＭモードでの符号化が無効化された場合には偽（False）を示し得る。
　ＰＣＭ情報生成部４４は、ＰＣＭモードでの符号化が有効化された場合には、さらに、ビット深度設定部４１から入力される、ＰＣＭサンプルの輝度成分及び色差成分を符号化するためのビット深度を表すＰＣＭ用ビット深度情報を生成する。ＰＣＭ用ビット深度情報は、ＰＣＭ用輝度ビット深度情報、及びＰＣＭ用色差ビット深度情報を含む。本実施形態において、ＰＣＭ用輝度ビット深度情報は、非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示す。ＰＣＭ用色差ビット深度は、ＰＣＭ用輝度ビット深度と非ＰＣＭ用色差ビット深度情報により示されるビット深度差分とを用いて、差分符号化される。即ち、ＰＣＭ用色差ビット深度がＰＣＭ用輝度ビット深度と、非ＰＣＭ用色差ビット深度情報により示されるビット深度差分と、残余差分との和であるものとすると、ＰＣＭ用色差ビット深度情報は、当該残余差分を示す。一般に、非ＰＣＭ用ビット深度は、ＰＣＭ用ビット深度よりも高精細である。従って、ＰＣＭ用輝度ビット深度情報は、符号なし整数（unsigned　integer）というタイプの単一のパラメータで示されてもよい。一方、ＰＣＭ用色差ビット深度情報は、符号付き整数というタイプの単一のパラメータで示されてもよく、又は符号及び絶対値にそれぞれ対応する複数のパラメータで示されてもよい。
　次の表４は、本実施形態に従って生成され得るビット深度情報のシンタックスの一例を示している。このシンタックスは、例えば、ＳＰＳの一部分に配置され得る。
Figure JPOXMLDOC01-appb-T000004
　表４におけるパラメータbit_depth_luma_minus8は、（非ＰＣＭ用）輝度ビット深度情報に相当し、非ＰＣＭ用輝度ビット深度から８を減算した値を示す（表１に示したものと同じパラメータである）。パラメータdelta_bit_depth_chromaは、（非ＰＣＭ用）色差ビット深度情報に相当し、非ＰＣＭ用輝度ビット深度と非ＰＣＭ用色差ビット深度との間のビット深度差分を示す。
　フラグpcm_enabled_flagは、ＰＣＭモードでの符号化が有効化されたか否かを示す（表１に示したものと同じフラグである）。表４におけるパラメータdelta_pcm_sample_bit_depth_lumaは、ＰＣＭ用輝度ビット深度情報に相当し、非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示す。パラメータdelta_pcm_sample_bit_depth_chromaは、ＰＣＭ用色差ビット深度情報に相当し、ＰＣＭ用色差ビット深度から、ＰＣＭ用輝度ビット深度及び（非ＰＣＭ用輝度ビット深度と非ＰＣＭ用色差ビット深度との間の）ビット深度差分を減算することにより得られる、残余差分を示す。
　表４に例示したシンタックスによれば、非ＰＣＭ用輝度ビット深度bit_depth_luma及び非ＰＣＭ用色差ビット深度bit_depth_chromaは、非ＰＣＭ用ビット深度情報との間で、次の式（１）及び式（２）により表現される関係を有する。
Figure JPOXMLDOC01-appb-M000005
　また、表４に例示したシンタックスによれば、ＰＣＭ用輝度ビット深度pcm_bit_depth_luma及びＰＣＭ用色差ビット深度pcm_bit_depth_chromaは、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報との間で、次の式（３）及び式（４）により表現される関係を有する。
Figure JPOXMLDOC01-appb-M000006
　なお、上述した例に限定されず、ＰＣＭ用色差ビット深度情報は、ＰＣＭ用色差ビット深度から、ＰＣＭ用輝度ビット深度のみを減算することにより得られるビット深度差分を示してもよい。その場合には、式（４）の右辺の第２項は省略される。
　非ＰＣＭ情報生成部４２は、上述した手法に従って生成され得る非ＰＣＭ用ビット深度情報（Non-PCM　BD　Information）を、可逆符号化部１６及び重み付け予測部４５へ出力する。ＰＣＭ情報生成部４４は、上述した手法に従って生成され得るＰＣＭ用ビット深度情報（PCM　BD　Information）を、可逆符号化部１６へ出力する。可逆符号化部１６は、これら非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含むビット深度情報を符号化する。
　一変形例において、ビット深度設定部４１は、別々のＣＵ（Coding　Unit）サイズについて別々のビット深度を設定してもよい。ＣＵサイズは、画像領域が高周波成分をより多く含む場合に、より小さく設定される。そして、高周波成分をあまり含まいことから大きいＣＵサイズが設定される画像領域については、ＰＣＭ用ビット深度が相対的に低くても、即ち表現可能な階調がより粗くても、画質の劣化はそれほど感知されないと考えられる。従って、別々のＣＵサイズについて別々のビット深度を利用可能とすれば、ビット深度を画像領域ごとに可変的に制御してＰＣＭサンプルのレートを抑制することが可能となる。この変形例において、ＰＣＭ情報生成部４４は、別々のＣＵサイズについて別々のビット深度差分を示すＰＣＭ用ビット深度情報を生成する（例えば、表４に例示したパラメータのペアdelta_pcm_sample_bit_depth_luma，delta_pcm_sample_bit_depth_chromaが、ＣＵサイズ候補の数だけ提供され得る）。ＰＣＭ用ビット深度情報に含まれるあるＣＵサイズについてのビット深度差分は、別のＣＵサイズについてのビット深度差分に基づいて差分符号化されてもよい。それにより、本変形例におけるＰＣＭ用ビット深度情報の符号量を削減することができる。
　　［２－３．重み付け予測部の構成例］
　図３は、図１に示した重み付け予測部４５の詳細な構成の一例を示すブロック図である。図３を参照すると、重み付け予測部４５は、探索部４６、予測画像生成部４７及び重み付け予測（ＷＰ）情報生成部４８を含む。
　探索部４６は、予測対象ブロック（典型的には、ＰＵ（Prediction　Unit））の原画像データと、復号画像データとに基づいて、予測対象ブロックの画像を予測するために最適な重み付け予測パラメータ（WP　Parameters）、即ち参照フレームごとの重み及びオフセットを決定する。そして、探索部４６は、決定した重み付け予測パラメータを、予測画像生成部４７及びＷＰ情報生成部４８へ出力する。
　予測画像生成部４７は、探索部４６から入力される重み付け予測パラメータをそれぞれの参照フレームに適用することにより重み付け予測を実行し、予測対象ブロックの予測画像を生成する。そして、予測画像生成部４７は、生成した予測画像をインター予測部３５へ出力する。
　ＷＰ情報生成部４８は、探索部４６により決定された最適な重み付け予測パラメータを表す重み付け予測情報（WP　Information）を生成する。重み付け予測情報は、例えば、各参照フレームの輝度成分に適用される重みの分母、重みの分子、及びオフセットと、各参照フレームの色差成分に適用される重みの分母、重みの分子、及びオフセットと、をそれぞれ示し得る。輝度成分の重みの分母を示す第１の重み分母情報は、例えば、表３に示したような対数パラメータluma_log2_weight_denomであってよい。これに対し、本実施形態において、色差成分の重みの分母は、ビット深度制御部１２から入力される、輝度成分と色差成分との間のビット深度差分を用いて差分符号化される。即ち、色差成分の重みの分母の（２を底とする）対数が輝度成分の重みの分母の対数と、輝度成分と色差成分との間のビット深度差分と、残余差分との和であるものとすると、第２の重み分母情報は、当該残余差分を示す。重みの分子及びオフセットは、表３に示したような既存のパラメータと同様の情報により示されてよい。
　本実施形態に従って生成され得る重み付け予測情報のシンタックスは、表３に示したシンタックスと基本的に同様であってよい。但し、当該シンタックスに含まれる対数パラメータdelta_chroma_log2_weight_denomの意味は、再定義される。輝度成分の重みの分母luma_weight_denom及び色差成分の重みの分母chroma_weight_denomは、第１の重み分母情報luma_log2_weight_denom及び第２の重み分母情報delta_chroma_log2_weight_denomとの間で、次の式（５）及び式（６）により表現される関係を有する。
Figure JPOXMLDOC01-appb-M000007
　ＷＰ情報生成部４８は、上述した関係式に基づいて生成され得る重み付け予測情報を、インター予測部３５へ出力する。重み付け予測が予測モードとして選択された場合、可逆符号化部１６は、インター予測部３５から入力される（第１の重み分母情報及び第２の重み分母情報を含む）当該重み付け予測情報を符号化する。
　ここまでに説明したように、本実施形態では、差分符号化の手法を用いて、様々な種類のビット深度関連情報の符号量が削減される。例えば、輝度ビット深度と色差ビット深度とが等しい場合には、色差ビット深度情報のパラメータ値はゼロになる。非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度とが等しい場合には、ＰＣＭ用輝度ビット深度情報のパラメータ値はゼロになる。また、重み付け予測の重みの分母とビット深度との間の相関を利用して、重み分母情報のパラメータ値も、ゼロ又はよりゼロに近い値へと引き下げられる。そして、一般に、可変長符号化を通じてゼロ又はよりゼロに近い値に割り当てられる符号語の長さは、より短い。従って、本実施形態においてビット深度関連情報の冗長的な符号化が回避される結果として、符号化効率を高めることができる。なお、本実施形態を具現化する際に、ここで説明した特徴のうちの一部が実装されなくてもよい。例えば、色成分間のビット深度の差分符号化と、非ＰＣＭサンプル／ＰＣＭサンプルのビット深度の差分符号化とのうちの一方のみが実装される場合にも、符号化効率の向上の効果は享受され得る。
　＜３．一実施形態に係る符号化時の処理の流れ＞
　　［３－１．概略的な流れ］
　図４は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
　図４を参照すると、まず、ビット深度制御部１２は、非ＰＣＭ用の輝度成分及び色差成分のビット深度、並びにＰＣＭ用の輝度成分及び色差成分のビット深度の設定に基づいて、ビット深度情報を生成する（ステップＳ１１）。ここで生成されるビット深度情報は、例えば、表４に例示したような、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含むシンタックスを有し得る。そして、ビット深度制御部１２は、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を可逆符号化部１６へ出力する。
　次に、可逆符号化部１６は、ビット深度制御部１２により生成されたビット深度情報を符号化し、符号化されたビット深度情報を例えば符号化ストリームのＳＰＳへ挿入する（ステップＳ１２）。その後の処理は、シーケンス内の１つ以上のピクチャに含まれるサンプルごとに繰り返される。
　まず、ビット深度制御部１２は、ＰＣＭモードでサンプルを符号化するかを判定する（ステップＳ１３）。ＰＣＭモードでサンプルが符号化されない場合（即ち、非ＰＣＭモードでサンプルが符号化される場合）、当該サンプルについて、イントラ予測部３０によるイントラ予測、及びインター予測部３５によるインター予測が実行され、最適な予測モードの予測画像が生成される（ステップＳ１４）。ここで実行されるインター予測は、重み付け予測部４５による重み付け予測を含む。なお、Ｉスライスについては、インター予測の実行はスキップされる。次に、減算部１３は、原画像から予測画像を減算することにより、非ＰＣＭサンプルの予測誤差を計算する（ステップＳ１５）。次に、直交変換部１４は、非ＰＣＭサンプルの予測誤差を直交変換することにより、変換係数データを生成する（ステップＳ１６）。次に、量子化部１５は、変換係数データを量子化することにより、非ＰＣＭサンプルの量子化データを生成する（ステップＳ１７）。
　一方、ステップＳ１３においてＰＣＭモードでサンプルが符号化されると判定された場合、量子化部１５は、ＰＣＭサンプルの原画像についてビットシフトを実行することにより、ＰＣＭサンプルの量子化データを生成する（ステップＳ１８）。
　次に、可逆符号化部１６は、量子化部１５により生成された非ＰＣＭサンプル又はＰＣＭサンプルの量子化データを符号化し、符号化ストリームを生成する（ステップＳ１９）。また、可逆符号化部１６は、符号化したサンプルに関連する情報を符号化し、符号化した情報を符号化ストリームのヘッダ領域に挿入する（ステップＳ２０）。例えば、重み付け予測部４５により生成される重み付け予測情報は、スライスヘッダへ挿入され得る。
　その後、処理すべき次のサンプルが存在する場合には、処理はステップＳ１３へ戻る（ステップＳ２１）。処理すべき次のサンプルが存在しない場合には、図４に示したフローチャートは終了する。
　　［３－２．ビット深度情報生成処理］
　図５は、一実施形態に係るビット深度情報生成処理の流れの一例を示すフローチャートである。図５に示したビット深度情報生成処理は、例えば図４のステップＳ１１において、ビット深度制御部１２により実行され得る。
　図５を参照すると、まず、ビット深度制御部１２の非ＰＣＭ情報生成部４２は、非ＰＣＭ用の輝度成分のビット深度を示す輝度ビット深度情報（例えば、パラメータbit_depth_luma_minus8）を生成する（ステップＳ３１）。
　次に、非ＰＣＭ情報生成部４２は、非ＰＣＭ用の輝度成分のビット深度と色差成分のビット深度との間のビット深度差分を示す色差ビット深度情報（例えば、パラメータdelta_bit_depth_chroma）を生成する（ステップＳ３２）。
　次に、ＰＣＭ情報生成部４４は、ＰＣＭモード設定部４３による設定に従って、ＰＣＭモードでの符号化が有効化されたか否かを示すＰＣＭ有効化フラグ（例えば、フラグpcm_enabled_flag）を生成する（ステップＳ３３）。その後の処理は、ＰＣＭモードでの符号化が有効化された場合にのみ実行される（ステップＳ３４）。
　ＰＣＭモードでの符号化が有効化された場合、ＰＣＭ情報生成部４４は、非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示すＰＣＭ用輝度ビット深度情報（例えば、パラメータdelta_pcm_sample_bit_depth_luma）を生成する（ステップＳ３５）。
　次に、ＰＣＭ情報生成部４４は、ＰＣＭ用色差ビット深度のための残余差分（即ち、ＰＣＭ用色差ビット深度から、ＰＣＭ用輝度ビット深度と、ステップＳ３２において計算したビット深度差分とを減算することにより計算される残余差分）を示すＰＣＭ用色差ビット深度情報（例えば、パラメータdelta_pcm_sample_bit_depth_chroma）を生成する（ステップＳ３６）。
　　［３－３．ＷＰ情報生成処理］
　図６は、一実施形態に係るＷＰ情報生成処理の流れの一例を示すフローチャートである。図６に示したＷＰ情報生成処理は、例えば図４のステップＳ１４において、重み付け予測部４５により実行され得る。
　図６を参照すると、まず、重み付け予測部４５のＷＰ情報生成部４８は、ビット深度制御部１２から、輝度成分と色差成分との間のビット深度差分を取得する（ステップＳ４１）。
　次に、ＷＰ情報生成部４８は、探索部４６により決定された輝度成分の重みの分母を示す第１の重み分母情報（例えば、対数パラメータluma_log2_weight_denom）を生成する（ステップＳ４２）。
　次に、ＷＰ情報生成部４８は、輝度成分の重みの分母の（２を底とする）対数と、探索部４６により決定された色差成分の重みの分母の対数との間の差分を計算する（ステップＳ４３）。
　次に、ＷＰ情報生成部４８は、計算した対数の差分からステップＳ４１において取得したビット深度差分を減算した残余を示す第２の重み分母情報（例えば、残余対数パラメータdelta_chroma_log2_weight_denom）を生成する（ステップＳ４４）。
　次に、ＷＰ情報生成部４８は、輝度成分の重みの分子及びオフセット、並びに色差成分の重みの分子及びオフセットをそれぞれ示す残りの重み付け予測パラメータを生成する（ステップＳ４５）。
　＜４．一実施形態に係る画像復号装置の構成例＞
　　［４－１．全体的な構成例］
　図７は、一実施形態に係る画像復号装置６の構成の一例を示すブロック図である。図７を参照すると、画像復号装置６は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital　to　Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５、ビット深度制御部９０並びに重み付け予測部９５を備える。
　蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
　可逆復号部６２は、蓄積バッファ６１により蓄積される符号化ストリームから、符号化の際に使用された符号化方式に従って量子化データを復号する。非ＰＣＭサンプルの輝度成分及び色差成分、並びにＰＣＭサンプルの輝度成分及び色差成分は、ビット深度情報によりそれぞれ示されるビット深度で復号される。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。ビット深度情報は、例えばＳＰＳから復号され、ビット深度制御部９０へ出力される。イントラ予測に関する情報はイントラ予測部８０へ出力される。インター予測に関する情報は、インター予測部８５へ出力される。インター予測に関する情報は、重み付け予測情報を含み得る。
　ビット深度制御部９０は、可逆復号部６２により復号されるビット深度情報に従って、画像復号装置６における復号処理に関連する様々な種類のビット深度を設定する。また、ビット深度制御部９０は、復号される画像データのビット深度を当該設定に従って制御する。ビット深度情報は、少なくとも、輝度ビット深度情報及び色差ビット深度情報を含む。ＰＣＭ符号化が有効化される場合には、ビット深度情報は、ＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報をさらに含み得る。これらビット深度情報は、ここまでに説明した手法に基づいて、より低減された符号量を伴う。ビット深度制御部９０は、色差ビット深度情報を、重み付け予測部９５へ出力し得る。
　逆量子化部６３は、非ＰＣＭサンプルの量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、非ＰＣＭサンプルの変換係数データを復元する。また、逆量子化部６３は、ＰＣＭサンプルの量子化データを、符号化の際に使用されたものと同じシフト量でビットシフトすることにより逆量子化し、ＰＣＭサンプルの画像データを復元する。逆量子化部６３は、復元した変換係数データ又は画像データを逆直交変換部６４へ出力する。
　逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される非ＰＣＭサンプルの変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、非ＰＣＭサンプルの予測誤差データを加算部６５へ出力する。ＰＣＭサンプルについては、ビット深度制御部９０は、逆直交変換部６４による逆直交変換処理の実行をスキップさせる。この場合、逆直交変換部６４は、ＰＣＭサンプルの画像データをそのまま出力する。
　加算部６５は、逆直交変換部６４から入力される非ＰＣＭサンプルの予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、非ＰＣＭサンプルの復号画像データを再構築する。そして、加算部６５は、非ＰＣＭサンプルの復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。ビット深度制御部９０は、ＰＣＭサンプルについては、加算部６５による予測誤差データの加算をスキップさせる。この場合、加算部６５は、ＰＣＭサンプルの画像データ（復号画像データ）をそのまま出力する。
　ループフィルタ６６は、画像符号化装置１のループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ及び各画素値にオフセット値を加えるサンプル適応オフセットフィルタを含む。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
　並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
　Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
　フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ及びループフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。
　セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６５へ供給する。
　イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測を実行し、予測画像データを生成する。イントラ予測部８０は、生成される予測画像データをセレクタ７１へ出力する。
　インター予測部８５は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてインター予測を実行し、予測画像データを生成する。インター予測の予測モードが重み付け予測を示している場合、インター予測部８５は、重み付け予測部９５に重み付け予測を実行させる。この場合、インター予測部８５は、参照画像データと重み付け予測情報とを重み付け予測部９５へ出力する。そして、インター予測部８５は、生成される予測画像データをセレクタ７１へ出力する。
　重み付け予測部９５は、インター予測部８５から復号画像データ及び重み付け予測情報を取得し、重み付け予測情報から再構築される重み付け予測パラメータに従って重み付け予測を実行し、予測画像を生成する。重み付け予測パラメータは、上述したように、参照フレームごとの重み及びオフセットを含む。重み及びオフセットは、輝度成分及び色差成分について別々の値を有し得る。そして、重み付け予測部９５は、生成される予測画像をインター予測部８５へ出力する。
　　［４－２．ビット深度制御部の構成例］
　図８は、図７に示したビット深度制御部９０の詳細な構成の一例を示すブロック図である。図８を参照すると、ビット深度制御部９０は、非ＰＣＭ情報取得部９１、ＰＣＭ情報取得部９２、ＰＣＭモード設定部９３及びビット深度設定部９４を含む。
　非ＰＣＭ情報取得部９１は、可逆復号部６２により復号される非ＰＣＭ用ビット深度情報を取得する。ここで取得されるビット深度情報は、符号化された画像の輝度成分を復号するための輝度ビット深度情報、及び当該画像の色差成分を復号するための色差ビット深度情報を含む。色差ビット深度情報は、輝度ビット深度と色差ビット深度との間のビット深度差分を示す。輝度ビット深度情報は、例えば、表４におけるパラメータbit_depth_luma_minus8に相当し得る。色差ビット深度情報は、表４におけるパラメータdelta_bit_depth_chromaに相当し得る。非ＰＣＭ情報取得部９１は、例えば式（２）に従い、輝度ビット深度情報により示される輝度ビット深度に色差ビット深度情報により示されるビット深度差分を加算する（又は減算する）ことにより、色差ビット深度を計算する。そして、非ＰＣＭ情報取得部９１は、非ＰＣＭ用の輝度ビット深度及び色差ビット深度を、ビット深度設定部９４へ出力する。
　ＰＣＭ情報取得部９２は、可逆復号部６２により復号されるＰＣＭ用ビット深度情報を取得する。ＰＣＭ用ビット深度情報は、少なくとも、ＰＣＭモードでの符号化が有効化されるか否かを示すＰＣＭ有効化フラグ（例えば、表４におけるフラグpcm_enabled_flag）を含む。ＰＣＭ情報取得部９２は、ＰＣＭ有効化フラグをＰＣＭモード設定部９３へ出力する。
　ＰＣＭモードでの符号化が有効化されることをＰＣＭ有効化フラグが示している場合には、ＰＣＭ情報取得部９２により取得されるＰＣＭ用ビット深度情報は、さらに、符号化された画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を含む。ＰＣＭ用ビット深度情報は、ＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報を含む。ＰＣＭ用輝度ビット深度情報は、非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示す。ＰＣＭ用色差ビット深度情報は、ＰＣＭ用色差ビット深度に関連する残余差分を示す。ＰＣＭ用輝度ビット深度情報は、例えば、表４におけるパラメータdelta_pcm_sample_bit_depth_lumaに相当し得る。ＰＣＭ用色差ビット深度情報は、表４におけるパラメータdelta_pcm_sample_bit_depth_chromaに相当し得る。ＰＣＭ情報取得部９２は、例えば式（３）に従い、非ＰＣＭ用輝度ビット深度にＰＣＭ用輝度ビット深度情報により示されるビット深度差分を加算する（又は減算する）ことにより、ＰＣＭ用輝度ビット深度を計算する。また、ＰＣＭ情報取得部９２は、例えば式（４）に従い、ＰＣＭ用輝度ビット深度に非ＰＣＭ用色差ビット深度情報により示されるビット深度差分とＰＣＭ用色差ビット深度情報により示される残余差分とを加算する（又は減算する）ことにより、ＰＣＭ用色差ビット深度を計算する。そして、ＰＣＭ情報取得部９２は、ＰＣＭ用の輝度ビット深度及び色差ビット深度を、ビット深度設定部９４へ出力する。
　ＰＣＭモード設定部９３は、ＰＣＭ情報取得部９２から入力されるＰＣＭ有効化フラグに従って、画像復号装置６におけるＰＣＭモードでの復号を有効化し又は無効化する。例えば、ＰＣＭモードでの復号が有効化され、ＰＣＭサンプルが復号される場合には、ＰＣＭモード設定部９３は、逆量子化部６３に量子化データをビットシフトさせることにより画像データを復元させ、逆直交変換部６４における逆直交変換処理及び加算部６５における予測誤差の加算をスキップさせる。ＰＣＭモードでの復号が無効化される場合には、シーケンスはＰＣＭサンプルを含まない。
　ビット深度設定部９４は、非ＰＣＭ情報取得部９１から入力される非ＰＣＭ用の輝度ビット深度及び色差ビット深度、並びにＰＣＭ情報取得部９２から入力されるＰＣＭ用の輝度ビット深度及び色差ビット深度を、画像の復号のために設定する。それに応じて、画像復号装置６は、非ＰＣＭ用輝度ビット深度に従って非ＰＣＭサンプルの輝度成分を復号し、非ＰＣＭ用色差ビット深度に従って非ＰＣＭサンプルの色差成分を復号する。また、画像復号装置６は、ＰＣＭ用輝度ビット深度に従ってＰＣＭサンプルの輝度成分を復号し、ＰＣＭ用色差ビット深度に従ってＰＣＭサンプルの色差成分を復号する。
 
　一変形例において、ＰＣＭ用ビット深度情報は、別々のＣＵサイズについて別々のビット深度差分を示すパラメータを含み、ビット深度設定部９４は、別々のＣＵサイズについて別々のビット深度を設定してもよい。それにより、ビット深度を画像領域ごとに可変的に制御してＰＣＭサンプルのレートを抑制することが可能となる。例えば、ＰＣＭ用ビット深度情報は、ＣＵサイズ候補の数だけ、表４に例示したパラメータのペアdelta_pcm_sample_bit_depth_luma，delta_pcm_sample_bit_depth_chromaを含み得る。ＰＣＭ用ビット深度情報において、あるＣＵサイズについてのビット深度差分は、別のＣＵサイズについてのビット深度差分に基づいて差分符号化されていてもよい。それにより、本変形例におけるＰＣＭ用ビット深度情報の符号量は削減される。
　　［４－３．重み付け予測部の構成例］
　図９は、図７に示した重み付け予測部９５の詳細な構成の一例を示すブロック図である。図９を参照すると、重み付け予測部９５は、パラメータ設定部９７及び予測画像生成部９８を含む。
　パラメータ設定部９７は、インター予測の予測モードとして重み付け予測が指定された場合に、可逆復号部６２により復号される重み付け予測情報を取得する。ここで取得される重み付け予測情報は、例えば、各参照フレームの輝度成分に適用される重みの分母、重みの分子、及びオフセットと、各参照フレームの色差成分に適用される重みの分母、重みの分子、及びオフセットと、をそれぞれ示し得る。輝度成分の重みの分母を示す第１の重み分母情報は、例えば、２を底とする対数によって輝度成分の重みの分母を示す。色差成分の重みの分母を示す第２の重み分母情報は、例えば、色差成分の重みの分母に関連する（分母の対数の）残余差分を示す。そして、パラメータ設定部９７は、第１の重み分母情報により示される輝度成分の重みの分母の対数と、ビット深度制御部９０から入力される輝度成分と色差成分との間のビット深度差分と、第２の重み分母情報により示される残余差分とに基づいて、色差成分の重みの分母を計算する。重み付け予測情報は、例えば表３に例示したようなシンタックスを有してよい。例えば、第１の重み分母情報は対数パラメータluma_log2_weight_denomに、第２の重み分母情報は対数パラメータdelta_chroma_log2_weight_denomに相当し得る。但し、対数パラメータdelta_chroma_log2_weight_denomの意味は、式（６）を用いて説明した通り、残余対数を示すように再定義される。そして、パラメータ設定部９７は、重み付け予測情報から再構築される重み付け予測パラメータ（各参照フレームの色成分ごとの重み及びオフセット）を、予測対象ブロックに設定する。
　予測画像生成部９８は、パラメータ設定部９７により設定される重み付け予測パラメータをそれぞれの参照フレームに適用することにより重み付け予測を実行し、予測対象ブロックの予測画像を生成する。そして、予測画像生成部９８は、生成した予測画像をインター予測部８５へ出力する。
　＜５．一実施形態に係る復号時の処理の流れ＞
　　［５－１．概略的な流れ］
　図１０は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
　図１０を参照すると、まず、可逆復号部６２は、例えば符号化ストリームのＳＰＳから、ビット深度情報を復号する（ステップＳ６１）。ここで復号されるビット深度情報は、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含む。そして、可逆復号部６２は、復号したビット深度情報をビット深度制御部９０へ出力する。
　次に、ビット深度制御部９０は、可逆復号部６２により復号されたビット深度情報に基づいて、非ＰＣＭ用の輝度成分及び色差成分のビット深度、並びにＰＣＭ用の輝度成分及び色差成分のビット深度をそれぞれ設定する（ステップＳ６２）。その後の処理は、シーケンス内の１つ以上のピクチャに含まれるサンプルごとに繰り返される。
　まず、可逆復号部６２は、復号すべきサンプルに関連する情報を、例えばスライスヘッダから復号する（ステップＳ６３）。ここで復号される情報は、予測モード情報、及び予測モード情報により重み付け予測が指定される場合の重み付け予測情報を含み得る。また、可逆復号部６２は、非ＰＣＭサンプル又はＰＣＭサンプルの量子化データを復号する（ステップＳ６４）。
　次に、ビット深度制御部９０は、ＰＣＭモードでサンプルを復号するかを判定する（ステップＳ６５）。ＰＣＭモードでサンプルが復号されない場合（即ち、非ＰＣＭモードでサンプルが復号される場合）、逆量子化部６３は、非ＰＣＭサンプルの量子化データを逆量子化し、変換係数データを復元する（ステップＳ６６）。逆直交変換部６４は、非ＰＣＭサンプルの変換係数データについて逆直交変換を実行し、予測誤差データを生成する（ステップＳ６７）。また、イントラ予測モードが指定された場合にはイントラ予測部８０によりイントラ予測が実行され、インター予測モードが指定された場合にはインター予測部８５によるインター予測が実行される（ステップＳ６８）。その結果、予測画像が生成される。ここで実行されるインター予測は、重み付け予測部９５による重み付け予測を含み得る。そして、加算部６５は、非ＰＣＭサンプルの予測誤差と予測画像とを加算することにより、非ＰＣＭサンプルの復号画像データを再構築する（ステップＳ６９）。
　一方、ステップＳ６５においてＰＣＭモードでサンプルが復号されると判定された場合、逆量子化部６３は、ＰＣＭサンプルの量子化データをビットシフトすることにより逆量子化し、ＰＣＭサンプルの画像データを再構築する（ステップＳ７０）。
　その後、処理すべき次のサンプルが存在する場合には、処理はステップＳ６３へ戻る（ステップＳ７１）。処理すべき次のサンプルが存在しない場合には、図１０に示したフローチャートは終了する。
　　［５－２．ビット深度計算処理］
　図１１は、一実施形態に係るビット深度計算処理の流れの一例を示すフローチャートである。図１１に示したビット深度計算処理は、例えば図１０のステップＳ６２において、ビット深度制御部９０により実行され得る。
　図１１を参照すると、まず、ビット深度制御部９０の非ＰＣＭ情報取得部９１は、輝度ビット深度情報に基づいて、例えば式（１）に従い、非ＰＣＭ用輝度ビット深度を計算する（ステップＳ８１）。
　次に、非ＰＣＭ情報取得部９１は、ステップＳ８１において計算した非ＰＣＭ用輝度ビット深度と、色差ビット深度情報により示されるビット深度差分とに基づいて、例えば式（２）に従い、非ＰＣＭ用色差ビット深度を計算する（ステップＳ８２）。
　次に、ＰＣＭ情報取得部９２は、ＰＣＭ用ビット深度情報に含まれるＰＣＭ有効化フラグがＰＣＭモードでの復号が有効化されることを示しているか否かを判定する（ステップＳ８３）。ＰＣＭモードでの復号が有効化されることをＰＣＭ有効化フラグが示している場合には、その後の処理が実行される。
　ＰＣＭモードでの復号が有効化される場合、ＰＣＭ情報取得部９２は、非ＰＣＭ用輝度ビット深度と、ＰＣＭ用輝度ビット深度情報により示されるビット深度差分とに基づいて、例えば式（３）に従い、ＰＣＭ用輝度ビット深度を計算する（ステップＳ８４）。
　次に、ＰＣＭ情報取得部９２は、ＰＣＭ用輝度ビット深度と、非ＰＣＭ用色差ビット深度情報により示されるビット深度差分と、ＰＣＭ用色差ビット深度情報により示される残余差分とに基づいて、例えば式（４）に従い、ＰＣＭ用色差ビット深度を計算する（ステップＳ８５）。
　　［５－３．ＷＰパラメータ計算処理］
　図１２は、一実施形態に係るＷＰパラメータ計算処理の流れの一例を示すフローチャートである。図１２に示したＷＰパラメータ計算処理は、例えば図１０のステップＳ６８において、重み付け予測部９５により実行され得る。
　図１２を参照すると、まず、重み付け予測部９５のパラメータ設定部９７は、ビット深度制御部９０から、輝度成分と色差成分との間のビット深度差分を取得する（ステップＳ９１）。
　次に、パラメータ設定部９７は、重み付け予測情報に含まれる第１の重み分母情報から、例えば式（５）に従い、輝度成分の重みの分母を計算する（ステップＳ９２）。
　次に、パラメータ設定部９７は、輝度成分の重みの分母の対数と、ステップＳ９１において取得したビット深度差分と、第２の重み分母情報により示される残余差分とに基づいて、例えば式（６）に従い、色差成分の重みの分母を計算する（ステップＳ９３）。
　次に、パラメータ設定部９７は、重み付け予測情報に含まれる残りのパラメータを用いて、輝度成分の重み及びオフセット、並びに色差成分の重み及びオフセットを計算する（ステップＳ９４）。
　なお、図１２に示したステップＳ９２～ステップＳ９３の計算は、各参照フレームについて繰り返されてよい。
　＜６．応用例＞
　上述した実施形態に係る画像符号化装置１及び画像復号装置６は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　　（１）第１の応用例
　図１３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームをテレビジョン装置９００において適切に復号することが可能となる。
　　　（２）第２の応用例
　図１４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１及び画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームを携帯電話機９２０において適切に符号化し又は復号することが可能となる。
　　　（３）第３の応用例
　図１５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームを記録再生装置９４０において適切に符号化し又は復号することが可能となる。
　　　（４）第４の応用例
　図１６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１及び画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームを撮像装置９６０において適切に符号化し又は復号することが可能となる。
　＜７．スケーラブル符号化＞
　　［７－１．ビット深度関連情報のさらなる差分符号化］
　差分符号化に基づくビット深度関連情報の符号量の削減というアイディアは、スケーラブル符号化技術に応用されてもよい。上で詳しく説明したアイディアは、例えば、マルチレイヤの符号化ストリームに含まれる個々のレイヤに適用可能である。それに加えて、スケーラブル符号化されるエンハンスメントレイヤ画像の輝度成分のためのビット深度が、ベースレイヤ画像の輝度成分のためのビット深度に基づいて差分符号化されてもよい。この場合、エンハンスメントレイヤの（非ＰＣＭ用の）輝度ビット深度情報は、エンハンスメントレイヤ画像の輝度ビット深度と、ベースレイヤ画像の輝度ビット深度との間のビット深度差分を示し得る。それにより、エンハンスメントレイヤのビット深度情報の符号量を一層削減することができる。なお、エンハンスメントレイヤのビット深度情報は、ＳＰＳではなく、例えばビデオパラメータセット（ＶＰＳ）内の表現フォーマット（representation　format）において符号化されてもよい。
　また、重み付け予測における重みとオフセットとを用いた色成分ごとの線形変換は、レイヤ間で色域が異なる場合の色域変換のためにも利用され得る。そこで、レイヤ間の色域変換のための重みとオフセットとを定義するシンタックスにおいて、色差成分の重みの分母を特定する重み分母情報の符号量が、式（６）を用いて説明した差分符号化の手法によって削減されてもよい。また、レイヤ間のダイナミックレンジ変換のために重み付け予測が実行される場合にも、ダイナミックレンジ変換のための重みとオフセットとを定義するシンタックスにおいて、色差成分の重みの分母を特定する重み分母情報の符号量が同様に削減されてもよい。
　　［７－２．エンコーダの基本的な構成例］
　図１７は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図１７を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。
　ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
　共通メモリ２は、例えば、ベースレイヤの輝度ビット深度情報を記憶する。ＥＬ符号化部１ｂは、共通メモリ２により記憶されるベースレイヤの輝度ビット深度情報を用いて、エンハンスメントレイヤの輝度ビット深度情報を差分符号化し得る。また、ＥＬ符号化部１ｂは、重み付け（ＷＰ）予測部４５ｂを含む。ＷＰ予測部４５ｂは、レイヤ間の色域変換又はダイナミックレンジ変換のために重み付け予測を実行する。そして、ＷＰ予測部４５ｂは、色差成分の重みの分母を特定する重み分母情報を、輝度成分と色差成分との間のビット深度差分を用いて差分符号化し得る。
　　［７－３．デコーダの基本的な構成例］
　図１８は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図１８を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。
　逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
　共通メモリ７は、例えば、ベースレイヤの輝度ビット深度情報を記憶する。ＥＬ復号部６ｂは、共通メモリ７により記憶されるベースレイヤの輝度ビット深度情報を用いて、エンハンスメントレイヤの輝度ビット深度情報を差分復号し得る。また、ＥＬ復号部６ｂは、重み付け（ＷＰ）予測部９５ｂを含む。ＷＰ予測部９５ｂは、レイヤ間の色域変換又はダイナミックレンジ変換のために重み付け予測を実行する。そして、ＷＰ予測部９５ｂは、色差成分の重みの分母を特定する重み分母情報を、輝度成分と色差成分との間のビット深度差分を用いて差分復号し得る。
　　［７－４．スケーラブル符号化の様々な用途］
　上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。
　　　（１）第１の例
　第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図１９を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図１９には、端末装置の例として、ＰＣ（Personal　Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。
　ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。
　端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
　図１９の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。
　このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。
　端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。
　なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
　図１９に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。
　　　（２）第２の例
　第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２０を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。
　端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。
　端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
　また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
　上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
　また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
　なお、図２０に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
　　　（３）第３の例
　第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２１を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。
　ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
　例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。
　図２１の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。
　なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザからの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
　図２１に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
　　［７－５．その他］
　　　（１）マルチビューコーデックへの応用
　マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２２は、マルチビューコーデックについて説明するための説明図である。図２２を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base　view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２２の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。
　図２３は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図２３を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。
　第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図１７を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図１７を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
　図２４は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図２４を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。
　逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図１８を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図１８を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
　　　（２）ストリーミング技術への応用
　本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ－ＤＡＳＨ（Dynamic　Adaptive　Streaming　over　HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間でビット深度関連情報が差分符号化されてもよい。
　＜８．まとめ＞
　ここまで、図１～図２４を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、符号化され又は復号される画像の色差成分のための色差ビット深度が、輝度ビット深度情報により示される輝度ビット深度と色差ビット深度情報により示されるビット深度差分とに基づいて計算される。従って、輝度ビット深度と色差ビット深度との間の差分がゼロ又はゼロに近い値となる多くの用途において、色差ビット深度情報の符号量を削減することができる。また、色差ビット深度情報により示されるビット深度差分を用いて、重み付け予測の重みの分母などの、ビット深度との相関を有し得るパラメータをさらに差分符号化することにより、ビット深度関連情報の符号量を一層削減することも可能である。
　また、上述した実施形態によれば、符号化され又は復号される画像のＰＣＭサンプルのためのＰＣＭ用ビット深度が、非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度とＰＣＭ用ビット深度情報により示されるビット深度差分とに基づいて計算される。従って、非ＰＣＭサンプルとＰＣＭサンプルとの間で差分が大きくない多くの用途において、非ＰＣＭ用ビット深度情報の符号量を削減することができる。ＰＣＭ用色差ビット深度情報の符号量を、非ＰＣＭ用の輝度成分と色差成分との間のビット深度差分を用いてさらに削減することも可能である。
　なお、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付けられるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding　Block）、ＰＢ（Prediction　Block）及びＴＢ（Transform　Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding　Tree　Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding　Tree　Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。
　また、本明細書では、ビット深度関連情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、
　前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、
　を備え、
　前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、
　画像処理装置。
（２）
　前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
　前記予測部は、前記色差成分の重みの分母を、前記ビット深度差分を算入することにより計算する、
　前記（１）に記載の画像処理装置。
（３）
　前記取得部は、前記輝度成分の重みの分母を示す第１の重み分母情報、及び前記色差成分の重みの分母に関連する残余差分を示す第２の重み分母情報、をさらに取得し、
　前記予測部は、前記第１の重み分母情報により示される前記輝度成分の前記重みの分母と、前記ビット深度差分と、前記第２の重み分母情報により示される前記残余差分とに基づいて、前記色差成分の前記重みの分母を計算する、
　前記（２）に記載の画像処理装置。
（４）
　前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
　前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
　前記（２）又は前記（３）に記載の画像処理装置。
（５）
　前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
　前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
　前記（１）～（４）のいずれか１項に記載の画像処理装置。
（６）
　符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得する取得部と、
　前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号し、前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号する復号部と、
　を備え、
　前記復号部は、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で、前記ＰＣＭサンプルを復号する、
　画像処理装置。
（７）
　前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
　前記第１のビット深度差分に基づく前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを算入することにより、前記ＰＣＭサンプルの色差成分のための第４のビット深度が計算される、
　前記（６）に記載の画像処理装置。
（８）
　前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記第４のビット深度に関連する残余差分を示す第４のビット深度情報と、を含み、
　前記第３のビット深度と、前記第２のビット深度差分と、前記第４のビット深度情報により示される前記残余差分とに基づいて、前記第４のビット深度が計算される、
　前記（７）に記載の画像処理装置。
（９）
　前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding　Unit）サイズについて別々のビット深度差分を示す、前記（６）～（８）のいずれか１項に記載の画像処理装置。
（１０）
　前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化された第２のＣＵサイズについてのビット深度差分を示す、前記（９）に記載の画像処理装置。
（１１）
　画像の輝度成分を第１のビット深度で、前記画像の色差成分を第２のビット深度で符号化する符号化部と、
　前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成する生成部と、
　を備え、
　前記符号化部は、前記第１のビット深度情報及び前記第２のビット深度情報をさらに符号化する、
　画像処理装置。
（１２）
　前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
　前記色差成分の重みの分母は、前記ビット深度差分を用いて差分符号化される、
　前記（１１）に記載の画像処理装置。
（１３）
　前記色差成分の前記重みの分母は、前記輝度成分の重みの分母と、前記ビット深度差分と、残余差分とに基づいて計算され、
　前記符号化部は、前記輝度成分の前記重みの分母を示す第１の重み分母情報、及び前記残余差分を示す第２の重み分母情報をさらに符号化する、
　前記（１２）に記載の画像処理装置。
（１４）
　前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
　前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
　前記（１２）又は前記（１３）に記載の画像処理装置。
（１５）
　前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
　前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
　前記（１１）～（１４）のいずれか１項に記載の画像処理装置。
（１６）
　画像の非ＰＣＭサンプル及び前記画像のＰＣＭサンプルを別々に定義されるビット深度で符号化する符号化部と、
　非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度とＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成する生成部と、
　を備え、
　前記符号化部は、前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報をさらに符号化する、
　画像処理装置。
（１７）
　前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
　前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを用いて、前記ＰＣＭサンプルの色差成分のための第４のビット深度が差分符号化される、
　前記（１６）に記載の画像処理装置。
（１８）
　前記第４のビット深度は、前記第３のビット深度と、前記第２のビット深度差分と、残余差分とに基づいて計算され、
　前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記残余差分を示す第４のビット深度情報とを含む、
　前記（１７）に記載の画像処理装置。
（１９）
　前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding　Unit）サイズについて別々のビット深度差分を示す、前記（１６）～（１８）のいずれか１項に記載の画像処理装置。
（２０）
　前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化される第２のＣＵサイズについてのビット深度差分を示す、前記（１９）に記載の画像処理装置。
（２１）
　符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得することと、
　前記第１のビット深度情報に従って前記輝度成分を復号することと、
　前記第２のビット深度情報に従って前記色差成分を復号することと、
　を含み、
　前記色差成分は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で復号される、
　画像処理方法。
（２２）
　符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得することと、
　前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号することと、
　前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号することと、
　を含み、
　前記ＰＣＭサンプルは、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で復号される、
　画像処理方法。
（２３）
　画像の輝度成分を第１のビット深度で符号化することと、
　前記画像の色差成分を第２のビット深度で符号化することと、
　前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成することと、
　前記第１のビット深度情報及び前記第２のビット深度情報を符号化することと、
　を含む画像処理方法。
（２４）
　画像の非ＰＣＭサンプルを非ＰＣＭ用ビット深度で符号化することと、
　前記画像のＰＣＭサンプルを前記非ＰＣＭ用ビット深度とは別々に定義されるＰＣＭ用ビット深度で符号化することと、
　前記非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成することと、
　前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報を符号化することと、
　を含む画像処理方法。
　１０，１０ｖ　画像符号化装置（画像処理装置）
　１２　　　　　ビット深度制御部
　１６　　　　　符号化部
　４２，４４　　情報生成部
　４５　　　　　重み付け予測部
　６０，６０ｖ　画像復号装置（画像処理装置）
　６２　　　　　復号部
　９１，９２　　情報取得部
　９５　　　　　重み付け予測部
 

Claims (20)

  1. 　符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、
    　前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、
    　を備え、
    　前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、
    　画像処理装置。
  2. 　前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
    　前記予測部は、前記色差成分の重みの分母を、前記ビット深度差分を算入することにより計算する、
    　請求項１に記載の画像処理装置。
  3. 　前記取得部は、前記輝度成分の重みの分母を示す第１の重み分母情報、及び前記色差成分の重みの分母に関連する残余差分を示す第２の重み分母情報、をさらに取得し、
    　前記予測部は、前記第１の重み分母情報により示される前記輝度成分の前記重みの分母と、前記ビット深度差分と、前記第２の重み分母情報により示される前記残余差分とに基づいて、前記色差成分の前記重みの分母を計算する、
    　請求項２に記載の画像処理装置。
  4. 　前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
    　前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
    　請求項２に記載の画像処理装置。
  5. 　前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
    　前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
    　請求項１に記載の画像処理装置。
  6. 　符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得する取得部と、
    　前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号し、前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号する復号部と、
    　を備え、
    　前記復号部は、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で、前記ＰＣＭサンプルを復号する、
    　画像処理装置。
  7. 　前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
    　前記第１のビット深度差分に基づく前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを算入することにより、前記ＰＣＭサンプルの色差成分のための第４のビット深度が計算される、
    　請求項６に記載の画像処理装置。
  8. 　前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記第４のビット深度に関連する残余差分を示す第４のビット深度情報と、を含み、
    　前記第３のビット深度と、前記第２のビット深度差分と、前記第４のビット深度情報により示される前記残余差分とに基づいて、前記第４のビット深度が計算される、
    　請求項７に記載の画像処理装置。
  9. 　前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding　Unit）サイズについて別々のビット深度差分を示す、請求項６に記載の画像処理装置。
  10. 　前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化された第２のＣＵサイズについてのビット深度差分を示す、請求項９に記載の画像処理装置。
  11. 　画像の輝度成分を第１のビット深度で、前記画像の色差成分を第２のビット深度で符号化する符号化部と、
    　前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成する生成部と、
    　を備え、
    　前記符号化部は、前記第１のビット深度情報及び前記第２のビット深度情報をさらに符号化する、
    　画像処理装置。
  12. 　前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
    　前記色差成分の重みの分母は、前記ビット深度差分を用いて差分符号化される、
    　請求項１１に記載の画像処理装置。
  13. 　前記色差成分の前記重みの分母は、前記輝度成分の重みの分母と、前記ビット深度差分と、残余差分とに基づいて計算され、
    　前記符号化部は、前記輝度成分の前記重みの分母を示す第１の重み分母情報、及び前記残余差分を示す第２の重み分母情報をさらに符号化する、
    　請求項１２に記載の画像処理装置。
  14. 　前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
    　前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
    　請求項１２に記載の画像処理装置。
  15. 　前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
    　前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
    　請求項１１に記載の画像処理装置。
  16. 　画像の非ＰＣＭサンプル及び前記画像のＰＣＭサンプルを別々に定義されるビット深度で符号化する符号化部と、
    　非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度とＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成する生成部と、
    　を備え、
    　前記符号化部は、前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報をさらに符号化する、
    　画像処理装置。
  17. 　前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
    　前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを用いて、前記ＰＣＭサンプルの色差成分のための第４のビット深度が差分符号化される、
    　請求項１６に記載の画像処理装置。
  18. 　前記第４のビット深度は、前記第３のビット深度と、前記第２のビット深度差分と、残余差分とに基づいて計算され、
    　前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記残余差分を示す第４のビット深度情報とを含む、
    　請求項１７に記載の画像処理装置。
  19. 　前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding　Unit）サイズについて別々のビット深度差分を示す、請求項１６に記載の画像処理装置。
  20. 　前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化される第２のＣＵサイズについてのビット深度差分を示す、請求項１９に記載の画像処理装置。
     
PCT/JP2015/052512 2014-03-28 2015-01-29 画像処理装置及び画像処理方法 WO2015146278A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/787,395 US20170034525A1 (en) 2014-03-28 2015-01-29 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014069437A JP2015192381A (ja) 2014-03-28 2014-03-28 画像処理装置及び画像処理方法
JP2014-069437 2014-03-28

Publications (1)

Publication Number Publication Date
WO2015146278A1 true WO2015146278A1 (ja) 2015-10-01

Family

ID=54194818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/052512 WO2015146278A1 (ja) 2014-03-28 2015-01-29 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20170034525A1 (ja)
JP (1) JP2015192381A (ja)
WO (1) WO2015146278A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197193A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102471209B1 (ko) 2016-09-20 2022-11-25 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20190238863A1 (en) * 2016-10-04 2019-08-01 Lg Electronics Inc. Chroma component coding unit division method and device
MX2020000449A (es) * 2017-07-20 2020-07-13 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
WO2020061147A1 (en) * 2018-09-21 2020-03-26 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding using bi-prediction
CA3161484A1 (en) * 2019-12-17 2021-06-24 Jacob Strom Low complexity image filter
US11838551B2 (en) * 2020-12-30 2023-12-05 Ofinno, Llc Adaptive block level bit-depth prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YE-KUI WANG ET AL.: "On sequence parameter set and picture parameter set", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH MEETING, 21 November 2011 (2011-11-21), Geneva, CH *
YUWEN HE ET AL.: "Non-SCE4/AHG14: Combined bit-depth and color gamut conversion with 3D LUT for SHVC color gamut scalability", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING, Geneva, CH *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197193A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Also Published As

Publication number Publication date
JP2015192381A (ja) 2015-11-02
US20170034525A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
US10609400B2 (en) Image processing device and image processing method
US9743100B2 (en) Image processing apparatus and image processing method
JP6094688B2 (ja) 画像処理装置及び画像処理方法
JP6345650B2 (ja) 画像処理装置及び画像処理方法
US20150043637A1 (en) Image processing device and method
WO2015146278A1 (ja) 画像処理装置及び画像処理方法
US20150016522A1 (en) Image processing apparatus and image processing method
WO2015053001A1 (ja) 画像処理装置及び画像処理方法
US20150036744A1 (en) Image processing apparatus and image processing method
CN105409217B (zh) 图像处理装置、图像处理方法和计算机可读介质
WO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US20150043638A1 (en) Image processing apparatus and image processing method
US20160005155A1 (en) Image processing device and image processing method
WO2015052979A1 (ja) 画像処理装置及び画像処理方法
WO2014050311A1 (ja) 画像処理装置及び画像処理方法
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2015053111A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2015098231A1 (ja) 画像処理装置及び画像処理方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14787395

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15769476

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase
122 Ep: pct application non-entry in european phase

Ref document number: 15769476

Country of ref document: EP

Kind code of ref document: A1