WO2014002386A1 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム Download PDF

Info

Publication number
WO2014002386A1
WO2014002386A1 PCT/JP2013/003459 JP2013003459W WO2014002386A1 WO 2014002386 A1 WO2014002386 A1 WO 2014002386A1 JP 2013003459 W JP2013003459 W JP 2013003459W WO 2014002386 A1 WO2014002386 A1 WO 2014002386A1
Authority
WO
WIPO (PCT)
Prior art keywords
pcm
image block
data
entropy
decoding
Prior art date
Application number
PCT/JP2013/003459
Other languages
English (en)
French (fr)
Inventor
慶一 蝶野
啓史 青木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201380024552.XA priority Critical patent/CN104303505A/zh
Priority to US14/409,581 priority patent/US20150181213A1/en
Priority to AU2013282645A priority patent/AU2013282645B2/en
Priority to EP13810734.7A priority patent/EP2869561A4/en
Priority to KR1020147036316A priority patent/KR101643839B1/ko
Priority to JP2014522393A priority patent/JP6115568B2/ja
Priority to CA2869710A priority patent/CA2869710C/en
Publication of WO2014002386A1 publication Critical patent/WO2014002386A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a video encoding device and a video decoding device that use PCM encoding.
  • Non-Patent Document 1 discloses a general-purpose video coding technique based on a transform coding technique, a predictive coding technique, and an entropy coding technique.
  • PCM Pulse Code Modulation
  • Non-Patent Document 1 The video encoding device described in Non-Patent Document 1 is configured as shown in FIG.
  • the video encoding device shown in FIG. 11 is referred to as a general video encoding device.
  • 11 includes a transform / quantizer 102, an entropy encoder 103, an inverse transform / inverse quantizer 104, a buffer 105, a predictor 106, a PCM coder 107, a PCM decoder 108, A multiplexed data selector 109, a multiplexer 110, a switch 121, and a switch 122 are provided.
  • the frame is composed of LCU (Largest Coding Unit).
  • LCU is composed of CU (Coding Unit).
  • the video encoding apparatus shown in FIG. 11 encodes the LCUs in raster scan order and the CUs constituting the LCUs in zet scan order.
  • the size of the CU is 64 ⁇ 64, 32 ⁇ 32, 16 ⁇ 16, or 8 ⁇ 8.
  • the smallest CU is called Smallest Coding Unit (SCU).
  • inter-frame prediction a prediction signal is generated based on an image of a reconstructed picture (reference picture) having a different display time from the current picture stored in the buffer 105.
  • reference picture a reconstructed picture
  • inter CU a CU that uses inter-frame prediction
  • a picture encoded only by an intra CU is called an I picture.
  • a picture that is encoded including not only an intra CU but also an inter CU that uses one reference picture for inter-frame prediction is called a P picture.
  • a picture encoded including an inter CU that uses two reference pictures simultaneously for inter-frame prediction is called a B picture.
  • the transform / quantizer 102 performs frequency conversion on the image (prediction error image) from which the prediction signal is reduced, and obtains a frequency conversion coefficient of the prediction error image.
  • the entropy encoder 103 entropy encodes the prediction parameter and the quantization level value.
  • the prediction parameter is information related to the above-described CU prediction type (intra prediction, inter prediction) and PU (Prediction Unit) information included in the CU.
  • the inverse transformer / inverse quantizer 104 inverse-quantizes the quantization level value with the quantization step width Qs. Further, the inverse transform / inverse quantizer 104 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization. The reconstructed prediction error image subjected to the inverse frequency conversion is supplied with a prediction signal and supplied to the switch 122.
  • the multiplexed data selector 109 monitors the input data amount of the entropy encoder 103 corresponding to the CU to be encoded.
  • the multiplexed data selector 109 selects the output data of the entropy encoder 103 and passes through the switch 121.
  • the multiplexed data selector 109 selects the output data of the inverse transform / inverse quantizer 104 and supplies it to the buffer 105 via the switch 122.
  • the multiplexed data selector 109 selects the output data of the PCM encoder 107 and supplies it to the multiplexer 110 via the switch 121. Furthermore, the multiplexed data selector 109 selects the output data obtained by PCM decoding the output data of the PCM coder 107 by the PCM decoder 108 and supplies it to the buffer 105 via the switch 122.
  • the buffer 105 stores the reconstructed image supplied via the switch 122.
  • a reconstructed image for one frame is called a reconstructed picture.
  • the multiplexer 110 in the video encoding device Based on the above-described operation, the multiplexer 110 in the video encoding device generates a bit stream.
  • the block header is entropy encoded. That is, when transmitting the block header of the PCM mode (PCM mode header), two processes are required: an output process of the non-output symbol of the encoding engine of the entropy encoder 103 and a reset process of the encoding engine.
  • the block header of the PCM-mode is usually configured by CU partition information (split_coding_unit_flag syntax), CU prediction type (skip_flag syntax, pred_mode_flag syntax and pred_mode syntax), PU PCM flag (pcm_flag syntax), and the like.
  • FIG. 13 the encoding of successive PCMPC mode image blocks will be described.
  • 4 CUs (CU (4) (, CU (5) and CU (6)) that are consecutive in the coding order are PCM encoded.
  • the other CU is a block (Non_I_PCM) on which intra prediction / inter prediction encoding is performed.
  • Non_I_PCM Non_I_PCM
  • bitstreams are the entropy-encoded video bitstream of CU (3) / CU (7), the video bitstream of PCM mode header of CU (4) / CU (5) / CU (6), non-entropy It includes the alignment data (pcm_alignment_zero_bit) and PCM data (PCM sample data) of the encoded CU (4) / CU (5) / CU (6).
  • CU (4) / CU (5) / CU (6) of consecutive I_PCM is entropy-coded for its PCM mode header, so the output processing of the above-mentioned encoding engine's non-output symbol and its reset Let the process repeat. Therefore, even though CU (4) / CU (5) / CU (6) is a continuous I_PCM, before multiplexing the PCM data of each CU into the bitstream, the above code for the PCM mode header It is necessary to wait for the output processing of the non-output symbol of the conversion engine and the reset processing thereof to be completed.
  • PCM data of continuous PCM mode image blocks cannot be efficiently multiplexed into a bit stream, that is, PCM data of continuous PCM mode image blocks cannot be efficiently transmitted.
  • the present invention relates to a video encoding device, a video decoding device, a video encoding method, a video decoding method, and a video encoding that enable efficient transmission of PCM data even when PCM mode image blocks occur continuously. It is an object to provide a program and a video decoding program.
  • a video encoding apparatus includes a conversion unit that converts an image block, an entropy encoding unit that entropy-encodes conversion data of the image block converted by the conversion unit, and a PCM-encoding unit that performs PCM-encoding of the image block.
  • multiplexed data selection means for selecting one of the output data of the entropy coding means and the PCM coding means for each image block, and the PCM coding means follows the PCM data of the next image block. It is characterized in that a substitute_pcm_flag syntax indicating whether or not is embedded at the beginning of PCM data.
  • the video decoding device includes a demultiplexing means for demultiplexing a bitstream including a subsequent_pcm_flag syntax indicating whether or not the PCM data of the next image block follows, and PCM data of the image block included in the bitstream PCM decoding means for PCM decoding, entropy decoding means for entropy decoding the transform data of the image block included in the bitstream, and the value of the sequential_pcm_flag syntax of the image block immediately before the image block to be decoded is 1
  • the entropy decoding means includes decoding control means for preventing entropy decoding of the PCM mode header of the image block to be decoded.
  • the video encoding method converts an image block, entropy-encodes the converted data of the converted image block, and uses a subsequent_pcm_flag syntax that indicates whether the next image block is followed by PCM data.
  • the image block is PCM-encoded by embedding the image block, and output data that is either entropy-encoded output data or PCM-encoded output data is selected for each image block.
  • the video decoding method demultiplexes a bitstream including a subsequent_pcm_flag syntax indicating whether or not PCM ⁇ data of the next image block follows, and PCM decodes the PCM ⁇ data of the image block included in the bitstream,
  • PCM decodes the PCM ⁇ data of the image block included in the bitstream
  • the entropy decoding is performed on the conversion data of the image block included in the bitstream, and the value of the sequential_pcm_flag syntax of the image block immediately before the image block to be decoded is 1, the image block to be decoded It is characterized by not entropy decoding the PCM mode header.
  • a video encoding program includes a computer that performs conversion processing for converting an image block, entropy encoding processing for entropy encoding conversion data of the image block converted by the conversion processing, and PCM code for PCM coding the image block. And a multiplexed data selection process for selecting output data generated by either the entropy encoding process or the PCM-encoding process for each image block, and the next image block in the PCM-encoding process. This is characterized in that a subsequent_pcm_flag syntax indicating whether or not the PCM data follows is embedded at the head of the PCM data.
  • the video decoding program provides a computer with a demultiplexing process for demultiplexing a bitstream including a subsequent_pcm_flag syntax indicating whether or not the PCM ⁇ data of the next image block follows, and an image block included in the bitstream.
  • PCM decoding processing for PCM data decoding entropy decoding processing for entropy decoding of image block conversion data included in the bitstream, and the value of the sequential_pcm_flag syntax of the image block immediately before the image block to be decoded is 1.
  • the PCM decoding process is caused to execute a decoding control process that does not entropy decode the PCM mode header of the image block to be decoded.
  • the video encoding apparatus is configured so that the non-output symbol output process and the encoding engine reset process are not repeatedly executed in the encoding of consecutive PCM mode image blocks, between the PCM data of consecutive PCM mode image blocks. , Do not insert entropy-encoded PCM mode headers. Instead of inserting a PCM mode header, the video encoding apparatus according to the present invention uses a subsequent_pcm_flag syntax and a PCM indicating whether PCMPC data of the next image block follows between PCM data of successive PCM mode image blocks. A pair with the pcm_alignment_zero_bit syntax for byte alignment of the data write start address is placed at the beginning of each PCM data. As will be described later, the subsequent_pcm_flagcm syntax and the pcm_alignment_zero_bit syntax are non-entropy coded.
  • FIG. FIG. 1 is a block diagram illustrating a video encoding apparatus according to the first embodiment.
  • the video encoding apparatus according to the present embodiment is different from the video encoding apparatus shown in FIG. 11 in the configuration of the PCM encoder 1070.
  • the PCM encoder 1070 in this embodiment is a subsequent PCM that detects whether there is a PCM mode image block following the PCM mode image block to be encoded.
  • a detector 1071 is included.
  • FIG. 1 shows an example in which the subsequent PCM detector 1071 exists in the PCM encoder 1070, but this is not essential.
  • the subsequent PCM detector 1071 may be provided in a part other than the PCM encoder 1070 (for example, the multiplexed data selector 109), or may be provided independently of each part shown in FIG.
  • FIG. 3 the operation of the video encoding device will be described by taking CU (4), CU (5) and CU (6) of the PCM mode image block of FIG. 2 (A) as an example.
  • the video encoding apparatus of this embodiment operates as shown in the flowchart of FIG. That is, the subsequent PCM detector 1071 detects whether or not the next image block of each PCM mode image block is in the PCM mode in step S101. If the PCM mode is selected, the syntax of subsequent_pcm_flag is set to 1. Otherwise, the subsequent_pcm_flag syntax is 0. When the example shown in FIG. 13A is used, the value of subsequent_pcm_flag of CU (4) and CU (5) is 1, and the value of sequential_pcm_flag of CU (6) is 0. When not in PCM mode, the value of subsequent_pcm_flag is defined as 0.
  • step S102 the entropy encoder 103 entropy-encodes the PCM mode header of CU (4) that is the first PCM mode image block.
  • step S103 the entropy encoder 103 outputs a symbol that has not yet been output.
  • step S104 the PCM encoder 1070 performs non-entropy coding on the CU (n) subsequent_pcm_flag syntax.
  • step S105 the PCM encoder 1070 performs non-entropy encoding of the pcm_alignment_zero_bit syntax of CU (n). That is, the write start address of PCM data of CU (n) is byte aligned.
  • pcm_alignment_one_bit having a value of 1 may be used instead of the pcm_alignment_zero_bit syntax.
  • step S107 the multiplexed data selector 109 determines whether the subsequent_pcm_flag syntax of CU (n) is 1 or not. In the case of 1, the process proceeds to step S108, that is, n is incremented, and the process proceeds to encoding of the next PCM mode image block. In the case of 0, the process proceeds to step S109.
  • the multiplexer 110 outputs a bit stream obtained by multiplexing the data encoded by the PCM encoder 1070 and the entropy encoder 103.
  • the operation of the video encoding apparatus of the present embodiment described above may not insert the entropy-encoded PCM mode header between the PCM ⁇ data of successive PCM mode image blocks.
  • a set of sequential_pcm_flag syntax and pcm_alignment_zero_bit syntax (total of 8 bits) is arranged at the head of each PCM data between PCM data of consecutive PCM data modes. Since the number of bits of one PCM data is always a multiple of 8 bits, the start position of the subsequent_pcm_flag syntax is always a multiple of 8 bits. That is, the start position of each subsequent_pcm_flag syntax, PCM data, and first entropy encoded data is always a byte-aligned address.
  • the subsequent_pcm_flag syntax and the pcm_alignment_zero_bit syntax that are placed between PCM data of successive PCM mode image blocks are non-entropy encoded. Therefore, when multiplexing the PCM data of the PCM mode image block following the first PCM mode image block into the bitstream, it is necessary to wait for the output processing of the above-mentioned encoding engine non-output symbols and the reset processing thereof to be completed. Absent. Therefore, the video encoding apparatus according to the present embodiment can efficiently multiplex PCM data of successive PCM mode image blocks into a bit stream. That is, it is possible to efficiently transmit PCM data of successive PCM mode image blocks.
  • FIG. FIG. 4 is a block diagram showing a video decoding apparatus corresponding to the video encoding apparatus of the first embodiment.
  • the video decoding apparatus according to the present embodiment includes a demultiplexer 201, a decoding controller 202, a PCM decoder 203, an entropy decoder 204, an inverse transform / inverse quantizer 206, a predictor 207, a buffer 208, and a switch 221.
  • a switch 222 is provided.
  • the PCM decoder 203 includes a subsequent PCM determiner 2031 that determines whether or not a CU that is currently decoded follows the CU in the PCM mode that was decoded immediately before.
  • FIG. 4 shows an example in which the subsequent PCM determinator 2031 exists in the PCM decoder 203, but this is not essential.
  • the subsequent PCM determining unit 2031 may be provided in a part other than the PCM decoding unit 203 (for example, the decoding controller 202), or may be provided independently of each unit shown in FIG.
  • the demultiplexer 201 demultiplexes the input bit stream and extracts the video bit stream.
  • the unit 202 does not cause the entropy decoder 204 to entropy decode the CU / PU header of the CU currently being decoded.
  • the decoding controller 202 reads the subsequent_pcm_flag syntax and pcm_alignment_zero_bit syntax of the PCM mode CU to be decoded from the video bitstream, and supplies the subsequent PCM data to the PCM decoder 203.
  • the PCM decoder 203 reads the supplied PCM ⁇ data and performs PCM decoding.
  • the decoding controller 202 switches the switch 222 so that the reconstructed image supplied from the PCM / decoder 203 is supplied to the buffer 208.
  • the decoding controller 202 resets the decoding engine of the entropy decoder 204. Then, the process proceeds to decoding of the next CU. Note that, for the subsequent decoding of the CU, the decoding controller 202 stores the current value of succeed_pcm_flag.
  • the decoding controller 202 performs the decoding to the entropy decoder 204. Entropy decode the CU / PU header.
  • the decoding controller 202 When the entropy decoder 204 entropy-decodes pcm_flag having a value of 1, the decoding controller 202 reads the PCM mode CU subsequent_pcm_flag syntax and pcm_alignment_zero_bit syntax to be decoded from the video bitstream, and the subsequent PCM data is the PCM decoder. 203.
  • the PCM decoder 203 reads the supplied PCM ⁇ data and performs PCM decoding.
  • the decoding controller 202 switches the switch 222 so that the reconstructed image supplied from the PCM / decoder 203 is supplied to the buffer 208.
  • the decoding controller 202 When the read sequential_pcm_flagcm syntax is 0, the decoding controller 202 resets the decoding engine of the entropy decoder 204. Then, the process proceeds to decoding of the next CU.
  • the entropy decoder 204 When the entropy decoder 204 entropy-decodes pcm_flag having a value of 0 or when pcm_flag does not exist, the entropy decoder 204 further entropy-decodes the prediction parameter and quantization level value of the CU to be decoded. To the inverse transform / inverse quantizer 206 and the predictor 207.
  • the inverse transform / inverse quantizer 206 inverse quantizes the quantization level value, and further inverse frequency transforms the inversely quantized frequency transform coefficient.
  • the predictor 207 After the inverse frequency conversion, the predictor 207 generates a prediction signal using the reconstructed picture image stored in the buffer 208 based on the entropy-decoded prediction parameter. After the prediction signal is generated, the reconstructed prediction error image subjected to inverse frequency conversion by the inverse transform / inverse quantizer 206 is added with the prediction signal supplied from the predictor 207 and is supplied to the switch 222. After the prediction signal is added, the decoding controller 202 switches the switch 222 to supply the reconstructed prediction error image to which the prediction signal is added to the buffer 208 as a reconstructed image. Then, the process proceeds to decoding of the next CU.
  • step S201 the subsequent PCM determining unit 2031 determines whether or not the CU (n-1) decoded immediately before is in the PCM ⁇ mode, and its subsequent_pcm_flag is 1. If the CU decoded immediately before is in the PCM mode and its subsequent_pcm_flag is 1, the process proceeds to step S205. Note that if the PCM mode is not set, the subsequent_pcm_flag value is defined as 0, so that the subsequent PCM determiner 2031 may determine only whether or not the immediately_pcm_flag-1 of the CU (n-1) decoded immediately before is 1.
  • step S202 the entropy decoder 204 performs entropy decoding on the CU / PU header of CU (n) to be decoded.
  • step S203 the decoding controller 202 determines whether or not the pcm_flag having a value of 1 is entropy decoded. If pcm_flag having a value of 1 is entropy decoded, the process proceeds to step S205.
  • step S204 the entropy decoder 204 performs entropy decoding on the prediction parameter and quantization level value of CU (n) n to be decoded. As described above, a reconstructed image of CU (n) is obtained based on the prediction parameter and the quantization level value, and the decoding process for CU (n) is terminated.
  • step S205 the decoding controller 202 reads the PCM mode CU (n) subsequent_pcm_flag syntax to be decoded from the video bitstream.
  • the PCM / decoder 203 may read the non-entropy-encoded subsequent_pcm_flag / syntax.
  • step S206 the decoding controller 202 reads the pcm_alignment_zero_bit syntax of CU (n) in PCM mode to be decoded from the video bitstream.
  • the PCM / decoder 203 may read the pcm_alignment_zero_bit syntax that is non-entropy encoded.
  • step S207 the decoding controller 202 reads PCM data of CU (n) in PCM mode to be decoded from the video bitstream.
  • the PCM decoder 203 may read the PCM data to be non-entropy encoded. As described above, a reconstructed image of CU (n) is obtained based on the PCM data.
  • step S208 the decoding controller 202 determines whether or not the CU (n) subsequent_pcm_flag syntax is 1 ⁇ . If the syntax of the CU (n) sub subsequent_pcm_flag syntax is 1, the decoding process for the CU (n) ⁇ is terminated.
  • the entropy decoder 204 resets its decoding engine in step S209. Then, the decoding process for CU (n) is terminated.
  • the video decoding apparatus of the present embodiment According to the operation of the video decoding apparatus of the present embodiment described above, there is no need to wait for the completion of the reset process of the decoding engine when reading PCM data of the PCM mode image block following the first PCM mode image block from the bitstream. Therefore, the video decoding apparatus according to the present embodiment can efficiently read PCM data of successive PCM mode image blocks from the bitstream. That is, it is possible to efficiently receive PCM data of successive PCM mode image blocks.
  • the Coding tree syntax and Pcm sample syntax corresponding to the above embodiments are shown in FIGS. 6 and 7, respectively.
  • the variable SubSequentPCMFlag that stores the value of the immediately_CU's subsequent_pcm_flag syntax is 1, the block header of the PCM mode (split_coding_unit_flag syntax, syntax below coding_unit (), etc.) is not entropy encoded.
  • split_coding_unit_flag syntax, syntax below coding_unit (), etc. is not entropy encoded.
  • the information processing system shown in FIG. 8 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block shown in FIGS.
  • the processor 1001 implements the functions of the video encoding device or the video decoding device shown in FIGS. 1 and 4 by executing processing according to the program stored in the program memory 1002.
  • FIG. 9 is a block diagram showing the main part of the video encoding apparatus according to the present invention.
  • a video encoding apparatus includes a conversion unit 11 that converts an image block, an entropy encoding unit 12 that entropy-encodes conversion data of the image block converted by the conversion unit 11, and an image A PCM-encoding unit 13 for PCM-encoding a block; and a multiplexed data selection unit 14 for selecting output data of either the entropy encoding unit 12 or the PCM-encoding unit 13 for each image block.
  • the unit 13 embeds a substitute_pcm_flag syntax indicating whether or not the PCM data of the next image block follows at the head of the PCM data.
  • FIG. 10 is a block diagram showing the main part of the video decoding apparatus according to the present invention.
  • the video decoding apparatus according to the present invention includes a demultiplexing unit 21 that demultiplexes a bitstream including a sequential_pcm_flag syntax indicating whether or not PCM data of the next image block follows, and a bitstream A PCM decoding unit 22 for PCM decoding the PCM data of the image block included in the image block, an entropy decoding unit 23 for entropy decoding the conversion data of the image block included in the bitstream, and an image block immediately before the image block to be decoded. and a decoding control unit 24 that does not entropy decode the PCM mode header of the image block to be decoded when the subsequent_pcm_flag syntax value is 1.

Abstract

　映像符号化装置は、画像ブロックを変換する変換器と、変換器が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化器（１０３）と、画像ブロックをPCM 符号化するPCM 符号化器（１０７０）と、画像ブロックごとにエントロピー符号化器（１０３）とPCM 符号化器（１０７０）のいずれかの出力データを選択する多重化データ選択器（１０９）とを備え、PCM 符号化器（１０７０）が、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込む。

Description

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
　本発明は、PCM 符号化を用いる映像符号化装置および映像復号装置に関する。
　非特許文献１は、変換符号化技術、予測符号化技術、および、エントロピー符号化技術に基づいた、汎用的な映像符号化技術を開示している。
　周波数変換およびエントロピー符号化処理を行わないブロックタイプの一例として、Pulse Code Modulation （PCM ）がある。ブロックタイプとは、ブロックに用いた符号化の種類（イントラ予測、インター予測、PCM ）である。
　非特許文献１に記載されている映像符号化装置は、図１１に示すように構成される。以下、図１１に示す映像符号化装置を一般的な映像符号化装置と呼ぶ。
　図１１を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。
　図１１に示す映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、PCM 符号化器１０７ 、PCM 復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、およびスイッチ１２２を備える。
　図１２に示すように、フレーム（Frame ）はLCU （Largest Coding Unit ）で構成される。LCU は、CU（Coding Unit ）で構成される。
　図１１に示す映像符号化装置は、LCU をラスタスキャン順で、LCU を構成するCUをゼットスキャン順で符号化する。CUの大きさは、64×64、32×32、16×16、８×８のいずれかになる。最も小さいCUをSmallest Coding Unit（SCU ）と呼ぶ。
　CUの入力映像は、予測器１０６から供給される予測信号が減じられて、変換／量子化器１０２に入力される。予測には、イントラ予測とフレーム間予測の２種類がある。それぞれの予測を説明する。イントラ予測では、バッファ１０５に格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて予測信号が生成される。以下、イントラ予測を用いるCUをイントラCUと呼ぶ。
　フレーム間予測では、バッファ１０５に格納された現在のピクチャと表示時刻が異なる再構築ピクチャ（参照ピクチャ）の画像に基づいて予測信号が生成される。以下、フレーム間予測を用いるCUをインターCUと呼ぶ。
　イントラCUのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラCUだけでなく、フレーム間予測に１枚の参照ピクチャを用いるインターCUも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に２枚の参照ピクチャを同時に用いるインターCUを含めて符号化されたピクチャはＢピクチャと呼ばれる。
　変換／量子化器１０２は、予測信号が減じられた画像（予測誤差画像）を周波数変換し、予測誤差画像の周波数変換係数を得る。
　さらに、変換／量子化器１０２は、所定の量子化ステップ幅Qsで、周波数変換係数を量子化する。以下、量子化された周波数変換係数を係数量子化値、または、量子化レベル値と呼ぶ。
　エントロピー符号化器１０３は、予測パラメータ、および、量子化レベル値をエントロピー符号化する。予測パラメータは、上述したCUの予測タイプ（イントラ予測、インター予測）、および、CUに含まれるPU（Prediction Unit ）の情報に関連した情報である。
　逆変換／逆量子化器１０４は、量子化ステップ幅Qsで、量子化レベル値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。
　多重化データ選択器１０９は、符号化対象のCUに対応するエントロピー符号化器１０３の入力データ量を監視する。CUの処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合には、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択して、スイッチ１２１を介して多重化器１１０に供給させる。さらに、多重化データ選択器１０９は、逆変換／逆量子化器１０４の出力データを選択して、スイッチ１２２を介してバッファ１０５に供給させる。
　CUの処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器１０９は、PCM 符号化器１０７の出力データを選択して、スイッチ１２１を介して多重化器１１０に供給させる。さらに、多重化データ選択器１０９は、PCM 復号器１０８がPCM 符号化器１０７の出力データをPCM 復号した出力データを選択して、スイッチ１２２を介してバッファ１０５に供給させる。
　バッファ１０５は、スイッチ１２２を介して供給される再構築画像を格納する。１フレーム分の再構築画像を再構築ピクチャと呼ぶ。
　多重化器１１０は、エントロピー符号化器１０３とPCM 符号化器１０７の出力データを多重化して出力する。
　上述した動作に基づいて、映像符号化装置における多重化器１１０は、ビットストリームを生成する。
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, and Thomas Wiegand,"WD4: Working Draft 4 of High-Efficiency Video Coding", JCTVC-F803_d1, Joint Collaborative Team on Video Coding （JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011
　図１１に示す映像符号化装置において、あるCUをPCM モードで符号化すると、そのブロックヘッダがエントロピー符号化される。すなわち、PCM モードのブロックヘッダ（PCM モードヘッダ）の伝送に際して、エントロピー符号化器１０３の符号化エンジンの未出力シンボルの出力処理、および、符号化エンジンのリセット処理の２つの処理が要求される。なお、PCM モードのブロックヘッダは、通常、CUの分割情報（split_coding_unit_flagシンタクス）、CUの予測タイプ（skip_flag シンタクス，pred_mode_flagシンタクスおよびpred_mode シンタクス）、PUのPCM フラグ（pcm_flagシンタクス）などによって構成される。
　図１３を参照して、連続するPCM モード画像ブロックの符号化を説明する。図１３（Ａ）に示すように、符号化対象のLCU において、符号化順で連続する４，５および６のCU（CU(4) ，CU(5) およびCU(6) ）がPCM 符号化されるブロック（I_PCM ）であり、その他のCUがイントラ予測／インター予測符号化されるブロック（Non_I_PCM ）であるとする。図１３（Ｂ）に示すように、CU(3) （Non_I_PCM ），CU(4) （I_PCM ），CU(5) （I_PCM ），CU(6) （I_PCM ）およびCU(7)  (Non_I_PCM ）に対応するビットストリームは、エントロピー符号化されたCU(3)/CU(7) の映像ビットストリームとCU(4)/CU(5)/CU(6) のPCM モードヘッダの映像ビットストリーム、非エントロピー符号化されたCU(4)/CU(5)/CU(6) のアラインメントデータ(pcm_alignment_zero_bit )およびPCM データ(PCM sample data)を含む。
　連続するI_PCM のCU(4)/CU(5)/CU(6) は、そのPCM モードヘッダに対してエントロピー符号化がなされるため、上述した符号化エンジンの未出力シンボルの出力処理およびそのリセット処理を繰り返させる。ゆえに、CU(4)/CU(5)/CU(6) が連続するI_PCM であるにも関わらず、それぞれのCUのPCM データをビットストリームに多重化する前に、PCM モードヘッダに対する上述した符号化エンジンの未出力シンボルの出力処理およびそのリセット処理の完了を待たなくてはならない。一般的な技術では、連続するPCM モード画像ブロックのPCM データを効率良くビットストリームに多重化できない、つまり、連続するPCM モード画像ブロックのPCM データを効率良く伝送できない課題がある。
　本発明は、PCM モード画像ブロックが連続して発生しても、それらのPCM データを効率良く伝送できるようにする映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム、および映像復号プログラムを提供することを目的とする。
　本発明による映像符号化装置は、画像ブロックを変換する変換手段と、変換手段が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化手段と、画像ブロックをPCM 符号化するPCM 符号化手段と、画像ブロックごとにエントロピー符号化手段とPCM 符号化手段のいずれかの出力データを選択する多重化データ選択手段とを備え、PCM 符号化手段が、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込むことを特徴とする。
　本発明による映像復号装置は、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除手段と、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号手段と、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号手段と、復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、エントロピー復号手段に、復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号させない復号制御手段とを備えることを特徴とする。
　本発明による映像符号化方法は、画像ブロックを変換し、変換された画像ブロックの変換データをエントロピー符号化し、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込むことにより画像ブロックをPCM 符号化し、画像ブロックごとに、エントロピー符号化された出力データとPCM 符号化された出力データのいずれかの出力データを選択することを特徴とする。
　本発明による映像復号方法は、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除し、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号し、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号し、エントロピー復号の際、復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号しないことを特徴とする。
　本発明による映像符号化プログラムは、コンピュータに、画像ブロックを変換する変換処理、変換処理で変換された画像ブロックの変換データをエントロピー符号化するエントロピー符号化処理、画像ブロックをPCM 符号化するPCM 符号化処理、および、画像ブロックごとにエントロピー符号化処理とPCM 符号化処理のいずれか処理で生成された出力データを選択する多重化データ選択処理を実行させ、PCM 符号化処理で、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込ませることを特徴とする。
　本発明による映像復号プログラムは、コンピュータに、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除処理、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号処理、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号処理、および、復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、PCM 復号処理に、復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号させない復号制御処理を実行させることを特徴とする。
　本発明を用いた映像符号化装置は、PCM モード画像ブロックが連続して発生しても、それらのPCM データを効率良く伝送できる。
本発明による第１の実施形態の映像符号化装置の構成例を示すブロック図である。 多重化器から出力されるビットストリームの例を示す説明図である。 第１の実施形態の映像符号化装置の動作例を示すフローチャートである。 本発明による第２の実施形態の映像復号装置の構成例を示すブロック図である。 第２の実施形態の映像復号装置の動作例を示すフローチャートである。 シンタクスの例を示す説明図である。 シンタクスの他の例を示す説明図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 一般的な映像符号化装置の構成を示すブロック図である。 フレームの構成例を示す説明図である。 一般的な映像符号化装置における多重化器から出力されるビットストリームの例を示す説明図である。
　本発明による映像符号化装置は、連続するPCM モード画像ブロックの符号化において未出力シンボル出力処理及び符号化エンジンのリセット処理を繰り返し実行しないように、連続するPCM モード画像ブロックのPCM データの間に、エントロピー符号化されるPCM モードヘッダを挿入しない。PCM モードヘッダを挿入しない代わりに、本発明による映像符号化装置は、連続するPCM モード画像ブロックのPCM データの間に、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスとPCM データ書き込み開始アドレスのバイトアライメントのためのpcm_alignment_zero_bitシンタクスとの組を各PCM データの先頭に配置する。なお、後述するように、subsequent_pcm_flag シンタクスとpcm_alignment_zero_bitシンタクスは、非エントロピー符号化される。
　実施形態１．
　図１は、第１の実施形態の映像符号化装置を示すブロック図である。本実施形態の映像符号化装置は、図１１に示す映像符号化装置と比較すると、PCM 符号化器１０７０の構成が異なる。本実施形態におけるPCM 符号化器１０７０は、図１１に示すPCM 符号化器１０７とは異なり、符号化対象のPCM モード画像ブロックに後続するPCM モード画像ブロックが存在するか否かを検出する後続PCM 検出器１０７１を含む。なお、図１には、後続PCM 検出器１０７１がPCM 符号化器１０７０内に存在する例が示されているが、そのことは必須のことではない。後続PCM 検出器１０７１は、PCM 符号化器１０７０以外の部分（例えば、多重化データ選択器１０９）に設けられていてもよいし、図１に示す各部と独立して設けられていてもよい。
　本実施形態の映像符号化装置は、各LCU において伝送順に連続する同じブロックサイズのPCM モード画像ブロックを対象として、それらを伝送するものとする。本実施形態でも、図２（Ａ）（図１３（Ａ）と同じ）に示すように、符号化順で連続するCU(4) ，CU(5) およびCU(6) がPCM 符号化されるブロック（I_PCM ）であり、その他のCUがイントラ予測／インター予測符号化されるブロック（Non_I_PCM ）であるとする。
　図３を参照して、図２（Ａ）のPCM モード画像ブロックのCU(4) ，CU(5) およびCU(6) を例にして、映像符号化装置の動作を説明する。
　本実施形態の映像符号化装置は、図３のフローチャートに示すように動作する。すなわち、後続PCM 検出器１０７１は、ステップS101で、それぞれのPCM モード画像ブロックの次の画像ブロックがPCM モードであるか否かを検出する。PCM モードである場合、subsequent_pcm_flag シンタクスを1 とする。そうでない場合、subsequent_pcm_flag シンタクスを0 とする。図１３（Ａ）に示す例を用いる場合、CU(4) およびCU(5) のsubsequent_pcm_flag の値は1 、CU(6) のsubsequent_pcm_flag の値は0 となる。なお、PCM モードでない場合、subsequent_pcm_flag の値は0 と定義する。
　エントロピー符号化器１０３は、ステップS102で、最初のPCM モード画像ブロックであるCU(4) のPCM モードヘッダをエントロピー符号化する。
　続いて、エントロピー符号化器１０３は、ステップS103で、未だ出力されていないシンボルを出力する。
　PCM 符号化器１０７０は、ステップS104で、CU(n) のsubsequent_pcm_flag シンタクスを非エントロピー符号化する。
　続いて、PCM 符号化器１０７０は、ステップS105で、CU(n) のpcm_alignment_zero_bitシンタクスを非エントロピー符号化する。すなわち、CU(n) のPCM データの書き込み開始アドレスをバイトアラインさせる。
　なお、subsequent_pcm_flag とpcm_alignment_zero_bitシンタクスの組み合わせ8bitがスタートコードの0 となることを防止するために、pcm_alignment_zero_bitシンタクスの代わりに、常に1 の値を持つpcm_alignment_one_bit を用いてもよい。
　さらに、PCM 符号化器１０７０は、ステップS106で、CU(n) のPCM データを非エントロピー符号化する。
　多重化データ選択器１０９は、ステップS107で、CU(n) のsubsequent_pcm_flag シンタクスが1 であるか否かを判断する。1 の場合、ステップS108に進む、すなわち、n をインクリメントして、次のPCM モード画像ブロックの符号化に進む。0 の場合、ステップS109に進む。
　エントロピー符号化器１０３は、ステップS109で、その符号化エンジンをリセットする。そして、次の画像ブロックの符号化に進む。
　多重化器１１０は、PCM 符号化器１０７０およびエントロピー符号化器１０３が符号化したデータを多重したビットストリームを出力する。
　以上で、本実施形態の映像符号化装置の動作説明を終了する。
　図２（Ｂ）に示すように、上述した本実施形態の映像符号化装置の動作によって、連続するPCM モード画像ブロックのPCM データの間に、エントロピー符号化されるPCM モードヘッダが挿入されないことが分かる。代わりに、連続するPCM モード画像ブロックのPCM データの間に、subsequent_pcm_flag シンタクスとpcm_alignment_zero_bitシンタクスの組（合計8bit）が各PCM データの先頭に配置されることが分かる。１つのPCM データのビット数は必ず8bitの倍数となるため、subsequent_pcm_flag シンタクスの開始位置も必ず8bitの倍数となる。すなわち、subsequent_pcm_flag シンタクス、PCM データ、および、最初のエントロピー符号化データそれぞれの開始位置は、必ずバイトアラインされたアドレスとなる。
　PCM データと同様に、連続するPCM モード画像ブロックのPCM データの間に配置される、subsequent_pcm_flag シンタクスとpcm_alignment_zero_bitシンタクスは非エントロピー符号化される。ゆえに、最初のPCM モード画像ブロックに後続するPCM モード画像ブロックのPCM データをビットストリームに多重化する際に、上述した符号化エンジンの未出力シンボルの出力処理およびそのリセット処理の完了を待つ必要がない。ゆえに、本実施形態の映像符号化装置は、連続するPCM モード画像ブロックのPCM データを効率良くビットストリームに多重化できる。つまり、連続するPCM モード画像ブロックのPCM データを効率良く伝送できる。
実施形態２．
　図４は、第１の実施形態の映像符号化装置に対応する、映像復号装置を示すブロック図である。本実施形態の映像復号装置は、多重化解除器２０１、復号制御器２０２、PCM 復号器２０３、エントロピー復号器２０４、逆変換／逆量子化器２０６、予測器２０７、バッファ２０８、およびスイッチ２２１とスイッチ２２２を備える。
　PCM 復号器２０３ は、直前に復号したPCM モードのCUに現在復号するCUが後続するか否かを判定する、後続PCM 判定器２０３１を含む。なお、図４には、後続PCM 判定器２０３１がPCM 復号器２０３内に存在する例が示されているが、そのことは必須のことではない。後続PCM 判定器２０３１は、PCM 復号器２０３以外の部分（例えば、復号制御器２０２）に設けられていてもよいし、図４に示す各部と独立して設けられていてもよい。
　多重化解除器２０１は、入力されるビットストリームを多重化解除して、映像ビットストリームを抽出する。
　直前に復号したCUがPCM モードであり、そのsubsequent_pcm_flag が1 の場合（つまり、後続PCM 判定器２０３１が、直前に復号したPCM モードのCUに現在復号するCUが後続すると判定した場合）、復号制御器２０２は、エントロピー復号器２０４に現在復号するCUのCU／PUヘッダをエントロピー復号させない。復号制御器２０２は、復号するPCM モードのCUのsubsequent_pcm_flag シンタクスとpcm_alignment_zero_bitシンタクスを映像ビットストリームから読み出し、後続するPCM データをPCM 復号器２０３に供給する。PCM 復号器２０３は、供給されるPCM データを読み出してPCM 復号する。復号制御器２０２は、スイッチ２２２を切り替えて、PCM 復号器２０３から供給される再構築画像をバッファ２０８に供給させる。読み出したsubsequent_pcm_flag シンタクスが0 の場合、復号制御器２０２は、エントロピー復号器２０４の復号エンジンをリセットする。そして、次のCUの復号に進む。なお、以後のCUの復号のため、復号制御器２０２は、現在のsubsequent_pcm_flag の値を記憶する。
　その他の場合（直前に復号したCUがPCM モードであり、そのsubsequent_pcm_flag が0 の場合、あるいは、直前に復号したCUがPCM モードでない場合）、復号制御器２０２は、エントロピー復号器２０４に復号するCUのCU／PUヘッダをエントロピー復号させる。
　エントロピー復号器２０４が1 の値を持つpcm_flagをエントロピー復号した場合、復号制御器２０２は、復号するPCM モードのCUのsubsequent_pcm_flag シンタクスとpcm_alignment_zero_bitシンタクスを映像ビットストリームから読み出し、後続するPCM データをPCM 復号器２０３に供給する。PCM 復号器２０３は、供給されるPCM データを読み出してPCM 復号する。復号制御器２０２は、スイッチ２２２を切り替えて、PCM 復号器２０３から供給される再構築画像をバッファ２０８に供給させる。読み出したsubsequent_pcm_flag シンタクスが0 の場合、復号制御器２０２は、エントロピー復号器２０４の復号エンジンをリセットする。そして、次のCUの復号に進む。
　エントロピー復号器２０４が0 の値を持つpcm_flagをエントロピー復号した場合、または、pcm_flagが存在しなかった場合、エントロピー復号器２０４は、さらに、復号するCUの予測パラメータおよび量子化レベル値をエントロピー復号し、逆変換／逆量子化器２０６および予測器２０７に供給する。
　逆変換／逆量子化器２０６は、量子化レベル値を逆量子化し、さらに、逆量子化した周波数変換係数を逆周波数変換する。
　逆周波数変換後、予測器２０７は、エントロピー復号した予測パラメータに基づいて、バッファ２０８に格納された再構築ピクチャの画像を用いて予測信号を生成する。予測信号生成後、逆変換／逆量子化器２０６で逆周波数変換された再構築予測誤差画像は、予測器２０７から供給される予測信号が加えられて、スイッチ２２２に供給される。予測信号が加えられた後、復号制御器２０２は、スイッチ２２２を切り替えて、予測信号が加えられた再構築予測誤差画像を再構築画像としてバッファ２０８に供給させる。そして、次のCUの復号に進む。
　図５のフローチャートを用いて、本実施形態の映像復号装置の動作を説明する。
　後続PCM 判定器２０３１は、ステップS201で、直前に復号したCU(n-1) がPCM モードであり、そのsubsequent_pcm_flag が1 であるか否かを判定する。直前に復号したCUがPCM モードでありそのsubsequent_pcm_flag が1 である場合、ステップS205に進む。なお、PCM モードでない場合subsequent_pcm_flag の値は0 とする定義により、後続PCM 判定器２０３１は、直前に復号したCU(n-1) のsubsequent_pcm_flag が1 であるか否かのみを判定してもよい。
　エントロピー復号器２０４は、ステップS202で、復号するCU(n) のCU／PUヘッダをエントロピー復号する。
　復号制御器２０２は、ステップS203で、1 の値を持つpcm_flagがエントロピー復号されたか否かを判断する。1 の値を持つpcm_flagがエントロピー復号された場合、ステップS205に進む。
　エントロピー復号器２０４は、ステップS204で、復号するCU(n) の予測パラメータおよび量子化レベル値をエントロピー復号する。上述したように予測パラメータおよび量子化レベル値に基づいてCU(n) の再構築画像を求めて、CU(n) に対する復号処理を終了する。
　復号制御器２０２は、ステップS205で、復号するPCM モードのCU(n) のsubsequent_pcm_flag シンタクスを映像ビットストリームから読み出す。なお、非エントロピー符号化されるsubsequent_pcm_flag シンタクスの読み出しを、PCM 復号器２０３が行ってもよい。
　復号制御器２０２は、ステップS206で、復号するPCM モードのCU(n) のpcm_alignment_zero_bitシンタクスを映像ビットストリームから読み出す。なお、非エントロピー符号化されるpcm_alignment_zero_bitシンタクスの読み出しを、PCM 復号器２０３が行ってもよい。
　復号制御器２０２は、ステップS207で、復号するPCM モードのCU(n) のPCM データを映像ビットストリームから読み出す。なお、非エントロピー符号化されるPCM データの読み出しを、PCM 復号器２０３が行ってもよい。上述したようにPCM データに基づいてCU(n) の再構築画像を求める。
　復号制御器２０２は、ステップS208で、CU(n) のsubsequent_pcm_flag シンタクスが1 であるか否かを判断する。CU(n) のsubsequent_pcm_flag シンタクスが1 の場合、CU(n) に対する復号処理を終了する。
　エントロピー復号器２０４は、ステップS209で、その復号エンジンをリセットする。そして、CU(n) に対する復号処理を終了する。
　以上で、本実施形態の映像復号装置の動作説明を終了する。
　上述した本実施形態の映像復号装置の動作によって、最初のPCM モード画像ブロックに後続するPCM モード画像ブロックのPCM データをビットストリームから読み出す際に、復号エンジンのリセット処理完了を待つ必要がない。ゆえに、本実施形態の映像復号装置は、連続するPCM モード画像ブロックのPCM データを効率良くビットストリームから読み出せる。つまり、連続するPCM モード画像ブロックのPCM データを効率良く受信できる。
　なお、上記の各実施形態に対応する、Coding tree シンタクスとPcm sampleシンタクスを図６と図７のそれぞれに示す。図６と図７を参照すると、直前のCUのsubsequent_pcm_flag シンタクスの値を格納する変数SubSequentPCMFlag が1 の場合に、PCM モードのブロックヘッダ（split_coding_unit_flagシンタクス、coding_unit() 以下のシンタクスなど）がエントロピー符号化されないことが分かる。つまり、最初のPCM モードのCUに後続するPCM モードのCUのPCM データをビットストリームから読み出す際に、復号エンジンのリセット処理が不要であることが分かる。
　なお、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図８に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図８に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図４のそれぞれに示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図４のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
　図９は、本発明による映像符号化装置の主要部を示すブロック図である。図９に示すように、本発明による映像符号化装置は、画像ブロックを変換する変換部１１と、変換部１１が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化部１２と、画像ブロックをPCM 符号化するPCM 符号化部１３と、画像ブロックごとにエントロピー符号化部１２とPCM 符号化部１３のいずれかの出力データを選択する多重化データ選択部１４とを備え、PCM 符号化部１３は、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込む。
　図１０は、本発明による映像復号装置の主要部を示すブロック図である。図１０に示すように、本発明による映像復号装置は、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除部２１と、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号部２２と、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号部２３と、復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号させない復号制御部２４とを備える。
　以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年６月２６日に出願された日本特許出願２０１２－１４３４４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　変換部
　１２　　エントロピー符号化部
　１３　　PCM 符号化部
　１４　　多重化データ選択部
　２１　　多重化解除部
　２２　　PCM 復号部
　２３　　エントロピー復号部
　２４　　復号制御部
　１０２　変換／量子化器
　１０３　エントロピー符号化器
　１０４　逆変換／逆量子化器
　１０５　バッファ
　１０６　予測器
　１０７　PCM 符号化器
　１０８　PCM 復号器
　１０９　多重化データ選択器
　１１０　多重化器
　１２１　スイッチ
　１２２　スイッチ
　２０１　多重化解除器
　２０２　復号制御器
　２０３　PCM 復号器
　２０４　エントロピー復号器
　２０６　逆変換／逆量子化器
　２０７　予測器
　２０８　バッファ
　２２１　スイッチ
　２２２　スイッチ
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体
　１０７０　PCM 符号化器
　１０７１　後続PCM 検出器
　２０３１　後続PCM 判定器

Claims (6)

  1. 　画像ブロックを変換する変換手段と、
    　前記変換手段が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化手段と、
    　画像ブロックをPCM 符号化するPCM 符号化手段と、
    　画像ブロックごとに前記エントロピー符号化手段と前記PCM 符号化手段のいずれかの出力データを選択する多重化データ選択手段とを備え、
    　前記PCM 符号化手段は、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込む
    　ことを特徴とする映像符号化装置。
  2. 　次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除手段と、
    　ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号手段と、
    　ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号手段と、
    　復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、前記エントロピー復号手段に、前記復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号させない復号制御手段とを備える
    　ことを特徴とする映像復号装置。
  3. 　画像ブロックを変換し、変換された画像ブロックの変換データをエントロピー符号化し、
    　次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込むことにより画像ブロックをPCM 符号化し、
    　画像ブロックごとに、エントロピー符号化された出力データとPCM 符号化された出力データのいずれかの出力データを選択する
    　ことを特徴とする映像符号化方法。
  4. 　次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除し、
    　ビットストリームに含まれる画像ブロックのPCM データをPCM 復号し、
    　ビットストリームに含まれる画像ブロックの変換データをエントロピー復号し、
    　前記エントロピー復号の際、復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、前記復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号しない
    　ことを特徴とする映像復号方法。
  5. 　コンピュータに、
    　画像ブロックを変換する変換処理、
    　前記変換処理で変換された画像ブロックの変換データをエントロピー符号化するエントロピー符号化処理、
    　画像ブロックをPCM 符号化するPCM 符号化処理、および、
    　画像ブロックごとに前記エントロピー符号化処理と前記PCM 符号化処理のいずれか処理で生成された出力データを選択する多重化データ選択処理を実行させ、
    　前記PCM 符号化処理で、次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flag シンタクスをPCM データの先頭に埋め込ませる処理を実行させる
    　ための映像符号化プログラム。
  6. 　コンピュータに、
    　次の画像ブロックのPCM データが後続するか否かを示すsubsequent_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除処理、
    　ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号処理、
    　ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号処理、および、
    　復号対象とする画像ブロックの直前の画像ブロックのsubsequent_pcm_flagシンタクスの値が1 である場合に、前記PCM 復号処理に、前記復号対象とする画像ブロックのPCM モードヘッダをエントロピー復号させない復号制御処理
    　を実行させるための映像復号プログラム。
PCT/JP2013/003459 2012-06-26 2013-05-31 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム WO2014002386A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201380024552.XA CN104303505A (zh) 2012-06-26 2013-05-31 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
US14/409,581 US20150181213A1 (en) 2012-06-26 2013-05-31 Video encoding device, video decoding device, video encoding method, video decoding method, and program
AU2013282645A AU2013282645B2 (en) 2012-06-26 2013-05-31 Video encoding device, video decoding device, video encoding method, video decoding method, and program
EP13810734.7A EP2869561A4 (en) 2012-06-26 2013-05-31 VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, VIDEO DECODING METHOD, AND PROGRAM
KR1020147036316A KR101643839B1 (ko) 2012-06-26 2013-05-31 비디오 인코딩 장치, 비디오 디코딩 장치, 비디오 인코딩 방법, 비디오 디코딩 방법 및 프로그램
JP2014522393A JP6115568B2 (ja) 2012-06-26 2013-05-31 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
CA2869710A CA2869710C (en) 2012-06-26 2013-05-31 Video encoding device, video decoding device, video encoding method, video decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012143441 2012-06-26
JP2012-143441 2012-06-26

Publications (1)

Publication Number Publication Date
WO2014002386A1 true WO2014002386A1 (ja) 2014-01-03

Family

ID=49782588

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003459 WO2014002386A1 (ja) 2012-06-26 2013-05-31 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム

Country Status (8)

Country Link
US (1) US20150181213A1 (ja)
EP (1) EP2869561A4 (ja)
JP (1) JP6115568B2 (ja)
KR (1) KR101643839B1 (ja)
CN (1) CN104303505A (ja)
AU (1) AU2013282645B2 (ja)
CA (1) CA2869710C (ja)
WO (1) WO2014002386A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193398A (ja) * 2009-02-20 2010-09-02 Canon Inc 画像符号化装置及び画像符号化方法
WO2012070232A1 (ja) * 2010-11-26 2012-05-31 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01162480A (ja) * 1987-12-18 1989-06-26 Sanyo Electric Co Ltd 符号化方法
KR20070006445A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 하이브리드 엔트로피 부호화, 복호화 방법 및 장치
KR100695158B1 (ko) * 2005-08-03 2007-03-14 삼성전자주식회사 영상 부호화장치 및 방법과 그 복호화장치 및 방법
WO2008072592A1 (ja) * 2006-12-14 2008-06-19 Nec Corporation 映像符号化方法、映像符号化装置および映像符号化プログラム
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
TWI339074B (en) * 2007-09-05 2011-03-11 Via Tech Inc Operating method and device of coded block flag parameter
CN101933331B (zh) * 2007-09-06 2014-04-09 日本电气株式会社 视频编码装置、视频编码方法、视频解码方法
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
WO2013064661A1 (en) * 2011-11-03 2013-05-10 Panasonic Corporation Filtering of blocks coded in the pulse code modulation mode
US9706200B2 (en) * 2012-06-18 2017-07-11 Qualcomm Incorporated Unification of signaling lossless coding mode and pulse code modulation (PCM) mode in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010193398A (ja) * 2009-02-20 2010-09-02 Canon Inc 画像符号化装置及び画像符号化方法
WO2012070232A1 (ja) * 2010-11-26 2012-05-31 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS; WOO-JIN HAN; JENS-RAINER OHM; GARY J. SULLIVAN; THOMAS WIEGAND: "WD4: Working Draft 4 of High-Efficiency Video Coding", JCTVC-F803 DL, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH MEETING, 14 July 2011 (2011-07-14)
KEIICHI CHONO ET AL.: "Burst transmission of I_PCM blocks", JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 8TH MEETING, 6 February 2012 (2012-02-06), SAN JOSE, CA, USA, XP030051441 *
KEIICHI CHONO ET AL.: "Pulse code modulation mode for HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH MEETING, 20 March 2011 (2011-03-20), GENEVA, CH, XP030048132 *

Also Published As

Publication number Publication date
JP6115568B2 (ja) 2017-04-19
JPWO2014002386A1 (ja) 2016-05-30
EP2869561A1 (en) 2015-05-06
AU2013282645A1 (en) 2014-11-06
CA2869710A1 (en) 2014-01-03
CA2869710C (en) 2018-01-09
AU2013282645B2 (en) 2016-05-19
EP2869561A4 (en) 2016-02-17
CN104303505A (zh) 2015-01-21
US20150181213A1 (en) 2015-06-25
KR20150021075A (ko) 2015-02-27
KR101643839B1 (ko) 2016-07-28

Similar Documents

Publication Publication Date Title
JP6183502B2 (ja) 映像復号装置、映像復号方法及びプログラム
EP2942958B1 (en) Coding unit split signaling for pcm coded blocks
JP6115568B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
JP5949778B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
WO2013065258A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13810734

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014522393

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013810734

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2869710

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2013282645

Country of ref document: AU

Date of ref document: 20130531

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14409581

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20147036316

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE