WO2017213033A1 - 映像符号化装置、映像符号化方法および記録媒体 - Google Patents

映像符号化装置、映像符号化方法および記録媒体 Download PDF

Info

Publication number
WO2017213033A1
WO2017213033A1 PCT/JP2017/020547 JP2017020547W WO2017213033A1 WO 2017213033 A1 WO2017213033 A1 WO 2017213033A1 JP 2017020547 W JP2017020547 W JP 2017020547W WO 2017213033 A1 WO2017213033 A1 WO 2017213033A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoder
input image
processing
reconstructed
Prior art date
Application number
PCT/JP2017/020547
Other languages
English (en)
French (fr)
Inventor
健太 徳満
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018522449A priority Critical patent/JP6635197B2/ja
Publication of WO2017213033A1 publication Critical patent/WO2017213033A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present disclosure relates to a video encoding device, a video encoding method, and a recording medium.
  • Patent Document 1 discloses a technique related to a display device that receives and displays a video signal of ultra-high definition television broadcasting (Super Hi-Vision).
  • Patent Document 2 discloses a method of performing interlayer motion prediction during encoding or decoding of a video signal.
  • a coding technique of a scalable coding system for example, a technique related to a video coding system using Scalable High-efficiency Video Coding (SHVC) in High efficiency video coding (HEVC) is described in Patent Document 3.
  • SHVC Scalable High-efficiency Video Coding
  • HEVC High efficiency video coding
  • Each frame of an image having a resolution corresponding to BL and each frame of an image having a resolution corresponding to EL are divided into coding tree units (CTU: Coding Tree Unit) and encoded.
  • the CTU is divided into coding units (CU: Coding Unit) in a quad tree structure and is coded.
  • Each CU is divided into prediction units (PU: Prediction Unit) and predicted.
  • the prediction error of each CU is divided into transform units (TU: Transform Unit) in a quadtree structure, and is subjected to frequency conversion.
  • the maximum size CU and the minimum size CU are referred to as an LCU (Large Coding Unit) and an SCU (Smallest Coding Unit).
  • CU is a coding unit of intra prediction / interframe prediction / interlayer prediction.
  • intra prediction, interframe prediction, and interlayer prediction will be described.
  • Intra prediction is prediction in which a prediction image is generated from a reconstructed image of an encoding target frame.
  • Inter-frame prediction is prediction based on an image of a reconstructed frame (reference picture) having a display time different from that of the encoding target frame.
  • inter-frame prediction is also referred to as inter prediction.
  • an inter prediction signal is generated based on a reconstructed image block of a reference picture (using pixel interpolation if necessary).
  • AMVP Advanced Motion Vector Prediction
  • merge mode is a technique for predicting a motion vector using a motion vector of a reference picture so that a difference between motion vectors is minimized.
  • AMVP a set of a reference picture index, an AMVP index associated with an AMVP motion vector predictor, and an AMVP motion vector predictor is transmitted.
  • the merge mode is a technique that uses the motion vector of the reference picture as it is. In the merge mode, a set of a merge flag indicating that merge prediction is valid and a merge candidate index associated with a diverted motion vector is transmitted.
  • Inter-layer prediction is inter prediction using an upsampled image of a reconstructed frame of a coded BL.
  • an inter-layer prediction signal is generated by inter-frame prediction of an up-sampled image obtained by up-sampling an encoded BL reconstructed frame to the same resolution as an EL frame.
  • a CU using intra prediction is called an intra CU
  • a CU using inter prediction is called an inter CU
  • a CU using inter layer prediction is called an inter layer CU.
  • I frame A frame that includes not only an intra CU but also an inter CU and an inter-layer CU is called a P frame (or P picture).
  • P frame A frame encoded by including not only one reference picture for inter prediction of a block but also an inter CU using two reference pictures at the same time is called a B frame (or B picture).
  • BL encoder low-resolution layer HEVC encoder
  • EL encoder high-resolution layer HEVC encoder
  • BL image low resolution image
  • the BL encoder 100A includes an estimator 101A, a predictor 102A, a frequency converter 103A, a quantizer 104A, an inverse quantization / inverse frequency converter 105A, a buffer 106A, and an entropy encoder 107A.
  • Each CTU of a BL image frame is divided into variable-size CUs based on a quadtree structure. Similar to the CTU, the prediction error of each CU of the BL image is divided into variable-size TUs based on the quadtree structure.
  • the estimator 101A determines, for example, a CU partition shape that minimizes the coding cost, that is, a CU quadtree structure. Further, the estimator 101A determines a PU block prediction parameter (hereinafter referred to as a PU block prediction parameter) and a TU quadtree structure for each CTU of the BL image.
  • a PU block prediction parameter hereinafter referred to as a PU block prediction parameter
  • the predictor 102A generates a prediction signal for the CU of the BL image based on the CU quadtree structure and the PU block prediction parameter determined by the estimator 101A.
  • the prediction signal is generated based on the above-described intra prediction or inter prediction.
  • the frequency converter 103A performs frequency conversion on a prediction error signal (hereinafter also referred to as a prediction error image) obtained by subtracting the prediction signal from the image signal of the BL image, based on the TU quadtree structure determined by the estimator 101A.
  • a prediction error image obtained by subtracting the prediction signal from the image signal of the BL image, based on the TU quadtree structure determined by the estimator 101A.
  • the quantizer 104A quantizes the frequency-transformed prediction error image (orthogonal transform coefficient).
  • the quantized orthogonal transform coefficient is referred to as a coefficient level.
  • a coefficient level having a value other than 0 is called a significant coefficient level.
  • the entropy encoder 107A entropy-encodes a split_cu_flag indicating a CU quadtree structure in units of CTUs, a PU block prediction parameter, a split_transform_flag indicating a TU quadtree structure, and a coefficient level, and a bit stream (low resolution layer (BL)) of a BL image Bitstream).
  • a group of parameters for entropy encoding is referred to as an encoding parameter.
  • the inverse quantization / inverse frequency converter 105A inversely quantizes the coefficient level. Further, the inverse quantization / inverse frequency converter 105A performs inverse frequency transform on the inversely quantized orthogonal transform coefficient.
  • the reconstructed prediction error image of the BL image subjected to inverse frequency conversion is supplied with a prediction signal and supplied to the buffer 106A as a reconstructed image of the BL image.
  • Buffer 106A stores the reconstructed image of the BL image for subsequent encoding processing.
  • the reconstructed image stored in the buffer 106A is acquired by the estimator 101A and the predictor 102A, and is used to determine the CU quadtree structure, the PU block prediction parameters, and the TU quadtree structure, and to generate a prediction signal.
  • the EL encoder 100B includes an estimator 101B, a predictor 102B, a frequency converter 103B, a quantizer 104B, an inverse quantization / inverse frequency converter 105B, a buffer 106B, an entropy encoder 107B, and an upsampler 108. .
  • Each CTU of the frame of the input image (EL image) input to the EL encoder 100B is divided into variable-size CUs based on the quadtree structure.
  • the prediction error of each CU of the EL image is divided into variable-size TUs based on the quadtree structure, similar to the CTU.
  • the estimator 101B determines a CU quadtree structure, a PU block prediction parameter, and a TU quadtree structure for each CTU of an EL image.
  • the predictor 102B generates a prediction signal for the image signal of the CU of the EL image based on the CU quadtree structure and the PU block prediction parameter determined by the estimator 101B.
  • the prediction signal is generated based on the above-described intra prediction, inter prediction, or inter-layer prediction.
  • the frequency converter 103B performs frequency conversion on the prediction error image obtained by subtracting the prediction signal from the image signal of the EL image based on the TU quadtree structure determined by the estimator 101B.
  • the quantizer 104B quantizes the frequency-transformed prediction error image (orthogonal transform coefficient).
  • the entropy encoder 107B entropy-encodes the split_cu_flag indicating the quad tree structure of the CU of the EL image, the block prediction parameter of the PU, the split_transform_flag indicating the quad tree structure of the TU, and the coefficient level, and generates an EL image bit stream (EL bit stream). ) Is output.
  • the inverse quantization / inverse frequency converter 105B performs inverse quantization on the coefficient level. Further, the inverse quantization / inverse frequency converter 105B performs inverse frequency conversion on the inversely quantized orthogonal transform coefficient.
  • the reconstructed prediction error image subjected to the inverse frequency transform is supplied with a prediction signal and supplied to the buffer 106B as a reconstructed image.
  • the upsampler 108 upsamples the reconstructed image of the BL image.
  • the buffer 106B stores the reconstructed image of the EL image and the reconstructed image of the BL image upsampled by the upsampler 108 for subsequent encoding processing.
  • Data stored in the buffer 106B is acquired from the estimator 101B and the predictor 102B, and is used to determine a CU quadtree structure, PU block prediction parameters, and TU quadtree structure, and to generate a prediction signal.
  • the multiplexer 110 multiplexes the BL bit stream and the EL bit stream to generate a scalable bit stream. Based on the above-described operation, the video encoding device 10 generates a scalable bit stream from the input image.
  • the structure of an input image (EL image) and a low resolution image (BL image) obtained by down-sampling the input image may be different.
  • the EL image is a progressive image (hereinafter referred to as a progressive image)
  • the BL image is an interlaced image (hereinafter referred to as an interlaced image).
  • the information in the time direction is half that of the EL image.
  • the present disclosure has been made in view of the above problems, and the purpose of the present disclosure is to provide a high-quality scalable bit even when the image input to the upper layer and the image input to the lowest layer are different.
  • An object of the present invention is to provide a technique capable of outputting a stream.
  • a video encoding device includes an enhancement layer encoder that encodes an input image as an enhancement layer and outputs an enhancement layer bitstream, and a low-resolution image in which the input image is downsampled.
  • a base layer encoder that encodes a low-resolution image having a structure different from that of the input image as a base layer and outputs a base layer bit stream, and multiplexes the base layer bit stream and the enhancement layer bit stream
  • a video encoding method includes an enhancement layer encoder that encodes an input image as an enhancement layer and outputs an enhancement layer bitstream, and a low-resolution image obtained by down-sampling the input image. And a base layer encoder that encodes as a base layer and outputs a base layer bit stream, and a video encoding that includes a multiplexer that generates a scalable bit stream obtained by multiplexing the base layer bit stream and the enhancement layer bit stream
  • the low resolution image has a structure different from that of the input image
  • the enhancement layer encoder is an image corresponding to the input image in a time direction.
  • the reconstructed image of the low-resolution image is processed, the up-sampling process is performed on the image corresponding to the input image in the time direction, and the encoding process is performed using the image that has been subjected to the up-sampling process .
  • FIG. 1 is a block diagram showing an example of a video encoding device 20 according to the present embodiment.
  • the video encoding apparatus 20 according to the present embodiment includes a BL encoder 100A, an EL encoder 200B, a downsampler 109, and a multiplexer 110.
  • the configuration and operation of the BL encoder 100A of the video encoding device 20 are the same as the configuration and operation of the BL encoder 100A in the video encoding device 10 shown in FIG.
  • the operations of the downsampler 109 and the multiplexer 110 of the video encoding device 20 are the same as the operations of the downsampler 109 and the multiplexer 110 in the video encoding device 10 shown in FIG.
  • the input image is, for example, a progressive image (for example, 4K60p).
  • the BL image obtained by down-sampling the input image is an interlaced image. That is, the down-sampler 109 performs progressive interlace conversion on the input image, thereby converting a frame composed of a top field of a frame of the input image and a bottom field of the next frame of the input image into a BL image. Output as.
  • This BL image is input to the BL encoder 100A.
  • the video encoding device 20 is described as a configuration including the downsampler 109, but the video encoding device 20 may not include the downsampler 109.
  • the video encoding device 20 uses the low resolution image as an input of the BL encoder 100A, and inputs The image may be input to the EL encoder 200B. That is, the downsampler 109 may be realized by a device different from the video encoding device 20.
  • the input image and the BL image obtained by down-sampling the input image may be input to the video encoding device 20.
  • the EL encoder 200B includes an estimator 101B, a predictor 102B, a frequency converter 103B, a quantizer 104B, an inverse quantization / inverse frequency converter 105B, a buffer 106B, an entropy encoder 107B, and An adaptive upsampling unit 208 is provided.
  • the EL encoder 200B is configured to include an adaptive upsampler 208 instead of the upsampler 108 of the EL encoder 100B shown in FIG.
  • the operations of the estimator 101B, the predictor 102B, the frequency converter 103B, the quantizer 104B, the inverse quantization / inverse frequency converter 105B, the buffer 106B, and the entropy encoder 107B are the operations described with reference to FIG. Since this is the same, the description thereof is omitted.
  • the adaptive upsampling unit 208 receives the reconstructed image of the BL image stored in the buffer 106A of the BL encoder 100A as an input.
  • the configuration and operation of the adaptive upsampling unit 208 will be described.
  • FIG. 2 is a block diagram showing an example of the configuration of the adaptive upsampling unit 208 in the EL encoder 200B of the video encoding device 20 according to the present embodiment.
  • the adaptive upsampling unit 208 includes a deinterlacing unit 2081 and an upsampler 2082.
  • the deinterlacing unit 2081 processes the reconstructed image of the BL image so as to become an image corresponding to the input image in the time direction. Specifically, the deinterlacing unit 2081 deinterlaces the reconstructed image of the BL image, and sets the deinterlaced image as an image corresponding to the input image in the time direction. Then, the deinterlacing unit 2081 supplies the deinterlaced image to the upsampler 2082.
  • the upsampler 2082 receives the deinterlaced image from the deinterlace unit 2081.
  • the upsampler 2082 upsamples the deinterlaced image.
  • the operation of the upsampler 2082 is the same as that of the upsampler 108 described above.
  • the image up-sampled by the up-sampler 2082 (referred to as an up-sampled image) is stored in the buffer 106B as in the EL encoder 100B. Thereby, the upsampled image can be used for the subsequent encoding process.
  • a reconstructed image (frame) of the BL image is generated from a top field generated from a frame of a certain input image and a frame subsequent to the above frame. It consists of a generated bottom field. That is, the number of frames in the time direction of the reconstructed image of the BL image is half that of the original input image. Therefore, when the EL encoder 100B encodes the EL image, as shown in FIG. 14, the frame generated using (referring to) the upsampled image of the reconstructed image of the BL image, and without reference The generated frame (shaded frame in FIG. 14) is generated. Therefore, when a scalable bit stream including an EL bit stream generated using such a reconstructed image is decoded by a display device or the like, there is a portion where information in the time direction is lost. May appear unnatural.
  • the encoding process in the EL encoder 200B of the video encoding device 20 according to the present embodiment will be described with reference to FIG. Since the reconstructed image of the BL image is an interlaced image as described above, it becomes a frame composed of a top field and a bottom field. In FIG. 3, the bottom field portion is shaded.
  • the deinterlacing unit 2081 divides the reconstructed image into a top field and a bottom field by deinterlacing the reconstructed image of such a BL image.
  • the top field is generated when the downsampler 109 performs a downsampling process on a certain frame (referred to as a first frame) of the input image.
  • the bottom field is generated when the downsampling unit 109 performs a downsampling process on the next frame (referred to as a second frame) after the first frame. Therefore, the top field is an image corresponding to the first frame in the time direction, and the bottom field is an image corresponding to the second frame in the time direction.
  • the EL encoder 200B encodes the first frame using the upsampled top field as a reference image. Similarly, the EL encoder 200B encodes the second frame using the bottom field upsampled by the upsampler 2082 as a reference image.
  • the EL encoder 200B performs an encoding process using an image having information corresponding to the input image in the time direction as a reference image, and generates an encoded frame. be able to.
  • FIG. 4 is a flowchart showing an example of the operation flow of the adaptive upsampling unit 208 in the video encoding device 20 according to the present embodiment.
  • the deinterlacing unit 2081 of the adaptive upsampling unit 208 deinterlaces the reconstructed image of the BL image (step S41). Then, the upsampler 2082 of the adaptive upsampling unit 208 performs upsampling processing on the image deinterlaced by the deinterlacing unit 2081 (step S42).
  • the upsampled image (upsampled image) is stored in the buffer 106B and used for the subsequent encoding process.
  • the EL encoder 200B performs an encoding process using an image having information corresponding to an input image in the time direction as a reference image, and generates an encoded frame. can do. Therefore, video coding apparatus 20 according to the present embodiment can output a scalable bitstream having time-direction information. Since such a scalable bit stream has information in the time direction as compared with the case of FIG. 14, it is possible to prevent deterioration in image quality such as clogging. Therefore, the video encoding device 20 can output a high-quality scalable bitstream even when the EL image and the BL image have different structures.
  • the video encoding apparatus 30 includes a BL encoder 100A, an EL encoder 300B, a downsampler 109, and a multiplexer 110 as described in FIG.
  • the EL encoder 300B includes an adaptive upsampling unit 308 instead of the adaptive upsampling unit 208 of the EL encoder 200B.
  • FIG. 5 is a block diagram showing an example of the configuration of the adaptive upsampling unit 308 in the EL encoder 300B of the video encoding device 30 according to the present embodiment.
  • the adaptive upsampling unit 308 includes a duplicating unit 3081 and an upsampler 3082.
  • the duplicating unit 3081 processes the reconstructed image of the BL image so as to become an image corresponding to the input image in the time direction. Specifically, the duplication unit 3081 duplicates the reconstructed image of the BL image, and the reconstructed image and the duplicated reconstructed image (duplicated image) are images corresponding to the input image in the time direction. To do. Then, the duplicating unit 3081 supplies the reconstructed image and the duplicated image to the upsampler 3082.
  • the upsampler 3082 receives the reconstructed image and the duplicate image from the duplication unit 3081. Then, the upsampler 3082 upsamples the reconstructed image and the duplicate image. The operation of the upsampler 3082 is the same as that of the upsampler 108 described above.
  • the upsampled image upsampled by the upsampler 3082 is stored in the buffer 106B as in the EL encoder 100B. Thereby, the upsampled image can be used for the subsequent encoding process.
  • the encoding process in the EL encoder 300B of the video encoding device 30 according to the present embodiment will be further described with reference to FIG. Since the reconstructed image of the BL image is an interlaced image as described above, it becomes a frame composed of a top field and a bottom field. In FIG. 6, the bottom field portion is shaded.
  • the duplicating unit 3081 duplicates such a reconstructed image of the BL image.
  • the top field is generated when the downsampler 109 performs the downsampling process on the first frame of the input image.
  • the bottom field is generated when the downsampler 109 performs a downsampling process on the second frame that is the next frame after the first frame. Therefore, the top field of the reconstructed image to be duplicated corresponds to the first frame in the time direction, and the bottom field of the duplicated reconstructed image corresponds to the second frame in the time direction. Therefore, the reconstructed image and the duplicate image obtained by duplicating the reconstructed image are images corresponding to the input image in the time direction.
  • the EL encoder 300B encodes the first frame using the upsampled reconstructed image as a reference image. Similarly, the EL encoder 300B encodes the second frame using the duplicate image upsampled by the upsampler 3082 as a reference image.
  • the EL encoder 300B performs an encoding process using an image having information corresponding to the input image in the time direction as a reference image, and generates an encoded frame. be able to.
  • FIG. 7 is a flowchart showing an example of the operation flow of the adaptive upsampling unit 308 in the video encoding device 30 according to the present embodiment.
  • the duplicating unit 3081 of the adaptive upsampling unit 308 duplicates the reconstructed image of the BL image (step S71). Then, the upsampler 3082 of the adaptive upsampling unit 208 performs upsampling processing on the reconstructed image and the reconstructed image (duplicated image) duplicated by the duplicating unit 3081 (step S72).
  • the upsampled image (upsampled image) is stored in the buffer 106B and used for the subsequent encoding process.
  • the EL encoder 300B performs an encoding process using an image having information corresponding to an input image in the time direction as a reference image, and generates an encoded frame. can do. Therefore, the video encoding device 30 according to the present embodiment can output a scalable bitstream having information in the time direction. Since such a scalable bit stream has information in the time direction as compared with the case of FIG. 14, it is possible to prevent deterioration in image quality such as clogging.
  • the image that the upsampling unit 3082 of the EL encoder 300B performs the upsampling process is a frame including both the top field and the bottom field. Therefore, the image referred to when the EL encoder 300B of the video encoding device 30 according to the present embodiment performs the encoding process has more spatial direction information than the image referred to by the EL encoder 200B. Including. Therefore, the video encoding device 30 according to the present embodiment can generate a scalable bitstream that includes more information in the spatial direction than the video encoding device 20.
  • the video encoding device 30 can alleviate the deterioration of the image quality in the spatial direction, so that even if the structure of the EL image and the BL image is different, a higher-quality scalable bitstream is output. Can do.
  • FIG. 8 is a block diagram showing an example of the video encoding device 40 according to the present embodiment.
  • the video encoding device 40 according to the present embodiment includes a BL encoder 100A, an EL encoder 400B, a downsampler 109, and a multiplexer 110.
  • the EL encoder 400B includes an adaptive upsampling unit 408 instead of the adaptive upsampling unit 208 of the EL encoder 200B or the adaptive upsampling unit 308 of the EL encoder 300B.
  • the estimator 101B of the EL encoder 400B is configured to supply the determined PU block prediction parameter to the adaptive upsampling unit 408. This difference information will be described later.
  • FIG. 9 is a block diagram showing an example of the configuration of the adaptive upsampling unit 408 in the EL encoder 400B of the video encoding device 40 according to the present embodiment.
  • the adaptive upsampling unit 408 includes a processing selection unit 4081, an upsampler 4082, and a processing unit 4083.
  • the processing unit 4083 includes a deinterlacing unit 2081 and a duplicating unit 3081.
  • the operations of the deinterlacing unit 2081 and the duplicating unit 3081 included in the processing unit 4083 are the same as those of the deinterlacing unit 2081 and the duplicating unit 3081 described above, respectively.
  • the upsampler 4082 performs an upsampling process on the image output from the deinterlacing unit 2081 and / or the duplicating unit 3081, similarly to the upsampler 2082 and the upsampler 3082.
  • the upsampled image output from the upsampler 4082 is stored in the buffer 106B.
  • the process selection unit 4081 selects which process of deinterlacing by the deinterlacing unit 2081 and replication by the duplicating unit 3081 is performed based on the output of the estimator 101B.
  • FIG. 10 is a flowchart illustrating an example of the flow of operations of the adaptive upsampling unit 408 and the estimator 101B in the video encoding device 40 according to the present embodiment.
  • the process selection unit 4081 confirms whether or not the determination result is received from the estimator 101B (step S101). If the determination result has not been received (NO in step S101), since the estimator 101B has not performed processing using the reconstructed image of the BL image input to the processing selection unit 4081, the process proceeds to step S102. If the determination result has been received (YES in step S101), the process proceeds to step S104.
  • the process selection unit 4081 supplies the input reconstructed image of the BL image to the deinterlace unit 2081 and the duplication unit 3081.
  • the deinterlacing unit 2081 executes Step S41 shown in FIG. That is, the deinterlacing unit 2081 deinterlaces the reconstructed image of the BL image.
  • the upsampler 4082 executes Step S42. That is, the upsampler 4082 performs upsampling processing on the deinterlaced image (step S102).
  • the duplication unit 3081 executes Step S71 illustrated in FIG. That is, the duplication unit 3081 duplicates the reconstructed image of the BL image.
  • the upsampler 4082 executes Step S72. That is, the upsampler 4082 performs upsampling processing on the reconstructed image and the duplicate image (step S103). Note that step S102 and step S103 may be performed simultaneously or in reverse order.
  • the upsampler 4082 stores the image upsampled in step S102 and the image upsampled in step S103 in the buffer 106B.
  • the estimator 101B can acquire difference information using the upsampled image. That is, the estimator 101B represents (1) first difference information representing a difference between an upsampled image after deinterlacing and an input image, and (2) a difference between the upsampled image after duplication processing and the input image. Of the second difference information, the smaller difference information size is determined to be an upsampled image with a low coding cost. Then, the estimator 101B supplies the determination result to the process selection unit 4081.
  • the process selection unit 4081 uses the determination result to select which process of deinterlacing by the deinterlacing unit 2081 and replication by the duplicating unit 3081 is to be performed. That is, the process selection unit 4081 selects a process with a smaller difference information size (step S104).
  • the processing unit 4083 executes the selected process based on the selection result. That is, either the deinterlacing process shown in step S41 or the duplication process shown in step S71 is executed (step S105).
  • step S106 the upsampler 4082 performs upsampling processing based on the output of step S105. That is, step S42 or step S72 is executed (step S106).
  • the estimator 101B uses the upsampled image stored in the buffer 106B to perform a full search for the CU quadtree structure, the PU block prediction parameter, and the TU quadtree structure for each CTU. The smallest combination (the best coding efficiency) is determined. At this time, the estimator 101B determines a PU block prediction parameter that minimizes the coding cost, for example, by the following method.
  • the amount of information generated by selecting a certain prediction is PredInfo_x (x is intra prediction (hereinafter referred to as intra), inter prediction (hereinafter referred to as inter), or Inter-layer prediction (hereinafter referred to as inter-layer prediction)).
  • x is intra prediction (hereinafter referred to as intra), inter prediction (hereinafter referred to as inter), or Inter-layer prediction (hereinafter referred to as inter-layer prediction)).
  • the difference between the input image and the predicted image is Diff_x.
  • the estimator 101B compares the following (a) to (c) and selects the prediction method that minimizes the estimation method.
  • the estimator 101B can determine the PU block prediction parameter. Subsequent processing is the same as the processing described with reference to FIG.
  • video encoding apparatus 40 performs deinterlacing processing or duplication processing based on the selection result by processing selection section 4081, and upsamples the processed image. Thereby, the video encoding device 40 can suppress the encoding cost in addition to the effects of the video encoding device 20 and the video encoding device 30 according to the first and second embodiments described above.
  • the processing unit 4083 performs both the deinterlacing processing and the duplication processing before selection, and the processing with the lower coding cost is selected.
  • the operation of the processing selection unit 4081 of the video encoding device 40 according to the embodiment is not limited to this.
  • the process selection unit 4081 may select whether to perform a deinterlacing process or a duplication process based on a selection result for a predetermined number of frames in the past.
  • the process selection unit 4081 may store which process has been selected in the past in a storage unit or the like (not shown). Thereby, since the EL encoder 400B does not need to perform the deinterlacing process and the duplication process once, the processing amount in the EL encoder 400B can be reduced.
  • the encoding method of the EL encoder (200B, 300B, 400B) and the encoding method of the BL encoder 100A may be the same or different. May be used.
  • the encoding method of the EL encoder (200B, 300B, 400B) is HEVC
  • the encoding method of the BL encoder 100A is HEVC, H.264, or the like.
  • H.264 MPEG4-AVC (Moving Picture Experts Group phase 4-Advanced Video Coding)
  • MPEG-2 MPEG-2.
  • each of the above embodiments can be configured by a hardware circuit, it can also be realized by a computer program.
  • the information processing system illustrated in FIG. 11 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block shown in FIG. 1, FIG. 2, FIG. 5, FIG. Then, the processor 1001 implements the function of the video encoding device shown in FIG. 1 or FIG. 8 by executing processing according to the program stored in the program memory 1002.
  • FIG. 12 is a block diagram illustrating a main part of a video encoding device according to the present disclosure.
  • the video encoding apparatus includes an enhancement layer encoder 500, a base layer encoder 510, and a multiplexer 520.
  • the enhancement layer encoder 500 encodes the input image as an enhancement layer, and outputs an enhancement layer bitstream.
  • the enhancement layer encoder 500 is realized by, for example, the EL encoder 200B, the EL encoder 300B, or the EL encoder 400B shown in FIG.
  • the base layer encoder 510 encodes, as a base layer, a low resolution image having a structure different from the input image, which is a low resolution image obtained by down-sampling the input image, and outputs a base layer bit stream.
  • the input image has a progressive structure
  • the low-resolution image has an interlace structure.
  • the base layer encoder 510 is realized by, for example, the BL encoder 100A illustrated in FIG. 1 or FIG.
  • the multiplexer 520 generates a scalable bit stream obtained by multiplexing the base layer bit stream and the enhancement layer bit stream.
  • the multiplexer 520 is realized by, for example, the multiplexer 110 illustrated in FIG. 1 or FIG.
  • the enhancement layer encoder 500 includes a processing unit 501 and an upsampling unit 502.
  • the processing unit 501 processes the reconstructed image of the low resolution image so as to become an image corresponding to the input image in the time direction.
  • the processing unit 501 is realized by, for example, the deinterlacing unit 2081 illustrated in FIG. 2 or FIG. 9 or the duplicating unit 3081 illustrated in FIG. 5 or FIG.
  • the processing unit 501 supplies the processed image (image corresponding to the input image in the time direction) to the upsample unit 502.
  • the upsampling unit 502 receives the processed image from the processing unit 501.
  • the upsampling unit 502 performs upsampling processing on the received image.
  • the upsampler 502 is realized by, for example, the upsampler 2082 shown in FIG. 2, the upsampler 3082 shown in FIG. 5, or the upsampler 4082 shown in FIG.
  • the enhancement layer encoder 500 performs an encoding process using the image upsampled as described above.
  • An enhancement layer encoder that encodes an input image as an enhancement layer and outputs an enhancement layer bitstream
  • a base layer encoder that encodes, as a base layer, a low resolution image having a structure different from that of the input image, wherein the input image is a down-sampled low-resolution image, and outputs a base layer bitstream
  • a multiplexer that generates a scalable bitstream obtained by multiplexing the base layer bitstream and the enhancement layer bitstream
  • the enhancement layer encoder is a processing means for processing the reconstructed image of the low-resolution image so as to be an image corresponding to the input image in the time direction; Up-sampling means for performing up-sampling processing on the image corresponding to the input image in the time direction,
  • the video enhancement apparatus wherein the enhancement layer encoder performs an encoding process using an image on which the upsampling process has been performed.
  • the processing means deinterlaces the reconstructed image of the low resolution image, and the deinterlaced image is an image corresponding to the input image in the time direction,
  • the video encoding apparatus according to appendix 2, wherein the upsampling means performs upsampling processing on a deinterlaced image.
  • the processing means duplicates the reconstructed image of the low-resolution image, and sets the reconstructed image and the duplicated image of the reconstructed image as images corresponding to the input image in the time direction,
  • the video encoding apparatus according to appendix 2, wherein the up-sampling means performs up-sampling processing on the reconstructed image or a duplicate image of the reconstructed image.
  • the processing means includes Deinterlacing means for deinterlacing the reconstructed image of the low resolution image, and deinterlacing the image corresponding to the input image in the time direction; A duplicating unit that duplicates the reconstructed image of the low-resolution image, and makes the reconstructed image and the duplicated image of the reconstructed image an image corresponding to the input image in the time direction,
  • the enhancement layer encoder further includes processing selection means for selecting which of deinterlacing by the deinterlacing means and duplication by the duplicating means is performed.
  • the video encoding apparatus according to appendix 2, wherein the processing means performs the deinterlacing or the duplication processing based on a selection result by the processing selection means.
  • the processing selection unit is configured to output first difference information that is a difference between an image obtained by performing upsampling processing on the deinterlaced image and the input image, and the reconstructed image or a duplicate image of the reconstructed image. 6.
  • the processing selecting unit selects whether to perform deinterlacing by the deinterlacing unit or duplication by the duplicating unit based on a selection result for a predetermined number of frames in the past.
  • An enhancement layer encoder that encodes an input image as an enhancement layer and outputs an enhancement layer bitstream, and a base that encodes a low-resolution image obtained by downsampling the input image as a base layer and outputs a base layer bitstream
  • a video encoding method in a video encoding device comprising: a layer encoder; and a multiplexer that generates a scalable bitstream obtained by multiplexing the base layer bitstream and the enhancement layer bitstream,
  • the low resolution image has a different structure from the input image;
  • the enhancement layer encoder processes the reconstructed image of the low resolution image so as to be a corresponding image to the input image in the time direction; Performing an upsampling process on the image corresponding to the input image in the time direction;
  • a video encoding method wherein an encoding process is performed using an image that has been subjected to the upsampling process.
  • the input image is a progressive image
  • the low resolution image is an interlaced image.
  • An enhancement layer encoder that encodes an input image as an enhancement layer and outputs an enhancement layer bitstream, and a base that encodes a low-resolution image obtained by downsampling the input image as a base layer and outputs a base layer bitstream
  • a computer including a video encoder including: a layer encoder; and a multiplexer that generates a scalable bitstream in which the base layer bitstream and the enhancement layer bitstream are multiplexed.
  • a computer-readable non-transitory recording medium for recording a program characterized in that the processing for encoding using the upsampled image is executed.
  • the input image is a progressive image
  • the low resolution image is an interlaced image.
  • Item 11 The recording medium according to appendix 10, wherein

Abstract

上位レイヤと最下位レイヤとの夫々に入力される画像の構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することが可能な技術を提供する。映像符号化装置は、入力画像をエンハンスメントレイヤ（ＥＬ）として符号化し、ＥＬビットストリームを出力するＥＬ符号化器と、入力画像がダウンサンプルされた、入力画像とは異なる構造を有する低解像度画像を、ベースレイヤ（ＢＬ）として符号化し、ＢＬビットストリームを出力するＢＬ符号化器と、スケーラブルビットストリームを生成するマルチプレクサとを備え、ＥＬ符号化器は、時間方向において入力画像に対して対応する画像となるように、低解像度画像の再構築画像を処理する処理部と、時間方向において入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル部とを備え、ＥＬ符号化器は、アップサンプル処理が行われた画像を用いて符号化処理を行う。

Description

映像符号化装置、映像符号化方法および記録媒体
　本開示は、映像符号化装置、映像符号化方法および記録媒体に関する。
　超高精細度テレビジョン放送（スーパーハイビジョン）の映像信号を受け付けて表示する表示装置に関する技術が特許文献１に記載されている。
　また、映像信号のエンコーディングまたはデコーディング時に層間動き予測を行う方法が、例えば、特許文献２に記載されている。
特開２０１４－２３６２４１号公報 特表２００９－５２２９８２号公報 国際公開第２０１５／１９００７８号
　ところで、スケーラブル符号化方式の符号化技術であって、例えば、Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｖｉｄｅｏ　ｃｏｄｉｎｇ（ＨＥＶＣ）におけるＳｃａｌａｂｌｅ　Ｈｉｇｈ－ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（ＳＨＶＣ）を用いた映像符号化方式に関連する技術が特許文献３に記載されている。この映像符号化方式では、入力画像をダウンサンプリングして得られた低解像度画像が低解像度層（最下位レイヤまたはＢＬ：Ｂａｓｅ　Ｌａｙｅｒ）として符号化され、入力画像が高解像度層（上位レイヤまたはＥＬ：Ｅｎｈａｎｃｅｍｅｎｔ　Ｌａｙｅｒ）として符号化される。
　ＢＬに対応する解像度の画像の各フレームおよびＥＬに対応する解像度の画像の各フレームは、符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ　Ｔｒｅｅ　Ｕｎｉｔ）に分割されて符号化される。ＣＴＵは、クアッドツリー構造で符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ　Ｕｎｉｔ）に分割されて符号化される。各ＣＵは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ　Ｕｎｉｔ）に分割されて予測される。また、各ＣＵの予測誤差は、クアッドツリー構造で、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ　Ｕｎｉｔ）に分割されて周波数変換される。なお、最大サイズのＣＵおよび最小サイズのＣＵを、ＬＣＵ（Ｌａｒｇｅｓｔ　Ｃｏｄｉｎｇ　Ｕｎｉｔ　：最大符号化ユニット）およびとＳＣＵ（Ｓｍａｌｌｅｓｔ　Ｃｏｄｉｎｇ　Ｕｎｉｔ：最小符号化ユニット）と呼ぶ。
　ＣＵは、イントラ予測／フレーム間予測／レイヤ間予測の符号化単位である。以下、イントラ予測、フレーム間予測およびレイヤ間予測を説明する。
　イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。
　フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。
　動きベクトルの予測として、ＡＭＶＰ（Ａｄｖａｎｃｅｄ　Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｐｒｅｄｉｃｔｉｏｎ　）とマージモードとの２種類がある。ＡＭＶＰは、参照ピクチャの動きベクトルを用いて、動きベクトルの差分が最小となるように動きベクトルを予測する技術である。ＡＭＶＰでは、参照ピクチャインデックス、ＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、ＡＭＶＰ予測動きベクトルの組が伝送される。マージモードは、参照ピクチャの動きベクトルをそのまま流用する技術である。マージモードでは、マージ予測が有効であることを示すマージフラグと、流用する動きベクトルと関連づけられたマージ候補インデックスとの組が伝送される。
　レイヤ間予測は、符号化済みのＢＬの再構築フレームのアップサンプル画像を用いるインター予測である。レイヤ間予測では、符号化済みＢＬの再構築フレームを、ＥＬのフレームと同じ解像度にアップサンプルしたアップサンプル画像をフレーム間予測することによって、レイヤ間予測信号が生成される。
　以下、イントラ予測を用いるＣＵをイントラＣＵ、インター予測を用いるＣＵをインターＣＵ、レイヤ間予測を用いるＣＵをレイヤ間ＣＵと呼ぶ。
　なお、イントラＣＵのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラＣＵだけでなく、インターＣＵやレイヤ間ＣＵも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＣＵを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。
　次に、図１３を参照して、特許文献３に関連する技術として、各解像度画像の各フレームの各ＣＴＵを入力画像としてビットストリームを出力する映像符号化装置であってスケーラブル符号化方式を用いる映像符号化装置の構成と動作を説明する。
　図１３に示す映像符号化装置１０は、ＢＬを符号化する低解像度層ＨＥＶＣエンコーダ（ＢＬ符号化器）１００Ａ、ＥＬを符号化する高解像度層ＨＥＶＣエンコーダ（ＥＬ符号化器）１００Ｂ、ダウンサンプル器１０９、およびマルチプレクサ１１０を備える。ダウンサンプル器１０９は、入力画像をダウンサンプルして得られた低解像度画像（ＢＬ画像）をＢＬ符号化器１００Ａに供給する。
　ＢＬ符号化器１００Ａは、推定器１０１Ａ、予測器１０２Ａ、周波数変換器１０３Ａ、量子化器１０４Ａ、逆量子化／逆周波数変換器１０５Ａ、バッファ１０６Ａ、およびエントロピー符号化器１０７Ａを備える。
　ＢＬ画像のフレームの各ＣＴＵは、クアッドツリー構造に基づいて、可変サイズのＣＵに分割される。ＢＬ画像の各ＣＵの予測誤差は、ＣＴＵと同様に、クアッドツリー構造に基づいて、可変サイズのＴＵに分割される。
　具体的には、推定器１０１Ａは、例えば符号化コストを最小にするＣＵ分割形状すなわちＣＵクアッドツリー構造を決定する。また、推定器１０１Ａは、ＢＬ画像のＣＴＵ毎に、ＰＵのブロック予測パラメータ（以下、ＰＵブロック予測パラメータと呼ぶ）およびＴＵクアッドツリー構造を決定する。
　予測器１０２Ａは、推定器１０１Ａが決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＢＬ画像のＣＵに対する予測信号を生成する。予測信号は、上述したイントラ予測またはインター予測に基づいて生成される。
　周波数変換器１０３Ａは、推定器１０１Ａが決定したＴＵクアッドツリー構造に基づいて、ＢＬ画像の画像信号から予測信号を減じた予測誤差信号（以下、予測誤差画像とも呼ぶ）を周波数変換する。
　量子化器１０４Ａは、周波数変換された予測誤差画像（直交変換係数）を量子化する。以下、量子化された直交変換係数を係数レベルと呼ぶ。また、０以外の値を持つ係数レベルを有意係数レベルと呼ぶ。
　エントロピー符号化器１０７Ａは、ＣＴＵ単位のＣＵクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルをエントロピー符号化し、ＢＬ画像のビットストリーム（低解像度層（ＢＬ）ビットストリーム）を出力する。以後、エンロトピー符号化するパラメータ群を符号化パラメータと呼ぶ。
　逆量子化／逆周波数変換器１０５Ａは、係数レベルを逆量子化する。さらに、逆量子化／逆周波数変換器１０５Ａは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換されたＢＬ画像の再構築予測誤差画像は、予測信号が加えられて、ＢＬ画像の再構築画像としてバッファ１０６Ａに供給される。
　バッファ１０６Ａは、ＢＬ画像の再構築画像を以後の符号化処理のために格納する。バッファ１０６Ａに格納された再構築画像は、推定器１０１Ａおよび予測器１０２Ａによって取得され、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造の決定、予測信号の生成に用いられる。
　ＥＬ符号化器１００Ｂは、推定器１０１Ｂ、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆量子化／逆周波数変換器１０５Ｂ、バッファ１０６Ｂ、エントロピー符号化器１０７Ｂおよびアップサンプル器１０８を備える。
　ＥＬ符号化器１００Ｂに入力される入力画像（ＥＬ画像）のフレームの各ＣＴＵは、クアッドツリー構造に基づいて、可変サイズのＣＵに分割される。ＥＬ画像の各ＣＵの予測誤差は、ＣＴＵと同様に、クアッドツリー構造に基づいて、可変サイズのＴＵに分割される。
　推定器１０１Ｂは、ＥＬ画像のＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータおよびＴＵクアッドツリー構造を決定する。
　予測器１０２Ｂは、推定器１０１Ｂが決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＥＬ画像のＣＵの画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測、インター予測またはレイヤ間予測に基づいて生成される。
　周波数変換器１０３Ｂは、推定器１０１Ｂが決定したＴＵクアッドツリー構造に基づいて、ＥＬ画像の画像信号から予測信号を減じた予測誤差画像を周波数変換する。
　量子化器１０４Ｂは、周波数変換された予測誤差画像（直交変換係数）を量子化する。
　エントロピー符号化器１０７Ｂは、ＥＬ画像のＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵのブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルをエントロピー符号化し、ＥＬ画像のビットストリーム（ＥＬビットストリーム）を出力する。
　逆量子化／逆周波数変換器１０５Ｂは、係数レベルを逆量子化する。さらに、逆量子化／逆周波数変換器１０５Ｂは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、再構築画像としてバッファ１０６Ｂに供給される。
　アップサンプル器１０８は、ＢＬ画像の再構築画像をアップサンプルする。
　バッファ１０６Ｂは、ＥＬ画像の再構築画像と、アップサンプル器１０８によってアップサンプルされたＢＬ画像の再構築画像を以後の符号化処理のために格納する。バッファ１０６Ｂに格納されたデータは、推定器１０１Ｂおよび予測器１０２Ｂから取得され、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造の決定、予測信号の生成に用いられる。
　マルチプレクサ１１０は、ＢＬビットストリームとＥＬビットストリームとを多重化してスケーラブルビットストリームを生成する。上述した動作に基づいて、映像符号化装置１０は、入力画像からスケーラブルビットストリームを生成する。
　このような映像符号化装置１０において、入力画像（ＥＬ画像）と、該入力画像をダウンサンプルして得られた低解像度画像（ＢＬ画像）との構造が異なる場合がある。例えば、ＥＬ画像がプログレッシブ方式の画像（以下、プログレッシブ画像と呼ぶ）であり、ＢＬ画像がインターレース方式の画像（以下、インターレース画像と呼ぶ）である場合がある。このような場合、アップサンプル器１０８がバッファ１０６Ａから取得するＢＬ画像の再構築画像は、インターレース方式の画像であるため、時間方向の情報がＥＬ画像の半分になる。したがって、このような再構築画像を用いて生成したＥＬビットストリームを含むスケーラブルビットストリームを、例えば、特許文献１に記載の表示装置等で復号した場合、時間方向の情報が失われている箇所があるため、復号した映像がカクつき、不自然に見えてしまう場合がある。つまり、上記場合では、復号した映像の画質が劣化してしまう可能性がある。
　本開示は、上記課題に鑑みてなされたものであり、その目的は、上位レイヤに入力される画像と最下位レイヤに入力される画像との構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することが可能な技術を提供することにある。
　本開示の一態様に係る映像符号化装置は、入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像であって、前記入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを備え、前記エンハンスメントレイヤ符号化器は、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理する処理手段と、前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル手段と、を備え、前記エンハンスメントレイヤ符号化器は、前記アップサンプル処理が行われた画像を用いて符号化処理を行う。
　また、本開示の一態様に係る映像符号化方法は、入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置における映像符号化方法であって、前記低解像度画像は、前記入力画像とは異なる構造を有し、前記エンハンスメントレイヤ符号化器が、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理し、前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行い、前記アップサンプル処理が行われた画像を用いて符号化処理を行う。
　なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。
　上位レイヤに入力される画像と最下位レイヤに入力される画像との構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することができる。
第１の実施の形態に係る映像符号化装置の一例を示すブロック図である。 第１の実施の形態に係る映像符号化装置における適応アップサンプル部の一例を示すブロック図である。 第１の実施の形態に係る映像符号化装置のＥＬ符号化器における符号化処理を説明するための図である。 第１の実施の形態における映像符号化装置における適応アップサンプル部の動作の一例を示すフローチャートである。 第２の実施の形態に係る映像符号化装置における適応アップサンプル部の一例を示すブロック図である。 第２の実施の形態に係る映像符号化装置のＥＬ符号化器における符号化処理を説明するための図である。 第２の実施の形態における映像符号化装置における適応アップサンプル部の動作の一例を示すフローチャートである。 第３の実施の形態に係る映像符号化装置の一例を示すブロック図である。 第３の実施の形態に係る映像符号化装置における適応アップサンプル部の一例を示すブロック図である。 第３の実施の形態における映像符号化装置における適応アップサンプル部および推定器の動作の一例を示すフローチャートである。 本開示による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本開示による映像符号化装置の主要部を示すブロック図である。 スケーラブル符号化方式を用いる映像符号化装置の一例を示すブロック図である。 図１３の映像符号化装置のＥＬ符号化器における符号化処理を説明するための図である。
　＜第１の実施の形態＞
　第１の実施の形態に係る映像符号化装置について、図面を参照して説明する。図１は、本実施の形態に係る映像符号化装置２０の一例を示すブロック図である。本実施の形態に係る映像符号化装置２０は、ＢＬ符号化器１００Ａ、ＥＬ符号化器２００Ｂ、ダウンサンプル器１０９およびマルチプレクサ１１０を備える。映像符号化装置２０のＢＬ符号化器１００Ａの構成および動作は、図１３に示した映像符号化装置１０におけるＢＬ符号化器１００Ａの構成および動作と同じである。また、映像符号化装置２０のダウンサンプル器１０９およびマルチプレクサ１１０の動作も、図１３に示した映像符号化装置１０におけるダウンサンプル器１０９およびマルチプレクサ１１０の動作と同様である。
　本実施の形態において、入力画像は、例えばプログレッシブ方式の画像（例えば、４Ｋ６０ｐ）であるとする。また、入力画像をダウンサンプルしたＢＬ画像は、インターレース方式の画像である。つまり、ダウンサンプル器１０９は、入力画像に対し、プログレッシブ・インターレース変換を行うことにより、入力画像のあるフレームのトップフィールドと、該入力画像の次のフレームのボトムフィールドとからなるフレームを、ＢＬ画像として出力する。このＢＬ画像は、ＢＬ符号化器１００Ａに入力される。
　なお、本実施の形態において、映像符号化装置２０は、ダウンサンプル器１０９を含む構成として説明を行うが、映像符号化装置２０は、ダウンサンプル器１０９を含まなくてもよい。例えば、入力画像と対応し、該入力画像よりも低解像度の画像が他の装置等から取得可能な場合、映像符号化装置２０は、該低解像度画像をＢＬ符号化器１００Ａの入力とし、入力画像をＥＬ符号化器２００Ｂの入力としてもよい。つまり、ダウンサンプル器１０９は、映像符号化装置２０とは異なる装置で実現されてもよい。そして、入力画像と、該入力画像をダウンサンプルしたＢＬ画像とを、映像符号化装置２０に入力する構成であってもよい。
　ＥＬ符号化器２００Ｂは、図１に示す通り、推定器１０１Ｂ、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆量子化／逆周波数変換器１０５Ｂ、バッファ１０６Ｂ、エントロピー符号化器１０７Ｂおよび適応アップサンプル部２０８を備える。ＥＬ符号化器２００Ｂは、図１３に示すＥＬ符号化器１００Ｂのアップサンプル器１０８に代えて適応アップサンプル部２０８を備える構成である。なお、推定器１０１Ｂ、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆量子化／逆周波数変換器１０５Ｂ、バッファ１０６Ｂおよびエントロピー符号化器１０７Ｂの動作は、図１３を用いて説明した動作と同様であるため、その説明を省略する。
　適応アップサンプル部２０８は、ＢＬ符号化器１００Ａのバッファ１０６Ａに格納された、ＢＬ画像の再構築画像を入力とする。以下では、適応アップサンプル部２０８の構成および動作について説明する。
　図２は、本実施の形態に係る映像符号化装置２０のＥＬ符号化器２００Ｂにおける適応アップサンプル部２０８の構成の一例を示すブロック図である。図２に示す通り、適応アップサンプル部２０８は、デインターレース部２０８１と、アップサンプル器２０８２とを備える。
　デインターレース部２０８１は、時間方向において入力画像に対して対応する画像となるように、ＢＬ画像の再構築画像を処理する。具体的には、デインターレース部２０８１は、ＢＬ画像の再構築画像をデインターレースし、デインターレースした画像を、時間方向において入力画像に対して対応する画像とする。そして、デインターレース部２０８１は、デインターレースした画像をアップサンプル器２０８２に供給する。
　アップサンプル器２０８２は、デインターレース部２０８１からデインターレースした画像を受け取る。そして、アップサンプル器２０８２は、デインターレースした画像をアップサンプルする。アップサンプル器２０８２の動作は、上述したアップサンプル器１０８と同様である。
　アップサンプル器２０８２によってアップサンプルされた画像（アップサンプル画像と呼ぶ）は、ＥＬ符号化器１００Ｂと同様に、バッファ１０６Ｂに格納される。これにより、アップサンプル画像は、以後の符号化処理に用いられることができる。
　図３および図１４を用いて、ＥＬ符号化器２００Ｂの動作についてさらに説明する。まず、図１４を用いて、上述した映像符号化装置１０のＥＬ符号化器１００Ｂにおける符号化処理を説明する。
　上述した通り、ＥＬ画像がプログレッシブ画像であり、ＢＬ画像がインターレース画像の場合、ＢＬ画像の再構築画像（フレーム）は、ある入力画像のフレームから生成されたトップフィールドと上記フレームの次のフレームから生成されたボトムフィールドとからなる。つまり、ＢＬ画像の再構築画像の時間方向におけるフレーム数は、元の入力画像に比べ、半分になる。よって、ＥＬ符号化器１００ＢがＥＬ画像の符号化を行う場合、図１４に示す通り、ＢＬ画像の再構築画像のアップサンプル画像を用いて（参照して）生成したフレームと、参照せずに生成したフレーム（図１４における網掛けのフレーム）とが生成されることになる。したがって、このような再構築画像を用いて生成したＥＬビットストリームを含むスケーラブルビットストリームを、表示装置等で復号した場合、時間方向の情報が失われている箇所があるため、復号した映像がカクつき、不自然に見えてしまう場合がある。
　次に、本実施の形態に係る映像符号化装置２０のＥＬ符号化器２００Ｂにおける符号化処理を、図３を用いて説明する。ＢＬ画像の再構築画像は、上述したとおり、インターレース画像であるため、トップフィールドとボトムフィールドとからなるフレームとなる。図３では、ボトムフィールドの部分を網掛けで示している。
　デインターレース部２０８１は、このようなＢＬ画像の再構築画像をデインターレースすることにより、再構築画像をトップフィールドとボトムフィールドとに分ける。トップフィールドは、入力画像のあるフレーム（第１フレームと呼ぶ）に対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。そして、ボトムフィールドは、上記第１フレームの次のフレーム（第２フレームと呼ぶ）に対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。したがって、トップフィールドは、第１フレームに対して時間方向において対応する画像であり、ボトムフィールドは、第２フレームに対して時間方向において対応する画像となる。
　そして、アップサンプル器２０８２がトップフィールドをアップサンプルすることにより、ＥＬ符号化器２００Ｂは、該アップサンプルされたトップフィールドを参照画像として用いて、第１フレームを符号化する。同様に、ＥＬ符号化器２００Ｂは、アップサンプル器２０８２がアップサンプルしたボトムフィールドを参照画像として用いて、第２フレームを符号化する。
　これにより、図３に示す通り、ＥＬ符号化器２００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。
　次に、図４を用いて、本実施の形態における映像符号化装置２０における適応アップサンプル部２０８の動作の流れについて説明する。図４は、本実施の形態における映像符号化装置２０における適応アップサンプル部２０８の動作の流れの一例を示すフローチャートである。
　図４に示す通り、適応アップサンプル部２０８のデインターレース部２０８１は、ＢＬ画像の再構築画像をデインターレースする（ステップＳ４１）。そして、適応アップサンプル部２０８のアップサンプル器２０８２は、デインターレース部２０８１がデインターレースした画像に対し、アップサンプル処理を行う（ステップＳ４２）。
　アップサンプル処理された画像（アップサンプル画像）は、バッファ１０６Ｂに格納され、後の符号化処理に用いられることになる。
　以上のように、本実施の形態のＥＬ符号化器２００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。したがって、本実施の形態に係る映像符号化装置２０は、時間方向の情報を有したスケーラブルビットストリームを出力することができる。このようなスケーラブルビットストリームは、図１４の場合に比べ、時間方向の情報を有した状態であるため、カクつき等の画質の劣化を防ぐことができる。よって、映像符号化装置２０は、ＥＬ画像とＢＬ画像との構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することができる。
　＜第２の実施の形態＞
　第２の実施の形態に係る映像符号化装置について、図面を参照して説明する。本実施の形態に係る映像符号化装置３０は、上述した図１に記載の通り、ＢＬ符号化器１００Ａ、ＥＬ符号化器３００Ｂ、ダウンサンプル器１０９およびマルチプレクサ１１０を備える。ＥＬ符号化器３００Ｂは、ＥＬ符号化器２００Ｂの適応アップサンプル部２０８に代えて、適応アップサンプル部３０８を備える構成である。
　図５は、本実施の形態に係る映像符号化装置３０のＥＬ符号化器３００Ｂにおける適応アップサンプル部３０８の構成の一例を示すブロック図である。図５に示す通り、適応アップサンプル部３０８は、複製部３０８１と、アップサンプル器３０８２とを備える。
　複製部３０８１は、時間方向において入力画像に対して対応する画像となるように、ＢＬ画像の再構築画像を処理する。具体的には、複製部３０８１は、ＢＬ画像の再構築画像を複製し、該再構築画像と、複製した再構築画像（複製画像）とを、時間方向において入力画像に対して対応する画像とする。そして、複製部３０８１は、再構築画像と、複製画像とを、アップサンプル器３０８２に供給する。
　アップサンプル器３０８２は、複製部３０８１から再構築画像と、複製画像とを受け取る。そして、アップサンプル器３０８２は、再構築画像と、複製画像とをアップサンプルする。アップサンプル器３０８２の動作は、上述したアップサンプル器１０８と同様である。
　アップサンプル器３０８２によってアップサンプルされたアップサンプル画像は、ＥＬ符号化器１００Ｂと同様に、バッファ１０６Ｂに格納される。これにより、アップサンプル画像は、以後の符号化処理に用いられることができる。
　本実施の形態に係る映像符号化装置３０のＥＬ符号化器３００Ｂにおける符号化処理を、図６を用いて更に説明する。ＢＬ画像の再構築画像は、上述したとおり、インターレース画像であるため、トップフィールドとボトムフィールドとからなるフレームとなる。図６では、ボトムフィールドの部分を網掛けで示している。
　複製部３０８１は、このようなＢＬ画像の再構築画像を複製する。トップフィールドは、入力画像の第１フレームに対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。そして、ボトムフィールドは、上記第１フレームの次のフレームである第２フレームに対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。したがって、複製される再構築画像のトップフィールドは、第１フレームに対して時間方向において対応しており、複製された再構築画像のボトムフィールドは、第２フレームに対して時間方向において対応する。したがって、再構築画像と、この再構築画像を複製した複製画像とは、夫々、入力画像に対して時間方向において対応する画像となる。
　そして、アップサンプル器３０８２が再構築画像をアップサンプルすることにより、ＥＬ符号化器３００Ｂは、該アップサンプルされた再構築画像を参照画像として用いて、第１フレームを符号化する。同様に、ＥＬ符号化器３００Ｂは、アップサンプル器３０８２がアップサンプルした複製画像を参照画像として用いて、第２フレームを符号化する。
　これにより、図６に示す通り、ＥＬ符号化器３００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。
　次に、図７を用いて、本実施の形態における映像符号化装置３０における適応アップサンプル部３０８の動作の流れについて説明する。図７は、本実施の形態における映像符号化装置３０における適応アップサンプル部３０８の動作の流れの一例を示すフローチャートである。
　図７に示す通り、適応アップサンプル部３０８の複製部３０８１は、ＢＬ画像の再構築画像を複製する（ステップＳ７１）。そして、適応アップサンプル部２０８のアップサンプル器３０８２は、再構築画像および複製部３０８１が複製した再構築画像（複製画像）に対し、アップサンプル処理を行う（ステップＳ７２）。
　アップサンプル処理された画像（アップサンプル画像）は、バッファ１０６Ｂに格納され、後の符号化処理に用いられることになる。
　以上のように、本実施の形態のＥＬ符号化器３００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。したがって、本実施の形態に係る映像符号化装置３０は、時間方向の情報を有したスケーラブルビットストリームを出力することができる。このようなスケーラブルビットストリームは、図１４の場合に比べ、時間方向の情報を有した状態であるため、カクつき等の画質の劣化を防ぐことができる。
　また、ＥＬ符号化器３００Ｂのアップサンプル器３０８２がアップサンプル処理を行う画像は、トップフィールドもボトムフィールドも含むフレームである。したがって、本実施の形態に係る映像符号化装置３０のＥＬ符号化器３００Ｂが符号化処理を行う際に参照する画像は、ＥＬ符号化器２００Ｂが参照する画像に比べ、空間方向の情報を多く含む。したがって、本実施の形態に係る映像符号化装置３０は、映像符号化装置２０よりも空間方向の情報をより多く含んだスケーラブルビットストリームを生成することができる。
　これにより、映像符号化装置３０は、空間方向の画質の劣化を緩和することができるため、ＥＬ画像とＢＬ画像との構造が異なる場合であっても更に高画質なスケーラブルビットストリームを出力することができる。
　＜第３の実施の形態＞
　第３の実施の形態に係る映像符号化装置について、図面を参照して説明する。図８は、本実施の形態に係る映像符号化装置４０の一例を示すブロック図である。本実施の形態に係る映像符号化装置４０は、ＢＬ符号化器１００Ａ、ＥＬ符号化器４００Ｂ、ダウンサンプル器１０９およびマルチプレクサ１１０を備える。ＥＬ符号化器４００Ｂは、ＥＬ符号化器２００Ｂの適応アップサンプル部２０８またはＥＬ符号化器３００Ｂの適応アップサンプル部３０８に代えて、適応アップサンプル部４０８を備える構成である。また、ＥＬ符号化器４００Ｂの推定器１０１Ｂは、決定したＰＵブロック予測パラメータを適応アップサンプル部４０８に供給する構成である。この差分情報については後述する。
　図９は、本実施の形態に係る映像符号化装置４０のＥＬ符号化器４００Ｂにおける適応アップサンプル部４０８の構成の一例を示すブロック図である。図９に示す通り、適応アップサンプル部４０８は、処理選択部４０８１、アップサンプル器４０８２および処理部４０８３を備える。処理部４０８３は、デインターレース部２０８１および複製部３０８１を含む。
　処理部４０８３に含まれるデインターレース部２０８１および複製部３０８１の動作は、夫々、上述したデインターレース部２０８１および複製部３０８１と同様である。
　アップサンプル器４０８２は、アップサンプル器２０８２およびアップサンプル器３０８２と同様に、デインターレース部２０８１および／または複製部３０８１から出力された画像に対してアップサンプル処理を施す。アップサンプル器４０８２から出力されたアップサンプル画像は、バッファ１０６Ｂに格納される。
　処理選択部４０８１は、推定器１０１Ｂの出力に基づいて、デインターレース部２０８１によるデインターレースおよび複製部３０８１による複製の何れの処理を行うかを選択する。
　次に、図１０を用いて、本実施の形態における映像符号化装置４０における適応アップサンプル部４０８および推定器１０１Ｂの動作の流れについて説明する。図１０は、本実施の形態における映像符号化装置４０における適応アップサンプル部４０８および推定器１０１Ｂの動作の流れの一例を示すフローチャートである。
　まず、処理選択部４０８１が、推定器１０１Ｂから判定結果を受け取っているか否かを確認する（ステップＳ１０１）。判定結果を受け取っていない場合（ステップＳ１０１にてＮＯ）、推定器１０１Ｂが処理選択部４０８１に入力されるＢＬ画像の再構築画像を用いた処理を行っていないため、処理をステップＳ１０２に進める。判定結果を受け取っている場合（ステップＳ１０１にてＹＥＳ）、処理はステップＳ１０４に進む。
　判定結果を受け取っていない場合、処理選択部４０８１は、入力されたＢＬ画像の再構築画像をデインターレース部２０８１および複製部３０８１に供給する。これにより、デインターレース部２０８１は、図４に示すステップＳ４１を実行する。即ち、デインターレース部２０８１は、ＢＬ画像の再構築画像をデインターレースする。そして、アップサンプル器４０８２は、ステップＳ４２を実行する。即ち、アップサンプル器４０８２は、デインターレースした画像に対し、アップサンプル処理を行う（ステップＳ１０２）。また、複製部３０８１は、図７に示すステップＳ７１を実行する。即ち、複製部３０８１は、ＢＬ画像の再構築画像を複製する。そして、アップサンプル器４０８２は、ステップＳ７２を実行する。即ち、アップサンプル器４０８２は、再構築画像および複製画像に対し、アップサンプル処理を行う（ステップＳ１０３）。なお、ステップＳ１０２およびステップＳ１０３は同時に行われてもよいし、逆順で行われてもよい。
　そして、アップサンプル器４０８２は、ステップＳ１０２でアップサンプルされた画像およびステップＳ１０３でアップサンプルされた画像をバッファ１０６Ｂに格納する。これにより、推定器１０１Ｂは、アップサンプルされた画像を用いて、差分情報を取得することができる。即ち、推定器１０１Ｂは、（１）デインターレース後のアップサンプル画像と入力画像との差分を表す第１差分情報と、（２）複製処理後のアップサンプル画像と、入力画像との差分を表す第２差分情報と、のうち、差分情報のサイズが小さい方を、符号化コストが小さいアップサンプル画像であると判定する。そして、推定器１０１Ｂは、判定結果を、処理選択部４０８１に供給する。処理選択部４０８１は、判定結果を用いて、デインターレース部２０８１によるデインターレースおよび複製部３０８１による複製の何れの処理を行うかを選択する。つまり、処理選択部４０８１は、差分情報のサイズが小さくなる方の処理を選択する（ステップＳ１０４）。
　そして、処理部４０８３は、選択結果に基づいて、選択された方の処理を実行する。即ち、ステップＳ４１に示したデインターレース処理またはステップＳ７１に示した複製処理の何れかが実行される（ステップＳ１０５）。
　その後、アップサンプル器４０８２は、ステップＳ１０５の出力に基づいて、アップサンプル処理を行う。つまり、ステップＳ４２またはステップＳ７２が実行される（ステップＳ１０６）。
　これにより、推定器１０１Ｂは、バッファ１０６Ｂに格納されたアップサンプル処理画像を用いて、ＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータおよびＴＵクアッドツリー構造を全探索して、符号化コストが最小となる（最も符号化効率のよい）組み合わせを決定する。このとき、推定器１０１Ｂは、例えば、以下に示す方法で、符号化コストが最小となるＰＵブロック予測パラメータを決定する。
　例えば、ある予測（イントラ予測、インター予測、レイヤ間予測）を選択することにより発生する情報量をＰｒｅｄＩｎｆｏ＿ｘ（ｘは、イントラ予測（以下、イントラと呼ぶ）、インター予測（以下、インターと呼ぶ）またはレイヤ間予測（以下、レイヤ間と呼ぶ））とする。入力画像と、予測画像との差分をＤｉｆｆ＿ｘとする。そして、推定器１０１Ｂは、以下の（ａ）～（ｃ）を比較し、最小となる予測方法を選択する。
（ａ）ＰｒｅｄＩｎｆｏ＿イントラ＋Ｄｉｆｆ＿イントラ
（ｂ）ＰｒｅｄＩｎｆｏ＿インター＋Ｄｉｆｆ＿インター
（ｃ）ＰｒｅｄＩｎｆｏ＿レイヤ間＋Ｄｉｆｆ＿レイヤ間
　なお、レイヤ間予測の場合、上述したステップＳ１０６によってアップサンプルされたアップサンプル画像を用いる。つまり、レイヤ間予測の場合、デインターレース処理後のアップサンプル画像または複製処理後のアップサンプル画像の何れかを用いる。
　これにより、推定器１０１Ｂは、ＰＵブロック予測パラメータを決定することができる。その後の処理は、図１３を用いて説明した処理と同様である。
　以上のように、本実施の形態に係る映像符号化装置４０は、処理選択部４０８１による選択結果に基づいて、デインターレース処理または複製処理を行い、処理後の画像をアップサンプルする。これにより、映像符号化装置４０は、上述した第１および第２の実施の形態に係る映像符号化装置２０および映像符号化装置３０の効果に加え、符号化コストを抑えることができる。
　なお、図１０に示す処理では、選択の前に、処理部４０８３においてデインターレース処理と複製処理との両方の処理を行ったうえで、符号化コストが小さくなる方の処理を選択したが、本実施の形態に係る映像符号化装置４０の処理選択部４０８１の動作はこれに限定されるものではない。処理選択部４０８１は、例えば、過去の所定分のフレームに対する選択結果に基づいて、デインターレース処理または複製処理の何れの処理を行うかを選択してもよい。このとき、過去にどちらの処理を選択したのかを処理選択部４０８１は自身の図示しない記憶部等に記憶しておけばよい。これにより、ＥＬ符号化器４００Ｂは、一度、デインターレース処理および複製処理を行わなくてもよいため、ＥＬ符号化器４００Ｂにおける処理量を削減することができる。
　なお、上記の各実施の形態において、ＥＬ符号化器（２００Ｂ、３００Ｂ、４００Ｂ）の符号化方法と、ＢＬ符号化器１００Ａとの符号化方法とは、同じであってもよいし、異なる方法を用いてもよい。例えば、ＥＬ符号化器（２００Ｂ、３００Ｂ、４００Ｂ）の符号化方法がＨＥＶＣである場合、ＢＬ符号化器１００Ａの符号化方法は、ＨＥＶＣ、Ｈ．２６４（ＭＰＥＧ４－ＡＶＣ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｐｈａｓｅ　４－Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ））またはＭＰＥＧ－２であってもよい。
　また、上記の各実施の形態を、ハードウェア回路で構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１１に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図１１に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図２、図５、図８または図９に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１または図８に示された映像符号化装置の機能を実現する。
　図１２は、本開示による映像符号化装置の主要部を示すブロック図である。図１２に示すように、映像符号化装置は、エンハンスメントレイヤ符号化器５００と、ベースレイヤ符号化器５１０と、マルチプレクサ５２０と、を備える。
　エンハンスメントレイヤ符号化器５００は、入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力する。エンハンスメントレイヤ符号化器５００は、例えば、図１に示すＥＬ符号化器２００Ｂ、ＥＬ符号化器３００Ｂまたは図８に示すＥＬ符号化器４００Ｂで実現される。
　ベースレイヤ符号化器５１０は、入力画像がダウンサンプルされた低解像度画像であって、入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力する。例えば、入力画像がプログレッシブ方式の構造を有し、低解像度画像がインターレース方式の構造を有する。ベースレイヤ符号化器５１０は、例えば、図１または図８に示すＢＬ符号化器１００Ａで実現される。
　マルチプレクサ５２０は、ベースレイヤビットストリームとエンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成する。マルチプレクサ５２０は、例えば、図１または図８に示すマルチプレクサ１１０で実現される。
　エンハンスメントレイヤ符号化器５００は、処理部５０１と、アップサンプル部５０２とを備える。処理部５０１は、低解像度画像の再構築画像を、時間方向において入力画像に対して対応する画像となるように処理する。処理部５０１は、例えば、図２または図９に示すデインターレース部２０８１または図５または図９に示す複製部３０８１によって実現される。処理部５０１は、処理を行った画像（時間方向において、入力画像に対応する画像）をアップサンプル部５０２に供給する。
　アップサンプル部５０２は、処理部５０１から処理が行われた画像を受け取る。アップサンプル部５０２は受け取った画像に対し、アップサンプル処理を行う。アップサンプル部５０２は、例えば、図２に示すアップサンプル器２０８２、図５に示すアップサンプル器３０８２または図９に示すアップサンプル器４０８２によって実現される。
　以上のようにしてアップサンプルされた画像を用いて、エンハンスメントレイヤ符号化器５００は、符号化処理を行う。
　なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、
　前記入力画像がダウンサンプルされた低解像度画像であって、前記入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、
　前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを備え、
　前記エンハンスメントレイヤ符号化器は、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理する処理手段と、
　前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル手段と、を備え、
　前記エンハンスメントレイヤ符号化器は、前記アップサンプル処理が行われた画像を用いて符号化処理を行う、ことを特徴とする映像符号化装置。
　（付記２）
　前記入力画像は、プログレッシブ方式の画像であり、
　前記低解像度画像は、インターレース方式の画像である、
　ことを特徴とする付記１に記載の映像符号化装置。
　（付記３）
　前記処理手段は、前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とし、
　前記アップサンプル手段は、デインターレースした画像に対し、アップサンプル処理を行う、ことを特徴とする付記２に記載の映像符号化装置。
　（付記４）
　前記処理手段は、前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とし、
　前記アップサンプル手段は、前記再構築画像または前記再構築画像の複製画像に対し、アップサンプル処理を行う、ことを特徴とする付記２に記載の映像符号化装置。
　（付記５）
　前記処理手段は、
　　前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とするデインターレース手段と、
　　前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とする複製手段と、を含み、
　前記エンハンスメントレイヤ符号化器は、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する処理選択手段を更に備え、
　前記処理手段は、前記処理選択手段による選択結果に基づいて、前記デインターレースまたは前記複製の処理を行う、ことを特徴とする付記２に記載の映像符号化装置。
　（付記６）
　前記処理選択手段は、前記デインターレースした画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第１差分情報と、前記再構築画像または前記再構築画像の複製画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第２差分情報とのうち、差分が小さい方の処理を選択する、ことを特徴とする付記５に記載の映像符号化装置。
　（付記７）
　前記処理選択手段は、過去の所定分のフレームに対する選択結果に基づいて、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する、ことを特徴とする付記５に記載の映像符号化装置。
　（付記８）
　入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置における映像符号化方法であって、
　前記低解像度画像は、前記入力画像とは異なる構造を有し、
　前記エンハンスメントレイヤ符号化器が、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理し、
　前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行い、
　前記アップサンプル処理が行われた画像を用いて符号化処理を行う、ことを特徴とする映像符号化方法。
　（付記９）
　前記入力画像は、プログレッシブ方式の画像であり、
　前記低解像度画像は、インターレース方式の画像である、
　ことを特徴とする付記８に記載の映像符号化方法。
　（付記１０）
　入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置を含むコンピュータに、
　前記入力画像とは異なる構造を有する前記低解像度画像の再構築画像を、時間方向において前記入力画像に対して対応する画像となるように処理する処理と、
　前記時間方向において、前記入力画像に対応する画像に対してアップサンプルする処理と、
　前記アップサンプルされた画像を用いて符号化する処理と、を実行させることを特徴とするプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
　（付記１１）
　前記入力画像は、プログレッシブ方式の画像であり、
　前記低解像度画像は、インターレース方式の画像である、
　ことを特徴とする付記１０に記載の記録媒体。
　この出願は、２０１６年６月６日に出願された日本出願特願２０１６－１１２４８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０、２０、３０、４０　　映像符号化装置
　１００Ａ　　ＢＬ符号化器
　１００Ｂ　　ＥＬ符号化器
　１０１Ａ、１０１Ｂ　　推定器
　１０２Ａ、１０２Ｂ　　予測器
　１０３Ａ、１０３Ｂ　　周波数変換器
　１０４Ａ、１０４Ｂ　　量子化器
　１０５Ａ、１０５Ｂ　　逆量子化／逆周波数変換器
　１０６Ａ、１０６Ｂ　　バッファ
　１０７Ａ、１０７Ｂ　　エントロピー符号化器
　１０８　　アップサンプル器
　１０９　　ダウンサンプル器
　１１０　　マルチプレクサ
　２０８、３０８、４０８　　適応アップサンプル部
　２００Ｂ、３００Ｂ、４００Ｂ　　ＥＬ符号化器
　２０８１　　デインターレース部
　３０８１　　複製部
　４０８１　　処理選択部
　２０８２、３０８２、４０８２　　アップサンプル器
　４０８３　　処理部
　５００　　エンハンスメントレイヤ符号化器
　５０１　　処理部
　５０２　　アップサンプル部
　５１０　　ベースレイヤ符号化器
　５２０　　マルチプレクサ
　１００１　　プロセッサ
　１００２　　プログラムメモリ
　１００３、１００４　　記憶媒体

Claims (11)

  1. 　入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、
    　前記入力画像がダウンサンプルされた低解像度画像であって、前記入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、
    　前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを備え、
    　前記エンハンスメントレイヤ符号化器は、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理する処理手段と、
    　前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル手段と、を備え、
    　前記エンハンスメントレイヤ符号化器は、前記アップサンプル処理が行われた画像を用いて符号化処理を行う、ことを特徴とする映像符号化装置。
  2. 　前記入力画像は、プログレッシブ方式の画像であり、
    　前記低解像度画像は、インターレース方式の画像である、
    　ことを特徴とする請求項１に記載の映像符号化装置。
  3. 　前記処理手段は、前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とし、
    　前記アップサンプル手段は、デインターレースした画像に対し、アップサンプル処理を行う、ことを特徴とする請求項２に記載の映像符号化装置。
  4. 　前記処理手段は、前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とし、
    　前記アップサンプル手段は、前記再構築画像または前記再構築画像の複製画像に対し、アップサンプル処理を行う、ことを特徴とする請求項２に記載の映像符号化装置。
  5. 　前記処理手段は、
    　　前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とするデインターレース手段と、
    　　前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とする複製手段と、を含み、
    　前記エンハンスメントレイヤ符号化器は、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する処理選択手段を更に備え、
    　前記処理手段は、前記処理選択手段による選択結果に基づいて、前記デインターレースまたは前記複製の処理を行う、ことを特徴とする請求項２に記載の映像符号化装置。
  6. 　前記処理選択手段は、前記デインターレースした画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第１差分情報と、前記再構築画像または前記再構築画像の複製画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第２差分情報とのうち、差分が小さい方の処理を選択する、ことを特徴とする請求項５に記載の映像符号化装置。
  7. 　前記処理選択手段は、過去の所定分のフレームに対する選択結果に基づいて、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する、ことを特徴とする請求項５に記載の映像符号化装置。
  8. 　入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置における映像符号化方法であって、
    　前記低解像度画像は、前記入力画像とは異なる構造を有し、
    　前記エンハンスメントレイヤ符号化器が、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理し、
    　前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行い、
    　前記アップサンプル処理が行われた画像を用いて符号化処理を行う、ことを特徴とする映像符号化方法。
  9. 　前記入力画像は、プログレッシブ方式の画像であり、
    　前記低解像度画像は、インターレース方式の画像である、
    　ことを特徴とする請求項８に記載の映像符号化方法。
  10. 　入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置を含むコンピュータに、
    　前記入力画像とは異なる構造を有する前記低解像度画像の再構築画像を、時間方向において前記入力画像に対して対応する画像となるように処理する処理と、
    　前記時間方向において、前記入力画像に対応する画像に対してアップサンプルする処理と、
    　前記アップサンプルされた画像を用いて符号化する処理と、を実行させることを特徴とするプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  11. 　前記入力画像は、プログレッシブ方式の画像であり、
    　前記低解像度画像は、インターレース方式の画像である、
    　ことを特徴とする請求項１０に記載の記録媒体。
PCT/JP2017/020547 2016-06-06 2017-06-02 映像符号化装置、映像符号化方法および記録媒体 WO2017213033A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018522449A JP6635197B2 (ja) 2016-06-06 2017-06-02 映像符号化装置、映像符号化方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-112481 2016-06-06
JP2016112481 2016-06-06

Publications (1)

Publication Number Publication Date
WO2017213033A1 true WO2017213033A1 (ja) 2017-12-14

Family

ID=60578700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020547 WO2017213033A1 (ja) 2016-06-06 2017-06-02 映像符号化装置、映像符号化方法および記録媒体

Country Status (2)

Country Link
JP (1) JP6635197B2 (ja)
WO (1) WO2017213033A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006521727A (ja) * 2003-03-03 2006-09-21 トムソン ライセンシング インタレースデジタルビデオデータのスケーラブル符号化および復号化
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
JP2007081983A (ja) * 2005-09-15 2007-03-29 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006521727A (ja) * 2003-03-03 2006-09-21 トムソン ライセンシング インタレースデジタルビデオデータのスケーラブル符号化および復号化
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
JP2007081983A (ja) * 2005-09-15 2007-03-29 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム

Also Published As

Publication number Publication date
JPWO2017213033A1 (ja) 2019-03-22
JP6635197B2 (ja) 2020-01-22

Similar Documents

Publication Publication Date Title
US7787540B2 (en) Method for scalably encoding and decoding video signal
JP4991761B2 (ja) 映像信号のエンコーディング／デコーディング方法
RU2479939C2 (ru) Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
EP2524505B1 (en) Edge enhancement for temporal scaling with metadata
JP2007189698A (ja) スムージング予測を利用した多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダおよびビデオデコーダ
JP2018533286A (ja) 画像の符号化／復号化方法及びこれのために装置
KR20140138538A (ko) 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
US20140192884A1 (en) Method and device for processing prediction information for encoding or decoding at least part of an image
US10484687B2 (en) Method and apparatus for image encoding and decoding
JP6055098B2 (ja) 映像復号方法及びそれを利用する装置
US10187641B2 (en) Method and apparatus for encoding/decoding multilayer video signal
JP2022526726A (ja) 符号化ビデオストリームにおける適応パラメータセット参照および制約のための方法
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20140064364A1 (en) Methods and devices for inter-layer prediction in scalable video compression
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP5137119B2 (ja) ビデオ画像の階層符号化法
KR20140138544A (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
JP6484097B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
US10708606B2 (en) Multilayer video signal encoding/decoding method and device
KR101652072B1 (ko) 멀티 레이어 비디오의 움직임 정보 탐색 방법 및 장치
WO2015190078A1 (ja) 映像符号化装置、映像符号化方法および記録媒体
KR100878825B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP6635197B2 (ja) 映像符号化装置、映像符号化方法およびプログラム
RU2384970C1 (ru) Способ межслойного предсказания для видеосигнала

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018522449

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17810211

Country of ref document: EP

Kind code of ref document: A1