WO2014097913A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2014097913A1
WO2014097913A1 PCT/JP2013/082937 JP2013082937W WO2014097913A1 WO 2014097913 A1 WO2014097913 A1 WO 2014097913A1 JP 2013082937 W JP2013082937 W JP 2013082937W WO 2014097913 A1 WO2014097913 A1 WO 2014097913A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
layer
reference image
list
Prior art date
Application number
PCT/JP2013/082937
Other languages
English (en)
French (fr)
Inventor
良知 高橋
央二 中神
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014553079A priority Critical patent/JP6233656B2/ja
Priority to US14/650,640 priority patent/US9992513B2/en
Priority to CN201380065339.3A priority patent/CN104854868B/zh
Publication of WO2014097913A1 publication Critical patent/WO2014097913A1/ja
Priority to US15/934,129 priority patent/US10375415B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly to an image processing apparatus and method that can efficiently change a view reference relationship in hierarchical encoding or multi-view encoding.
  • H.264 / AVC High Efficiency Video Coding
  • JCTVC Joint Collaboration Team-Video Coding
  • Standardization of the encoding method is underway.
  • standardization of encoding for multi-viewpoint images is being promoted in parallel, and Non-Patent Document 1 has been issued as a draft for encoding multi-viewpoint images.
  • a reference list which is a list in which reference image candidates for decoding a B picture are arranged in priority order is generated in order from the top of the reference images arranged in priority order in a temporal list which is a temporary list.
  • Non-Patent Document 1 whether to add a long-time reference image or a short-time reference image to the temporal list can be switched by SPS (Slice Parameter Set) or a slice header.
  • SPS Selice Parameter Set
  • VPS Video Parameter Set
  • Non-Patent Document 2 proposes SEI (Supplemental Enhancement Information) for changing the reference relationship of views.
  • Non-Patent Document 2 since what is proposed in Non-Patent Document 2 is SEI, the generation of the default reference list was not affected. Therefore, in order to change the reference relationship of a specific view, it is necessary to describe the reference relationship of all the views.
  • the present disclosure has been made in view of such a situation, and can efficiently change the reference relationship of views in hierarchical coding or multi-view coding.
  • An image processing apparatus includes a decoding unit that decodes a bitstream to generate an image, and a reference image that can be referred to in a layer direction that is referred to when an image obtained by decoding the bitstream is predicted
  • a prediction unit that predicts an image generated by the decoding unit with reference to a list of reference images generated based on layer reference image information for controlling each layer.
  • the layer reference image information is transmitted at regular intervals or picture units.
  • the layer reference image information is set in the sequence parameter set or slice header of the bit stream.
  • a reference list generation unit that generates a list of the reference images based on the layer reference image information may be further provided.
  • the reference list generation unit reverses the order of reference images that can be referred to in the layer direction in the L0 direction when the reference image that can be referred to in the layer direction is inserted into the reference image list in the L1 direction. Can be inserted.
  • the reference list generation unit can generate a list of reference images by adding a reference image whose layer reference image information indicates 1 among reference images that can be referred to in the layer direction.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among the reference images that can be referred to in the layer direction with respect to the L0 direction, and is a reference image that is positioned temporally before the image
  • the list of the reference images can be generated by combining the reference image located later in time than the image, the long-time reference image, and the reference image that can be referred to in the layer direction.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction with respect to the L1 direction, and is a reference image that is temporally positioned after the image; It is possible to generate a list of the reference images by combining a reference image positioned before the image in time, a long-time reference image, and a reference image that can be referred to in the layer direction.
  • the layer is a view.
  • An image processing method is capable of referring to a layer direction that is referred to when an image processing apparatus decodes a bitstream, generates an image, and predicts an image obtained by decoding the bitstream.
  • the generated image is predicted with reference to a list of reference images generated based on the layer reference image information for controlling the reference image for each layer.
  • An image processing device is configured by a setting unit configured to set layer reference image information for controlling a reference image that can be referred to in a layer direction referred to when predicting an image, and the setting unit
  • a prediction unit that generates a prediction image, and encoding the image using the prediction image generated by the prediction unit,
  • generated by the said encoding part, and the layer reference image information set by the said setting part are provided.
  • the transmission unit can transmit the layer reference image information set by the setting unit at regular intervals or in units of pictures.
  • the setting unit can set the layer reference image information in a sequence parameter set or a slice header of the bit stream.
  • a reference list generation unit that generates a list of the reference images based on the layer reference image information set by the setting unit can be further provided.
  • the reference list generation unit reverses the order of reference images that can be referred to in the layer direction in the L0 direction when the reference image that can be referred to in the layer direction is inserted into the reference image list in the L1 direction. Can be inserted.
  • the reference list generation unit can generate a list of reference images by adding a reference image whose layer reference image information indicates 1 among reference images that can be referred to in the layer direction.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among the reference images that can be referred to in the layer direction with respect to the L0 direction, and is a reference image that is positioned temporally before the image
  • the list of the reference images can be generated by combining the reference image located later in time than the image, the long-time reference image, and the reference image that can be referred to in the layer direction.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction with respect to the L1 direction, and is a reference image that is temporally positioned after the image; It is possible to generate a list of the reference images by combining a reference image positioned before the image in time, a long-time reference image, and a reference image that can be referred to in the layer direction.
  • the layer is a view.
  • An image processing method sets layer reference image information for controlling a reference image that can be referred to in a layer direction referred to when an image processing apparatus predicts an image, and sets the layer reference A prediction image is generated by referring to a list of reference images generated based on image information, encoded using the generated prediction image, a bit stream is generated, and the generated bit stream is set.
  • the layer reference image information is transmitted.
  • an image is generated by decoding a bitstream. Then, reference is made to a list of reference images generated based on layer reference image information for controlling the addition of reference images that can be referred to in the layer direction referred to when predicting an image obtained by decoding the bitstream. Thus, the generated image is predicted.
  • layer reference image information that controls a reference image that can be referred to in a layer direction that is referred to when predicting an image is set, and is generated based on the set layer reference image information
  • a predicted image is generated with reference to the list of reference images. Then, encoding is performed using the generated predicted image to generate a bitstream, and the generated bitstream and set layer reference image information are transmitted.
  • the above-described image processing apparatus may be an independent apparatus, or may be an internal block constituting one image encoding apparatus or image decoding apparatus.
  • an image can be decoded.
  • the view reference relationship can be efficiently changed in hierarchical coding or multi-view coding.
  • an image can be encoded.
  • the view reference relationship can be efficiently changed in hierarchical coding or multi-view coding.
  • FIG. 1 It is a figure which shows the example of the syntax of the slice header extension in this technique. It is a figure explaining the arrangement order between the interview images in this technique. It is a figure which shows the change method of the arrangement order between the interview images in this technique. It is a block diagram which shows the structural example of the reference list production
  • FIG. 20 is a block diagram illustrating a configuration example of a reference list generation unit in FIG. 19. It is a flowchart explaining the example of the flow of a process of the image decoding apparatus of FIG. It is a flowchart explaining the example of the flow of a decoding process. It is a flowchart explaining the example of the flow of a reference list production
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer. It is a block diagram which shows an example of a schematic structure of a television apparatus.
  • Scalable encoding is a scheme in which an image is divided into a plurality of layers (hierarchical) and encoded for each layer.
  • one image is divided into a plurality of images (layers) based on a predetermined parameter.
  • each layer is composed of difference data so that redundancy is reduced.
  • a base layer and an enhancement layer an image with lower quality than the original image can be obtained with only the base layer data, and the base layer data and the enhancement layer data are combined.
  • the original image that is, a high quality image
  • image compression information of only the base layer (base layer) is transmitted, and a moving image with a low spatiotemporal resolution or poor image quality is reproduced.
  • image enhancement information of the enhancement layer is transmitted.
  • Image compression information corresponding to the capabilities of the terminal and the network can be transmitted from the server without performing transcoding processing, such as playing a moving image with high image quality.
  • each picture is hierarchized into two layers: a base layer having a spatially lower resolution than the original image, and an enhancement layer from which the original image (original spatial resolution) can be obtained by combining with the base layer image.
  • a base layer having a spatially lower resolution than the original image
  • an enhancement layer from which the original image (original spatial resolution) can be obtained by combining with the base layer image.
  • temporal resolution temporary scalability
  • the frame rate is different for each layer. That is, in this case, layers are layered at different frame rates, and by adding a high frame rate layer to a low frame rate layer, a higher frame rate moving image can be obtained.
  • the original moving image original frame rate
  • This number of hierarchies is an example, and can be hierarchized to an arbitrary number of hierarchies.
  • each picture is hierarchized into two hierarchies: a base layer having an SNR lower than that of the original image and an enhancement layer from which the original image (original SNR) can be obtained by combining with the base layer image.
  • SNR scalability SNR scalability
  • the base layer image compression information information related to the low PSNR image is transmitted, and the enhancement layer (enhancement layer) image compression information is added to this to reconstruct a high PSNR image. It is possible.
  • this number of hierarchies is an example, and the number of hierarchies can be hierarchized.
  • the parameters for providing scalability may be other than the examples described above.
  • the base layer (base layer) consists of an 8-bit (bit) image, and by adding an enhancement layer (enhancement layer) to this, the bit-depth scalability (bit-depth scalability) can be obtained. is there.
  • base layer (base ⁇ ⁇ layer) consists of component images in 4: 2: 0 format, and by adding the enhancement layer (enhancement layer) to this, the chroma scalability (chroma) scalability).
  • the layers are hierarchized into layers of different views (viewpoints).
  • the layers described in this embodiment include the above-described scalability coding spatial, temporal, SNR, bit depth, color, view, and the like.
  • layer used in this specification includes the above-described scalable (hierarchical) coding layer and each view when considering a multi-view multi-view.
  • FIG. 1 illustrates a configuration of an embodiment of an image encoding device as an image processing device to which the present disclosure is applied.
  • the image encoding device 1 in FIG. 1 is configured to include a VPS setting unit 11, an SPS setting unit 12, a slice header setting unit 13, an encoding unit 14, and a transmission unit 15, and is an image such as a captured image. Is encoded using the HEVC method.
  • the VPS setting unit 11 of the image encoding device 1 receives setting information related to encoding by a user or the like from the previous stage (not shown).
  • the VPS setting unit 11 sets a VPS (Video Parameter Set) based on setting information by a user or the like from the previous stage (not shown), and supplies the set VPS to the SPS setting unit 12 together with the setting information.
  • VPS Video Parameter Set
  • the SPS setting unit 12 sets SPS (Sequence Parameter Set) based on the setting information from the VPS setting unit 11, and supplies the set SPS together with the VPS and setting information to the slice header setting unit 13.
  • SPS Sequence Parameter Set
  • the slice header setting unit 13 sets a slice header based on the setting information from the SPS setting unit 12, and supplies the set slice header to the encoding unit 14 together with the VPS and SPS. Note that the VPS, SPS, slice header, and the like may be encoded as necessary in each setting unit.
  • the encoding unit 14 receives a multi-viewpoint image such as a captured image in units of frames as an input signal.
  • the encoding unit 14 refers to the VPS, SPS, and header information of the slice header from the slice header setting unit 13, and encodes the input signal using the HEVC method. Then, the encoding unit 14 generates an encoded stream from the encoded data obtained as a result, the VPS, the SPS, the slice header, and the like, and supplies the generated encoded stream to the transmission unit 15.
  • the transmission unit 15 transmits the encoded stream supplied from the encoding unit 14 to the image decoding device 151 in FIG.
  • PPS Picture Parameter Set
  • VUI Video Usability Information
  • SEI Supplemental Enhancement Information
  • FIG. 2 is a block diagram illustrating a configuration example of the encoding unit 14 of FIG.
  • the encoding unit 14 refers to each header information from the slice header setting unit 13 as necessary, and encodes the input signal by the HEVC method. That is, the encoding unit 14 performs processing in units of CU (coding unit).
  • the encoding unit 14 includes an A / D (Analog / Digital) conversion unit 101, a screen rearrangement buffer 102, a calculation unit 103, an orthogonal transformation unit 104, a quantization unit 105, a lossless encoding unit 106, And a storage buffer 107.
  • the encoding unit 14 includes an inverse quantization unit 108, an inverse orthogonal transform unit 109, a calculation unit 110, a deblock filter 111, a decoded picture buffer 112, a selection unit 113, an intra prediction unit 114, and a motion parallax prediction / compensation unit 115. , A selection unit 116, and a rate control unit 117.
  • the encoding unit 14 further includes a syntax processing unit 121, a reference list generation unit 122, an adaptive offset filter 123, and an adaptive loop filter 124.
  • the A / D conversion unit 101 performs A / D conversion on the input image data, outputs it to the screen rearrangement buffer 102, and stores it.
  • the screen rearrangement buffer 102 rearranges the stored frame images in the display order in the order of frames for encoding in accordance with the GOP (Group of Picture) structure.
  • the screen rearrangement buffer 102 supplies the image with the rearranged frame order to the syntax processing unit 121.
  • the syntax processing unit 121 sequentially checks the image data read from the screen rearrangement buffer 102, and inserts header information supplied from the previous stage (not shown) into the image data.
  • the header information includes, for example, the VPS, SPS, and slice header described above with reference to FIG.
  • the syntax processing unit 121 supplies the image in which the header information and the like are inserted to the calculation unit 103, the intra prediction unit 114, and the motion parallax prediction / compensation unit 115. Also, the syntax processing unit 121 supplies each header information such as VPS, SPS, and slice header to the reference list generation unit 122.
  • the calculation unit 103 subtracts the prediction image supplied from the intra prediction unit 114 or the motion parallax prediction / compensation unit 115 via the selection unit 116 from the image supplied from the syntax processing unit 121, and orthogonalizes the difference information.
  • the data is output to the conversion unit 104.
  • the calculation unit 103 subtracts the prediction image supplied from the intra prediction unit 114 from the image supplied from the syntax processing unit 121.
  • the arithmetic unit 103 subtracts the predicted image supplied from the motion parallax prediction / compensation unit 115 from the image supplied from the syntax processing unit 121.
  • the orthogonal transform unit 104 performs orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform on the difference information supplied from the computation unit 103 and supplies the transform coefficient to the quantization unit 105.
  • the quantization unit 105 quantizes the transform coefficient output from the orthogonal transform unit 104.
  • the quantization unit 105 supplies the quantized transform coefficient to the lossless encoding unit 106.
  • the lossless encoding unit 106 performs lossless encoding such as variable length encoding and arithmetic encoding on the quantized transform coefficient.
  • the lossless encoding unit 106 acquires information indicating the intra prediction mode from the intra prediction unit 114, and acquires information indicating the inter prediction mode, motion vector information, and the like from the motion parallax prediction / compensation unit 115.
  • the lossless encoding unit 106 encodes the quantized transform coefficient, and uses intra prediction mode information, inter prediction mode information, motion vector information, and a quantization parameter as part of the header information of the encoded data. (Multiplex).
  • the lossless encoding unit 106 supplies the encoded data obtained by encoding to the accumulation buffer 107 for accumulation.
  • the lossless encoding unit 106 performs lossless encoding processing such as variable length encoding or arithmetic encoding.
  • lossless encoding processing such as variable length encoding or arithmetic encoding.
  • variable length coding include CAVLC (Context-Adaptive Variable Length Coding).
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the accumulation buffer 107 temporarily holds the encoded data supplied from the lossless encoding unit 106, and, for example, as a encoded image encoded at a predetermined timing, a subsequent decoding device, a recording (not shown), for example. Output to devices and transmission lines.
  • the transform coefficient quantized by the quantization unit 105 is also supplied to the inverse quantization unit 108.
  • the inverse quantization unit 108 inversely quantizes the quantized transform coefficient by a method corresponding to the quantization by the quantization unit 105.
  • the inverse quantization unit 108 supplies the obtained transform coefficient to the inverse orthogonal transform unit 109.
  • the inverse orthogonal transform unit 109 performs inverse orthogonal transform on the supplied transform coefficient by a method corresponding to the orthogonal transform processing by the orthogonal transform unit 104.
  • the inversely orthogonal transformed output (restored difference information) is supplied to the calculation unit 110.
  • the calculation unit 110 is supplied from the intra prediction unit 114 or the motion parallax prediction / compensation unit 115 via the selection unit 116 to the inverse orthogonal transform result supplied from the inverse orthogonal transform unit 109, that is, the restored difference information.
  • the predicted images are added to obtain a locally decoded image (decoded image).
  • the calculation unit 110 adds the prediction image supplied from the intra prediction unit 114 to the difference information.
  • the calculation unit 110 adds the predicted image supplied from the motion parallax prediction / compensation unit 115 to the difference information.
  • the addition result is supplied to the deblock filter 111 and the decoded picture buffer 112.
  • the deblocking filter 111 removes block distortion of the decoded image by appropriately performing deblocking filter processing.
  • the deblocking filter 111 supplies the filter processing result to the adaptive offset filter 123.
  • the adaptive offset filter 123 performs an adaptive offset filter (SAO: Sample adaptive offset) process that mainly removes ringing on the image after the adaptive deblock filter process by the deblock filter 111.
  • SAO Sample adaptive offset
  • the adaptive offset filter 123 determines the type of adaptive offset filter processing for each LCU (Largest Coding Unit) which is the maximum coding unit, and obtains an offset used in the adaptive offset filter processing.
  • the adaptive offset filter 123 performs the determined type of adaptive offset filter processing on the image after the adaptive deblocking filter processing, using the obtained offset. Then, the adaptive offset filter 123 supplies the image after the adaptive offset filter processing to the adaptive loop filter 124.
  • the adaptive offset filter 123 has a buffer for storing the offset.
  • the adaptive offset filter 123 determines whether the offset used for the adaptive deblocking filter process is already stored in the buffer for each LCU.
  • the adaptive offset filter 123 determines that the offset used for the adaptive deblocking filter processing is already stored in the buffer, the adaptive offset filter 123 stores a storage flag indicating whether the offset is stored in the buffer, and the offset is stored in the buffer. Is set to a value (1 in this case) indicating that the
  • the adaptive offset filter 123 stores, for each LCU, a storage flag set to 1, an index indicating the storage position of the offset in the buffer, and type information indicating the type of adaptive offset filter processing that has been performed. 106.
  • the adaptive offset filter 123 sequentially stores the offsets in the buffer.
  • the adaptive offset filter 123 sets the storage flag to a value (in this case, 0) indicating that the offset is not stored in the buffer. Then, the adaptive offset filter 123 supplies the storage flag, offset, and type information set to 0 to the lossless encoding unit 106 for each LCU.
  • the adaptive loop filter 124 performs an adaptive loop filter (ALF: Adaptive Loop Filter) process on the image after the adaptive offset filter process supplied from the adaptive offset filter 123, for example, for each LCU.
  • ALF Adaptive Loop Filter
  • the adaptive loop filter process for example, a process using a two-dimensional Wiener filter is used. Of course, filters other than the Wiener filter may be used.
  • the adaptive loop filter 124 is configured so that the residual of the original image that is an image output from the syntax processing unit 121 and the image after the adaptive loop filter processing is minimized for each LCU. A filter coefficient used in the processing is calculated. Then, the adaptive loop filter 124 performs an adaptive loop filter process for each LCU using the calculated filter coefficient on the image after the adaptive offset filter process.
  • the adaptive loop filter 124 supplies the image after the adaptive loop filter processing to the decoded picture buffer 112.
  • the adaptive loop filter 124 also supplies the filter coefficient to the lossless encoding unit 106.
  • the adaptive loop filter processing is performed for each LCU, but the processing unit of the adaptive loop filter processing is not limited to the LCU. However, the processing can be performed efficiently by combining the processing units of the adaptive offset filter 123 and the adaptive loop filter 124.
  • the decoded picture buffer 112 outputs the stored reference image to the intra prediction unit 114 or the motion parallax prediction / compensation unit 115 via the selection unit 113 at a predetermined timing.
  • the decoded picture buffer 112 supplies the reference image to the intra prediction unit 114 via the selection unit 113.
  • the decoded picture buffer 112 supplies the reference image to the motion parallax prediction / compensation unit 115 via the selection unit 113.
  • the selection unit 113 supplies the reference image to the intra prediction unit 114 when the reference image supplied from the decoded picture buffer 112 is an image to be subjected to intra coding. In addition, when the reference image supplied from the decoded picture buffer 112 is an image to be subjected to inter coding, the selection unit 113 supplies the reference image to the motion parallax prediction / compensation unit 115.
  • the intra prediction unit 114 performs intra prediction (intra-screen prediction) that generates a predicted image using the pixel values in the screen of the input image supplied from the syntax processing unit 121.
  • the intra prediction unit 114 performs intra prediction in a plurality of modes (intra prediction modes).
  • the intra prediction unit 114 generates predicted images in all intra prediction modes, evaluates each predicted image, and selects an optimal mode. When the optimal intra prediction mode is selected, the intra prediction unit 114 supplies the prediction image generated in the optimal mode to the calculation unit 103 and the calculation unit 110 via the selection unit 116.
  • the intra prediction unit 114 supplies information such as intra prediction mode information indicating the adopted intra prediction mode to the lossless encoding unit 106 as appropriate.
  • the motion parallax prediction / compensation unit 115 uses the input image supplied from the syntax processing unit 121 and the reference image supplied from the decoded picture buffer 112 via the selection unit 113 for the image to be inter-coded. Then, motion parallax prediction is performed. At that time, the motion parallax prediction / compensation unit 115 uses the reference image of the reference image index indicated by the reference list generated by the reference list generation unit 122. The motion parallax prediction / compensation unit 115 performs motion parallax compensation processing according to the detected motion and the parallax vector, and generates a prediction image (inter prediction image information).
  • the motion parallax prediction / compensation unit 115 performs inter prediction processing in all candidate inter prediction modes, and generates a prediction image.
  • the motion parallax prediction / compensation unit 115 supplies the generated predicted image to the calculation unit 103 and the calculation unit 110 via the selection unit 116.
  • the motion parallax prediction / compensation unit 115 supplies the inter prediction mode information indicating the adopted inter prediction mode and the motion vector information indicating the calculated motion vector to the lossless encoding unit 106.
  • the selection unit 116 supplies the output of the intra prediction unit 114 to the calculation unit 103 and the calculation unit 110 in the case of an image to be subjected to intra coding, and the output of the motion parallax prediction / compensation unit 115 in the case of an image to be subjected to inter coding. Is supplied to the calculation unit 103 and the calculation unit 110.
  • the rate control unit 117 controls the quantization operation rate of the quantization unit 105 based on the compressed image stored in the storage buffer 107 so that overflow or underflow does not occur.
  • the reference list generation unit 122 uses the header information from the syntax processing unit 121 and the reference image information (POC information and view information) accumulated in the decoded picture buffer 112 to cause the motion parallax prediction / compensation unit 115 to execute the target image.
  • a reference list to be referred to when predicting is generated.
  • the reference list is a list (array) of reference images that can be referred to in the time direction and reference images that are reference images in the view (layer) direction.
  • the reference list generating unit 122 Prior to that, the reference list generating unit 122 generates a temporal list that is a temporary list used when generating the reference list. At that time, the reference list generation unit 122 refers to the SPS or slice header from the syntax processing unit 121 and inserts a reference image that can be referred to in the view direction into the temporal list.
  • a reference image that can be referred to in the time direction is a reference image that can be referred to at a different time.
  • a reference image that is a reference image in the view (layer) direction is a reference image that can be referred to in a different view (layer). That is.
  • the reference list generator 122 generates a reference list based on the generated temporal list.
  • the reference relationship between interviews (layers) is defined by VPS.
  • the control between the inter-view reference images can be performed only by the VPS. Therefore, according to the current VPS definition, the image of the layer (view) for which the reference is specified in the VPS is added to the temporal list.
  • FIG. 4 is a diagram comparing the conventional method and the method of the present technology.
  • the VPS is a parameter set that defines parameters (for example, buffer information and scalability information) across multiple layers, and is basically transmitted once at the beginning of the sequence. Is.
  • SPS is a parameter set that defines parameters for each layer (view), and is basically transmitted in GOP units or at regular intervals.
  • the slice header (SH) defines parameters for each layer (view), and is basically transmitted in units of pictures.
  • VPS inter-layer reference relationship
  • the inter-layer reference structure can be changed over a GOP unit or over a relatively long time.
  • the inter-layer reference structure is suddenly applied to one picture. Can be changed.
  • layers that can be referred to are defined in the VPS, and actual reference control is performed using the SPS or slice header. That is, in the present technology, layer reference image information for controlling, for each layer, a reference image that can be referred to in the layer direction is set in the SPS or slice header.
  • Non-Patent Document 2 SEI for changing the dependency relationship between views is proposed, but since it is SEI, it does not affect the generation of the default reference list. Therefore, in order to change the reference relationship of a specific view, it is necessary to describe the reference relationship of all the views.
  • the view reference relationship is changed using the SPS or slice header. This can affect the generation of the default reference list and improve the list generation.
  • SPS is transmitted separately for each view, it can be applied only to the view whose view reference relationship is to be changed.
  • the long-term reference image (Long-term: LT), the short-time (previous) reference image (Short-term before-Curr: STbC), the current image indicating C, the short-time reference image in the POC order from the left (After)
  • a reference image (Short-term after Curr: STaC) is shown.
  • a current image indicating C and an inter-view reference image (Inter-view: IV) are shown in the order of view (parallax) from the bottom.
  • the numbers shown in each reference image represent the index of the arrangement of each reference image in the decoded picture buffer 112.
  • the four types of images of the long-time reference image, the short-time (previous) reference image, the short-time (rear) reference image, and the inter-view reference image shown in FIG. 6 are referred to.
  • the short-time (previous) reference image is a short-time reference image that is positioned temporally before (with a small POC) in the same view with respect to the current image indicated by C. This is a short-time reference image that is positioned temporally later in the same view (large POC) with respect to the current image.
  • the long-time reference image is a reference image that has been long-term designated in the same view.
  • the inter-view reference image is a reference image of a different view at the same time.
  • the short-time (front) reference image list and the short-time (rear) reference image list two reference images are arranged.
  • the long-time reference image list one reference image is arranged.
  • the list of inter-view reference images four reference images are arranged.
  • the used_by_curr flag is set for images that may be referenced in the syntax of slice headers and RPS (Reference Picture Set).
  • RPS is a syntax for clearly indicating the state of the decoded picture buffer for each picture included in the SPS.
  • the used_by_curr flag is set for an image that may be referred to in the slice header or SPS syntax. Only images whose used_by_curr flag is 1 are added to the temporal list, which is a temporary list used when generating the reference list.
  • the used_by_curr flag is also referred to as a reference image flag as appropriate.
  • the L0 (L0 direction) temporal list (RefPicListTemp0 [rldx]) and the L1 (L1 direction) temporal list (RefPicListTemp1 [rldx]) generated from the list of reference images are generated. It is shown.
  • the temporal list (RefPicListTemp0 [rldx]) of L0 is an image in which the used_by_curr flag is set to 1 in the order of a short time (previous) reference image, a short time (rear) reference image, a long time reference image, and an interview reference image. Is added and generated. Since the used_by_curr flag is not set for the inter-view reference image, for the inter-view reference image, all the images arranged in the list of the inter-view reference images are added to the temporal list.
  • the temporal list of L0 (RefPicListTemp0 [rldx]) is generated in the order of a short-time (previous) reference image with index 0, a short-time (rear) reference image with index 0, and an interview reference image with indexes 0 to 3. .
  • the temporal list of L1 is an image in which the used_by_curr flag is set to 1 in the order of a short (rear) reference image, a short (previous) reference image, a long-time reference image, and an interview reference image. Is added and generated.
  • the temporal list of L1 (RefPicListTemp1 [rldx]) is generated in the order of the short-time (after) reference image with index 0, the short-time (front) reference image with index 0, and the interview reference images with indexes 0 to 3. .
  • num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 are set as the number of images that can be referred to in the temporal list. From the head of the L0 / L1 temporal list, as many reference images as limited by these can be added to the reference list and used as reference images.
  • the L0 reference list is generated in the order of a short-time (previous) reference image with index 0, a short-time (rear) reference image with index 0, and an inter-view reference image with indexes 0 and 1.
  • the L1 reference list is generated in the order of the short-time (back) reference image with index 0, the short-time (front) reference image with index 0, and the inter-view reference images with indexes 0 and 1.
  • the correlation between the inter-view reference images with indexes 2 and 3 is higher than that of the inter-view reference images with indexes 0 and 1, and we want to increase their priority in the temporal list. For this purpose, it is necessary to transmit the reference list change syntax.
  • the index 0 and 3 interviews in the L0 temporal list (RefPicListTemp0 [rldx]) and the L1 temporal list (RefPicListTemp1 [rldx])
  • the priority of the reference image can be made higher than the indexes 0 and 1.
  • the L0 reference list (RefPicList0 [rldx]) generated from the L0 temporal list includes the index 0 short (previous) reference image, the index 0 short (rear) reference image, and the indexes 2 and 3. It is generated in the order of the inter-view reference images.
  • the L1 reference list (RefPicList1 [rldx]) generated from the temporal list of L1 is a short-time (after) reference image with index 0, a short-time (front) reference image with index 0, and indexes 2 and 3 It is generated in the order of the inter-view reference images.
  • the reference image flag (information indicating information that may be referred to the inter-view reference image, that is, information that controls a reference image that can be referred to in the layer (view) direction). used_by_curr flag) was set in SPS or slice header.
  • a method for generating a default reference list according to the present technology will be described with reference to FIG.
  • a list (array) of short-time (previous) reference images (RefPicSetStCurrBefore [i])
  • a list of short-time (after) reference images (RefPicSetStCurrAfter [i])
  • long-time references in the decoded picture buffer 112 A list of images (RefPicLtCurr [i]) and a list of inter-view reference images (RefPicSetIvCurr [i]) are shown.
  • the short-time (front) reference image list and the short-time (rear) reference image list two reference images are arranged.
  • the long-time reference image list one reference image is arranged.
  • the list of inter-view reference images four reference images are arranged.
  • the used_by_curr flag is set for an image that may be referred to in the slice header or RPS syntax.
  • the used_by_curr flag is set for an image that may be referred to in the slice header or SPS syntax.
  • the used_by_curr flag is set for an inter-reference reference image with respect to an image that may be referred to in the slice header or SPS syntax. Only images whose used_by_curr flag is 1 are added to the temporal list, which is a temporary list used when generating the reference list.
  • the temporal list (RefPicListTemp0 [rldx]) of L0 in the example of FIG. 8 includes the short-time (previous) reference image with index 0, the short-time (rear) reference image with index 0, and the interview reference image with indexes 2 and 3. Are generated in this order.
  • the L1 temporal list (RefPicListTemp1 [rldx]) is generated in the order of the short-time (after) reference image with index 0, the short-time (front) reference image with index 0, and the inter-view reference image with indexes 2 and 3.
  • the L0 reference list (RefPicListTemp1 [rldx]) is the index 0 short-time (previous) reference image, index 0 short-time (rear) reference image, and indexes 2 and 3 Generated in the order of view reference images.
  • the L1 reference list (RefPicListTemp1 [rldx]) is a short-time (after) reference image with index 0, a short-time (pre-) reference image with index 0, and an interview reference with indexes 2 and 3 Generated in order of images.
  • FIG. 9 is a diagram illustrating an example of VPS syntax in MV-HEVC. The number at the left end of each line is the line number given for explanation.
  • view_id [i] on the 10th line is defined.
  • num_direct_ref_layers [i] is defined.
  • num_direct_ref_layers [i] the number of layers that can be referred to is described.
  • Ref_layer_id [i] [j] is defined in the 14th line.
  • ref_layer_id [i] [j] referenceable layer IDs are described as many times as described in num_direct_ref_layers [i] on the 12th line.
  • ref_layer_id [i] [j] is assigned to LayerIdInterView [i]
  • the corresponding interview reference image is assigned to the interview reference image list RefPicSetIvCurr [i].
  • FIG. 10 is a diagram illustrating an example of the syntax of the SPS extension according to the present technology. The number at the left end of each line is the line number given for explanation.
  • ref_layer_modified_sps_flag is defined in the fourth line.
  • ref_layer_modified_sps_flag is 1, used_by_curr_pic_layer_sps_flag [i] on the seventh line is defined in this SPS extension.
  • used_by_curr_pic_layer_sps_flag [i] indicates whether ref_layer_id [i] [j] in the 14th row of FIG. 9 described above, that is, whether or not the interview reference image of the interview reference image list RefPicSetIvCurr [i] can be referred to is used. This is an inter-view reference image flag indicating the above.
  • used_by_curr_pic_layer_sps_flag [i] is 1, the corresponding inter-view reference image is added to the temporal list (that is, the reference list).
  • FIG. 11 is a diagram illustrating an example of the syntax of the slice header extension according to the present technology. The number at the left end of each line is the line number given for explanation.
  • ref_layer_modified_sps_flag is defined in the fourth line.
  • ref_layer_modified_sps_flag is 1, used_by_curr_pic_layer_sps_flag [i] on the seventh line is defined in this SPS extension.
  • used_by_curr_pic_layer_sps_flag [i] indicates whether ref_layer_id [i] [j] in the 14th row in FIG. 9 described above, that is, whether or not the interview reference image of the interview reference image list RefPicSetIvCurr [i] can be referred to is used. Is an inter-view reference image flag.
  • used_by_curr_pic_layer_sps_flag [i] is 1, the corresponding inter-view reference image is added to the temporal list (that is, the reference list).
  • the inter-view reference image flag shown in FIGS. 10 and 11 is layer reference image information for controlling addition of a reference image that can be referred to in the layer direction.
  • This layer reference image information is set and transmitted in the SPS and slice header, but can be set in other syntaxes if the syntax is lower than VPS.
  • the example of adding the interview image to the reference list is the same for L0 and L1, but can be changed for L0 and L1.
  • the + 1st interview reference image can be changed.
  • Non-Patent Document 1 does not change L0 as shown by the solid line in FIG. 13, but adds the inter-view images in the reverse order to L0 as shown by the dotted line in FIG. Changed to
  • the reference list generation unit 122 of FIG. 2 that performs the above processing is configured as shown in FIG.
  • FIG. 14 is a block diagram illustrating a configuration example of a reference list generation unit that performs the above-described processing.
  • the reference list generation unit 122 is configured to include a reference image setting unit 131, a temporal list generation unit 132, and a reference image list generation unit 133.
  • the reference image setting unit 131 refers to the time information (that is, POC information) of the reference image from the decoded picture buffer 112 and the used_by_curr flag of the short-time reference image set in the slice header or RPS from the syntax processing unit 121. Then, a short (previous) reference image is set, and a short (previous) reference image list (RefPicSetStCurrBefore [i]) is generated.
  • the reference image setting unit 131 refers to the time information of the reference image from the decoded picture buffer 112 and the used_by_curr flag of the short-time reference image set in the slice header or RPS from the syntax processing unit 121, and performs a short time (after ) Set reference image and generate short (after) reference image list (RefPicSetStCurrAfter [i]).
  • the reference image setting unit 131 refers to the time information of the reference image from the decoded picture buffer 112 and the used_by_curr flag of the long-time reference image set in the slice header or SPS, sets the long-time reference image, and refers to the long-time reference An image list (RefPicLtCurr [i]) is generated.
  • the reference image setting unit 131 refers to the view information of the reference image from the decoded picture buffer 112 and the used_by_curr flag of the inter-view reference image set in the slice header or SPS, and determines the inter-view reference image (RefPicSetIvCurr [i]). Set and generate the list.
  • the temporal list generation unit 132 combines the lists set by the reference image setting unit 131 in a predetermined order to generate L0 and L1 temporal lists (RefPicListTemp0 [rldx], RefPicListTemp1 [rldx]).
  • L0 the list set by the reference image setting unit 131 is combined in the order of a short time (front) reference image, a short time (rear) reference image, a long time reference image, and an inter-view reference image.
  • the list set by the reference image setting unit 131 is combined in the order of a short (rear) reference image, a short (previous) reference image, a long time reference image, and an inter-view reference image.
  • the reference image list generation unit 133 refers to num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 set in the slice header and SPS supplied from the syntax processing unit 121.
  • the reference image list generation unit 133 extracts and adds the number of reference images set by num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 from the temporal list of L0 / L1 generated by the temporal list generation unit 132, and adds L0 / L1. Generate a reference list.
  • the reference list of L0 / L1 generated by the reference image list generation unit 133 is referred to by the motion parallax prediction / compensation unit 115.
  • step S11 the VPS setting unit 11 sets the VPS based on setting information from the previous stage (not shown).
  • the VPS setting unit 11 supplies the set VPS to the SPS setting unit 12 together with the setting information.
  • step S12 the SPS setting unit 12 sets the SPS including the inter-view reference image flag based on the setting information from the VPS setting unit 11. That is, the SPS setting unit 12 sets the SPS based on the setting information from the VPS setting unit 11. At this time, the SPS setting unit 12 sets the inter-view reference image flag in the SPS as shown in FIG.
  • the SPS setting unit 12 supplies the set SPS to the slice header setting unit 13 together with the VPS and setting information. Since the VPS is set only at the beginning of the sequence, the SPS setting unit 12 supplies the set SPS to the slice header setting unit 13 together with the setting information except for the beginning of the sequence. The same applies to the subsequent steps.
  • step S13 the slice header setting unit 13 sets a slice header based on the setting information from the SPS setting unit 12.
  • the slice header setting unit 13 supplies the set slice header to the encoding unit 14 together with the VPS and SPS.
  • the encoding unit 14 receives a multi-viewpoint image such as a captured image in units of frames as an input signal.
  • the encoding unit 14 refers to the header information such as the VPS, SPS, and slice header from the slice header setting unit 13 and encodes the input signal by the HEVC method. Details of this encoding process will be described later with reference to FIG.
  • step S14 the SPS inter-view reference image flag is referred to generate a reference list, and image prediction is performed based on the reference list. Further, an encoding process is performed, and an encoded stream is generated from the encoded data obtained as a result, VPS, SPS, slice header, and the like, and the generated encoded stream is supplied to the transmission unit 15.
  • step S15 the transmission unit 15 transmits the encoded stream supplied from the encoding unit 14 to the image decoding device 151 in FIG.
  • step S16 the SPS setting unit 12 determines whether all the views (layers) have been processed. If it is determined in step S16 that all the views (layers) have been processed, the processing of the image encoding device 1 ends. If it is determined in step S16 that processing of all views (layers) has not been completed yet, the processing returns to step S12, and the subsequent processing is repeated.
  • step S101 the A / D converter 101 performs A / D conversion on the input image.
  • step S102 the screen rearrangement buffer 102 stores the A / D converted image, and rearranges the picture from the display order to the encoding order.
  • step S103 the syntax processing unit 121 sequentially checks the image data read from the screen rearrangement buffer 102, and adds header information such as VPS, SPS (including RPS), and slice header to the image data. insert.
  • the syntax processing unit 121 supplies the image in which the header information and the like are inserted to the calculation unit 103, the intra prediction unit 114, and the motion parallax prediction / compensation unit 115. Further, the syntax processing unit 121 supplies header information such as VPS, SPS (including RPS), and slice header to the reference list generation unit 122.
  • step S104 the calculation unit 103 calculates the difference between the image supplied from the syntax processing unit 121 and the predicted image.
  • the predicted image is supplied from the motion parallax prediction / compensation unit 115 in the case of inter prediction or from the intra prediction unit 114 in the case of intra prediction to the calculation unit 103 via the selection unit 116.
  • the data amount of difference data is reduced compared to the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step S105 the orthogonal transform unit 104 orthogonally transforms the difference information generated by the process in step S104. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • step S106 the quantization unit 105 quantizes the orthogonal transform coefficient obtained by the process in step S105.
  • the difference information quantized by the processing in step S106 is locally decoded as follows. That is, in step S107, the inverse quantization unit 108 inversely quantizes the quantized orthogonal transform coefficient (also referred to as a quantization coefficient) generated by the process in step S106 with characteristics corresponding to the characteristics of the quantization unit 105. To do.
  • the quantized orthogonal transform coefficient also referred to as a quantization coefficient
  • step S108 the inverse orthogonal transform unit 109 performs inverse orthogonal transform on the orthogonal transform coefficient obtained by the process in step S107 with characteristics corresponding to the characteristics of the orthogonal transform unit 104.
  • step S109 the calculation unit 110 adds the predicted image to the locally decoded difference information, and generates a locally decoded image (an image corresponding to an input to the calculation unit 103).
  • step S110 the deblocking filter 111 performs filtering on the image supplied from the adding unit 205 to remove block distortion.
  • the deblocking filter 111 supplies the resulting image to the adaptive offset filter 123.
  • step S111 the adaptive offset filter 123 performs an adaptive offset filter process on the image supplied from the deblocking filter 111 for each LCU.
  • the adaptive offset filter 123 supplies the resulting image to the adaptive loop filter 124. Further, the adaptive offset filter 123 supplies the storage flag, index or offset, and type information to the lossless encoding unit 106 as offset filter information for each LCU.
  • step S112 the adaptive loop filter 124 performs adaptive loop filter processing on the image supplied from the adaptive offset filter 123 for each LCU.
  • the adaptive loop filter 124 supplies the resulting image to the decoded picture buffer 112.
  • the adaptive loop filter 124 supplies the filter coefficient used in the adaptive loop filter process to the lossless encoding unit 106.
  • step S113 the decoded picture buffer 112 stores the filtered image. Note that, in the decoded picture buffer 112, an image that has not been filtered is also supplied from the arithmetic unit 110 and stored. The image stored in the decoded picture buffer 112 is supplied as a reference image to the motion parallax prediction / compensation unit 115 or the intra prediction unit 114 via the selection unit 213.
  • step S114 the intra prediction unit 114 performs an intra prediction process in the intra prediction mode.
  • step S115 the reference list generation unit 122 generates a reference list to be referred to when the motion parallax prediction / compensation unit 115 predicts the target image. Details of this reference list generation processing will be described later with reference to FIG.
  • step S115 a temporal list that is a temporary list used when generating the reference list is generated based on the view reference image flag of the SPS. Then, a reference list is generated based on the generated temporal list. That is, a reference list is generated based on the view reference image flag.
  • step S116 the motion parallax prediction / compensation unit 115 uses the reference image of the reference image index indicated by the reference list generated by the process of step S115, and performs inter-motion prediction and motion parallax compensation in the inter prediction mode. A motion parallax prediction process is performed.
  • step S117 the selection unit 116 determines the optimal prediction mode based on the cost function values output from the intra prediction unit 114 and the motion parallax prediction / compensation unit 115. That is, the selection unit 116 selects either the prediction image generated by the intra prediction unit 114 or the prediction image generated by the motion parallax prediction / compensation unit 115.
  • the selection information indicating which prediction image has been selected is supplied to the intra prediction unit 114 and the motion parallax prediction / compensation unit 115 for which the prediction image is selected.
  • the intra prediction unit 114 supplies information indicating the optimal intra prediction mode (that is, intra prediction mode information) to the lossless encoding unit 106.
  • the motion parallax prediction / compensation unit 115 When a prediction image in the optimal inter prediction mode is selected, the motion parallax prediction / compensation unit 115 performs lossless encoding unit 106 on information indicating the optimal inter prediction mode and, if necessary, information corresponding to the optimal inter prediction mode. Output to.
  • Information according to the optimal inter prediction mode includes motion vector information, disparity vector information, flag information, reference frame information, and the like.
  • step S118 the lossless encoding unit 106 encodes the transform coefficient quantized by the process in step S106. That is, lossless encoding such as variable length encoding or arithmetic encoding is performed on the difference image (secondary difference image in the case of inter).
  • the lossless encoding unit 106 adds information regarding the prediction mode of the prediction image selected by the process of step S117 to encoded data obtained by encoding the difference image. That is, the lossless encoding unit 106 uses the intra prediction mode information supplied from the intra prediction unit 114 or the information corresponding to the optimal inter prediction mode supplied from the motion parallax prediction / compensation unit 115 as encoded data. Append.
  • step S119 the accumulation buffer 107 accumulates the encoded data output from the lossless encoding unit 106.
  • the accumulation buffer 107 generates an encoded stream from the accumulated encoded data, VPS, SPS, slice header, and the like, and supplies the generated encoded stream to the transmission unit 15 in FIG.
  • step S120 the rate control unit 117 controls the quantization operation rate of the quantization unit 105 so that overflow or underflow does not occur based on the compressed image accumulated in the accumulation buffer 107 by the process of step S119. .
  • step S120 When the process of step S120 ends, the encoding process ends.
  • the syntax processing unit 121 supplies header information such as the VPS, SPS (including RPS), and slice header of the decoded image to the reference list generation unit 122.
  • the used_by_curr flag of the short-time reference image is set in the slice header or RPS supplied from the syntax processing unit 121.
  • the used_by_curr flag of the long-time reference image is set in the slice header or SPS.
  • the used_by_curr flag (interview reference image flag) of the inter-view reference image is set in the slice header or SPS in step S12 of FIG.
  • the reference image setting unit 131 of the reference list generation unit 122 refers to the time information (that is, POC information) of the reference image from the decoded picture buffer 112, the slice header, and the RPS, and uses the short time (previous) reference image (STbC). Set and generate RefPicSetStCurrBefore [i] list.
  • the reference image setting unit 131 refers to the time information of the reference image from the decoded picture buffer 112, the slice header, and the SPS, sets a long-time reference image (LT), and generates a RefPicLtCurr [i] list.
  • the reference image setting unit 131 refers to the view information, slice header, SPS, and VPS of the reference image from the decoded picture buffer 112, sets the inter-view reference image (IV), and generates a RefPicSetIvCurr [i] list.
  • step S135 the temporal list generation unit 132 combines the above four types of lists set by the reference image setting unit 131 in the order of STbC, STaC, LT, IV, and the temporal list of L0 (RefPicListTemp0 [rldx]) Is generated.
  • step S136 the temporal list generation unit 132 combines the above four types of lists set by the reference image setting unit 131 in the order of STaC, STbC, LT, IV, and the temporal list of L1 (RefPicListTemp1 [rldx]). Is generated.
  • the order may be added in the reverse order to the order in the L0 direction as described above with reference to FIG.
  • Num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 are set in the slice header and SPS supplied from the syntax processing unit 121.
  • step S137 the reference image list generation unit 133 extracts the elements from the top of the L0 temporal list (RefPicListTemp0 [rldx]) to num_ref_idx_l0_active_minus1 + 1 and generates the L0 reference list (RefPicList0 [rIdx]).
  • step S138 the reference image list generation unit 133 extracts the elements from the top of the L1 temporal list (RefPicListTemp1 [rldx]) to num_ref_idx_l1_active_minus1 + 1 and generates the L1 reference list (RefPicList1 [rIdx]).
  • the reference image flag (used_by_curr flag) of the slice header and the SPS inter-view reference image is referred to, the inter-view image is inserted, and a default reference list is generated.
  • FIG. 18 illustrates a configuration of an embodiment of an image decoding device as an image processing device to which the present disclosure is applied.
  • An image decoding device 151 shown in FIG. 18 is an image decoding device corresponding to the image encoding device 1 of FIG.
  • the encoded stream encoded by the image encoding device 1 in FIG. 1 is transmitted to an image decoding device 151 corresponding to the image encoding device 1 via a predetermined transmission path, and is decoded by the HEVC method or the like.
  • a receiving unit 161 receives a signal from a base station.
  • VPS extracting unit 162 receives a signal from a base station.
  • SPS extracting unit 163 receives a signal from a base station.
  • slice header extracting unit 164 receives a signal from a base station.
  • decoding unit 165 decoding a signal from a base station.
  • the receiving unit 161 of the image decoding device 151 receives the encoded stream transmitted from the image encoding device 1 in FIG. 1 and supplies the encoded stream to the VPS extracting unit 162.
  • the VPS extraction unit 162 extracts a VPS from the encoded stream supplied from the reception unit 161, and supplies the extracted VPS and the encoded stream to the SPS extraction unit 163.
  • the SPS extraction unit 163 extracts the SPS from the encoded stream supplied from the VPS extraction unit 162, and supplies the extracted SPS, the VPS, and the encoded stream to the slice header extraction unit 164.
  • the slice header extraction unit 164 extracts a slice header from the encoded stream supplied from the SPS extraction unit 163. Also, the slice header extraction unit 164 extracts encoded data from the encoded stream supplied from the SPS extraction unit 163.
  • the slice header extraction unit 164 supplies the extracted slice header and encoded data, SPS, and VPS to the decoding unit 165. Note that the VPS, SPS, slice header, and the like may be decoded in each extraction unit as necessary.
  • the decoding unit 165 refers to header information such as the VPS, SPS, and slice header supplied from the slice header extraction unit 164 as necessary, and decodes the encoded data supplied from the slice header extraction unit 164 using the HEVC method. To do.
  • the decoding unit 165 supplies the decoded image obtained as a result of the decoding to an unshown display control unit, not shown, as an output signal.
  • FIG. 19 is a block diagram illustrating a configuration example of the decoding unit 165 of FIG.
  • the decoding unit 165 includes an accumulation buffer 201, a lossless decoding unit 202, an inverse quantization unit 203, an inverse orthogonal transform unit 204, a calculation unit 205, a deblock filter 206, a screen rearrangement buffer 207, and A D / A converter 208 is included.
  • the decoding unit 165 includes a decoded picture buffer 209, a selection unit 210, an intra prediction unit 211, a motion parallax prediction / compensation unit 212, and a selection unit 213.
  • the decoding unit 165 includes a syntax processing unit 221, a reference list generation unit 222, an adaptive offset filter 223, and an adaptive loop filter 224.
  • the accumulation buffer 201 accumulates the encoded data from the slice header extraction unit 164. This encoded data is encoded by the image encoding device 1.
  • the syntax processing unit 221 acquires encoded data read from the accumulation buffer 201 at a predetermined timing, and header information such as VPS, SPS, and slice header, and each acquired header information together with the encoded data. This is supplied to the lossless decoding unit 202. In addition, the syntax processing unit 221 supplies the acquired header information and the like to the reference list generation unit 222.
  • the lossless decoding unit 202 decodes the encoded data from the syntax processing unit 221 by a method corresponding to the encoding method of the lossless encoding unit 106 in FIG.
  • the inverse quantization unit 203 inversely quantizes the coefficient data (quantization coefficient) obtained by decoding by the lossless decoding unit 202 by a method corresponding to the quantization method of the quantization unit 105 in FIG. That is, the inverse quantization unit 203 uses the quantization parameter supplied from the image encoding device 1 to perform inverse quantization of the quantization coefficient in the same manner as the inverse quantization unit 108 in FIG.
  • the inverse quantization unit 203 supplies the inversely quantized coefficient data, that is, the orthogonal transform coefficient, to the inverse orthogonal transform unit 204.
  • the inverse orthogonal transform unit 204 is a method corresponding to the orthogonal transform method of the orthogonal transform unit 104 in FIG. 2, performs inverse orthogonal transform on the orthogonal transform coefficient, and generates residual data before being orthogonally transformed in the image encoding device 1. Corresponding decoding residual data is obtained.
  • the decoded residual data obtained by the inverse orthogonal transform is supplied to the calculation unit 205.
  • a prediction image is supplied to the calculation unit 205 from the intra prediction unit 211 or the motion parallax prediction / compensation unit 212 via the selection unit 213.
  • the calculation unit 205 adds the decoded residual data and the predicted image, and obtains decoded image data corresponding to the image data before the predicted image is subtracted by the calculation unit 103 of the image encoding device 1.
  • the arithmetic unit 205 supplies the decoded image data to the deblock filter 206.
  • the deblock filter 206 removes block distortion of the decoded image by appropriately performing deblock filter processing.
  • the deblocking filter 206 supplies the resulting image to the adaptive offset filter 223.
  • the adaptive offset filter 223 has a buffer for sequentially storing offsets supplied from the lossless decoding unit 202.
  • the adaptive offset filter 223 performs adaptive offset filter processing on the image after the adaptive deblocking filter processing by the deblocking filter 206 based on the offset filter information supplied from the lossless decoding unit 202 for each LCU. .
  • the adaptive offset filter 223 uses the offset included in the offset filter information for the image after the deblocking filter processing in units of LCUs.
  • the type of adaptive offset filter processing indicated by the type information is performed.
  • the adaptive offset filter 223 is stored at the position indicated by the index included in the offset filter information with respect to the image after the deblocking filter processing in units of LCUs. Read the offset. Then, the adaptive offset filter 223 performs the type of adaptive offset filter processing indicated by the type information, using the read offset. The adaptive offset filter 223 supplies the image after the adaptive offset filter processing to the adaptive loop filter 224.
  • the adaptive loop filter 224 performs an adaptive loop filter process for each LCU on the image supplied from the adaptive offset filter 223 using the filter coefficient supplied from the lossless decoding unit 202.
  • the adaptive loop filter 224 supplies the resulting image to the screen rearrangement buffer 207.
  • the screen rearrangement buffer 207 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 102 in FIG. 2 is rearranged in the original display order.
  • the D / A conversion unit 208 D / A converts the image supplied from the screen rearrangement buffer 207, outputs it to a display control unit (not shown), and displays it on the display.
  • the output of the deblock filter 206 is further supplied to the decoded picture buffer 209.
  • the decoded picture buffer 209, the selection unit 210, the intra prediction unit 211, the motion parallax prediction / compensation unit 212, and the selection unit 213 are the decoded picture buffer 112, the selection unit 113, the intra prediction unit 114, the motion parallax of the image encoding device 1. This corresponds to the prediction / compensation unit 115 and the selection unit 116, respectively.
  • the selection unit 210 reads the inter-processed image and the referenced image from the decoded picture buffer 209 and supplies them to the motion parallax prediction / compensation unit 212.
  • the selection unit 210 reads an image used for intra prediction from the decoded picture buffer 209 and supplies the read image to the intra prediction unit 211.
  • the information indicating the intra prediction mode obtained from the header information is appropriately supplied from the lossless decoding unit 202 to the intra prediction unit 211.
  • the intra prediction unit 211 generates a prediction image from the reference image acquired from the decoded picture buffer 209 based on this information, and supplies the generated prediction image to the selection unit 213.
  • the information (prediction mode information, motion vector information, disparity vector information, various parameters, etc.) obtained from the header information is supplied from the lossless decoding unit 202 to the motion parallax prediction / compensation unit 212. Further, the motion parallax prediction / compensation unit 212 is supplied with the reference image index assigned by the reference list generation unit 222.
  • the motion disparity prediction / compensation unit 212 obtains the reference acquired from the decoded picture buffer 209 based on the information supplied from the lossless decoding unit 202 and the reference image index indicated by the reference list generated by the reference list generation unit 222. A predicted image is generated from the image. The motion parallax prediction / compensation unit 212 supplies the generated predicted image to the selection unit 213.
  • the selection unit 213 selects the prediction image generated by the motion parallax prediction / compensation unit 212 or the intra prediction unit 211 and supplies the selected prediction image to the calculation unit 205.
  • the reference list generation unit 222 is basically configured in the same manner as the reference list generation unit 122 of the image encoding device 1.
  • the reference list generation unit 222 uses the header information from the syntax processing unit 221 and the reference image information (POC information and view information) accumulated in the decoded picture buffer 209 to cause the motion parallax prediction / compensation unit 212 to execute the target image.
  • a reference list to be referred to when predicting is generated.
  • the reference list is a list (array) of reference images that can be referred to in the time direction and reference images that are reference images in the view (layer) direction.
  • the reference list generator 222 Prior to that, the reference list generator 222 generates a temporal list that is a temporary list used when generating the reference list. At that time, the reference list generation unit 222 refers to the SPS or slice header from the syntax processing unit 221 and inserts a reference image that can be referred to in the view direction into the temporal list.
  • the reference list generation unit 222 generates a reference list based on the generated temporal list.
  • FIG. 20 is a block diagram illustrating a configuration example of the reference list generation unit in FIG.
  • the reference list generation unit 222 is configured to include a reference image setting unit 231, a temporal list generation unit 232, and a reference image list generation unit 233.
  • the reference image setting unit 231 refers to the time information (that is, POC information) of the reference image from the decoded picture buffer 209 and the used_by_curr flag of the short-time reference image set in the slice header and RPS from the syntax processing unit 221. Then, a short (previous) reference image is set, and a short (previous) reference image list (RefPicSetStCurrBefore [i]) is generated.
  • the reference image setting unit 231 refers to the time information of the reference image from the decoded picture buffer 209 and the used_by_curr flag of the short-time reference image set in the slice header or RPS from the syntax processing unit 221, for a short time (after ) Set reference image and generate short (after) reference image list (RefPicSetStCurrAfter [i]).
  • the reference image setting unit 231 sets the long-time reference image by referring to the time information of the reference image from the decoded picture buffer 209 and the used_by_curr flag of the long-time reference image set in the slice header or SPS, and refers to the long-time reference An image list (RefPicLtCurr [i]) is generated.
  • the reference image setting unit 231 refers to the view information of the reference image from the decoded picture buffer 209 and the used_by_curr flag of the interview reference image set in the slice header or SPS, and determines the inter-view reference image (RefPicSetIvCurr [i]). Set and generate the list.
  • the temporal list generation unit 232 combines the lists set by the reference image setting unit 231 in a predetermined order to generate L0 and L1 temporal lists (RefPicListTemp0 [rldx], RefPicListTemp1 [rldx]).
  • L0 the list set by the reference image setting unit 231 is combined in the order of a short time (front) reference image, a short time (rear) reference image, a long time reference image, and an inter-view reference image.
  • the list set by the reference image setting unit 231 is combined in the order of a short (rear) reference image, a short (previous) reference image, a long time reference image, and an inter-view reference image.
  • the reference image list generation unit 233 refers to the num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 set in the slice header and SPS supplied from the syntax processing unit 221.
  • the reference image list generation unit 233 extracts and adds the number of reference images set by num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 from the L0 / L1 temporal list generated by the temporal list generation unit 232, and adds L0 / L1. Generate a reference list.
  • the reference list of L0 / L1 generated by the reference image list generation unit 233 is referred to by the motion parallax prediction / compensation unit 212.
  • the encoded stream encoded by the image encoding device 1 in FIG. 1 is transmitted to an image decoding device 151 corresponding to the image encoding device 1 via a predetermined transmission path.
  • step S161 the reception unit 161 of the image decoding device 151 receives the encoded stream transmitted from the image encoding device 1 in FIG. 1 and supplies the encoded stream to the VPS extraction unit 162.
  • step S162 the VPS extraction unit 162 extracts the VPS from the encoded stream supplied from the reception unit 161.
  • the VPS extraction unit 162 supplies the extracted VPS and encoded stream to the SPS extraction unit 163.
  • step S163 the SPS extraction unit 163 extracts the SPS including the inter-view reference image flag from the encoded stream supplied from the VPS extraction unit 162. That is, the SPS extraction unit 163 extracts the SPS from the encoded stream supplied from the VPS extraction unit 162. At that time, the SPS extraction unit 163 also extracts an inter-view reference image flag included in the SPS.
  • the SPS extraction unit 163 supplies the extracted SPS, VPS, and encoded stream to the slice header extraction unit 164.
  • step S164 the slice header extraction unit 164 extracts a slice header from the encoded stream supplied from the SPS extraction unit 163. At that time, the slice header extraction unit 164 extracts encoded data from the encoded stream supplied from the SPS extraction unit 163. The slice header extraction unit 164 supplies the extracted slice header and encoded data, SPS, and VPS to the decoding unit 165.
  • step S165 the decoding unit 165 refers to the header information such as the VPS, the SPS, and the slice header supplied from the slice header extraction unit 164 as necessary, and determines the encoded data supplied from the slice header extraction unit 164. Decrypt with HEVC. Details of this decoding process will be described later with reference to FIG.
  • step S165 the encoded data is decoded to generate an image, the SPS inter-view reference image flag is referenced to generate a reference list, and the generated image is predicted based on the reference list.
  • the decoding unit 165 supplies the decoded image obtained as a result of the decoding as an output signal to a subsequent display control unit (not shown).
  • step S166 the SPS extraction unit 163 determines whether or not all the views (layers) have been processed. If it is determined in step S166 that all the views (layers) have been processed, the processing of the image decoding device 151 ends. If it is determined in step S166 that the processing for all views (layers) has not been completed yet, the processing returns to step S163, and the subsequent processing is repeated.
  • step S201 the accumulation buffer 201 accumulates the transmitted encoded data.
  • step S202 the syntax processing unit 221 obtains encoded data read from the accumulation buffer 201 at a predetermined timing and each header information.
  • the syntax processing unit 221 supplies the acquired header information to the lossless decoding unit 202 together with the encoded data.
  • the syntax processing unit 221 supplies the acquired header information (VPS, SPS (including RPS), slice header), and the like to the reference list generation unit 222.
  • step S203 the lossless decoding unit 202 decodes the encoded data supplied from the syntax processing unit 221. That is, the I picture, P picture, and B picture encoded by the lossless encoding unit 106 in FIG. 2 are decoded.
  • motion vector information disparity vector information
  • reference frame information reference frame information
  • prediction mode information intra prediction mode or inter prediction mode
  • information such as a flag and a quantization parameter
  • the prediction mode information is intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 211.
  • the prediction mode information is inter prediction mode information
  • motion vector information corresponding to the prediction mode information is supplied to the motion parallax prediction / compensation unit 212.
  • step S204 the inverse quantization unit 203 performs inverse quantization on the quantized orthogonal transform coefficient obtained by decoding by the lossless decoding unit 202.
  • step S205 the inverse orthogonal transform unit 204 performs inverse orthogonal transform on the orthogonal transform coefficient obtained by inverse quantization by the inverse quantization unit 203 by a method corresponding to the orthogonal transform unit 104 in FIG. As a result, the difference information corresponding to the input of the orthogonal transform unit 104 (output of the calculation unit 103) in FIG. 2 is decoded.
  • step S206 the calculation unit 205 adds the predicted image to the difference information obtained by the process in step S205. As a result, the original image data is decoded.
  • step S207 the deblock filter 206 appropriately filters the decoded image obtained by the process in step S206. Thereby, block distortion is appropriately removed from the decoded image.
  • the deblocking filter 206 supplies the resulting image to the adaptive offset filter 223.
  • step S208 the adaptive offset filter 223 performs adaptive offset filter processing for each LCU on the image after the deblocking filter processing by the deblocking filter 206 based on the offset filter information supplied from the lossless decoding unit 202. .
  • the adaptive offset filter 223 supplies the image after the adaptive offset filter processing to the adaptive loop filter 224.
  • step S209 the adaptive loop filter 224 performs adaptive loop filter processing for each LCU on the image supplied from the adaptive offset filter 223 using the filter coefficient supplied from the lossless decoding unit 202.
  • the adaptive loop filter 224 supplies the resulting image to the decoded picture buffer 209 and the screen rearrangement buffer 207.
  • step S210 the decoded picture buffer 209 stores the filtered decoded image.
  • step S211 the reference list generation unit 222 generates a reference list to be referred to when the motion parallax prediction / compensation unit 212 predicts the target image. Details of this reference list generation processing will be described later with reference to FIG.
  • a temporal list which is a temporary list used when generating the reference list, is generated based on the view reference image flag of the SPS. Then, a reference list is generated based on the generated temporal list. That is, a reference list is generated based on the view reference image flag.
  • step S ⁇ b> 212 the intra prediction unit 211 or the motion parallax prediction / compensation unit 212 performs image prediction processing corresponding to the prediction mode information supplied from the lossless decoding unit 202.
  • the intra prediction unit 211 performs an intra prediction process in the intra prediction mode.
  • the motion parallax prediction / compensation unit 212 uses the reference image of the reference image index indicated by the reference list generated by the process of step S211 to perform inter prediction. A mode motion parallax prediction compensation process is performed.
  • the selection unit 213 selects a predicted image. That is, the prediction unit 213 is supplied with the prediction image generated by the intra prediction unit 211 or the prediction image generated by the motion parallax prediction / compensation unit 212. The selection unit 213 selects the side to which the predicted image is supplied, and supplies the predicted image to the calculation unit 205. This predicted image is added to the difference information by the process of step S206.
  • step S214 the screen rearrangement buffer 207 rearranges the frames of the decoded image data. That is, the order of the frames of the decoded image data rearranged for encoding by the screen rearrangement buffer 102 (FIG. 2) of the image encoding device 1 is rearranged to the original display order.
  • step S215 the D / A converter 208 D / A converts the decoded image data in which the frames are rearranged in the screen rearrangement buffer 207.
  • the decoded image data is output to a display via a display control unit (not shown), and the image is displayed.
  • the decoding process ends.
  • the syntax processing unit 221 supplies header information such as VPS, SPS (including RPS), and slice header of the decoded image to the reference list generation unit 222.
  • the used_by_curr flag of the short-time reference image is set in the slice header or RPS supplied from the syntax processing unit 221.
  • the used_by_curr flag of the long-time reference image is set in the slice header or SPS.
  • the used_by_curr flag (interview reference image flag) of the inter-view reference image is set in the slice header or SPS in step S12 of FIG.
  • the reference image setting unit 231 sets the long-time reference image (LT) by referring to the time information of the reference image from the decoded picture buffer 209, the slice header, and the SPS, and generates a RefPicLtCurr [i] list.
  • the reference image setting unit 231 refers to the view information, slice header, SPS, and VPS of the reference image from the decoded picture buffer 209, sets the inter-view reference image (IV), and generates a RefPicSetIvCurr [i] list.
  • step S235 the temporal list generation unit 232 combines the above four types of lists set by the reference image setting unit 131 in the order of STbC, STaC, LT, IV, and the temporal list of L0 (RefPicListTemp0 [rldx]). Is generated.
  • step S136 the temporal list generation unit 132 combines the above four types of lists set by the reference image setting unit 131 in the order of STaC, STbC, LT, IV, and the temporal list of L1 (RefPicListTemp1 [rldx]). Is generated.
  • Num_ref_idx_l0_active_minus1 and num_ref_idx_l1_active_minus1 are set in the slice header and SPS supplied from the syntax processing unit 221.
  • the reference image list generation unit 233 extracts elements from the top of the L0 temporal list (RefPicListTemp0 [rldx]) to num_ref_idx_l0_active_minus1 + 1 and generates an L0 reference list (RefPicList0 [rIdx]).
  • the reference image list generation unit 233 extracts the elements from the top of the L1 temporal list (RefPicListTemp1 [rldx]) to num_ref_idx_l1_active_minus1 + 1 and generates the L1 reference list (RefPicList1 [rIdx]).
  • the inter-view reference image is inserted, and the default reference list is generated.
  • the HEVC method is used as the encoding method.
  • the present technology is a technology for performing display and is not related to the encoding method. Therefore, the present technology is not limited to the HEVC method, and other encoding / decoding methods can be applied.
  • the present invention can also be applied to an apparatus that performs encoding / decoding processing based on the AVC method described below.
  • FIG. 24 is a block diagram illustrating another configuration example of the encoding unit 14 of FIG. 24 differs from the encoding unit 14 in FIG. 2 only in that the encoding process by the AVC method is performed.
  • the image encoding device 1 includes an inverse quantization unit 108, an inverse orthogonal transform unit 109, a calculation unit 110, a deblock filter 111, a decoded picture buffer 112, a selection unit 113, an intra prediction unit 114, a motion parallax prediction / compensation unit. 115, a selection unit 116, and a rate control unit 117.
  • the encoding unit 14 further includes a syntax processing unit 121 and a reference list generation unit 122.
  • the configuration of the encoding unit 14 in FIG. 24 is only that the adaptive offset filter 123 and the adaptive loop filter 124 are removed, and that the lossless encoding unit 106 performs encoding using the AVC method, not the HEVC method. Is different from the configuration of the encoding unit 14 of FIG. Therefore, the encoding unit 14 performs the encoding process not on a CU basis but on a block basis.
  • the object of the encoding process of the lossless encoding unit 106 is basically the same as that of the lossless encoding unit 106 of FIG. 2 except for the parameters of the adaptive offset filter and the adaptive loop filter. That is, the lossless encoding unit 106 acquires the intra prediction mode information from the intra prediction unit 114, similarly to the lossless encoding unit 106 of FIG. Also, inter prediction mode information, motion vectors, information for specifying a reference image, and the like are acquired from the motion parallax prediction / compensation unit 115.
  • the lossless encoding unit 106 like the lossless encoding unit 106 in FIG. 2, performs variable length encoding (for example, CAVLC) and arithmetic encoding on the quantized coefficient supplied from the quantization unit 105. Perform lossless encoding such as CABAC (for example, CABAC).
  • CABAC lossless encoding
  • the lossless encoding unit 106 encodes the quantized transform coefficient as well as the lossless encoding unit 106 of FIG. 2, and also includes intra prediction mode information, inter prediction mode information, motion vector information, and quantization.
  • the parameter is made a part of the header information of the encoded data (multiplexed).
  • the lossless encoding unit 106 supplies the encoded data obtained by encoding to the accumulation buffer 107 for accumulation.
  • the deblocking filter 111 removes block distortion by filtering the locally decoded image supplied from the adding unit 110.
  • the deblocking filter 111 supplies the image obtained as a result to the decoded picture buffer 112 and accumulates it.
  • the image stored in the decoded picture buffer 112 is output as a reference image to the intra prediction unit 114 or the motion parallax prediction / compensation unit 115 via the selection unit 213.
  • the present technology can also be applied to such an AVC image encoding device.
  • FIG. 24 is a block diagram illustrating another configuration example of the decoding unit 165 of FIG.
  • a decoding unit 165 shown in FIG. 24 is a decoding device corresponding to the decoding unit 165 of FIG.
  • the decoding unit 165 in FIG. 24 is different from the decoding unit 165 in FIG. 19 only in that decoding processing by the AVC method is performed.
  • a storage buffer 201 includes a storage buffer 201, a lossless decoding unit 202, an inverse quantization unit 203, an inverse orthogonal transform unit 204, an addition unit 205, a deblock filter 206, a screen rearrangement buffer 207, and a D / A conversion unit 208.
  • a decoded picture buffer 209 includes a selection unit 210, an intra prediction unit 211, a motion parallax prediction / compensation unit 212, and a selection unit 213.
  • the configuration of the decoding unit 165 in FIG. 24 is only that the adaptive offset filter 223 and the adaptive loop filter 224 are removed, and that the lossless decoding unit 202 performs decoding by the AVC method instead of the HEVC method. Different from the configuration of the unit 165. Therefore, the decoding unit 165 performs the decoding process not on a CU basis but on a block basis.
  • the object of the decoding process of the lossless decoding unit 202 is basically the same as that of the lossless decoding unit 202 of FIG. 19 except for the parameters of the adaptive offset filter and the adaptive loop filter. That is, the accumulation buffer 201 accumulates the transmitted encoded data. This encoded data is encoded by the encoding unit 14 of FIG.
  • the syntax processing unit 221 acquires a sequence parameter set, a picture parameter set, a slice header, and the like from the encoded data read from the accumulation buffer 201 at a predetermined timing, similarly to the syntax processing unit 221 of FIG. Then, the acquired header information is supplied to the lossless decoding unit 202 together with the encoded data. In addition, the syntax processing unit 221 supplies the acquired header information and the like to the reference list generation unit 222.
  • the lossless decoding unit 202 performs lossless decoding such as variable length decoding and arithmetic decoding on the encoded data from the syntax processing unit 221, thereby To obtain a generalized coefficient.
  • the lossless decoding unit 202 supplies the quantized coefficient to the inverse quantization unit 203.
  • the deblocking filter 206 removes block distortion by filtering the image supplied from the adding unit 205.
  • the deblocking filter 206 supplies the resulting image to the decoded picture buffer 209 and the screen rearrangement buffer 207.
  • the present technology can also be applied to such an AVC image decoding apparatus.
  • this disclosure includes, for example, MPEG, When receiving image information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x, via network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • the present invention can be applied to an image encoding device and an image decoding device used in the above.
  • the present disclosure can be applied to an image encoding device and an image decoding device that are used when processing on a storage medium such as an optical disk, a magnetic disk, and a flash memory.
  • the present disclosure can also be applied to motion prediction / compensation devices included in such image encoding devices and image decoding devices.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer 500 can be provided by being recorded on a removable medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • An image encoding device and an image decoding device include a transmitter or a receiver in optical broadcasting, satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, etc.
  • the present invention can be applied to various electronic devices such as a recording device that records an image on a medium such as a magnetic disk and a flash memory, or a playback device that reproduces an image from these storage media.
  • a recording device that records an image on a medium such as a magnetic disk and a flash memory
  • a playback device that reproduces an image from these storage media.
  • FIG. 27 illustrates an example of a schematic configuration of a television apparatus to which the above-described embodiment is applied.
  • the television apparatus 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface 909, a control unit 910, a user interface 911, And a bus 912.
  • Tuner 902 extracts a signal of a desired channel from a broadcast signal received via antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the encoded bit stream obtained by the demodulation to the demultiplexer 903. In other words, the tuner 902 serves as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the demultiplexer 903 separates the video stream and audio stream of the viewing target program from the encoded bit stream, and outputs each separated stream to the decoder 904. Further, the demultiplexer 903 extracts auxiliary data such as EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. Note that the demultiplexer 903 may perform descrambling when the encoded bit stream is scrambled.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. In addition, the decoder 904 outputs audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display the video.
  • the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via a network.
  • the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting.
  • the video signal processing unit 905 may generate a GUI (Graphical User Interface) image such as a menu, a button, or a cursor, and superimpose the generated image on the output image.
  • GUI Graphic User Interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays an image on a video screen of a display device (for example, a liquid crystal display, a plasma display, or an OELD (Organic ElectroLuminescence Display) (organic EL display)). Or an image is displayed.
  • a display device for example, a liquid crystal display, a plasma display, or an OELD (Organic ElectroLuminescence Display) (organic EL display)). Or an image is displayed.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on the audio data input from the decoder 904, and outputs audio from the speaker 908.
  • the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television apparatus 900 to an external device or a network.
  • a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also has a role as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the control unit 910 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU when the television apparatus 900 is activated.
  • the CPU executes the program to control the operation of the television device 900 according to an operation signal input from the user interface 911, for example.
  • the user interface 911 is connected to the control unit 910.
  • the user interface 911 includes, for example, buttons and switches for the user to operate the television device 900, a remote control signal receiving unit, and the like.
  • the user interface 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910 to each other.
  • the decoder 904 has the function of the image decoding apparatus according to the above-described embodiment.
  • the view reference relationship can be efficiently changed in multi-view encoding. Also, it is possible to improve the encoding efficiency in multi-view encoding.
  • FIG. 28 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied.
  • a cellular phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, an operation A portion 932 and a bus 933.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931 to each other.
  • the mobile phone 920 has various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode, and is used for sending and receiving voice signals, sending and receiving e-mail or image data, taking images, and recording data. Perform the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, A / D converts the compressed audio data, and compresses it. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates the audio data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. In addition, the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 decompresses the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting the e-mail in response to an operation by the user via the operation unit 932.
  • the control unit 931 causes the display unit 930 to display characters.
  • the control unit 931 generates e-mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated e-mail data to the communication unit 922.
  • the communication unit 922 encodes and modulates email data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the email data, and outputs the restored email data to the control unit 931.
  • the control unit 931 displays the content of the electronic mail on the display unit 930 and stores the electronic mail data in the storage medium of the recording / reproducing unit 929.
  • the recording / reproducing unit 929 has an arbitrary readable / writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted type such as a hard disk, magnetic disk, magneto-optical disk, optical disk, USB (Universal Serial Bus) memory, or memory card. It may be a storage medium.
  • the camera unit 926 images a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926 and stores the encoded stream in the storage medium of the storage / playback unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the multiplexed stream is the communication unit 922. Output to.
  • the communication unit 922 encodes and modulates the stream and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • These transmission signal and reception signal may include an encoded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream and generates video data.
  • the video data is supplied to the display unit 930, and a series of images is displayed on the display unit 930.
  • the audio codec 923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device and the image decoding device according to the above-described embodiment. Therefore, when encoding and decoding an image with the mobile phone 920, the view reference relationship can be efficiently changed in multi-viewpoint encoding. Moreover, the encoding efficiency in multiview encoding can be improved.
  • FIG. 29 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied.
  • the recording / reproducing device 940 encodes audio data and video data of a received broadcast program and records the encoded data on a recording medium.
  • the recording / reproducing device 940 may encode audio data and video data acquired from another device and record them on a recording medium, for example.
  • the recording / reproducing device 940 reproduces data recorded on the recording medium on a monitor and a speaker, for example, in accordance with a user instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. 950.
  • Tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown), and demodulates the extracted signal. Then, the tuner 941 outputs the encoded bit stream obtained by the demodulation to the selector 946. That is, the tuner 941 has a role as a transmission unit in the recording / reproducing apparatus 940.
  • the external interface 942 is an interface for connecting the recording / reproducing apparatus 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 serves as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the encoded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream in which content data such as video and audio is compressed, various programs, and other data on an internal hard disk. Further, the HDD 944 reads out these data from the hard disk when reproducing video and audio.
  • the disk drive 945 performs recording and reading of data to and from the mounted recording medium.
  • the recording medium mounted on the disk drive 945 is, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk. It may be.
  • the selector 946 selects an encoded bit stream input from the tuner 941 or the encoder 943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 944 or the disk drive 945. In addition, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 during video and audio reproduction.
  • the decoder 947 decodes the encoded bit stream and generates video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. The decoder 904 outputs the generated audio data to an external speaker.
  • OSD 948 reproduces the video data input from the decoder 947 and displays the video. Further, the OSD 948 may superimpose a GUI image such as a menu, a button, or a cursor on the video to be displayed.
  • the control unit 949 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the recording / reproducing apparatus 940 is activated, for example.
  • the CPU controls the operation of the recording / reproducing apparatus 940 in accordance with an operation signal input from the user interface 950, for example, by executing the program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording / reproducing device 940, a remote control signal receiving unit, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image encoding apparatus according to the above-described embodiment.
  • the decoder 947 has the function of the image decoding apparatus according to the above-described embodiment.
  • FIG. 30 illustrates an example of a schematic configuration of an imaging apparatus to which the above-described embodiment is applied.
  • the imaging device 960 images a subject to generate an image, encodes the image data, and records it on a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970 to each other.
  • the optical block 961 includes a focus lens and a diaphragm mechanism.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor), and converts an optical image formed on the imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after the camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 and generates encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965. In addition, the image processing unit 964 may display the image by outputting the image data input from the signal processing unit 963 to the display unit 965. Further, the image processing unit 964 may superimpose display data acquired from the OSD 969 on an image output to the display unit 965.
  • the OSD 969 generates a GUI image such as a menu, a button, or a cursor, and outputs the generated image to the image processing unit 964.
  • the external interface 966 is configured as a USB input / output terminal, for example.
  • the external interface 966 connects the imaging device 960 and a printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • a removable medium such as a magnetic disk or an optical disk is attached to the drive, and a program read from the removable medium can be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted on the media drive 968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • a recording medium may be fixedly mounted on the media drive 968, and a non-portable storage unit such as an internal hard disk drive or an SSD (Solid State Drive) may be configured.
  • the control unit 970 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the imaging device 960 is activated, for example.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from the user interface 971 by executing the program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device and the image decoding device according to the above-described embodiment. Therefore, when encoding and decoding an image in the imaging device 960, the view reference relationship can be efficiently changed in multi-viewpoint encoding. Moreover, the encoding efficiency in multiview encoding can be improved.
  • FIG. 31 illustrates an example of a schematic configuration of a video set to which the present technology is applied.
  • the video set 1300 shown in FIG. 31 has such a multi-functional configuration, and the function is added to a device having a function related to image encoding and decoding (either one or both). It is a combination of devices having other related functions.
  • a video set 1300 includes a module group such as a video module 1311, an external memory 1312, a power management module 1313, and a front-end module 1314, and a related group such as a connectivity 1321, a camera 1322, and a sensor 1323. And a device having a function.
  • a cocoon module is a component that has several functions that are related to each other and that have a coherent function.
  • the specific physical configuration is arbitrary. For example, a plurality of processors each having a function, electronic circuit elements such as resistors and capacitors, and other devices arranged on a wiring board or the like can be considered. . It is also possible to combine the module with another module, a processor, or the like to form a new module.
  • the video module 1311 is a combination of components having functions related to image processing, and includes an application processor, a video processor, a broadband modem 1333, and an RF module 1334.
  • the processor is a configuration in which a configuration having a predetermined function is integrated on a semiconductor chip by an SoC (System On Chip), and for example, there is also a system LSI (Large Scale Integration) or the like.
  • the configuration having the predetermined function may be a logic circuit (hardware configuration), a CPU, a ROM, a RAM, and the like, and a program (software configuration) executed using them. , Or a combination of both.
  • a processor has a logic circuit and a CPU, ROM, RAM, etc., a part of the function is realized by a logic circuit (hardware configuration), and other functions are executed by the CPU (software configuration) It may be realized by.
  • the application processor 1331 in FIG. 31 is a processor that executes an application related to image processing.
  • the application executed in the application processor 1331 not only performs arithmetic processing to realize a predetermined function, but also can control the internal and external configurations of the video module 1311 such as the video processor 1332 as necessary. .
  • the video processor 1332 is a processor having a function related to image encoding / decoding (one or both of them).
  • the broadband modem 1333 is a processor (or module) that performs processing related to wired or wireless (or both) broadband communication performed via a broadband line such as the Internet or a public telephone line network.
  • the broadband modem 1333 digitally modulates data to be transmitted (digital signal) to convert it into an analog signal, or demodulates the received analog signal to convert it into data (digital signal).
  • the broadband modem 1333 can digitally modulate and demodulate arbitrary information such as image data processed by the video processor 1332, a stream obtained by encoding the image data, an application program, setting data, and the like.
  • the RF module 1334 is a module that performs frequency conversion, modulation / demodulation, amplification, filter processing, and the like on an RF (Radio RF Frequency) signal transmitted and received via an antenna. For example, the RF module 1334 generates an RF signal by performing frequency conversion or the like on the baseband signal generated by the broadband modem 1333. Further, for example, the RF module 1334 generates a baseband signal by performing frequency conversion or the like on the RF signal received via the front end module 1314.
  • RF Radio RF Frequency
  • the application processor 1331 and the video processor 1332 may be integrated into a single processor.
  • the external memory 1312 is a module having a storage device that is provided outside the video module 1311 and is used by the video module 1311.
  • the storage device of the external memory 1312 may be realized by any physical configuration, but is generally used for storing a large amount of data such as image data in units of frames. For example, it is desirable to realize it with a relatively inexpensive and large-capacity semiconductor memory such as DRAM (Dynamic Random Access Memory).
  • the power management module 1313 manages and controls power supply to the video module 1311 (each component in the video module 1311).
  • the front end module 1314 is a module that provides the RF module 1334 with a front end function (a circuit on a transmitting / receiving end on the antenna side). As illustrated in FIG. 31, the front end module 1314 includes, for example, an antenna unit 1351, a filter 1352, and an amplification unit 1353.
  • Antenna unit 1351 has an antenna for transmitting and receiving a radio signal and its peripheral configuration.
  • the antenna unit 1351 transmits the signal supplied from the amplification unit 1353 as a radio signal, and supplies the received radio signal to the filter 1352 as an electric signal (RF signal).
  • the filter 1352 performs a filtering process on the RF signal received via the antenna unit 1351 and supplies the processed RF signal to the RF module 1334.
  • the amplifying unit 1353 amplifies the RF signal supplied from the RF module 1334 and supplies the amplified RF signal to the antenna unit 1351.
  • Connectivity 1321 is a module having a function related to connection with the outside.
  • the physical configuration of the connectivity 1321 is arbitrary.
  • the connectivity 1321 has a configuration having a communication function other than the communication standard supported by the broadband modem 1333, an external input / output terminal, and the like.
  • the communication 1321 is compliant with wireless communication standards such as Bluetooth (registered trademark), IEEE 802.11 (for example, Wi-Fi (Wireless Fidelity, registered trademark)), NFC (Near Field Communication), IrDA (InfraRed Data Association), etc. You may make it have a module which has a function, an antenna etc. which transmit / receive the signal based on the standard.
  • the connectivity 1321 has a module having a communication function compliant with a wired communication standard such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or a terminal compliant with the standard. You may do it.
  • the connectivity 1321 may have other data (signal) transmission functions such as analog input / output terminals.
  • the connectivity 1321 may include a data (signal) transmission destination device.
  • the drive 1321 reads and writes data to and from a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory (not only a removable medium drive, but also a hard disk, SSD (Solid State Drive) NAS (including Network Attached Storage) and the like.
  • the connectivity 1321 may include an image or audio output device (a monitor, a speaker, or the like).
  • the eyelid camera 1322 is a module having a function of capturing an image of a subject and obtaining image data of the subject.
  • Image data obtained by imaging by the camera 1322 is supplied to, for example, a video processor 1332 and encoded.
  • the sensor 1323 includes, for example, a voice sensor, an ultrasonic sensor, an optical sensor, an illuminance sensor, an infrared sensor, an image sensor, a rotation sensor, an angle sensor, an angular velocity sensor, a velocity sensor, an acceleration sensor, an inclination sensor, a magnetic identification sensor, an impact sensor, It is a module having an arbitrary sensor function such as a temperature sensor.
  • the data detected by the sensor 1323 is supplied to the application processor 1331 and used by an application or the like.
  • the configuration described above as a module may be realized as a processor, or conversely, the configuration described as a processor may be realized as a module.
  • the present technology can be applied to the video processor 1332 as described later. Therefore, the video set 1300 can be implemented as a set to which the present technology is applied.
  • FIG. 32 illustrates an example of a schematic configuration of a video processor 1332 (FIG. 31) to which the present technology is applied.
  • the video processor 1332 receives the video signal and the audio signal, encodes them in a predetermined method, decodes the encoded video data and audio data, A function of reproducing and outputting an audio signal.
  • the video processor 1332 includes a video input processing unit 1401, a first image scaling unit 1402, a second image scaling unit 1403, a video output processing unit 1404, a frame memory 1405, and a memory control unit 1406.
  • the video processor 1332 includes an encoding / decoding engine 1407, video ES (ElementaryElementStream) buffers 1408A and 1408B, and audio ES buffers 1409A and 1409B.
  • the video processor 1332 includes an audio encoder 1410, an audio decoder 1411, a multiplexing unit (MUX (Multiplexer)) 1412, a demultiplexing unit (DMUX (Demultiplexer)) 1413, and a stream buffer 1414.
  • MUX Multiplexing unit
  • DMUX demultiplexing unit
  • the video input processing unit 1401 acquires a video signal input from, for example, the connectivity 1321 (FIG. 31) and converts it into digital image data.
  • the first image enlargement / reduction unit 1402 performs format conversion, image enlargement / reduction processing, and the like on the image data.
  • the second image enlargement / reduction unit 1403 performs image enlargement / reduction processing on the image data in accordance with the format of the output destination via the video output processing unit 1404, or is the same as the first image enlargement / reduction unit 1402. Format conversion and image enlargement / reduction processing.
  • the video output processing unit 1404 performs format conversion, conversion to an analog signal, and the like on the image data and outputs the reproduced video signal to, for example, the connectivity 1321 (FIG. 31).
  • the frame memory 1405 is a memory for image data shared by the video input processing unit 1401, the first image scaling unit 1402, the second image scaling unit 1403, the video output processing unit 1404, and the encoding / decoding engine 1407. .
  • the frame memory 1405 is realized as a semiconductor memory such as a DRAM, for example.
  • the memory control unit 1406 receives the synchronization signal from the encoding / decoding engine 1407, and controls the writing / reading access to the frame memory 1405 according to the access schedule to the frame memory 1405 written in the access management table 1406A.
  • the access management table 1406A is updated by the memory control unit 1406 in accordance with processing executed by the encoding / decoding engine 1407, the first image enlargement / reduction unit 1402, the second image enlargement / reduction unit 1403, and the like.
  • the encoding / decoding engine 1407 performs encoding processing of image data and decoding processing of a video stream that is data obtained by encoding the image data. For example, the encoding / decoding engine 1407 encodes the image data read from the frame memory 1405 and sequentially writes the data as a video stream in the video ES buffer 1408A. Further, for example, the video stream is sequentially read from the video ES buffer 1408B, decoded, and sequentially written in the frame memory 1405 as image data.
  • the encoding / decoding engine 1407 uses the frame memory 1405 as a work area in the encoding and decoding. Also, the encoding / decoding engine 1407 outputs a synchronization signal to the memory control unit 1406, for example, at a timing at which processing for each macroblock is started.
  • the video ES buffer 1408A buffers the video stream generated by the encoding / decoding engine 1407 and supplies the buffered video stream to the multiplexing unit (MUX) 1412.
  • the video ES buffer 1408B buffers the video stream supplied from the demultiplexer (DMUX) 1413 and supplies the buffered video stream to the encoding / decoding engine 1407.
  • the audio ES buffer 1409A buffers the audio stream generated by the audio encoder 1410 and supplies the buffered audio stream to the multiplexing unit (MUX) 1412.
  • the audio ES buffer 1409B buffers the audio stream supplied from the demultiplexer (DMUX) 1413 and supplies the buffered audio stream to the audio decoder 1411.
  • the audio encoder 1410 converts, for example, an audio signal input from the connectivity 1321 (FIG. 31), for example, into a digital format, and encodes the audio signal using a predetermined method such as an MPEG audio method or an AC3 (Audio Code number 3) method.
  • the audio encoder 1410 sequentially writes an audio stream, which is data obtained by encoding an audio signal, in the audio ES buffer 1409A.
  • the audio decoder 1411 decodes the audio stream supplied from the audio ES buffer 1409B, performs conversion to an analog signal, for example, and supplies the reproduced audio signal to, for example, the connectivity 1321 (FIG. 31).
  • Multiplexer (MUX) 1412 multiplexes the video stream and the audio stream.
  • the multiplexing method (that is, the format of the bit stream generated by multiplexing) is arbitrary.
  • the multiplexing unit (MUX) 1412 can also add predetermined header information or the like to the bit stream. That is, the multiplexing unit (MUX) 1412 can convert the stream format by multiplexing. For example, the multiplexing unit (MUX) 1412 multiplexes the video stream and the audio stream to convert it into a transport stream that is a bit stream in a transfer format. Further, for example, the multiplexing unit (MUX) 1412 multiplexes the video stream and the audio stream, thereby converting the data into file format data (file data) for recording.
  • the demultiplexing unit (DMUX) 1413 demultiplexes the bit stream in which the video stream and the audio stream are multiplexed by a method corresponding to the multiplexing by the multiplexing unit (MUX) 1412. That is, the demultiplexer (DMUX) 1413 extracts the video stream and the audio stream from the bit stream read from the stream buffer 1414 (separates the video stream and the audio stream). That is, the demultiplexer (DMUX) 1413 can convert the stream format by demultiplexing (inverse conversion of the conversion by the multiplexer (MUX) 1412). For example, the demultiplexing unit (DMUX) 1413 obtains the transport stream supplied from, for example, the connectivity 1321 and the broadband modem 1333 (both in FIG.
  • the demultiplexer (DMUX) 1413 obtains the file data read from various recording media by the connectivity 1321 (FIG. 31) via the stream buffer 1414 and demultiplexes the file data, for example, It can be converted into a video stream and an audio stream.
  • the stream buffer 1414 buffers the bit stream.
  • the stream buffer 1414 buffers the transport stream supplied from the multiplexing unit (MUX) 1412 and, for example, at the predetermined timing or based on a request from the outside, for example, the connectivity 1321 or the broadband modem 1333 (whichever Are also supplied to FIG.
  • MUX multiplexing unit
  • the stream buffer 1414 buffers the file data supplied from the multiplexing unit (MUX) 1412 and, for example, the connectivity 1321 (FIG. 31) or the like at a predetermined timing or based on an external request or the like. To be recorded on various recording media.
  • MUX multiplexing unit
  • the stream buffer 1414 buffers the transport stream acquired via, for example, the connectivity 1321 and the broadband modem 1333 (both of which are shown in FIG. 31), and performs reverse processing at a predetermined timing or based on an external request or the like.
  • the data is supplied to a multiplexing unit (DMUX) 1413.
  • DMUX multiplexing unit
  • the stream buffer 1414 buffers file data read from various recording media in, for example, the connectivity 1321 (FIG. 31), and the demultiplexing unit at a predetermined timing or based on an external request or the like. (DMUX) 1413.
  • DMUX demultiplexing unit
  • a video signal input to the video processor 1332 from the connectivity 1321 (FIG. 31) or the like is converted into digital image data of a predetermined format such as 4: 2: 2Y / Cb / Cr format by the video input processing unit 1401.
  • the data is sequentially written into the frame memory 1405.
  • This digital image data is read by the first image enlargement / reduction unit 1402 or the second image enlargement / reduction unit 1403, and format conversion to a predetermined method such as 4: 2: 0Y / Cb / Cr method and enlargement / reduction processing are performed. Is written again in the frame memory 1405.
  • This image data is encoded by the encoding / decoding engine 1407 and written as a video stream in the video ES buffer 1408A.
  • an audio signal input to the video processor 1332 from the connectivity 1321 (FIG. 31) or the like is encoded by the audio encoder 1410 and written as an audio stream in the audio ES buffer 1409A.
  • the video stream of the video ES buffer 1408A and the audio stream of the audio ES buffer 1409A are read and multiplexed by the multiplexing unit (MUX) 1412 and converted into a transport stream or file data.
  • the transport stream generated by the multiplexing unit (MUX) 1412 is buffered in the stream buffer 1414 and then output to the external network via, for example, the connectivity 1321 and the broadband modem 1333 (both of which are shown in FIG. 31).
  • the file data generated by the multiplexing unit (MUX) 1412 is buffered in the stream buffer 1414, and then output to, for example, the connectivity 1321 (FIG. 31) and recorded on various recording media.
  • the transport stream input from the external network to the video processor 1332 via the connectivity 1321 and the broadband modem 1333 is buffered in the stream buffer 1414 and then demultiplexed (DMUX) 1413 is demultiplexed.
  • DMUX demultiplexed
  • file data read from various recording media in the connectivity 1321 (FIG. 31) and input to the video processor 1332 is buffered in the stream buffer 1414 and then demultiplexed by the demultiplexer (DMUX) 1413. It becomes. That is, the transport stream or file data input to the video processor 1332 is separated into a video stream and an audio stream by the demultiplexer (DMUX) 1413.
  • the audio stream is supplied to the audio decoder 1411 via the audio ES buffer 1409B and decoded to reproduce the audio signal.
  • the video stream is written to the video ES buffer 1408B, and then sequentially read and decoded by the encoding / decoding engine 1407, and written to the frame memory 1405.
  • the decoded image data is enlarged / reduced by the second image enlargement / reduction unit 1403 and written to the frame memory 1405.
  • the decoded image data is read out to the video output processing unit 1404, format-converted to a predetermined system such as 4: 2: 2Y / Cb / Cr system, and further converted into an analog signal to be converted into a video signal. Is played out.
  • the present technology when the present technology is applied to the video processor 1332 configured as described above, the present technology according to each embodiment described above may be applied to the encoding / decoding engine 1407. That is, for example, the encoding / decoding engine 1407 has the functions of the image encoding device 1 (FIG. 1) according to the first embodiment and the image decoding device 151 (FIG. 18) according to the second embodiment. You can do it. In this way, the video processor 1332 can obtain the same effects as those described above with reference to FIGS.
  • the present technology (that is, the functions of the image encoding device and the image decoding device according to each embodiment described above) may be realized by hardware such as a logic circuit. It may be realized by software such as an embedded program, or may be realized by both of them.
  • FIG. 33 illustrates another example of a schematic configuration of the video processor 1332 (FIG. 31) to which the present technology is applied.
  • the video processor 1332 has a function of encoding and decoding video data by a predetermined method.
  • the video processor 1332 includes a control unit 1511, a display interface 1512, a display engine 1513, an image processing engine 1514, and an internal memory 1515.
  • the video processor 1332 includes a codec engine 1516, a memory interface 1517, a multiplexing / demultiplexing unit (MUX DMUX) 1518, a network interface 1519, and a video interface 1520.
  • MUX DMUX multiplexing / demultiplexing unit
  • the eyelid control unit 1511 controls the operation of each processing unit in the video processor 1332 such as the display interface 1512, the display engine 1513, the image processing engine 1514, and the codec engine 1516.
  • the control unit 1511 includes, for example, a main CPU 1531, a sub CPU 1532, and a system controller 1533.
  • the main CPU 1531 executes a program and the like for controlling the operation of each processing unit in the video processor 1332.
  • the main CPU 1531 generates a control signal according to the program and supplies it to each processing unit (that is, controls the operation of each processing unit).
  • the sub CPU 1532 plays an auxiliary role of the main CPU 1531.
  • the sub CPU 1532 executes a child process such as a program executed by the main CPU 1531, a subroutine, or the like.
  • the system controller 1533 controls operations of the main CPU 1531 and the sub CPU 1532 such as designating a program to be executed by the main CPU 1531 and the sub CPU 1532.
  • the display interface 1512 outputs image data to, for example, the connectivity 1321 (FIG. 31) under the control of the control unit 1511.
  • the display interface 1512 converts image data of digital data into an analog signal, and outputs it to a monitor device or the like of the connectivity 1321 (FIG. 31) as a reproduced video signal or as image data of the digital data.
  • the display engine 1513 Under the control of the control unit 1511, the display engine 1513 performs various conversion processes such as format conversion, size conversion, color gamut conversion, and the like so as to match the image data with hardware specifications such as a monitor device that displays the image. I do.
  • the eyelid image processing engine 1514 performs predetermined image processing such as filter processing for improving image quality on the image data under the control of the control unit 1511.
  • the internal memory 1515 is a memory provided inside the video processor 1332 that is shared by the display engine 1513, the image processing engine 1514, and the codec engine 1516.
  • the internal memory 1515 is used, for example, for data exchange performed between the display engine 1513, the image processing engine 1514, and the codec engine 1516.
  • the internal memory 1515 stores data supplied from the display engine 1513, the image processing engine 1514, or the codec engine 1516, and stores the data as needed (eg, upon request). This is supplied to the image processing engine 1514 or the codec engine 1516.
  • the internal memory 1515 may be realized by any storage device, but is generally used for storing a small amount of data such as image data or parameters in units of blocks. It is desirable to realize a semiconductor memory having a relatively small capacity but a high response speed (for example, as compared with the external memory 1312) such as “Static Random Access Memory”.
  • the codec engine 1516 performs processing related to encoding and decoding of image data.
  • the encoding / decoding scheme supported by the codec engine 1516 is arbitrary, and the number thereof may be one or plural.
  • the codec engine 1516 may be provided with codec functions of a plurality of encoding / decoding schemes, and may be configured to perform encoding of image data or decoding of encoded data using one selected from them.
  • the codec engine 1516 includes, for example, MPEG-2 video 1541, AVC / H.2641542, HEVC / H.2651543, HEVC / H.265 (Scalable) 1544, as function blocks for processing related to the codec.
  • HEVC / H.265 (Multi-view) 1545 and MPEG-DASH 1551 are included.
  • “MPEG-2” Video 1541 is a functional block that encodes and decodes image data in the MPEG-2 format.
  • AVC / H.2641542 is a functional block that encodes and decodes image data using the AVC method.
  • HEVC / H.2651543 is a functional block that encodes and decodes image data using the HEVC method.
  • HEVC / H.265 (Scalable) 1544 is a functional block that performs scalable encoding and scalable decoding of image data using the HEVC method.
  • HEVC / H.265 (Multi-view) 1545 is a functional block that multi-view encodes or multi-view decodes image data using the HEVC method.
  • MPEG-DASH 1551 is a functional block that transmits and receives image data in the MPEG-DASH (MPEG-Dynamic Adaptive Streaming over HTTP) method.
  • MPEG-DASH is a technology for streaming video using HTTP (HyperText Transfer Protocol), and selects and transmits appropriate data from multiple encoded data with different resolutions prepared in advance in segments. This is one of the features.
  • MPEG-DASH 1551 generates a stream compliant with the standard, controls transmission of the stream, and the like.
  • MPEG-2 Video 1541 to HEVC / H.265 (Multi-view) 1545 described above are used. Is used.
  • the memory interface 1517 is an interface for the external memory 1312. Data supplied from the image processing engine 1514 or the codec engine 1516 is supplied to the external memory 1312 via the memory interface 1517. The data read from the external memory 1312 is supplied to the video processor 1332 (the image processing engine 1514 or the codec engine 1516) via the memory interface 1517.
  • a multiplexing / demultiplexing unit (MUX DMUX) 1518 multiplexes and demultiplexes various data related to images such as a bit stream of encoded data, image data, and a video signal.
  • This multiplexing / demultiplexing method is arbitrary.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 can not only combine a plurality of data into one but also add predetermined header information or the like to the data.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 not only divides one data into a plurality of data but also adds predetermined header information or the like to each divided data. it can.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 can convert the data format by multiplexing / demultiplexing.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 multiplexes the bitstream, thereby transporting the transport stream, which is a bit stream in a transfer format, or data in a file format for recording (file data).
  • the transport stream which is a bit stream in a transfer format, or data in a file format for recording (file data).
  • file data file format for recording
  • the network interface 1519 is an interface for a broadband modem 1333, connectivity 1321 (both in FIG. 31), and the like.
  • the video interface 1520 is an interface for, for example, the connectivity 1321 and the camera 1322 (both are FIG. 31).
  • the transport stream is multiplexed / demultiplexed (MUX) via the network interface 1519.
  • DMUX demultiplexed
  • the codec engine 1516 For example, the image data obtained by decoding by the codec engine 1516 is subjected to predetermined image processing by the image processing engine 1514, subjected to predetermined conversion by the display engine 1513, and connected to, for example, the connectivity 1321 (see FIG. 31) etc., and the image is displayed on the monitor.
  • image data obtained by decoding by the codec engine 1516 is re-encoded by the codec engine 1516, multiplexed by a multiplexing / demultiplexing unit (MUX DMUX) 1518, converted into file data, and video
  • MUX DMUX multiplexing / demultiplexing unit
  • the data is output to, for example, the connectivity 1321 (FIG. 31) via the interface 1520 and recorded on various recording media.
  • encoded data file data obtained by encoding image data read from a recording medium (not shown) by the connectivity 1321 (FIG. 31) is multiplexed / demultiplexed via the video interface 1520. Is supplied to a unit (MUX DMUX) 1518, demultiplexed, and decoded by the codec engine 1516. Image data obtained by decoding by the codec engine 1516 is subjected to predetermined image processing by the image processing engine 1514, subjected to predetermined conversion by the display engine 1513, and, for example, connectivity 1321 (FIG. 31) via the display interface 1512. And the image is displayed on the monitor.
  • MUX DMUX unit
  • image data obtained by decoding by the codec engine 1516 is re-encoded by the codec engine 1516, multiplexed by the multiplexing / demultiplexing unit (MUX DMUX) 1518, and converted into a transport stream, For example, it is supplied to the connectivity 1321 and the broadband modem 1333 (both of which are shown in FIG. 31) via the network interface 1519 and transmitted to another device (not shown).
  • MUX DMUX multiplexing / demultiplexing unit
  • image data and other data are exchanged between the processing units in the video processor 1332 using, for example, the internal memory 1515 and the external memory 1312.
  • the power management module 1313 controls power supply to the control unit 1511, for example.
  • the present technology when the present technology is applied to the video processor 1332 configured as described above, the present technology according to each of the above-described embodiments may be applied to the codec engine 1516. That is, for example, the codec engine 1516 includes functional blocks that implement the image encoding device 1 (FIG. 1) according to the first embodiment and the image decoding device 151 (FIG. 18) according to the second embodiment. What should I do? In this way, the video processor 1332 can obtain the same effects as those described above with reference to FIGS.
  • the present technology (that is, the functions of the image encoding device and the image decoding device according to each of the above-described embodiments) may be realized by hardware such as a logic circuit or an embedded program. It may be realized by software such as the above, or may be realized by both of them.
  • the configuration of the video processor 1332 is arbitrary and may be other than the two examples described above.
  • the video processor 1332 may be configured as one semiconductor chip, but may be configured as a plurality of semiconductor chips. For example, a three-dimensional stacked LSI in which a plurality of semiconductors are stacked may be used. Further, it may be realized by a plurality of LSIs.
  • Video set 1300 can be incorporated into various devices that process image data.
  • the video set 1300 can be incorporated into the television device 900 (FIG. 27), the mobile phone 920 (FIG. 28), the recording / reproducing device 940 (FIG. 29), the imaging device 960 (FIG. 30), or the like.
  • the apparatus can obtain the same effects as those described above with reference to FIGS.
  • each configuration of the video set 1300 described above can be implemented as a configuration to which the present technology is applied as long as it includes the video processor 1332.
  • the video processor 1332 can be implemented as a video processor to which the present technology is applied.
  • the processor or the video module 1311 indicated by the dotted line 1341 can be implemented as a processor or a module to which the present technology is applied.
  • the video module 1311, the external memory 1312, the power management module 1313, and the front end module 1314 can be combined and implemented as a video unit 1361 to which the present technology is applied. In any case, the same effects as those described above with reference to FIGS. 1 to 23 can be obtained.
  • any configuration including the video processor 1332 can be incorporated into various devices that process image data, as in the case of the video set 1300.
  • a video processor 1332 a processor indicated by a dotted line 1341, a video module 1311, or a video unit 1361, a television device 900 (FIG. 27), a mobile phone 920 (FIG. 28), a recording / playback device 940 (FIG. 29), It can be incorporated in an imaging device 960 (FIG. 30) or the like.
  • the apparatus can obtain the same effects as those described above with reference to FIGS. 1 to 23, as in the case of the video set 1300. .
  • the method for transmitting such information is not limited to such an example.
  • these pieces of information may be transmitted or recorded as separate data associated with the encoded bitstream without being multiplexed into the encoded bitstream.
  • the term “associate” means that an image (which may be a part of an image such as a slice or a block) included in the bitstream and information corresponding to the image can be linked at the time of decoding. Means. That is, information may be transmitted on a transmission path different from that of the image (or bit stream).
  • Information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream). Furthermore, the information and the image (or bit stream) may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • this technique can also take the following structures.
  • a decoding unit that decodes a bitstream and generates an image; With reference to a list of reference images generated based on layer reference image information for controlling, for each layer, reference images that can be referred to in the layer direction referred to when predicting an image obtained by decoding the bitstream,
  • An image processing apparatus comprising: a prediction unit that predicts an image generated by a decoding unit.
  • the layer reference image information is transmitted at regular intervals or in units of pictures.
  • the layer reference image information is set in a sequence parameter set or a slice header of the bit stream.
  • the image processing device according to any one of (1) to (3), further including a reference list generation unit that generates the reference list based on the reception layer reference image information.
  • the reference list generation unit inserts a reference image that can be referred to in the layer direction into the list of reference images with respect to the L1 direction
  • the reference list generation unit sets the order of the reference images that can be referred to in the layer direction in the L0 direction.
  • the image processing apparatus according to (4), wherein the image processing apparatus is inserted in the opposite direction.
  • the reference list generation unit generates a list of reference images by adding a reference image whose layer reference image information indicates 1 among reference images that can be referred to in the layer direction.
  • An image processing apparatus according to 1.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction with respect to the L0 direction, and is positioned temporally before the image.
  • the reference image list is generated by combining the reference image, the reference image positioned later in time than the image, the long-time reference image, and the reference image that can be referred to in the layer direction in order.
  • Image processing apparatus (8)
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction with respect to the L1 direction, and is positioned later in time than the image.
  • the reference image, the reference image positioned before the image in time, the long-time reference image, and the reference image that can be referred to in the layer direction are combined in this order to generate the list of the reference images.
  • Image processing apparatus The image processing device according to any one of (1) to (7), wherein the layer is a view.
  • the image processing apparatus is Decode the bitstream to generate an image, A reference image that can be referred to in the layer direction that is referred to when predicting an image obtained by decoding the bitstream is generated with reference to a list of reference images that are generated based on layer reference image information for controlling each layer. An image processing method for predicting a captured image.
  • a setting unit that sets layer reference image information that controls a reference image that can be referred to in a layer direction referred to when predicting an image
  • a prediction unit that generates a predicted image with reference to a list of reference images generated based on the layer reference image information set by the setting unit
  • An encoding unit that encodes the image using the prediction image generated by the prediction unit and generates a bitstream
  • An image processing apparatus comprising: a transmission unit that transmits the bitstream generated by the encoding unit and the layer reference image information set by the setting unit.
  • the image processing device (13) The image processing device according to (11) or (12), wherein the setting unit sets the layer reference image information in a sequence parameter set or a slice header of the bitstream.
  • the image processing device according to any one of (11) to (13), further including a reference list generation unit that generates a list of the reference images based on the layer reference image information set by the setting unit. .
  • the reference list generation unit inserts a reference image that can be referred to in the layer direction into the list of reference images with respect to the L1 direction
  • the reference list generation unit sets the order of the reference images that can be referred to in the layer direction in the L0 direction.
  • the image processing apparatus according to (14), wherein the image processing apparatus is inserted in reverse of the case.
  • the reference list generation unit generates a list of reference images by adding a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction.
  • An image processing apparatus according to 1.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction with respect to the L0 direction, and is positioned temporally before the image.
  • the reference image list is generated by combining the reference image, the reference image positioned later in time than the image, the long-time reference image, and the reference image that can be referred to in the layer direction in order. Image processing apparatus.
  • the reference list generation unit adds a reference image in which the layer reference image information indicates 1 among reference images that can be referred to in the layer direction with respect to the L1 direction, and is positioned later in time than the image.
  • the reference image, the reference image positioned temporally before the image, the long-time reference image, and the reference image that can be referred to in the layer direction are combined in this order to generate the list of the reference images.
  • Image processing apparatus (19) The image processing device according to any one of (11) to (18), wherein the layer is a view.
  • the image processing apparatus is Set the layer reference image information that controls the reference image that can be referenced in the layer direction referenced when predicting the image, A prediction image is generated by referring to a list of reference images generated based on the set layer reference image information, Encoding the image using the generated predicted image to generate a bitstream; An image processing method for transmitting a generated bitstream and set layer reference image information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　本開示は、多視点符号化においてビューの参照関係を効率的に変更することができるようにする画像処理装置および方法に関する。 本技術においては、インタービュー参照画像についても、スライスヘッダやSPSのシンタックスで、used_by_currフラグが参照する可能性がある画像に対して設定されている。used_by_currフラグが１の画像のみが、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストに追加される。したがって、L0のテンポラルリスト(RefPicListTemp0[rldx])は、インデックス０の短時間（前）参照画像、インデックス１の短時間（後）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。本開示は、例えば、画像処理装置に適用することができる。

Description

画像処理装置および方法
　本開示は画像処理装置および方法に関し、特に、階層符号化または多視点符号化において、ビューの参照関係を効率的に変更することができるようにした画像処理装置および方法に関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下 AVCと記す）などがある。
　そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。また、その拡張として、多視点画像についての符号化の標準化も並行して進められており、多視点画像の符号化についてのドラフトとして非特許文献１が発行されている。
　ところで、Ｂピクチャを復号するための参照画像の候補が優先順に並ぶリストである参照リストは、一時的なリストであるテンポラルリストに優先順に並ぶ参照画像の先頭から順に生成される。
　非特許文献１においては、長時間参照画像や短時間参照画像をテンポラルリストに追加するか否かは、SPS(Slice Parameter Set)またはスライスヘッダで切り替えることができる。
　これに対して、インターレイヤ（ビュー）間の参照関係は、VPS(Video Parameter Set)で定義されている。そして、VPSで参照が指定されるレイヤは、必ず、テンポラルリストに追加されてしまう。すなわち、インターレイヤの参照画像の制御は、シーケンスで１度のみ伝送されるVPSでしかできなかった。
　そこで、非特許文献２においては、ビューの参照関係を変更するためのSEI（Supplemental Enhancement Information）が提案されている。
Gerhard Tech , Krzysztof Wegner , Ying Chen , Miska Hannuksela,"MV-HEVC Draft Text2", JCT3V-B1004, 2012,11,07 Byeonghoon Choi , Jeonghoon Park ,"View dependency change SEI message SEI for MV-HEVC", JCT3V-B0063, 2012,10,08
　しかしながら、非特許文献２において提案されているのは、SEIであるので、デフォルトの参照リストの生成に影響を与えることがなかった。したがって、ある特定のビューの参照関係を変えるために、すべてのビューの参照関係を記述する必要があった。
　本開示は、このような状況に鑑みてなされたものであり、階層符号化または多視点符号化において、ビューの参照関係を効率的に変更することができるものである。
　本開示の一側面の画像処理装置は、ビットストリームを復号して、画像を生成する復号部と、前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、前記復号部により生成された画像を予測する予測部とを備える。
　前記レイヤ参照画像情報は、一定間隔またはピクチャ単位で伝送される。
　前記レイヤ参照画像情報は、前記ビットストリームのシーケンスパラメータセットまたはスライスヘッダに設定されている。
　前記レイヤ参照画像情報に基づいて、前記参照画像のリストを生成する参照リスト生成部をさらに備えることができる。
　前記参照リスト生成部は、Ｌ１方向に関して、前記参照画像のリストに、前記レイヤ方向に参照可能な参照画像を挿入する際、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆にして挿入することができる。
　前記参照リスト生成部は、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加して、前記参照画像のリストを生成することができる。
　前記参照リスト生成部は、Ｌ０方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成することができる。
　前記参照リスト生成部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成することができる。
　前記レイヤは、ビューである。
　本開示の一側面の画像処理方法は、画像処理装置が、ビットストリームを復号して、画像を生成し、前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、生成された画像を予測する。
　本開示の他の側面の画像処理装置は、画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報を設定する設定部と、前記設定部により設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像を生成する予測部と、前記予測部により生成された予測画像を用いて前記画像を符号化して、ビットストリームを生成する符号化部と、前記符号化部により生成されたビットストリームと、前記設定部により設定されたレイヤ参照画像情報とを伝送する伝送部とを備える。
　前記伝送部は、前記設定部により設定されたレイヤ参照画像情報を、一定間隔またはピクチャ単位で伝送することができる。
　前記設定部は、前記レイヤ参照画像情報を、前記ビットストリームのシーケンスパラメータセットまたはスライスヘッダに設定することができる。
　前記設定部により設定されたレイヤ参照画像情報に基づいて、前記参照画像のリストを生成する参照リスト生成部をさらに備えることができる。
　前記参照リスト生成部は、Ｌ１方向に関して、前記参照画像のリストに、前記レイヤ方向に参照可能な参照画像を挿入する際、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆にして挿入することができる。
　前記参照リスト生成部は、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加して、前記参照画像のリストを生成することができる。
　前記参照リスト生成部は、Ｌ０方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成することができる。
　前記参照リスト生成部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成することができる。
　前記レイヤは、ビューである。
　本開示の他の側面の画像処理方法は、画像処理装置が、画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報を設定し、設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像を生成し、生成された予測画像を用いて符号化して、ビットストリームを生成し、生成されたビットストリームと、設定されたレイヤ参照画像情報とを伝送する。
　本開示の一側面においては、ビットストリームを復号して、画像が生成される。そして、前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像の追加をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、生成された画像が予測される。
　本開示の他の側面においては、画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報が設定され、設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像が生成される。そして、生成された予測画像を用いて符号化して、ビットストリームが生成され、生成されたビットストリームと、設定されたレイヤ参照画像情報とが伝送される。
　なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
　本開示の一側面によれば、画像を復号することができる。特に、階層符号化または多視点符号化において、ビューの参照関係を効率的に変更することができる。
　本開示の他の側面によれば、画像を符号化することができる。特に、階層符号化または多視点符号化において、ビューの参照関係を効率的に変更することができる。
画像符号化装置の主な構成例を示すブロック図である。 符号化部の構成例を示すブロック図である。 参照画像の変更に関して起こり得る状況を説明する図である。 本技術における従来との比較を説明する図である。 パラメータセットについて説明する図である。 参照画像の構造の例を説明する図である。 従来の参照リストの生成方法の例を示す図である。 本技術の参照リストの生成方法の例を示す図である。 VPSのシンタックスの例を示す図である。 本技術におけるSPSエクステンションのシンタックスの例を示す図である。 本技術におけるスライスヘッダエクステンションのシンタックスの例を示す図である。 本技術におけるインタービュー画像間の並び順を説明する図である。 本技術におけるインタービュー画像間の並び順の変更方法を示す図である。 図２の参照リスト生成部の構成例を示すブロック図である。 図１の画像符号化装置の処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 参照リスト生成処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号部の構成例を示すブロック図である。 図１９の参照リスト生成部の構成例を示すブロック図である。 図１８の画像復号装置の処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 参照リスト生成処理の流れの例を説明するフローチャートである。 符号化部の他の構成例を示すブロック図である。 復号部の他の構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（AVC方式の符号化部および復号部）
４．第４の実施の形態（コンピュータ）
５．応用例
６．第５の実施の形態（セット・ユニット・モジュール・プロセッサ）
＜第１の実施の形態＞
［階層符号化の説明］
　これまでの、MPEG2、AVCといった画像符号化方式は、スケーラビリティ（scalability）機能を有していた。スケーラブル符号化（階層符号化）とは、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化する方式である。
　画像の階層化においては、所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。基本的に各レイヤは、冗長性が低減されるように、差分データにより構成される。例えば、１の画像をベースレイヤとエンハンスメントレイヤに２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとエンハンスメントレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
　このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話機のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
　このようなスケーラビリティ性を持たせるパラメータとして、例えば、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
　また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
　また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
　スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
　また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
　さらに、スケーラビリティ性を持たせるパラメータとして、マルチビューがある。この場合、互いに異なるビュー（視点）のレイヤに階層化されている。
　本実施の形態に記載のレイヤは、上述した、スケーラビリティ符号化のスペイシャル、テンポラル、SNR、ビット深度、カラー、ビューなどを含む。
　なお、本明細書において使われているレイヤの用語は、上述したスケーラブル（階層）符号化のレイヤと、さらに、多視点のマルチビューを考えたときの各ビューを含むものである。
　以下、ビューを例として説明するが、ビューを他のレイヤに置き換えることで、本技術は、他のレイヤにも同様に適用することができる。
［画像符号化装置の構成例］
　図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　図１の画像符号化装置１は、VPS設定部１１、SPS設定部１２、スライスヘッダ設定部１３、符号化部１４、および伝送部１５を含むように構成され、撮影(Captured)画像等の画像をHEVC方式で符号化する。
　具体的には、画像符号化装置１のVPS設定部１１には、図示せぬ前段からのユーザなどによる符号化に関する設定情報が入力される。VPS設定部１１は、図示せぬ前段からのユーザなどによる設定情報を基に、VPS(Video Parameter Set）を設定し、設定したVPSを、設定情報とともに、SPS設定部１２に供給する。
　SPS設定部１２は、VPS設定部１１からの設定情報を基に、SPS（Sequence Parameter Set）を設定し、設定したSPSを、VPS、設定情報とともに、スライスヘッダ設定部１３に供給する。
　スライスヘッダ設定部１３は、SPS設定部１２からの設定情報を基に、スライスヘッダを設定し、設定したスライスヘッダを、VPS、SPSとともに、符号化部１４に供給する。なお、VPS、SPS、およびスライスヘッダ等は、各設定部において必要に応じて符号化されるようにしてもよい。
　符号化部１４には、フレーム単位の撮影画像等の多視点画像が入力信号として入力される。符号化部１４は、スライスヘッダ設定部１３からのVPS、SPS、およびスライスヘッダのヘッダ情報等を参照して、入力信号をHEVC方式で符号化する。そして、符号化部１４は、その結果得られる符号化データと、VPS、SPS、スライスヘッダなどから、符号化ストリームを生成し、生成された符号化ストリームを伝送部１５に供給する。
　伝送部１５は、符号化部１４から供給される符号化ストリームを、後述する図１８の画像復号装置１５１に伝送する。
　なお、実際には、PPS（Picture Parameter Set）、符号化データに対応する画像の特性（ユーザビリティ）をシーケンスごとに示すVUI(Video Usability Information)、SEI（Supplemental Enhancement Information）なども設定されるが、図１の例においては省略されている。
［符号化部の構成例］
　図２は、図１の符号化部１４の構成例を示すブロック図である。符号化部１４は、必要に応じて、スライスヘッダ設定部１３からの各ヘッダ情報を参照して、入力信号をHEVC方式で符号化する。すなわち、符号化部１４においては、CU（コーディングユニット）単位で処理が行われる。
　図２の例において、符号化部１４は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、符号化部１４は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
　符号化部１４は、さらに、シンタックス処理部１２１、参照リスト生成部１２２、適応オフセットフィルタ１２３、および適応ループフィルタ１２４を有する。
　A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
　画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、シンタックス処理部１２１に供給する。
　シンタックス処理部１２１は、画面並べ替えバッファ１０２から読み出された画像のデータを順次確認し、画像のデータに、図示せぬ前段から供給されるヘッダ情報を挿入する。ヘッダ情報は、例えば、図１を参照して上述したVPS、SPS、スライスヘッダなどを含む。
　シンタックス処理部１２１は、ヘッダ情報などが挿入された画像を、演算部１０３、イントラ予測部１１４および動き視差予測・補償部１１５に供給する。また、シンタックス処理部１２１は、VPS、SPS、スライスヘッダなどの各ヘッダ情報を、参照リスト生成部１２２に供給する。
　演算部１０３は、シンタックス処理部１２１から供給される画像から、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
　例えば、イントラ符号化が行われる画像の場合、演算部１０３は、シンタックス処理部１２１から供給される画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、シンタックス処理部１２１から供給される画像から、動き視差予測・補償部１１５から供給される予測画像を減算する。
　直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
　量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
　可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
　可逆符号化部１０６は、イントラ予測モードを示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き視差予測・補償部１１５から取得する。
　可逆符号化部１０６は、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、および量子化パラメータを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
　例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の復号装置、図示せぬ記録装置や伝送路などに出力する。
　また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
　逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
　演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き視差予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
　例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き視差予測・補償部１１５から供給される予測画像を加算する。
　その加算結果は、デブロックフィルタ１１１およびデコードピクチャバッファ１１２に供給される。
　デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１１１は、そのフィルタ処理結果を、適応オフセットフィルタ１２３に供給する。
　適応オフセットフィルタ１２３は、デブロックフィルタ１１１による適応デブロックフィルタ処理後の画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
　より詳細には、適応オフセットフィルタ１２３は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。適応オフセットフィルタ１２３は、求められたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、決定された種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ１２３は、適応オフセットフィルタ処理後の画像を適応ループフィルタ１２４に供給する。
　また、適応オフセットフィルタ１２３は、オフセットを格納するバッファを有している。適応オフセットフィルタ１２３は、LCUごとに、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されているかどうかを判定する。
　適応オフセットフィルタ１２３は、適応デブロックフィルタ処理に用いられたオフセットが既にバッファに格納されていると判定した場合、オフセットがバッファに格納されているかを示す格納フラグを、オフセットがバッファに格納されていることを示す値（ここでは１）に設定する。
　そして、適応オフセットフィルタ１２３は、LCUごとに、１に設定された格納フラグ、バッファにおけるオフセットの格納位置を示すインデックス、および、行われた適応オフセットフィルタ処理の種類を示す種類情報を可逆符号化部１０６に供給する。
　一方、適応オフセットフィルタ１２３は、適応デブロックフィルタ処理に用いられたオフセットがまだバッファに格納されていない場合、そのオフセットを順にバッファに格納する。また、適応オフセットフィルタ１２３は、格納フラグを、オフセットがバッファに格納されていないことを示す値（ここでは０）に設定する。そして、適応オフセットフィルタ１２３は、LCUごとに、０に設定された格納フラグ、オフセット、および種類情報を可逆符号化部１０６に供給する。
　適応ループフィルタ１２４は、適応オフセットフィルタ１２３から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF:Adaptive Loop Filter)処理を行う。適応ループフィルタ処理としては、例えば、２次元のウィナーフィルタ（Wiener Filter）による処理が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。
　具体的には、適応ループフィルタ１２４は、LCUごとに、シンタックス処理部１２１から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ１２４は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。
　適応ループフィルタ１２４は、適応ループフィルタ処理後の画像をデコードピクチャバッファ１１２に供給する。また、適応ループフィルタ１２４は、フィルタ係数を可逆符号化部１０６に供給する。
　なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ１２３と適応ループフィルタ１２４の処理単位を合わせることにより、処理を効率的に行うことができる。
　デコードピクチャバッファ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き視差予測・補償部１１５に出力する。
　例えば、イントラ符号化が行われる画像の場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、デコードピクチャバッファ１１２は、参照画像を、選択部１１３を介して動き視差予測・補償部１１５に供給する。
　選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、デコードピクチャバッファ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き視差予測・補償部１１５に供給する。
　イントラ予測部１１４は、シンタックス処理部１２１から供給される入力画像の画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
　イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
　また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
　動き視差予測・補償部１１５は、インター符号化が行われる画像について、シンタックス処理部１２１から供給される入力画像と、選択部１１３を介してデコードピクチャバッファ１１２から供給される参照画像とを用いて、動き視差予測を行う。その際、動き視差予測・補償部１１５は、参照リスト生成部１２２により生成された参照リストで示される参照画像インデックスの参照画像を用いる。動き視差予測・補償部１１５は、検出された動きおよび視差ベクトルに応じて動き視差補償処理を行い、予測画像（インター予測画像情報）を生成する。
　動き視差予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き視差予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
　また、動き視差予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。
　選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き視差予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
　レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
　参照リスト生成部１２２は、シンタックス処理部１２１からのヘッダ情報やデコードピクチャバッファ１１２に蓄積される参照画像の情報（POC情報やビュー情報）を用いて、動き視差予測・補償部１１５が対象画像を予測する際に参照する参照リストを生成する。参照リストは、時間方向に参照可能な参照画像やビュー（レイヤ）方向に参照画像な参照画像のリスト（配列）である。
　それに先立ち、参照リスト生成部１２２は、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストを生成する。その際、参照リスト生成部１２２は、シンタックス処理部１２１からのSPSまたはスライスヘッダを参照して、テンポラルリストに、ビュー方向に参照可能な参照画像を挿入する。
　なお、時間方向に参照可能な参照画像とは、異なる時間で参照可能な参照画像であり、ビュー（レイヤ）方向に参照画像な参照画像とは、異なるビュー（レイヤ）で参照可能な参照画像のことである。
　そして、参照リスト生成部１２２は、生成したテンポラルリストに基づいて、参照リストを生成する。
［背景］
　MV-HEVCにおいては、短時間参照画像（short-term picture）や長時間参照画像(Long-term picture)を、上述したテンポラルリストに追加するか否かは、SPSまたはスライスヘッダ（に記述される参照画像フラグ）で制御することが可能である。
　これに対して、インタービュー（レイヤ）間の参照関係は、VPSで定義されている。換言するに、インタービュー参照画像間の制御は、VPSでしかできない。したがって、現状のVPSの定義によれば、VPSで参照が指定されるレイヤ（ビュー）の画像は、テンポラルリストに追加されてしまう。
　例えば、図３の例においては、左から順に、POC=t0,t1,t2の３時刻におけるView_ID=V0,V1,V2,V3,V4の５視点の画像が示されている。POC=t0においては、View_ID=V2の画像を予測する際に、View_ID=V2の画像は、View_ID=V0,V1,V3,V4の画像と相関が高いので、どの視点の参照画像も、デフォルト参照リストに追加してもよい。
　しかしながら、POC=t1において、View_ID=V3,V4の画像は、View_ID=V2の画像と相関が低いため、デフォルト参照リストには、View_ID=V0,V1の画像だけを追加したい。また、POC=t2においては、View_ID=V0,V4の画像は、View_ID=V2の画像と相関が低いため、デフォルト参照リストには、View_ID=V1,V3だけを追加したい。
　このように、シーンチェンジやGOP構造などを考慮して、デフォルト参照リストに追加されるビュー（レイヤ）を制限したい状況があり得る。
［本技術の概要と、従来との比較］
　図４は、従来の方法と本技術の方法について比較する図である。
　上述した図３のような状況において、従来の方法では、図４の例に示されるように、POC=t0のとき、View_ID=V0,V1,V3,V4の画像を、参照画像としてVPSに設定して伝送する。POC=t1のとき、View_ID=V0,V1の画像を、参照画像としてVPSに設定して伝送する。さらに、POC=t2のとき、View_ID=V1,V3の画像を、参照画像としてVPSに設定して伝送する。このように、参照画像を変えるためには、VPSを設定しなおして、伝送する必要があった。
　ここで、図５に示されるように、VPSは、複数レイヤにまたがるパラメータ（例えば、バッファ情報やスケーラビリティ情報）を定義するパラメータセットであり、基本的には、シーケンスの先頭で１度伝送されるものである。
　SPSは、レイヤ（ビュー）毎にパラメータを定義するパラメータセットであり、基本的には、GOP単位あるいは一定間隔で伝送されるものである。スライスヘッダ(SH)は、レイヤ（ビュー）毎にパラメータを定義するものであり、基本的には、ピクチャ単位で伝送されるものである。
　したがって、VPSにおいては、頻繁に再送されることが想定されていない。よって、VPSでインターレイヤの参照関係を変更することも可能ではあるが、その目的だけで再送することは現実的ではない。また、VPSにおいて１ビューの参照関係を変更するためには、ビュー全体の参照関係を記述する必要があり、オーバヘッドが大きい。
　これに対して、SPSの場合、GOP単位や比較的長い時間に渡ってインターレイヤの参照構造を変更することができ、スライスヘッダの場合、１ピクチャに対して、突発的にインターレイヤの参照構造を変えることができる。
　以上により、本技術においては、VPSにおいて、参照され得るレイヤを定義して、実際の参照制御は、SPSまたはスライスヘッダで行うようにする。すなわち、本技術においては、SPSまたはスライスヘッダに、レイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報が設定される。
　例えば、図４に示される本技術の場合、POC=t0のとき、VPSにおいて、参照され得るレイヤ（ビュー）として、View_ID=V0,V1,V3,V4の画像を設定して伝送し、さらに、SPSにおいて、参照画像として、View_ID=V0,V1,V3,V4の画像を設定して伝送する。そして、POC=t1のとき、SPSにおいて、参照画像として、View_ID=V0,V1の画像を設定して伝送する。さらに、POC=t2のとき、SPSにおいて、参照画像として、View_ID=V1,V3の画像を設定して伝送する。このように、SPS（またはスライスヘッダ）が設定しなおされて、伝送される。
　このようにすることで、VPSを再送することなく、デフォルトの参照リストに相関の高いインターレイヤ（ビュー）の参照画像だけを効率的に追加することができる。この結果、参照リストを変更するシンタックスを伝送する必要がなくなるので、符号化効率が改善する。
　なお、非特許文献２においては、ビューの依存関係を変更するためのSEIが提案されているが、SEIであるので、デフォルトの参照リストの生成に影響を与えることがなかった。したがって、ある特定のビューの参照関係を変えるために、すべてのビューの参照関係を記述する必要があった。
　これに対して、本技術においては、SPSまたはスライスヘッダで、ビューの参照関係を変更する。これにより、デフォルト参照リストの生成に影響を与えて、リスト生成を改善することができる。
　また、SPSは、ビュー毎に個別に伝送されるので、ビューの参照関係を変更したいビューだけに適用させることができる。
［参照画像の構造］
　次に、図６を参照して、HEVC方式における参照画像の構造について説明する。
　図６の例においては、左からPOC順に、長時間参照画像(Long-term:LT)、短時間（前）参照画像(Short-term before Curr:STbC)、Ｃが示されるカレント画像、短時間（後）参照画像(Short-term after Curr:STaC)が示されている。また、下からView（視差）方向順に、Ｃが示されるカレント画像、インタービュー参照画像(Inter-view:IV)が示されている。なお、各参照画像に示される数字は、デコードピクチャバッファ１１２における各参照画像の配列のインデックスを表している。
　HEVC方式においては、インター予測を行う際に、図６に示される長時間参照画像、短時間（前）参照画像、短時間（後）参照画像、およびインタービュー参照画像の４種類の画像を参照画像の候補とすることができる。
　短時間（前）参照画像は、Ｃが示されるカレント画像に対して、同一ビュー内で時間的に前に位置する（POCが小さい）短時間参照画像であり、短時間（後）参照画像は、カレント画像に対して、同一ビュー内で時間的に後に位置する（POCが大きい）短時間参照画像である。また、長時間参照画像は、同一ビュー内でロングターム指定された参照画像である。インタービュー参照画像は、同一時刻における異なるビューの参照画像である。
［従来の参照リストの生成方法］
　次に、図７を参照し、HEVC方式のデフォルトの参照リストの生成方法を説明する。図７の例においては、デコードピクチャバッファ１１２における短時間（前）参照画像のリスト（配列）（RefPicSetStCurrBefore[i]）、短時間（後）参照画像のリスト（RefPicSetStCurrAfter[i]）、長時間参照画像のリスト(RefPicLtCurr[i])、インタービュー参照画像のリスト(RefPicSetIvCurr[i])が示されている。
　短時間（前）参照画像のリストおよび短時間（後）参照画像のリストにおいては、それぞれ、２枚の参照画像が配列されている。長時間参照画像のリストにおいては、１枚の参照画像が配列されている。インタービュー参照画像のリストにおいては、４枚の参照画像が配列されている。
　短時間参照画像については、スライスヘッダやRPS(Reference Picture Set)のシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。RPSは、SPSに含まれるピクチャ毎にデコードピクチャバッファの状態を明示するためのシンタックスである。長時間参照画像については、スライスヘッダやSPSのシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。used_by_currフラグが１の画像のみが、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストに追加される。以下、used_by_currフラグは、適宜、参照画像フラグとも称する。
　また、図７の例においては、これらの参照画像のリストから生成されるL0（L0方向）のテンポラルリスト(RefPicListTemp0[rldx])、およびL1（L１方向）のテンポラルリスト(RefPicListTemp1[rldx])が示されている。
　L0のテンポラルリスト(RefPicListTemp0[rldx])は、短時間（前）参照画像、短時間（後）参照画像、長時間参照画像、インタービュー参照画像の順に、used_by_currフラグに１が設定されている画像が追加されて生成される。なお、used_by_currフラグは、インタービュー参照画像に対しては設定されていないため、インタービュー参照画像については、インタービュー参照画像のリストに配列されるすべての画像がテンポラルリストに追加される。
　すなわち、L0のテンポラルリスト(RefPicListTemp0[rldx])は、インデックス０の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス０乃至３のインタービュー参照画像の順に生成される。
　L1のテンポラルリスト(RefPicListTemp1[rldx])は、短時間（後）参照画像、短時間（前）参照画像、長時間参照画像、インタービュー参照画像の順に、used_by_currフラグに１が設定されている画像が追加されて生成される。すなわち、L1のテンポラルリスト(RefPicListTemp1[rldx])は、インデックス０の短時間（後）参照画像、インデックス０の短時間（前）参照画像、インデックス０乃至３のインタービュー参照画像の順に生成される。
　ここで、スライスヘッダやSPSのシンタックスで、テンポラルリストのうち、参照可能な画像の数として、num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1とが設定されている。L0/L1のテンポラルリストの先頭から、これらにより制限されている数だけの参照画像が、参照リストに追加されて、参照画像として用いることができる。
　例えば、num_ref_idx_l0_active_minus1が３の場合、L0のテンポラルリストの先頭（１番目）から４番目までの画像が、L0の参照リストに追加されて、L0の参照リストが生成される。この場合、L0の参照リストは、インデックス０の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス０，１のインタービュー参照画像の順に生成される。
　例えば、num_ref_idx_l1_active_minus1が３の場合、L1のテンポラルリストの先頭（１番目）から４番目までの画像が、L1の参照リストに追加されて、L1の参照リストが生成される。この場合、L1の参照リストは、インデックス０の短時間（後）参照画像、インデックス０の短時間（前）参照画像、インデックス０，１のインタービュー参照画像の順に生成される。
　ここで、インタービュー参照画像のリストのうち、インデックス２，３のインタービュー参照画像の相関がインデックス０，１のインタービュー参照画像よりも高く、テンポラルリストにおいて、それらの優先度をあげたい。このためには、参照リスト変更のシンタックスを伝送する必要がある。
　参照リスト変更のシンタックスを伝送することで、図中中央に示されるように、L0のテンポラルリスト(RefPicListTemp0[rldx])およびL1のテンポラルリスト(RefPicListTemp1[rldx])におけるインデックス２，３のインタービュー参照画像の優先度を、インデックス０，１より高くすることができる。
　これにより、L0のテンポラルリストから生成されるL0の参照リスト(RefPicList0[rldx])は、インデックス０の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。
　同様に、L1のテンポラルリストから生成されるL1の参照リスト(RefPicList1[rldx])は、インデックス０の短時間（後）参照画像、インデックス０の短時間（前）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。
　以上のように、HEVC方式においては、参照リストにおけるインタービュー参照画像の順番を変更するためには、参照リスト変更のシンタックスの伝送が必要であった。しかしながら、変更コマンドは、シンタックスで伝送するため、追加のビットが発生してしまっていた。
　そこで、本技術においては、インタービュー参照画像に対しても、参照する可能性がある画像を示す情報、すなわち、レイヤ（ビュー）方向に参照可能な参照画像を制御する情報である参照画像フラグ（used_by_currフラグ）を、SPSまたはスライスヘッダで設定するようにした。
［本技術の参照リストの生成方法］
　次に、図８を参照して、本技術のデフォルトの参照リストの生成方法を説明する。図８の例においては、デコードピクチャバッファ１１２における短時間（前）参照画像のリスト（配列）（RefPicSetStCurrBefore[i]）、短時間（後）参照画像のリスト（RefPicSetStCurrAfter[i]）、長時間参照画像のリスト(RefPicLtCurr[i])、インタービュー参照画像のリスト(RefPicSetIvCurr[i])が示されている。
　短時間（前）参照画像のリストおよび短時間（後）参照画像のリストにおいては、それぞれ、２枚の参照画像が配列されている。長時間参照画像のリストにおいては、１枚の参照画像が配列されている。インタービュー参照画像のリストにおいては、４枚の参照画像が配列されている。
　図７を参照して従来と同様に、短時間参照画像については、スライスヘッダやRPSのシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。長時間参照画像については、スライスヘッダやSPSのシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。そして、本技術においては、インタービュー参照画像についても、スライスヘッダやSPSのシンタックスで、used_by_currフラグが、参照する可能性がある画像に対して設定されている。used_by_currフラグが１の画像のみが、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストに追加される。
　したがって、図８の例のL0のテンポラルリスト(RefPicListTemp0[rldx])は、インデックス０の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。
　同様に、L1のテンポラルリスト(RefPicListTemp1[rldx])は、インデックス０の短時間（後）参照画像、インデックス０の短時間（前）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。
　そして、この場合、num_ref_idx_l0_active_minus1＝３により、L0の参照リスト(RefPicListTemp1[rldx])は、インデックス０の短時間（前）参照画像、インデックス０の短時間（後）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。同様に、num_ref_idx_l1_active_minus1＝３により、L1の参照リスト(RefPicListTemp1[rldx])は、インデックス０の短時間（後）参照画像、インデックス０の短時間（前）参照画像、インデックス２，３のインタービュー参照画像の順に生成される。
　以上のように、本技術によれば、参照画像リストにおいて、デフォルトの参照リスト（テンポラルリスト）に追加するインタービュー参照画像を設定することができるので、参照リスト変更のシンタックスを送る必要がない。したがって、符号化効率を改善することができる。
[VPSのシンタックスの例]
　図９は、MV-HEVCにおけるVPSのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
　図９の例においては、第１０行目のview_id[i]が定義されている。第１２行目に、num_direct_ref_layers[i]が定義されている。num_direct_ref_layers[i]には、参照可能なレイヤの数が記述される。
　第１４行目に、ref_layer_id[i][j]が定義されている。ref_layer_id[i][j]には、第１２行目のnum_direct_ref_layers[i]に記述される数だけ、参照可能なレイヤIDが記述される。
　すなわち、ref_layer_id[i][j]は、LayerIdInterView[i]に代入され、対応するインタービュー参照画像は、インタービュー参照画像リストRefPicSetIvCurr[i]に代入される。
[SPSエクステンションのシンタックスの例]
　図１０は、本技術のSPSエクステンションのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
　図１０の例においては、第４行目にref_layer_modified_sps_flagが定義されている。ref_layer_modified_sps_flagが１のとき、第７行目のused_by_curr_pic_layer_sps_flag[i]がこのSPSエクステンションにおいて定義される。
　used_by_curr_pic_layer_sps_flag[i]は、上述した図９の第１４行目のref_layer_id[i][j]が、すなわち、インタービュー参照画像リストRefPicSetIvCurr[i]のインタービュー参照画像が、参照可能性があるか否かを示すインタービュー参照画像フラグである。used_by_curr_pic_layer_sps_flag[i]が１の場合、対応するインタービュー参照画像が、テンポラルリスト（すなわち、参照リスト）に追加される。
[スライスヘッダエクステンションのシンタックスの例]
　図１１は、本技術のスライスヘッダエクステンションのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
　図１１の例においては、第４行目にref_layer_modified_sps_flagが定義されている。ref_layer_modified_sps_flagが１のとき、第７行目のused_by_curr_pic_layer_sps_flag[i]がこのSPSエクステンションにおいて定義される。
　used_by_curr_pic_layer_sps_flag[i]は、上述した図９の第１４行目のref_layer_id[i][j]が、すなわち、インタービュー参照画像リストRefPicSetIvCurr[i]のインタービュー参照画像が参照可能性があるか否かを示すインタービュー参照画像フラグである。used_by_curr_pic_layer_sps_flag[i]が１の場合、対応するインタービュー参照画像が、テンポラルリスト（すなわち、参照リスト）に追加される。
　つまり、図１０および図１１に示されるインタービュー参照画像フラグは、レイヤ方向に参照可能な参照画像の追加を制御するレイヤ参照画像情報である。
　このレイヤ参照画像情報は、SPSやスライスヘッダに設定され、伝送されるとしたが、VPSより下のシンタックスであれば、他のシンタックスに設定されることも可能である。
　なお、上記説明においては、従来と同様に、インタービュー画像の参照リスト（テンポラルリスト）への追加順が、L0とL1で同じ例を説明したが、L0とL1で変更することができる。
[インタービュー画像間の並び]
　次に、図１２を参照して、本技術におけるインタービュー画像間の並び順について説明する。
　従来において、該当するインタービュー参照画像は、VPSのref_layer_id[i][j]に基づいて、j=0,1,2,….の順番で、参照リスト（テンポラルリスト）に追加していた。この処理は、L0とL1とで全く同じなので、L0/L1のテンポラルリストにおいて、インタービュー参照画像が並ぶ順番は同じであった。
　そこで、本技術においては、L0のテンポラルリストに対しては、ref_layer_id[i][j]( j=0,1,2,….)の順番で、インタービュー参照画像を追加する。また、L1のテンポラルリストに対しては、ref_layer_id[i][j]( j=…,2,1,0.)の順番で、インタービュー参照画像を追加する。
　具体的には、図１２の左側に示されるように、例えば、view_id=0,1,2,3の４ビューにおいて、view_id=2のビュー画像を符号化するときに、VPSにおいて、view_id=1,0,3の順番で、参照関係が記述されているとする。
　この場合、本技術においては、図１２の右側に示されるように、L0のテンポラルリストにおいては、VPSに記述されているview_id=1,0,3の順番で、インタービュー参照画像を並べる。また、L1のテンポラルリストにおいては、VPSに記述されているview_idの逆順=3,0,1の順番で、インタービュー参照画像を並べる。
　このようにすることで、L0/L1のテンポラルリストにおいて、ref_id=n+1番目の画像までしか参照されない、すなわち、ref_id=n+1番目の画像までしか参照リストに追加されない場合に、L0とL1において異なるインタービュー参照画像を参照することができる。
　具体的には、図１２の例においては、L0において、N+1番目は、view_id=1のv1となり、L1において、N+1番目は、view_id=3のv3となり、L0およびL1において、n+1番目のインタービュー参照画像を変更することができる。
　このように、L0/L1で、異なるインタービュー参照画像を参照できるので、同じ画像を参照する場合よりも視差予測の性能がよくなる可能性が高く、符号化効率の改善を期待することができる。
　なお、非特許文献１における記述は、図１３の実線に示されるように、L0については変更されないが、図１３の点線に示されるように、インタービュー画像をL0と逆の順番で追加するように変更される。
　以上の処理を行う図２の参照リスト生成部１２２は、次の図１４に示すように構成される。
[参照リスト生成部の構成例]
　図１４は、上述した処理を行う参照リスト生成部の構成例を示すブロック図である。
　図１４の例において、参照リスト生成部１２２は、参照画像設定部１３１、テンポラルリスト生成部１３２、および参照画像リスト生成部１３３を含むように構成されている。
　参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報（すなわち、POC情報）とシンタックス処理部１２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像を設定し、短時間（前）参照画像リスト（RefPicSetStCurrBefore[i]）を生成する。参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とシンタックス処理部１２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像を設定し、短時間（後）参照画像リスト（RefPicSetStCurrAfter[i]）を生成する。
　参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやSPSに設定されている長時間参照画像のused_by_currフラグを参照し、長時間参照画像を設定し、長時間参照画像リスト(RefPicLtCurr[i])を生成する。参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像のビュー情報とスライスヘッダやSPSに設定されているインタービュー参照画像のused_by_currフラグを参照し、インタービュー参照画像(RefPicSetIvCurr[i])を設定し、そのリストを生成する。
　テンポラルリスト生成部１３２は、参照画像設定部１３１により設定されたリストを、所定の順番で結合し、L0およびL1のテンポラルリスト(RefPicListTemp0[rldx], RefPicListTemp1[rldx])を生成する。なお、参照画像設定部１３１により設定されたリストは、L0の場合、短時間（前）参照画像、短時間（後）参照画像、長時間参照画像、インタービュー参照画像の順番に結合される。また、参照画像設定部１３１により設定されたリストは、L1の場合、短時間（後）参照画像、短時間（前）参照画像、長時間参照画像、インタービュー参照画像の順番に結合される。
　参照画像リスト生成部１３３は、シンタックス処理部１２１から供給されるスライスヘッダやSPSに設定されているnum_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1を参照する。参照画像リスト生成部１３３は、テンポラルリスト生成部１３２により生成されたL0/L1のテンポラルリストのうち、num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1で設定されている数だけの参照画像を抜き出して追加し、L0/L1の参照リストを生成する。
　参照画像リスト生成部１３３により生成されたL0/L1の参照リストは、動き視差予測・補償部１１５に参照される。
［画像符号化装置の処理の流れ］
　次に、図１５のフローチャートを参照して、以上のような画像符号化装置１により実行される処理の流れについて説明する。なお、図１５の例においては、インタービュー参照画像フラグは、一例として、SPSに設定される例が示されている。
　画像符号化装置１のVPS設定部１１には、図示せぬ前段からのユーザなどによる設定情報が入力される。
　VPS設定部１１は、ステップＳ１１において、図示せぬ前段からの設定情報を基に、VPSを設定する。VPS設定部１１は、設定したVPSを、設定情報とともに、SPS設定部１２に供給する。
　SPS設定部１２は、ステップＳ１２において、VPS設定部１１からの設定情報を基に、インタービュー参照画像フラグを含むSPSを設定する。すなわち、SPS設定部１２は、VPS設定部１１からの設定情報を基に、SPSを設定する。このとき、SPS設定部１２は、SPSにおいて、図１０に示されるようにインタービュー参照画像フラグを設定する。
　SPS設定部１２は、設定したSPSを、VPS、設定情報とともに、スライスヘッダ設定部１３に供給する。なお、VPSが設定されるのは、シーケンスの先頭のみであるので、シーケンスの先頭以外、SPS設定部１２は、設定したSPSを設定情報とともにスライスヘッダ設定部１３に供給する。以降に関しても同様である。
　ステップＳ１３において、スライスヘッダ設定部１３は、SPS設定部１２からの設定情報を基に、スライスヘッダを設定する。スライスヘッダ設定部１３は、設定したスライスヘッダを、VPS、SPSとともに、符号化部１４に供給する。
　符号化部１４には、フレーム単位の撮影画像等の多視点画像が入力信号として入力される。符号化部１４は、ステップＳ１４において、スライスヘッダ設定部１３からのVPS、SPS、およびスライスヘッダ等のヘッダ情報を参照して、入力信号をHEVC方式で符号化する。この符号化処理の詳細は、図１６を参照して後述される。
　ステップＳ１４により、SPSのインタービュー参照画像フラグが参照されて、参照リストが生成され、参照リストに基づいて、画像の予測が行われる。さらに、符号化処理が行われ、その結果得られる符号化データと、VPS、SPS、スライスヘッダなどから、符号化ストリームが生成され、生成された符号化ストリームを伝送部１５に供給される。
　伝送部１５は、ステップＳ１５において、符号化部１４から供給される符号化ストリームを、後述する図１８の画像復号装置１５１に伝送する。
　SPS設定部１２は、ステップＳ１６において、全てのビュー（レイヤ）の処理が終了したか否かを判定する。ステップＳ１６において、全てのビュー（レイヤ）の処理が終了したと判定された場合、画像符号化装置１の処理は終了する。ステップＳ１６において、まだ、全てのビュー（レイヤ）の処理が終了していないと判定された場合、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。
［符号化処理の流れ］
　次に、図１６のフローチャートを参照して、図１５のステップＳ１４における符号化処理の流れの例を説明する。
　ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳ１０３において、シンタックス処理部１２１は、画面並べ替えバッファ１０２から読み出された画像のデータを順次確認し、画像のデータに、VPS、SPS(RPS含む)、およびスライスヘッダなどのヘッダ情報を挿入する。シンタックス処理部１２１は、ヘッダ情報などが挿入された画像を、演算部１０３、イントラ予測部１１４および動き視差予測・補償部１１５に供給する。また、シンタックス処理部１２１は、VPS、SPS(RPS含む)、およびスライスヘッダなどのヘッダ情報を、参照リスト生成部１２２に供給する。
　ステップＳ１０４において、演算部１０３は、シンタックス処理部１２１から供給される画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き視差予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
　差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１０５において、直交変換部１０４は、ステップＳ１０４の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
　ステップＳ１０６において、量子化部１０５は、ステップＳ１０５の処理により得られた直交変換係数を量子化する。
　ステップＳ１０６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０７において、逆量子化部１０８は、ステップＳ１０６の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。
　ステップＳ１０８において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
　ステップＳ１０９において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。
　ステップＳ１１０において、デブロックフィルタ１１１は、加算部２０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１１１は、その結果得られる画像を適応オフセットフィルタ１２３に供給する。
　ステップＳ１１１において、適応オフセットフィルタ１２３は、デブロックフィルタ１１１から供給される画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ１２３は、その結果得られる画像を適応ループフィルタ１２４に供給する。また、適応オフセットフィルタ１２３は、LCUごとに、格納フラグ、インデックスまたはオフセット、および種類情報を、オフセットフィルタ情報として可逆符号化部１０６に供給する。
　ステップＳ１１２において、適応ループフィルタ１２４は、適応オフセットフィルタ１２３から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１２４は、その結果得られる画像をデコードピクチャバッファ１１２に供給する。また、適応ループフィルタ１２４は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部１０６に供給する。
　ステップＳ１１３において、デコードピクチャバッファ１１２は、フィルタ処理された画像を記憶する。なお、デコードピクチャバッファ１１２には、フィルタ処理されていない画像も演算部１１０から供給され、記憶される。デコードピクチャバッファ１１２に蓄積された画像は、参照画像として選択部２１３を介して動き視差予測・補償部１１５またはイントラ予測部１１４に供給される。
　ステップＳ１１４において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。
　ステップＳ１１５において、参照リスト生成部１２２は、動き視差予測・補償部１１５が対象画像を予測する際に参照する参照リストを生成する。この参照リストの生成処理の詳細は、図１７を参照して後述される。
　ステップＳ１１５により、SPSのビュー参照画像フラグに基づいて、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストが生成される。そして、生成したテンポラルリストに基づいて、参照リストが生成される。すなわち、ビュー参照画像フラグに基づいて、参照リストが生成される。
　ステップＳ１１６において、動き視差予測・補償部１１５は、ステップＳ１１５の処理により生成された参照リストが示す参照画像インデックスの参照画像を用いて、インター予測モードでの動き視差予測や動き視差補償を行うインター動き視差予測処理を行う。
　ステップＳ１１７において、選択部１１６は、イントラ予測部１１４および動き視差予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き視差予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
　また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き視差予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
　最適インター予測モードの予測画像が選択された場合、動き視差予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報、視差ベクトル情報やフラグ情報、参照フレーム情報などがあげられる。
　ステップＳ１１８において、可逆符号化部１０６は、ステップＳ１０６の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
　また、可逆符号化部１０６は、ステップＳ１１７の処理により選択された予測画像の予測モードに関する情報を、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き視差予測・補償部１１５から供給される最適インター予測モードに応じた情報などを、符号化データに付加する。
　ステップＳ１１９において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７は、蓄積された符号化データと、VPS、SPS、スライスヘッダなどから、符号化ストリームを生成し、生成された符号化ストリームを、図１の伝送部１５に供給する。
　ステップＳ１２０においてレート制御部１１７は、ステップＳ１１９の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
　ステップＳ１２０の処理が終了すると、符号化処理が終了される。
［参照リスト生成処理の流れ］
　次に、図１７のフローチャートを参照して、図１６のステップＳ１１５において実行される参照リスト生成処理の流れの例を説明する。なお、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
　上述した図１６のステップＳ１０３において、シンタックス処理部１２１より、復号画像のVPS、SPS（RPS含む）、およびスライスヘッダなどのヘッダ情報が、参照リスト生成部１２２に供給される。短時間参照画像のused_by_currフラグは、シンタックス処理部１２１から供給されるスライスヘッダやRPSに設定されている。長時間参照画像のused_by_currフラグは、スライスヘッダやSPSに設定されている。さらに、図１５のステップＳ１２によりインタービュー参照画像のused_by_currフラグ（インタービュー参照画像フラグ）が、スライスヘッダやSPSに設定されている。
　参照リスト生成部１２２の参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報（すなわち、POC情報）とスライスヘッダやRPSを参照し、短時間（前）参照画像（STbC）を設定し、RefPicSetStCurrBefore[i]リストを生成する。そして、参照画像設定部１３１は、ステップＳ１３１において、スライスヘッダやRPSの短時間（前）参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicSetStCurrBefore[i]リストに残す。
　参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやRPSを参照し、短時間（後）参照画像（STaC）を設定し、RefPicSetStCurrAfter[i]リストを生成する。そして、参照画像設定部１３１は、ステップＳ１３２において、スライスヘッダやRPSの短時間（後）参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicSetStCurrAfter[i]リストに残す。
　参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像の時刻情報とスライスヘッダやSPSを参照し、長時間参照画像(LT)を設定し、RefPicLtCurr[i]リストを生成する。参照画像設定部１３１は、ステップＳ１３３において、スライスヘッダやSPSの長時間参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicLtCurr[i]リストに残す。
　参照画像設定部１３１は、デコードピクチャバッファ１１２からの参照画像のビュー情報やスライスヘッダやSPS,VPSを参照し、インタービュー参照画像(IV)を設定し、RefPicSetIvCurr[i]リストを生成する。参照画像設定部１３１は、ステップＳ１３４において、スライスヘッダやSPSのインタービュー参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicSetIvCurr[i]リストに残す。
　ステップＳ１３５において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定された上記４種類のリストを、STbC,STaC,LT,IVの順番で結合し、L0のテンポラルリスト(RefPicListTemp0[rldx])を生成する。
　すなわち、上述した４種類のリストでused_by_currフラグが１である参照画像だけが、STbC,STaC,LT,IVの順番で結合されて、L0のテンポラルリストが生成される。
　ステップＳ１３６において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定された上記４種類のリストを、STaC,STbC,LT,IVの順番で結合し、L1のテンポラルリスト(RefPicListTemp1[rldx])を生成する。
　すなわち、used_by_currフラグが１である参照画像だけが、STaC,STbC,LT,IVの順番で結合されて、L1のテンポラルリストが生成される。なお、その際、その順番は、図１２を参照して上述したように、L0方向の順番と逆順に追加されてもよい。
　num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1は、シンタックス処理部１２１から供給されるスライスヘッダやSPSに設定されている。
　ステップＳ１３７において、参照画像リスト生成部１３３は、L0のテンポラルリスト(RefPicListTemp0[rldx])の先頭から、num_ref_idx_l0_active_minus1+1までの要素を抜きだし、L0の参照リスト(RefPicList0[rIdx])を生成する。
　ステップＳ１３８において、参照画像リスト生成部１３３は、L1のテンポラルリスト(RefPicListTemp1[rldx])の先頭から、num_ref_idx_l1_active_minus1+1までの要素を抜きだし、L1の参照リスト(RefPicList1[rIdx])を生成する。
　以上のようにして、スライスヘッダやSPSのインタービュー参照画像の参照画像フラグ（used_by_currフラグ）が参照されて、インタービュー画像が挿入され、デフォルトの参照リストが生成される。
＜２．第２の実施の形態＞
［画像復号装置］
　図１８は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１８に示される画像復号装置１５１は、図１の画像符号化装置１に対応する画像復号装置である。
　図１の画像符号化装置１より符号化された符号化ストリームは、所定の伝送路を介して、画像符号化装置１に対応する画像復号装置１５１に伝送され、HEVC方式などで復号されるものとする。
　図１８の画像復号装置１５１は、受け取り部１６１、VPS抽出部１６２、SPS抽出部１６３、スライスヘッダ抽出部１６４、および復号部１６５を含むように構成される。
　画像復号装置１５１の受け取り部１６１は、図１の画像符号化装置１から伝送されてくる符号化ストリームを受け取り、VPS抽出部１６２に供給する。VPS抽出部１６２は、受け取り部１６１から供給される符号化ストリームから、VPSを抽出し、抽出したVPSと符号化ストリームを、SPS抽出部１６３に供給する。
　SPS抽出部１６３は、VPS抽出部１６２から供給される符号化ストリームからSPSを抽出し、抽出したSPSと、VPSおよび符号化ストリームをスライスヘッダ抽出部１６４に供給する。スライスヘッダ抽出部１６４は、SPS抽出部１６３から供給される符号化ストリームからスライスヘッダを抽出する。また、スライスヘッダ抽出部１６４は、SPS抽出部１６３から供給される符号化ストリームから符号化データを抽出する。スライスヘッダ抽出部１６４は、抽出したスライスヘッダおよび符号化データと、SPS、およびVPSを、復号部１６５に供給する。なお、VPS、SPS、およびスライスヘッダ等は、各抽出部において必要に応じて復号されるようにしてもよい。
　復号部１６５は、必要に応じてスライスヘッダ抽出部１６４から供給されるVPS、SPS、およびスライスヘッダ等のヘッダ情報を参照し、スライスヘッダ抽出部１６４から供給される符号化データをHEVC方式で復号する。復号部１６５は、復号の結果得られるデコード画像を、出力信号として図示せぬ後段の表示制御部などに供給する。
　［復号部の構成例］
　図１９は、図１８の復号部１６５の構成例を示すブロック図である。
　図１９に示されるように、復号部１６５は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、復号部１６５は、デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３を有する。
　さらに、復号部１６５は、シンタックス処理部２２１、参照リスト生成部２２２、適応オフセットフィルタ２２３、および適応ループフィルタ２２４を有する。
　蓄積バッファ２０１は、スライスヘッダ抽出部１６４からの符号化データを蓄積する。この符号化データは、画像符号化装置１により符号化されたものである。シンタックス処理部２２１は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データと、VPS、SPS、およびスライスヘッダなどのヘッダ情報を取得し、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報などを、参照リスト生成部２２２に供給する。
　可逆復号部２０２は、シンタックス処理部２２１からの符号化データを、図２の可逆符号化部１０６の符号化方式に対応する方式で復号する。逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図２の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１から供給された量子化パラメータを用いて、図２の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
　逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図２の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１において直交変換される前の残差データに対応する復号残差データを得る。
　逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き視差予測・補償部２１２から予測画像が供給される。
　演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
　デブロックフィルタ２０６は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ２０６は、その結果得られる画像を適応オフセットフィルタ２２３に供給する。
　適応オフセットフィルタ２２３は、可逆復号部２０２から供給されるオフセットを順に格納するバッファを有する。また、適応オフセットフィルタ２２３は、LCUごとに、可逆復号部２０２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ２０６による適応デブロックフィルタ処理後の画像に対して、適応オフセットフィルタ処理を行う。
　具体的には、オフセットフィルタ情報に含まれる格納フラグが０である場合、適応オフセットフィルタ２２３は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。
　一方、オフセットフィルタ情報に含まれる格納フラグが１である場合、適応オフセットフィルタ２２３は、LCU単位のデブロックフィルタ処理後の画像に対して、そのオフセットフィルタ情報に含まれるインデックスが示す位置に格納されるオフセットを読み出す。そして、適応オフセットフィルタ２２３は、読み出されたオフセットを用いて、種類情報が示す種類の適応オフセットフィルタ処理を行う。適応オフセットフィルタ２２３は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ２２４に供給する。
　適応ループフィルタ２２４は、適応オフセットフィルタ２２３から供給される画像に対して、可逆復号部２０２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ２２４は、その結果得られる画像を画面並べ替えバッファ２０７に供給する。
　画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図２の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬ表示制御部に出力し、ディスプレイに表示させる。
　デブロックフィルタ２０６の出力は、さらに、デコードピクチャバッファ２０９に供給される。
　デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３は、画像符号化装置１のデコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、および選択部１１６にそれぞれ対応する。
　選択部２１０は、インター処理される画像と参照される画像をデコードピクチャバッファ２０９から読み出し、動き視差予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をデコードピクチャバッファ２０９から読み出し、イントラ予測部２１１に供給する。
　イントラ予測部２１１には、ヘッダ情報から得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
　動き視差予測・補償部２１２には、ヘッダ情報から得られた情報（予測モード情報、動きベクトル情報、視差ベクトル情報、および各種パラメータ等）が可逆復号部２０２から供給される。また、動き視差予測・補償部２１２には、参照リスト生成部２２２により割り当てられた参照画像インデックスが供給される。
　動き視差予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報と、参照リスト生成部２２２生成された参照リストで示される参照画像インデックスに基づいて、デコードピクチャバッファ２０９から取得した参照画像から予測画像を生成する。動き視差予測・補償部２１２は、生成した予測画像を選択部２１３に供給する。
　選択部２１３は、動き視差予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
　参照リスト生成部２２２は、画像符号化装置１の参照リスト生成部１２２と基本的に同様に構成される。参照リスト生成部２２２は、シンタックス処理部２２１からのヘッダ情報やデコードピクチャバッファ２０９に蓄積される参照画像の情報（POC情報やビュー情報）を用いて、動き視差予測・補償部２１２が対象画像を予測する際に参照する参照リストを生成する。参照リストは、時間方向に参照可能な参照画像やビュー（レイヤ）方向に参照画像な参照画像のリスト（配列）である。
　それに先立ち、参照リスト生成部２２２は、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストを生成する。その際、参照リスト生成部２２２は、シンタックス処理部２２１からのSPSまたはスライスヘッダを参照して、テンポラルリストに、ビュー方向に参照可能な参照画像を挿入する。
　そして、参照リスト生成部２２２は、生成したテンポラルリストに基づいて、参照リストを生成する。
[参照リスト生成部の構成例]
　図２０は、図１９の参照リスト生成部の構成例を示すブロック図である。
　図２０の例において、参照リスト生成部２２２は、参照画像設定部２３１、テンポラルリスト生成部２３２、および参照画像リスト生成部２３３を含むように構成されている。
　参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報（すなわち、POC情報）とシンタックス処理部２２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（前）参照画像を設定し、短時間（前）参照画像リスト（RefPicSetStCurrBefore[i]）を生成する。参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とシンタックス処理部２２１からのスライスヘッダやRPSに設定されている短時間参照画像のused_by_currフラグを参照し、短時間（後）参照画像を設定し、短時間（後）参照画像リスト（RefPicSetStCurrAfter[i]）を生成する。
　参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやSPSに設定されている長時間参照画像のused_by_currフラグを参照し、長時間参照画像を設定し、長時間参照画像リスト(RefPicLtCurr[i])を生成する。参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像のビュー情報とスライスヘッダやSPSに設定されているインタービュー参照画像のused_by_currフラグを参照し、インタービュー参照画像(RefPicSetIvCurr[i])を設定し、そのリストを生成する。
　テンポラルリスト生成部２３２は、参照画像設定部２３１により設定されたリストを、所定の順番で結合し、L0およびL1のテンポラルリスト(RefPicListTemp0[rldx], RefPicListTemp1[rldx])を生成する。なお、参照画像設定部２３１により設定されたリストは、L0の場合、短時間（前）参照画像、短時間（後）参照画像、長時間参照画像、インタービュー参照画像の順番に結合される。また、参照画像設定部２３１により設定されたリストは、L１の場合、短時間（後）参照画像、短時間（前）参照画像、長時間参照画像、インタービュー参照画像の順番に結合される。
　参照画像リスト生成部２３３は、シンタックス処理部２２１から供給されるスライスヘッダやSPSに設定されているnum_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1を参照する。参照画像リスト生成部２３３は、テンポラルリスト生成部２３２により生成されたL0/L1のテンポラルリストのうち、num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1で設定されている数だけの参照画像を抜き出して追加し、L0/L1の参照リストを生成する。
　参照画像リスト生成部２３３により生成されたL0/L1の参照リストは、動き視差予測・補償部２１２に参照される。
［復号装置の処理の流れ］
　次に、図２１のフローチャートを参照して、以上のような画像復号装置１５１により実行される処理の流れについて説明する。なお、図２１の例においては、インタービュー参照画像フラグは、一例として、SPSに設定される例が示されている。
　図１の画像符号化装置１より符号化された符号化ストリームは、所定の伝送路を介して、画像符号化装置１に対応する画像復号装置１５１に伝送されてくる。
　画像復号装置１５１の受け取り部１６１は、ステップＳ１６１において、図１の画像符号化装置１から伝送されてくる符号化ストリームを受け取り、VPS抽出部１６２に供給する。
　ステップＳ１６２において、VPS抽出部１６２は、受け取り部１６１から供給される符号化ストリームから、VPSを抽出する。VPS抽出部１６２は、抽出したVPSと符号化ストリームを、SPS抽出部１６３に供給する。
　SPS抽出部１６３は、ステップＳ１６３において、VPS抽出部１６２から供給される符号化ストリームから、インタービュー参照画像フラグを含むSPSを抽出する。すなわち、SPS抽出部１６３は、VPS抽出部１６２から供給される符号化ストリームからSPSを抽出する。その際、SPS抽出部１６３は、SPSに含まれているインタービュー参照画像フラグも抽出する。
　SPS抽出部１６３は、抽出したSPSと、VPSおよび符号化ストリームをスライスヘッダ抽出部１６４に供給する。
　ステップＳ１６４において、スライスヘッダ抽出部１６４は、SPS抽出部１６３から供給される符号化ストリームからスライスヘッダを抽出する。その際、スライスヘッダ抽出部１６４は、SPS抽出部１６３から供給される符号化ストリームから符号化データを抽出する。スライスヘッダ抽出部１６４は、抽出したスライスヘッダおよび符号化データと、SPS、およびVPSを、復号部１６５に供給する。
　復号部１６５は、ステップＳ１６５において、必要に応じてスライスヘッダ抽出部１６４から供給されるVPS、SPS、およびスライスヘッダ等のヘッダ情報を参照し、スライスヘッダ抽出部１６４から供給される符号化データをHEVC方式で復号する。この復号処理の詳細は、図２２を参照して後述される。
　ステップＳ１６５により、符号化データが復号されて画像が生成され、SPSのインタービュー参照画像フラグが参照されて、参照リストが生成され、参照リストに基づいて、生成された画像の予測が行われる。
　復号部１６５は、復号の結果得られるデコード画像を、出力信号として図示せぬ後段の表示制御部などに供給する。
　SPS抽出部１６３は、ステップＳ１６６において、全てのビュー（レイヤ）の処理が終了したか否かを判定する。ステップＳ１６６において、全てのビュー（レイヤ）の処理が終了したと判定された場合、画像復号装置１５１の処理は終了する。ステップＳ１６６において、まだ、全てのビュー（レイヤ）の処理が終了していないと判定された場合、処理は、ステップＳ１６３に戻り、それ以降の処理が繰り返される。
［復号処理の流れ］
　次に、図２２のフローチャートを参照して、図２１のステップＳ１６５における復号処理の流れの例を説明する。
　復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、シンタックス処理部２２１は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データと、各ヘッダ情報を取得する。シンタックス処理部２２１は、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報（VPS、SPS(RPS含む)、スライスヘッダ）などを、参照リスト生成部２２２に供給する。
　ステップＳ２０３において、可逆復号部２０２は、シンタックス処理部２２１から供給される符号化データを復号する。すなわち、図２の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　このとき、各ヘッダ情報から、動きベクトル情報、視差ベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等の情報が取得される。
　予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き視差予測・補償部２１２に供給される。
　ステップＳ２０４において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０５において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図２の直交変換部１０４に対応する方法で逆直交変換する。これにより図２の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
　ステップＳ２０６において、演算部２０５は、ステップＳ２０５の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
　ステップＳ２０７において、デブロックフィルタ２０６は、ステップＳ２０６の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。デブロックフィルタ２０６は、その結果得られる画像を適応オフセットフィルタ２２３に供給する。
　ステップＳ２０８において、適応オフセットフィルタ２２３は、可逆復号部２０２から供給されるオフセットフィルタ情報に基づいて、デブロックフィルタ２０６によるデブロックフィルタ処理後の画像に対して、LCUごとに適応オフセットフィルタ処理を行う。適応オフセットフィルタ２２３は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ２２４に供給する。
　ステップＳ２０９において、適応ループフィルタ２２４は、適応オフセットフィルタ２２３から供給される画像に対して、可逆復号部２０２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ２２４は、その結果得られる画像をデコードピクチャバッファ２０９および画面並べ替えバッファ２０７に供給する。
　ステップＳ２１０において、デコードピクチャバッファ２０９は、フィルタリングされた復号画像を記憶する。
　ステップＳ２１１において、参照リスト生成部２２２は、動き視差予測・補償部２１２が対象画像を予測する際に参照する参照リストを生成する。この参照リストの生成処理の詳細は、図２３を参照して後述される。
　ステップＳ２１１により、SPSのビュー参照画像フラグに基づいて、参照リストを生成する際に用いられる一時的なリストであるテンポラルリストが生成される。そして、生成したテンポラルリストに基づいて、参照リストが生成される。すなわち、ビュー参照画像フラグに基づいて、参照リストが生成される。
　ステップＳ２１２において、イントラ予測部２１１、または動き視差予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
　すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き視差予測・補償部２１２は、ステップＳ２１１の処理により生成された参照リストが示す参照画像インデックスの参照画像を用いて、インター予測モードの動き視差予測補償処理を行う。
　ステップＳ２１３において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き視差予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０６の処理により差分情報に加算される。
　ステップＳ２１４において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１の画面並べ替えバッファ１０２（図２）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ２１５において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬ表示制御部を介してディスプレイに出力され、その画像が表示される。このステップＳ２１５の処理が終了すると、復号処理が終了される。
［参照リスト生成処理の流れ］
　次に、図２３のフローチャートを参照して、図２２のステップＳ２１１において実行される参照リスト生成処理の流れの例を説明する。なお、この処理は、復号画像（すなわち、予測対象の画像）がＰピクチャまたはＢピクチャのみに実行される。
　上述した図２２のステップＳ２０３において、シンタックス処理部２２１より、復号画像のVPS、SPS（RPSを含む）、およびスライスヘッダなどのヘッダ情報が、参照リスト生成部２２２に供給される。短時間参照画像のused_by_currフラグは、シンタックス処理部２２１から供給されるスライスヘッダやRPSに設定されている。長時間参照画像のused_by_currフラグは、スライスヘッダやSPSに設定されている。さらに、図１５のステップＳ１２によりインタービュー参照画像のused_by_currフラグ（インタービュー参照画像フラグ）が、スライスヘッダやSPSに設定されている。
　参照リスト生成部２２２の参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報（すなわち、POC情報）とスライスヘッダやRPSを参照し、短時間（前）参照画像（STbC）を設定し、RefPicSetStCurrBefore[i]リストを生成する。そして、参照画像設定部２３１は、ステップＳ２３１において、スライスヘッダやRPSの短時間（前）参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicSetStCurrBefore[i]リストに残す。
　参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやRPSを参照し、短時間（後）参照画像（STaC）を設定し、RefPicSetStCurrAfter[i]リストを生成する。そして、参照画像設定部２３１は、ステップＳ２３２において、スライスヘッダやRPSの短時間（後）参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicSetStCurrAfter[i]リストに残す。
　参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像の時刻情報とスライスヘッダやSPSを参照し、長時間参照画像(LT)を設定し、RefPicLtCurr[i]リストを生成する。参照画像設定部２３１は、ステップＳ２３３において、スライスヘッダやSPSの長時間参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicLtCurr[i]リストに残す。
　参照画像設定部２３１は、デコードピクチャバッファ２０９からの参照画像のビュー情報やスライスヘッダやSPS,VPSを参照し、インタービュー参照画像(IV)を設定し、RefPicSetIvCurr[i]リストを生成する。参照画像設定部２３１は、ステップＳ２３４において、スライスヘッダやSPSのインタービュー参照画像の参照画像フラグ（used_by_currフラグ）＝１の参照画像をRefPicSetIvCurr[i]リストに残す。
　ステップＳ２３５において、テンポラルリスト生成部２３２は、参照画像設定部１３１により設定された上記４種類のリストを、STbC,STaC,LT,IVの順番で結合し、L0のテンポラルリスト(RefPicListTemp0[rldx])を生成する。
　すなわち、上述した４種類のリストでused_by_currフラグが１である参照画像だけが、STbC,STaC,LT,IVの順番で結合されて、L0のテンポラルリストが生成される。
　ステップＳ１３６において、テンポラルリスト生成部１３２は、参照画像設定部１３１により設定された上記４種類のリストを、STaC,STbC,LT,IVの順番で結合し、L1のテンポラルリスト(RefPicListTemp1[rldx])を生成する。
　すなわち、used_by_currフラグが１である参照画像だけが、STaC,STbC,LT,IVの順番で結合されて、L1のテンポラルリストが生成される。なお、その際、その順番は、図１２を参照して上述したように、L0方向の順番と逆順に追加される。
　num_ref_idx_l0_active_minus1と、num_ref_idx_l1_active_minus1は、シンタックス処理部２２１から供給されるスライスヘッダやSPSに設定されている。
　ステップＳ２３７において、参照画像リスト生成部２３３は、L0のテンポラルリスト(RefPicListTemp0[rldx])の先頭から、num_ref_idx_l0_active_minus1+1までの要素を抜きだし、L0の参照リスト(RefPicList0[rIdx])を生成する。
　ステップＳ２３８において、参照画像リスト生成部２３３は、L1のテンポラルリスト(RefPicListTemp1[rldx])の先頭から、num_ref_idx_l1_active_minus1+1までの要素を抜きだし、L1の参照リスト(RefPicList1[rIdx])を生成する。
　以上のように、スライスヘッダやSPSのインタービュー参照画像の参照画像フラグに基づいて、インタービュー参照画像が挿入されて、デフォルトの参照リストが生成される。
　また、以上においては、符号化方式としてHEVC方式をベースに用いるようにしたが、本技術は、表示を行う際の技術であり、符号化方式に拘らない。したがって、本技術は、HEVC方式に限らず、その他の符号化方式／復号方式を適用することができる。例えば、次に説明するAVC方式をベースに符号化／復号処理を行う装置にも適用することができる。
　＜３．第３の実施の形態＞
［符号化部の他の構成例］
　図２４は、図１の符号化部１４の他の構成例を示すブロック図である。図２４の符号化部１４においては、AVC方式による符号化処理が行われる点のみが、図２の符号化部１４と異なっている。
　図２４に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２４の符号化部１４は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、デコードピクチャバッファ１１２、選択部１１３、イントラ予測部１１４、動き視差予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
　符号化部１４は、さらに、シンタックス処理部１２１、および参照リスト生成部１２２を有する。
　すなわち、図２４の符号化部１４の構成は、適応オフセットフィルタ１２３と適応ループフィルタ１２４が除かれている点、および可逆符号化部１０６がHEVC方式ではなく、AVC方式により符号化を行う点のみが図２の符号化部１４の構成と異なる。したがって、符号化部１４においては、CU単位ではなく、ブロック単位に符号化処理が行われる。
　可逆符号化部１０６の符号化処理の対象は、適応オフセットフィルタおよび適応ループフィルタのパラメータを除き、図２の可逆符号化部１０６の場合と基本的に同様である。すなわち、可逆符号化部１０６は、図２の可逆符号化部１０６と同様に、イントラ予測モード情報をイントラ予測部１１４から取得する。また、インター予測モード情報、動きベクトル、参照画像を特定するための情報などを動き視差予測・補償部１１５から取得する。
　可逆符号化部１０６は、図２の可逆符号化部１０６と同様に、量子化部１０５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLCなど）、算術符号化（例えば、CABACなど）などの可逆符号化を行う。
　また、可逆符号化部１０６は、図２の可逆符号化部１０６と同様に、量子化された変換係数を符号化するとともに、イントラ予測モード情報、インター予測モード情報、動きベクトル情報、および量子化パラメータを、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
　デブロックフィルタ１１１は、加算部１１０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１１１は、その結果得られる画像をデコードピクチャバッファ１１２に供給し、蓄積させる。
　デコードピクチャバッファ１１２に蓄積された画像は、参照画像として選択部２１３を介してイントラ予測部１１４または動き視差予測・補償部１１５に出力される。
　本技術は、このようなAVC方式の画像符号化装置にも適用することができる。
［復号部の他の構成例］
　図２４は、図１８の復号部１６５の他の構成例を示すブロック図である。図２４に示される復号部１６５は、図１９の復号部１６５に対応する復号装置である。図２４の復号部１６５においては、AVC方式による復号処理が行われる点のみが、図１９の復号部１６５と異なっている。
　図２４に示す構成のうち、図１９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２４の復号部１６５は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、加算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、D/A変換部２０８、デコードピクチャバッファ２０９、選択部２１０、イントラ予測部２１１、動き視差予測・補償部２１２、および選択部２１３により構成される。
　図２４の復号部１６５の構成は、適応オフセットフィルタ２２３と適応ループフィルタ２２４が除かれている点、および可逆復号部２０２がHEVC方式ではなく、AVC方式により復号を行う点のみが図１９の復号部１６５の構成と異なる。したがって、復号部１６５においては、CU単位ではなく、ブロック単位に復号処理が行われる。
　可逆復号部２０２の復号処理の対象は、適応オフセットフィルタおよび適応ループフィルタのパラメータを除き、図１９の可逆復号部２０２の場合と基本的に同様である。すなわち、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、図２４の符号化部１４により符号化されたものである。
　シンタックス処理部２２１は、図１９のシンタックス処理部２２１と同様に、蓄積バッファ２０１から所定のタイミングで読み出された符号化データから、シーケンスパラメータセット、ピクチャパラメータセット、およびスライスヘッダなどを取得し、取得した各ヘッダ情報を符号化データとともに、可逆復号部２０２に供給する。また、シンタックス処理部２２１は、取得したヘッダ情報などを、参照リスト生成部２２２に供給する。
　また、可逆復号部２０２は、図１９の可逆復号部２０２と同様に、シンタックス処理部２２１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数を得る。可逆復号部２０２は、量子化された係数を逆量子化部２０３に供給する。
　デブロックフィルタ２０６は、加算部２０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２０６は、その結果得られる画像をデコードピクチャバッファ２０９および画面並べ替えバッファ２０７に供給する。
　本技術は、このようなAVC方式の画像復号装置にも適用することができる。
　なお、本開示は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本開示は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
　＜４．第４の実施の形態＞
［コンピュータ］
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　＜５．応用例＞
　［第１の応用例：テレビジョン受像機］
　図２７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、多視点符号化において、ビューの参照関係を効率的に変更することができる。また、多視点符号化における符号化効率を改善することができることができる。
　［第２の応用例：携帯電話機］
　図２８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、多視点符号化において、ビューの参照関係を効率的に変更することができる。また、多視点符号化における符号化効率を改善することができる。
　［第３の応用例：記録再生装置］
　図２９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
　制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、多視点符号化において、ビューの参照関係を効率的に変更することができる。また、多視点符号化における符号化効率を改善することができる。
　［第４の応用例：撮像装置］
　図３０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、多視点符号化において、ビューの参照関係を効率的に変更することができる。また、多視点符号化における符号化効率を改善することができる。
  ＜６．第５の実施の形態＞
[実施のその他の例]
  以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
 [ビデオセット]
  本技術をセットとして実施する場合の例について、図３１を参照して説明する。図３１は、本技術を適用したビデオセットの概略的な構成の一例を示している。
  近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
  図３１に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
  図３１に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
  モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
  図３１の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
  プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
  図３１のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
  ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
  ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
  RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
  なお、図３１において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
  外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
  パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
  フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３１に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
  アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
  コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
  例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
  なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
  カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
  センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
  以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
  以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
[ビデオプロセッサの構成例]
  図３２は、本技術を適用したビデオプロセッサ１３３２（図３１）の概略的な構成の一例を示している。
  図３２の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
  図３２に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
  ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３１）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図３１）等に出力する。
  フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
  メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
  エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
  ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
  オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
  オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図３１）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図３１）等に供給する。
  多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
  逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３１）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図３１）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
  ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３１）等に供給する。
  また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図３１）等に供給し、各種記録媒体に記録させる。
  さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３１）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
  また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図３１）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
  次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図３１）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
  また、コネクティビティ１３２１（図３１）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
  ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３１）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図３１）等に出力され、各種記録媒体に記録される。
  また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３１）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図３１）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
  オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
  このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係る画像符号化装置１（図１）や第２の実施の形態に係る画像復号装置１５１（図１８）の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図２３を参照して上述した効果と同様の効果を得ることができる。
  なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
[ビデオプロセッサの他の構成例]
  図３３は、本技術を適用したビデオプロセッサ１３３２（図３１）の概略的な構成の他の例を示している。図３３の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
  より具体的には、図３３に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
  制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
  図３３に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
  ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図３１）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図３１）のモニタ装置等に出力する。
  ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
  画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
  内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
  コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
  図３３に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
  MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
  MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
  メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
  多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
  ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図３１）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図３１）等向けのインタフェースである。
  次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３１）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３１）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図３１）等に出力され、各種記録媒体に記録される。
  さらに、例えば、コネクティビティ１３２１（図３１）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３１）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３１）等に供給され図示せぬ他の装置に伝送される。
  なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
  このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係る画像符号化装置１（図１）や第２の実施の形態に係る画像復号装置１５１（図１８）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図２３を参照して上述した効果と同様の効果を得ることができる。
  なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
  以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
 [装置への適用例]
  ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図２３を参照して上述した効果と同様の効果を得ることができる。
  なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図２３を参照して上述した効果と同様の効果を得ることができる。
  つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図２３を参照して上述した効果と同様の効果を得ることができる。
　なお、本明細書では、参照画像フラグ、VPS、SPS、スライスヘッダ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　ビットストリームを復号して、画像を生成する復号部と、
　前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、前記復号部により生成された画像を予測する予測部と
　を備える画像処理装置。
　（２）　前記レイヤ参照画像情報は、一定間隔またはピクチャ単位で伝送される
　前記（１）に記載の画像処理装置。
　（３）　前記レイヤ参照画像情報は、前記ビットストリームのシーケンスパラメータセットまたはスライスヘッダに設定されている
　前記（１）または（２）に記載の画像処理装置。
　（４）　前記受レイヤ参照画像情報に基づいて、前記参照リストを生成する参照リスト生成部を
　さらに備える前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記参照リスト生成部は、Ｌ１方向に関して、前記参照画像のリストに、前記レイヤ方向に参照可能な参照画像を挿入する際、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆にして挿入する
　前記（４）に記載の画像処理装置。
　（６）　前記参照リスト生成部は、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加して、前記参照画像のリストを生成する
　前記（４）に記載の画像処理装置。
　（７）　前記参照リスト生成部は、Ｌ０方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
　前記（４）に記載の画像処理装置。
　（８）　前記参照リスト生成部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
　前記（４）に記載の画像処理装置。
　（９）　前記レイヤは、ビューである
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（１０）　画像処理装置が、
　ビットストリームを復号して、画像を生成し、
　前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、生成された画像を予測する
　画像処理方法。
　（１１）　画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報を設定する設定部と、
　前記設定部により設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像を生成する予測部と、
　前記予測部により生成された予測画像を用いて前記画像を符号化して、ビットストリームを生成する符号化部と、
　前記符号化部により生成されたビットストリームと、前記設定部により設定されたレイヤ参照画像情報とを伝送する伝送部と
　を備える画像処理装置。
　（１２）　前記伝送部は、前記設定部により設定されたレイヤ参照画像情報を、一定間隔またはピクチャ単位で伝送する
　前記（１１）に記載の画像処理装置。
　（１３）　前記設定部は、前記レイヤ参照画像情報を、前記ビットストリームのシーケンスパラメータセットまたはスライスヘッダに設定する
　前記（１１）または（１２）に記載の画像処理装置。
　（１４）　前記設定部により設定されたレイヤ参照画像情報に基づいて、前記参照画像のリストを生成する参照リスト生成部を
　さらに備える前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記参照リスト生成部は、Ｌ１方向に関して、前記参照画像のリストに、前記レイヤ方向に参照可能な参照画像を挿入する際、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆にして挿入する
　前記（１４）に記載の画像処理装置。
　（１６）　前記参照リスト生成部は、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加して、前記参照画像のリストを生成する
　前記（１４）に記載の画像処理装置。
　（１７）　前記参照リスト生成部は、Ｌ０方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
　前記（１４）に記載の画像処理装置。
　（１８）　前記参照リスト生成部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
　前記（１４）に記載の画像処理装置。
　（１９）　前記レイヤは、ビューである
　前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）　画像処理装置が、
　画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報を設定し、
　設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像を生成し、
　生成された予測画像を用いて前記画像を符号化して、ビットストリームを生成し、
　生成されたビットストリームと、設定されたレイヤ参照画像情報とを伝送する
　画像処理方法。
　　１　符号化装置，　１１　VPS設定部，　１２　SPS設定部，　１３　スライスヘッダ設定部，　１４　符号化部，　１５　伝送部，　１０６　可逆符号化部，　１１５　動き視差予測・補償部，　１２１　シンタックス処理部，　１２２　参照リスト生成部，　１３１　参照画像設定部，　１３２　テンポラルリスト生成部，　１３３　参照画像リスト生成部，　１５１　復号装置，　１６１　受け取り部，　１６２　VPS抽出部，　１６３　SPS抽出部，　１６４　スライスヘッダ抽出部，　１６５　復号部，　２０２　可逆復号部，　２１２　動き視差予測・補償部，２２１　シンタックス処理部，　２２２　参照リスト生成部，　２３１　参照画像設定部，　２３２　テンポラルリスト生成部，　２３３　参照画像リスト生成部

Claims (20)

  1. 　ビットストリームを復号して、画像を生成する復号部と、
    　前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、前記復号部により生成された画像を予測する予測部と
    　を備える画像処理装置。
  2. 　前記レイヤ参照画像情報は、一定間隔またはピクチャ単位で伝送される
    　請求項１に記載の画像処理装置。
  3. 　前記レイヤ参照画像情報は、前記ビットストリームのシーケンスパラメータセットまたはスライスヘッダに設定されている
    　請求項２に記載の画像処理装置。
  4. 　前記レイヤ参照画像情報に基づいて、前記参照画像のリストを生成する参照リスト生成部を
    　さらに備える請求項１に記載の画像処理装置。
  5. 　前記参照リスト生成部は、Ｌ１方向に関して、前記参照画像のリストに、前記レイヤ方向に参照可能な参照画像を挿入する際、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆にして挿入する
    　請求項４に記載の画像処理装置。
  6. 　前記参照リスト生成部は、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加して、前記参照画像のリストを生成する
    　請求項４に記載の画像処理装置。
  7. 　前記参照リスト生成部は、Ｌ０方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
    　請求項４に記載の画像処理装置。
  8. 　前記参照リスト生成部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
    　請求項４に記載の画像処理装置。
  9. 　前記レイヤは、ビューである
    　請求項１に記載の画像処理装置。
  10. 　画像処理装置が、
    　ビットストリームを復号して、画像を生成し、
    　前記ビットストリームを復号処理した画像を予測する際に参照されるレイヤ方向に参照可能な参照画像をレイヤ毎に制御するレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、生成された画像を予測する
    　画像処理方法。
  11. 　画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報を設定する設定部と、
    　前記設定部により設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像を生成する予測部と、
    　前記予測部により生成された予測画像を用いて前記画像を符号化して、ビットストリームを生成する符号化部と、
    　前記符号化部により生成されたビットストリームと、前記設定部により設定されたレイヤ参照画像情報とを伝送する伝送部と
    　を備える画像処理装置。
  12. 　前記伝送部は、前記設定部により設定されたレイヤ参照画像情報を、一定間隔またはピクチャ単位で伝送する
    　請求項１１に記載の画像処理装置。
  13. 　前記設定部は、前記レイヤ参照画像情報を、前記ビットストリームのシーケンスパラメータセットまたはスライスヘッダに設定する
    　請求項１２に記載の画像処理装置。
  14. 　前記設定部により設定されたレイヤ参照画像情報に基づいて、前記参照画像のリストを生成する参照リスト生成部を
    　さらに備える請求項１１に記載の画像処理装置。
  15. 　前記参照リスト生成部は、Ｌ１方向に関して、前記参照画像のリストに、前記レイヤ方向に参照可能な参照画像を挿入する際、前記レイヤ方向に参照可能な参照画像の順序をＬ０方向の場合と逆にして挿入する
    　請求項１４に記載の画像処理装置。
  16. 　前記参照リスト生成部は、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加して、前記参照画像のリストを生成する
    　請求項１４に記載の画像処理装置。
  17. 　前記参照リスト生成部は、Ｌ０方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に前に位置する参照画像、前記画像より時間的に後に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
    　請求項１４に記載の画像処理装置。
  18. 　前記参照リスト生成部は、Ｌ１方向に関して、前記レイヤ方向に参照可能な参照画像のうち、前記レイヤ参照画像情報が１を示す参照画像を追加し、前記画像より時間的に後に位置する参照画像、前記画像より時間的に前に位置する参照画像、長時間参照画像、レイヤ方向に参照可能な参照画像の順番で結合して、前記参照画像のリストを生成する
    　請求項１４に記載の画像処理装置。
  19. 　前記レイヤは、ビューである
    　請求項１１に記載の画像処理装置。
  20. 　画像処理装置が、
    　画像を予測する際に参照されるレイヤ方向に参照可能な参照画像を制御するレイヤ参照画像情報を設定し、
    　設定されたレイヤ参照画像情報に基づいて生成される参照画像のリストを参照して、予測画像を生成し、
    　生成された予測画像を用いて前記画像を符号化して、ビットストリームを生成し、
    　生成されたビットストリームと、設定されたレイヤ参照画像情報とを伝送する
    　画像処理方法。
PCT/JP2013/082937 2012-12-21 2013-12-09 画像処理装置および方法 WO2014097913A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014553079A JP6233656B2 (ja) 2012-12-21 2013-12-09 画像処理装置および方法
US14/650,640 US9992513B2 (en) 2012-12-21 2013-12-09 Image processing efficient transmission or reception of encoded information
CN201380065339.3A CN104854868B (zh) 2012-12-21 2013-12-09 图像处理设备和方法
US15/934,129 US10375415B2 (en) 2012-12-21 2018-03-23 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012279848 2012-12-21
JP2012-279848 2012-12-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/650,640 A-371-Of-International US9992513B2 (en) 2012-12-21 2013-12-09 Image processing efficient transmission or reception of encoded information
US15/934,129 Continuation US10375415B2 (en) 2012-12-21 2018-03-23 Image processing apparatus and method

Publications (1)

Publication Number Publication Date
WO2014097913A1 true WO2014097913A1 (ja) 2014-06-26

Family

ID=50978248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082937 WO2014097913A1 (ja) 2012-12-21 2013-12-09 画像処理装置および方法

Country Status (4)

Country Link
US (2) US9992513B2 (ja)
JP (1) JP6233656B2 (ja)
CN (1) CN104854868B (ja)
WO (1) WO2014097913A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021534676A (ja) * 2018-08-17 2021-12-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおける参照ピクチャ管理

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156608B1 (ko) * 2014-02-07 2020-09-16 소니 주식회사 수신 장치, 표시 장치 및 수신 방법
WO2016132976A1 (ja) * 2015-02-17 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016140293A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN104811721B (zh) * 2015-05-26 2017-09-22 珠海全志科技股份有限公司 视频解码数据存储方法及运动向量数据的计算方法
CN106027538A (zh) * 2016-05-30 2016-10-12 东软集团股份有限公司 加载图片的方法及装置、发送图片资源的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115023A1 (ja) * 2012-01-31 2013-08-08 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3776595B2 (ja) 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
WO2007114612A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
JP2012129651A (ja) 2010-12-13 2012-07-05 Canon Inc 通信装置、通信システム、制御方法及びプログラム
TWI530161B (zh) * 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
CN104471962B (zh) 2012-04-10 2019-03-22 索尼公司 通信装置、通信控制方法
JP2015528249A (ja) 2012-07-16 2015-09-24 サムスン エレクトロニクス カンパニー リミテッド 無線通信システムにおけるトポロジ処理方法及び装置
JP5978901B2 (ja) 2012-10-09 2016-08-24 ソニー株式会社 無線通信装置、プログラム及び通信制御方法
JP2014192547A (ja) 2013-03-26 2014-10-06 Nec Casio Mobile Communications Ltd 通信装置、通信制御方法、及びプログラム
JP6281859B2 (ja) 2013-04-26 2018-02-21 国立研究開発法人情報通信研究機構 無線通信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115023A1 (ja) * 2012-01-31 2013-08-08 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "High efficiency video coding (HEVC) text specification draft 8", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/ WG11 JCTVC-J1003_D7, ITU-T, 28 July 2012 (2012-07-28), pages 29 - 38,60-64,72-74 *
YE-KUI WANG: "Solutions considered for NAL unit header and video parameter set for HEVC extensions", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC-J1007, ITU-T, 20 July 2012 (2012-07-20), pages 1 - 6 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021534676A (ja) * 2018-08-17 2021-12-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおける参照ピクチャ管理
US11758123B2 (en) 2018-08-17 2023-09-12 Huawei Technologies Co., Ltd. Reference picture management in video coding
US11991349B2 (en) 2018-08-17 2024-05-21 Huawei Technologies Co., Ltd. Reference picture management in video coding
US11997257B2 (en) 2018-08-17 2024-05-28 Huawei Technologies Co., Ltd. Reference picture management in video coding

Also Published As

Publication number Publication date
US10375415B2 (en) 2019-08-06
CN104854868B (zh) 2018-05-01
JP6233656B2 (ja) 2017-11-22
US20180213257A1 (en) 2018-07-26
JPWO2014097913A1 (ja) 2017-01-12
US9992513B2 (en) 2018-06-05
CN104854868A (zh) 2015-08-19
US20150312591A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
US10142634B2 (en) Image processing apparatus and method
US10448057B2 (en) Image processing device and method
JP6287035B2 (ja) 復号装置および復号方法
US10375415B2 (en) Image processing apparatus and method
WO2016104179A1 (ja) 画像処理装置および画像処理方法
WO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JPWO2015151791A1 (ja) 画像復号装置および方法
JP6233655B2 (ja) 画像処理装置および方法
JP6150134B2 (ja) 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
JP6477930B2 (ja) 符号化装置および符号化方法
WO2015098563A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
JP2017158206A (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13864382

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014553079

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14650640

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13864382

Country of ref document: EP

Kind code of ref document: A1