WO2011074153A1 - 画像復号装置及び画像復号方法 - Google Patents

画像復号装置及び画像復号方法 Download PDF

Info

Publication number
WO2011074153A1
WO2011074153A1 PCT/JP2010/004081 JP2010004081W WO2011074153A1 WO 2011074153 A1 WO2011074153 A1 WO 2011074153A1 JP 2010004081 W JP2010004081 W JP 2010004081W WO 2011074153 A1 WO2011074153 A1 WO 2011074153A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
unit
image
frame memory
picture
Prior art date
Application number
PCT/JP2010/004081
Other languages
English (en)
French (fr)
Inventor
北川昌生
山口哲
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800561256A priority Critical patent/CN102783163A/zh
Publication of WO2011074153A1 publication Critical patent/WO2011074153A1/ja
Priority to US13/494,790 priority patent/US20120257838A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Definitions

  • the present invention relates to an image decoding apparatus and an image decoding method, and in particular, a first encoded signal obtained by encoding a first image signal of a first viewpoint and a second encoded image of a second image signal of a second viewpoint.
  • the present invention relates to an image decoding apparatus for decoding an encoded signal.
  • Patent Document 1 discloses a technique for decoding a plurality of bitstreams in parallel using a plurality of image decoding units. Yes.
  • FIG. 30 is a block diagram showing the configuration of the image decoding device 500 described in Patent Document 1.
  • the image decoding apparatus 500 includes an input unit 502, a header analysis unit 503, and a decoding control unit 504. Furthermore, the image decoding apparatus 500 includes a plurality of arithmetic decoding units 505, 506, and 507, a plurality of storage units 508, 509, and 510, and a plurality of image decoding units 511, 512, and 513, following the decoding control unit 504. Are provided in parallel.
  • the image decoding apparatus 500 receives a plurality of bit streams A, B, and C.
  • the decoding control unit 504 Upon receiving the analysis result from the header analysis unit 503, the decoding control unit 504 calculates the arithmetic decoding processing start timing in the arithmetic decoding units 505, 506, and 507, the start position of the arithmetic decoding processing in the bitstream, and the like. Notification is made to the decoding units 505, 506, and 507.
  • Arithmetic decoding units 505, 506, and 507 are individually provided corresponding to the input bit streams A, B, and C, respectively.
  • the arithmetic decoding units 505, 506, and 507 perform arithmetic decoding processes of the bit streams A, B, and C in parallel, and output the generated arithmetic decoding data to the storage units 508, 509, and 510, respectively.
  • the image decoding units 511, 512, and 513 simultaneously reproduce a plurality of data streams by decoding the arithmetic decoding data stored in the storage units 508, 509, and 510 into actual image data.
  • Patent Document 2 discloses a method of simultaneously decoding a plurality of bit streams by time division processing using a single image decoding unit.
  • FIG. 31 is a block diagram showing a configuration of an image decoding device 600 described in Patent Document 2.
  • VBV buffers 601 includes a plurality of VBV buffers 601, a variable length decoder 602, an inverse quantizer 603, an IDCT device 604, an adder 605, an image memory 606, and a motion compensation predictor. 607, a demultiplexer 611, signal switchers 612, 613, and 614, a decoding controller 621, a display controller 622, and a switch controller 623.
  • variable length decoder 602 the inverse quantizer 603, the IDCT device 604, the adder 605, and the motion compensation predictor 607 are each configured by a single resource. Also, the image decoding apparatus 600 inputs a plurality of bit streams to these circuits in a time division manner and performs a decoding process.
  • a transport stream in which image bit streams of a plurality of channels are multiplexed is input to the preceding demultiplexer 611.
  • the demultiplexer 611 separates the transport stream into bit streams for each channel.
  • the separated bit stream of each channel is accumulated in the corresponding VBV buffer 601 (VBV buffer 1 to VBV buffer N).
  • the bit stream in the VBV buffer 601 corresponding to a specific channel is selected by the signal switcher 612 based on the switch switch signal from the switch controller 623.
  • This selected bit stream is input to the variable length decoder 602.
  • this bit stream is decoded by a variable length decoder 602, an inverse quantizer 603, an IDCT unit 604, and a motion compensation predictor 607.
  • the decoded image data is input from the adder 605 to the signal switch 613.
  • the signal switch 613 stores this image data in the memory of the corresponding channel among the plurality of image memories 606 (image memory 1 to image memory N) based on the switch switching signal output from the switch controller 623. To do.
  • the display controller 622 performs control so that the image data of each channel in the image memory N is simultaneously read from the image memory 1 and displayed at a predetermined display timing. As a result, the display controller 622 synchronizes the channels and simultaneously reproduces a plurality of bit streams.
  • the left-eye image and the right-eye image need to be individually transmitted or recorded as independent images in order to give the viewer a sense of reality. Therefore, the stereoscopic image system requires about twice the amount of information as compared to a single two-dimensional image system. This is because a transmission system requires an enormous transfer bandwidth, and a storage system requires an enormous storage capacity in addition to this. As a result, the cost of the system increases.
  • an image coding method is also being devised in order to reduce the amount of data for realizing a stereoscopic image system.
  • H.264-MVC Multi View Coding
  • the H.264-MVC (Multi View Coding) standard takes advantage of the fact that there is often a correlation between videos of each viewpoint. Based on the H.264 standard, a prediction structure between viewpoints as shown in FIG. 32 is provided. Thereby, compression efficiency can be improved by removing redundancy.
  • Each viewpoint is given a viewpoint ID of view_id, is managed in the form of a view, and is distinguished.
  • This view includes a base view to be referenced from other views and a non-base view that refers to the base view. That is, at the time of inter-viewpoint prediction, encoding efficiency is improved by encoding a non-base view using a base view image as a predicted image.
  • view_id the view (base view) to be referred to is known by view_id, and which is the reference target image from among the frame memories in which the decoded images of the base view are stored. It is necessary to know (which is the image of the same access unit).
  • the present invention has been made to solve this problem, and an object of the present invention is to decode a plurality of bit streams encoded using inter-view prediction and to specify an image to be referred to by each channel.
  • An image decoding apparatus is provided.
  • an image decoding apparatus includes a first encoded signal obtained by encoding a first image signal of a first viewpoint, and a second viewpoint different from the first viewpoint.
  • An image decoding apparatus for decoding a second encoded signal obtained by encoding a second image signal, wherein the first encoded signal and the second encoded signal are decoded with reference to a reference image
  • An image decoding unit configured to generate a first decoded image signal and a second decoded image signal; and a frame memory for storing the first decoded image signal and the second decoded image signal as the reference image.
  • the unit refers to the first decoded image signal as the reference image, decodes the first encoded signal, and refers to the first decoded image signal and the second decoded image signal as the reference image. 2 decoding the encoded signal,
  • the coding apparatus further specifies first management information for specifying an area of the frame memory in which the first decoded image signal is stored and an area of the frame memory in which the second decoded image signal is stored.
  • a management information storage unit that stores second management information for storing the reference image, and the reference image that is referred to when the first encoded signal is decoded is stored in the image decoding unit with reference to the first management information.
  • the reference image to be referred to when the second encoded signal is decoded is stored in the image decoding unit with reference to the first management information and the second management information.
  • a control unit for notifying the area of the frame memory that is being used.
  • the image decoding apparatus can specify the first decoded image signal that is referred to when decoding the second encoded signal, using the first management information.
  • the image decoding apparatus can decode a plurality of bit streams encoded using inter-view prediction, and can specify an image to be referred to by each channel.
  • the first management information is included in the first encoded signal for each of the first decoded image signals, and includes first syntax information for specifying the first decoded image signal, and the first syntax information.
  • a first syntax information list including a first identification number associated with the tax information, and a first relationship indicating a correspondence relationship between the first identification number and the area of the frame memory for each first decoded image signal.
  • the control unit obtains the first identification number corresponding to the first decoded image signal by referring to the first syntax information list, and refers to the first mapping list.
  • the area of the frame memory corresponding to the first identification number is acquired, and the area of the frame memory in which the reference image is stored is acquired as the area of the acquired frame memory.
  • the second decoding information is notified to the image decoding unit, and the second management information is included in the second encoded signal for each of the second decoded image signals, and is used for specifying the second decoded image signal.
  • a second syntax information list including syntax information and a second identification number associated with the second syntax information; and for each second decoded image signal, the second identification number and the frame memory
  • a second mapping list indicating a correspondence relationship with a region, and the control unit obtains the second identification number corresponding to the second decoded image signal by referring to the second syntax information list.
  • the frame memory area corresponding to the second identification number is acquired by referring to the second mapping list, and the reference image is stored in the acquired frame memory area. As the area of the serial frame memory, it may notify the image decoding units.
  • the image decoding apparatus uses the first syntax information list and the first mapping list to refer to the first decoded image that is referred to when the second encoded signal is decoded.
  • the signal can be specified.
  • first syntax information and the second syntax information are H.264. It may be syntax information necessary when updating a decoded picture buffer (DPB) defined in the H.264 standard.
  • DPB decoded picture buffer
  • the first syntax information list includes the first syntax information and the first identification number for each first decoded image signal referred to when the image decoding unit decodes the first encoded signal. And the first syntax information and the first information for each first decoded image signal referred to when the image decoding unit decodes the second encoded signal.
  • An inter-view reference syntax information list including an identification number, and when the image decoding unit decodes the first encoded signal, the control unit displays the intra-view reference syntax information list.
  • the first identification number corresponding to the first decoded image signal is obtained by referring to the frame memory, and the frame memory corresponding to the first identification number is obtained by referring to the first mapping list.
  • An area is acquired, the acquired area of the frame memory is notified to the image decoding unit as the area of the frame memory in which the reference image is stored, and the image decoding unit decodes the second encoded signal
  • the first identification number corresponding to the first decoded image signal is obtained, and by referring to the first mapping list, the first The frame memory area corresponding to one identification number may be acquired, and the acquired frame memory area may be notified to the image decoding unit as the frame memory area in which the reference image is stored.
  • the image decoding apparatus includes an intra-view reference syntax information list used for reference within a viewpoint and an inter-view reference syntax information list used for reference between viewpoints. Can be individually managed and controlled for references within viewpoints and references between viewpoints. Thereby, the image decoding apparatus according to an aspect of the present invention can suitably manage and control reference images between viewpoints.
  • the first mapping list includes a correspondence between the first identification number and the area of the frame memory for each first decoded image signal referred to when the image decoding unit decodes the first encoded signal.
  • a mapping list for in-view reference indicating a relationship, and for each first decoded image signal referred to when decoding the second encoded signal by the image decoding unit, the first identification number and the area of the frame memory
  • the control section refers to the intra-view reference syntax information list when the image decoding section decodes the first encoded signal.
  • An area of the memory is acquired, the acquired area of the frame memory is notified to the image decoding unit as the area of the frame memory in which the reference image is stored, and the image decoding unit transmits the second encoded signal.
  • the first identification number corresponding to the first decoded image signal is obtained by referring to the inter-view reference syntax information list, and the inter-view reference mapping list is referred to.
  • To acquire the area of the frame memory corresponding to the first identification number and notify the image decoding unit of the acquired area of the frame memory as the area of the frame memory in which the reference image is stored. Also good.
  • the image decoding apparatus separately performs the intra-view reference mapping list used for intra-view reference and the inter-view reference mapping list used for inter-view reference.
  • the reference within a viewpoint and the reference between viewpoints can be managed and controlled separately.
  • the image decoding apparatus can suitably manage and control reference images between viewpoints.
  • the image decoding apparatus further includes an image display unit that outputs the first decoded image signal and the second decoded image signal stored in the frame memory to the outside, and the first mapping list further includes: For each first decoded image signal, first image display information indicating whether or not the first decoded image signal is output to the outside by the image display unit, and the first decoded image signal is used as the reference image.
  • the first reference information indicating whether or not the first decoded image signal is output to the outside by the first image display information, and the first reference information Indicates that the first decoded image signal is not used as the reference image
  • the image decoding unit newly adds the first decoded image signal to the area of the frame memory in which the first decoded image signal is stored. May store the first decoded image signal decoded.
  • the image decoding apparatus can suitably manage the free area of the frame memory using the first mapping list.
  • the image decoding unit includes: a first decoding unit that generates a first decoded image signal by decoding the first encoded signal; and a second decoded image signal that is generated by decoding the second encoded signal.
  • a second decoding unit that generates the control unit, wherein the control unit uses the first decoding unit and the second decoding unit to determine predetermined decoding processing units of the first encoded signal and the second encoded signal. After both of the decoding processes are completed, the first decoding unit and the second decoding unit may start the decoding process for the next decoding process unit.
  • the image decoding apparatus can synchronize the decoding process of the first encoded signal and the decoding process of the second encoded signal.
  • the image decoding apparatus further includes a flag storage unit for storing a first completion flag and a second completion flag, and the control unit controls the first decoding unit and the first decoding unit.
  • a first control unit that stores the first completion flag in the flag storage unit when the decoding process of the first encoded signal unit of the first encoded signal is completed, and the second decoding unit, A second control unit that stores the second completion flag in the flag storage unit when the decoding processing unit of the second encoded signal by the second decoding unit is completed;
  • the control unit performs the next decoding
  • the first mark of the processing unit The second decoding unit completes the decoding process of the unit of the decoding process of the second encoded signal by the second decoding unit, and the flag
  • the second decoding unit may start the decoding process of the second encoded signal in the next decoding process unit.
  • the image decoding apparatus controls the decoding process of the first encoded signal and the decoding process of the second encoded signal separately, thereby controlling the complexity of the decoding process. Can be suppressed.
  • the image decoding unit includes a selection unit that selects one of the first encoded signal and the second encoded signal, and the first encoded signal or the second encoded signal selected by the selection unit.
  • the control unit causes the selection unit to select one of the first encoded signal and the second encoded signal, and the one of the signals is predetermined. After the decoding process of the decoding process unit is completed, the selection unit may cause the other signal of the first encoded signal and the second encoded signal to be selected.
  • the image decoding apparatus can synchronize the decoding process of the first encoded signal and the decoding process of the second encoded signal.
  • the image decoding apparatus further includes a flag storage unit for storing a first completion flag and a second completion flag, and the control unit controls the first decoding unit and the first decoding unit.
  • a first control unit that stores the first completion flag in the flag storage unit when the decoding process of the first encoded signal unit of the first encoded signal is completed, and the second decoding unit, A second control unit that stores the second completion flag in the flag storage unit when the decoding processing unit of the second encoded signal by the second decoding unit is completed;
  • the control unit causes the decoding unit to start the decoding process of the first encoded signal of the next decoding processing unit, and the second control unit ,
  • the flag storage unit If 1 completion flag is stored, may initiate decoding of the second coded signal of the next decoding processing units to the decoder.
  • the image decoding apparatus controls the decoding process of the first encoded signal and the decoding process of the second encoded signal separately, thereby controlling the complexity of the decoding process. Can be suppressed.
  • the image decoding apparatus further generates one third encoded signal by alternately arranging the first encoded signal and the second encoded signal for each predetermined encoding unit.
  • the image decoding unit may include a combining unit, and the image decoding unit may alternately decode the first encoded signal and the second encoded signal included in the third encoded signal for each encoding unit.
  • the image decoding apparatus can synchronize the decoding process of the first encoded signal and the decoding process of the second encoded signal.
  • the encoding unit may be any one of a frame unit, a field unit, and a slice unit.
  • the combining unit may arrange the first encoded signal of the encoding unit among the first encoded signal and the second encoded signal corresponding to the encoding unit, and then the first encoded signal.
  • the third encoded signal may be generated by arranging the second encoded signal of the encoding unit corresponding to the encoded signal.
  • the image decoding apparatus can always decode the first encoded signal referred to in the decoding process of the second encoded signal first.
  • the decoding processing unit may be any one of a frame unit, a field unit, a header decoding processing unit, and a slice unit.
  • the present invention can be realized not only as such an image decoding apparatus, but also as an image decoding method that uses characteristic means included in the image decoding apparatus as a step, or to perform such characteristic steps in a computer. It can also be realized as a program to be executed. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such an image decoding device, or can be realized as an image reproduction device including such an image decoding device, It can be realized as an image display system including such an image decoding device.
  • LSI semiconductor integrated circuit
  • the present invention can provide an image decoding apparatus capable of decoding a plurality of bit streams encoded using inter-view prediction and identifying an image to be referred to by each channel.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram of the image decoding unit according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing reference picture numbers according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing a configuration of syntax information according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram showing the structure of the DPB list according to Embodiment 1 of the present invention.
  • FIG. 7 is a diagram showing the structure of the frame memory mapping list according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image decoding apparatus according to
  • FIG. 8 is a diagram showing a correspondence relationship between a reference picture number and a base address according to the first embodiment.
  • FIG. 9 is a diagram showing processing of the control unit according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram showing image display timing according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram showing a stream structure according to Embodiment 1 of the present invention.
  • FIG. 12 is a flowchart of decoding processing by the image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 13 is a flowchart of decoding processing by the image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 14 is a diagram showing a synchronization relationship between the L-side decoding process and the R-side decoding process according to Embodiment 1 of the present invention.
  • FIG. 15 is a diagram illustrating an operation example of the image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 16 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 17 is a diagram showing image display timing according to Embodiment 2 of the present invention.
  • FIG. 18 is a diagram illustrating a synchronization relationship between the L-side decoding process and the R-side decoding process according to Embodiment 2 of the present invention.
  • FIG. 15 is a diagram illustrating an operation example of the image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 16 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 17 is a diagram showing image display timing according to Em
  • FIG. 19 is a diagram illustrating an operation example of the image decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 20 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 3 of the present invention.
  • FIG. 21 shows the structure of the frame memory mapping list according to Embodiment 3 of the present invention.
  • FIG. 22 is a diagram illustrating an operation example of the image decoding apparatus according to Embodiment 3 of the present invention.
  • FIG. 23 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 4 of the present invention.
  • FIG. 24 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 5 of the present invention.
  • FIG. 25 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 6 of the present invention.
  • FIG. 26 is a diagram showing processing of the control unit according to Embodiment 6 of the present invention.
  • FIG. 27 is a flowchart of decoding processing performed by the image decoding apparatus according to Embodiment 6 of the present invention.
  • FIG. 28 is a flowchart of decoding processing performed by the image decoding apparatus according to Embodiment 6 of the present invention.
  • FIG. 29 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 7 of the present invention.
  • FIG. 30 is a block diagram showing a configuration of a conventional image decoding apparatus.
  • FIG. 31 is a block diagram showing a configuration of a conventional image decoding apparatus.
  • FIG. It is a figure which shows the reference relationship in the 264-MVC standard.
  • the image decoding apparatus uses the first management information for specifying the area in which the first decoded image signal obtained by decoding the first encoded bit stream is stored, and uses the second bit stream. An area in which a reference image to be referred to when decoding is stored is specified. Thereby, the image decoding apparatus according to Embodiment 1 of the present invention can decode a plurality of bit streams encoded using inter-view prediction, and can specify an image to be referred to by each channel.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus 100 according to Embodiment 1 of the present invention.
  • the image decoding apparatus 100 shown in FIG. 1 generates an output image signal 112 by decoding the encoded bit stream 110 and the encoded bit stream 111.
  • the encoded bit streams 110 and 111 are stream data including data obtained by encoding images having parallax with each other.
  • the encoded bit stream 110 is a first encoded signal obtained by encoding the first image signal captured from the first viewpoint.
  • the encoded bit stream 111 is a second encoded signal obtained by encoding a second image signal shot at a second viewpoint different from the first viewpoint.
  • H. A decoding process of a bitstream encoded according to the H.264 standard will be described as an example.
  • the encoded bitstreams 110 and 111 are H.264. It is encoded according to the 264-MVC standard.
  • the encoded bit stream 110 is a left-eye bit stream (L side).
  • the encoded bit stream 111 is a right-eye bit stream (R side).
  • the encoded bit streams 110 (L side) and 111 (R side) are input to the image decoding apparatus 100 as two independent encoded bit streams.
  • the L-side encoded bitstream 110 is a base view and the R-side encoded bitstream is a non-base view.
  • the image decoding apparatus 100 includes an image decoding unit 120, a control unit 130, a management information storage unit 140, a frame memory management unit 150, an image display unit 160, and a frame memory 170.
  • the image decoding unit 120 decodes the encoded bit stream 110 and the encoded bit stream 111 with reference to a reference image, thereby decoding a first decoded image signal (hereinafter referred to as an L-side decoded picture) and a second decoded image signal (hereinafter referred to as a decoded image signal). , R side decoded picture). Note that the L-side decoded picture and the R-side decoded picture are also simply referred to as “decoded pictures” when they are not particularly distinguished.
  • the frame memory 170 stores the decoded image data (L-side decoded picture and R-side decoded picture) generated by the image decoding unit 120.
  • the image decoding unit 120 decodes the encoded bitstream 110 with reference to only the L-side decoded picture as a reference image. Since the encoded bitstream 111 is a non-base view, the image decoding unit 120 decodes the encoded bitstream 111 with reference to the L-side decoded picture and the R-side decoded picture as reference images.
  • a non-base view picture refers to a base view picture as an inter-view reference.
  • a reference to a picture in the same view is referred to as an in-view reference.
  • the control unit 130 controls the decoding processing of the encoded bit streams 110 and 111 by the image decoding unit 120.
  • the management information storage unit 140 stores picture management information used for decoding processing by the image decoding unit 120.
  • This picture management information is information for specifying an area (base address) of the frame memory 170 in which the L-side decoded picture and the R-side decoded picture are stored.
  • the picture management information includes L-side management information for specifying the base address where the L-side decoded picture is stored, and R-side management information for specifying the base address where the R-side decoded picture is stored. Including.
  • control unit 130 refers to the L-side management information and notifies the image decoding unit 120 of the base address where the reference image to be referred to when decoding the encoded bitstream 110 is stored.
  • control unit 130 refers to the L-side management information and the R-side management information, and notifies the image decoding unit 120 of a base address where a reference image to be referred to when decoding the encoded bitstream 111 is stored. .
  • the frame memory management unit 150 manages the frame memory 170.
  • the image display unit 160 generates an output image signal 112 including the L-side decoded picture and the R-side decoded picture stored in the frame memory 170, and outputs the generated output image signal 112 to the outside.
  • FIG. 2 is a block diagram showing a detailed configuration of the image decoding apparatus 100.
  • the image decoding unit 120 includes a first decoding unit 121 and a second decoding unit 122.
  • the first decoding unit 121 generates an L-side decoded picture by decoding the encoded bitstream 110 in real time.
  • the second decoding unit 122 generates an R-side decoded picture by decoding the encoded bitstream 111 in real time.
  • the management information storage unit 140 includes DPB (decoded picture buffer) lists 141a and 141b, frame memory mapping lists 142a and 142b, an inter-view reference syntax information list 143, and an inter-view reference frame memory as picture management information.
  • the mapping list 144 is stored.
  • the DPB list 141a, the frame memory mapping list 142a, the inter-view reference syntax information list 143, and the inter-view reference frame memory mapping list 144 include an L for specifying a base address in which the L-side decoded picture is stored.
  • the DPB list 141b and the frame memory mapping list 142b are R-side management information for specifying a base address in which the R-side decoded picture is stored.
  • the DPB list 141a includes syntax information for in-view reference of the L-side decoded picture generated from the encoded bitstream 110. Further, the DPB list 141 b includes syntax information for in-view reference of the L-side decoded picture generated from the encoded bitstream 111.
  • the syntax information includes parameters (variables) defined by the standard.
  • the inter-view reference syntax information list 143 includes inter-view reference syntax information.
  • the frame memory mapping lists 142a and 142b are used for managing the base address of the frame memory 170.
  • the inter-view reference frame memory mapping list 144 is used to manage the base address of the inter-view reference picture.
  • the frame memory management unit 150 manages the base address of the frame memory 170 by updating the frame memory mapping lists 142a and 142b based on information obtained from the control unit 130 and the image display unit 160.
  • the control unit 130 includes a first control unit 131 and a second control unit.
  • the first control unit 131 is in charge of the decoding process of the L-side encoded bitstream 110.
  • the second control unit 132 is responsible for the decoding process of the R-side encoded bitstream 111.
  • the first control unit 131 stores the DPB list 141a, the inter-view reference syntax information list 143, the frame memory mapping list 142a, and the inter-view reference frame memory mapping list 144 stored in the management information storage unit 140. Are used to control the decoding process of the first decoding unit 121.
  • the second controller 132 stores the DPB list 141b, the inter-view reference syntax information list 143, the frame memory mapping list 142b, and the inter-view reference frame memory mapping list 144 stored in the management information storage 140. Are used to control the decoding process of the second decoding unit 122.
  • inter-view reference syntax information list 143 and the inter-view reference frame memory mapping list 144 are accessible from both the first control unit 131 and the second control unit 132.
  • the image decoding device 100 further includes a flag storage unit 180.
  • the flag storage unit 180 stores a first completion flag and a second completion flag used for the first control unit 131 and the second control unit 132.
  • the first control unit 131 stores the first completion flag in the flag storage unit 180 when the decoding process for one picture is completed.
  • the second control unit 132 stores the second completion flag in the flag storage unit 180 when the decoding process for one picture is completed.
  • the flag storage unit 180 is accessible from both the first control unit 131 and the second control unit 132. Therefore, the first control unit 131 and the second control unit 132 can confirm that the mutual decoding process has been completed via the flag storage unit 180.
  • the image display unit 160 acquires, from the frame memory management unit 150, the base address where the display target picture is stored among the decoded pictures stored in the frame memory 170.
  • the image display unit 160 reads the display target picture stored at the acquired base address from the frame memory 170, and displays and outputs the read display target picture. Further, the image display unit 160 notifies the frame memory management unit 150 that the display is completed.
  • FIG. 3 is a block diagram showing a configuration of the first decoding unit 121.
  • the configuration of the second decoding unit 122 is the same as that of the second decoding unit 122.
  • the first decoding unit 121 includes a header analysis unit 123, an entropy decoding unit 124, an inverse quantization unit 125, an inverse orthogonal transform unit 126, an intra prediction unit 127, and a motion compensation unit 128. And a deblocking filter processing unit 129.
  • the header analysis unit 123 performs header analysis such as sequence layer / picture layer / slice layer. In addition, the header analysis unit 123 acquires the syntax information 113 of the decoding target image included in the encoded bitstream 110.
  • the first decoding unit 121 has a decoding function below the macroblock layer. Specifically, the entropy decoding unit 124, the inverse quantization unit 125, the inverse orthogonal transform unit 126, the intra prediction unit 127, the motion compensation unit 128, and the deblocking filter processing unit 129 are used. A series of decoding processing conforming to the H.264 standard is performed.
  • the motion compensation unit 128 performs reference by reading a previously decoded image from the frame memory 170, and stores the decoded image in the frame memory 170.
  • the first control unit 131 acquires the base address from the frame memory management unit 150 and sets it in the first decoding unit 121. Further, the second control unit 132 acquires the base address from the frame memory management unit 150 and sets it in the second decoding unit 122.
  • DPB Decoded Picture Buffer
  • a memory called a decoded picture buffer DPB
  • a decoded picture is stored in the DPB.
  • pictures are managed in a unified manner by a method such as sliding window or MMCO (Memory Management Control Operation).
  • MMCO Memory Management Control Operation
  • the sliding window or MMCO performs processing using the syntax information 113 of the picture.
  • FIG. 4 is a diagram showing a reference relationship between pictures.
  • the reference picture number (ref_idx) is assigned to designate the reference picture.
  • the allocation of the reference picture corresponding to the reference picture number is changed for each decoding target picture. Can do.
  • a list called a reference picture list (RPL) is used for associating a reference picture reserved in the DPB with a reference picture number.
  • this RPL is created based on the syntax information 113 for each picture.
  • the DPB lists 141a and 141b are stored in the management information storage unit 140 as described above, and the information of the DPB lists 141a and 141b is used.
  • H.264 specifies and manages a picture to be stored in a decoded picture buffer (DPB) defined by the H.264 standard.
  • DPB decoded picture buffer
  • FIG. 5 is a diagram showing a configuration of syntax information 113 of each picture. This syntax information 113 is used to specify a decoded picture used as a reference picture.
  • the syntax information 113 includes a short term / long term, nal_ref_idc, field_pic_flag, inter_view_flag, frame_num, and view_id. Note that the syntax information 113 may include only part of the information, or may include information other than these.
  • Short trem / long term indicates whether the picture is a short term reference picture or a long term reference picture.
  • the short term reference picture is a picture that can be managed by the sliding window
  • the long term reference picture is a picture that exists at a position distant in time that cannot be managed by the sliding window.
  • Nal_ref_idc indicates whether the picture is referenced in the view.
  • Field_pic_flag indicates whether the method of the picture is a field (interlace) or a frame (progressive).
  • Inter_view_flag indicates whether or not the picture is referenced between views.
  • Frame_num indicates the number of the picture.
  • View_id is an identifier of a view including the picture. For example, “0” is assigned to a picture included in the base view, and “1, 2,...” Is assigned to a picture included in the non-base view.
  • FIG. 6 is a diagram showing the configuration of the DPB list 141a (141b).
  • the DPB lists 141a and 141b include decoded picture syntax information 113 used as reference images for intra-view reference.
  • each decoded picture includes syntax information 202 and an index 201 which is an identification number associated with the syntax information 202.
  • This syntax information 202 corresponds to the syntax information 113 shown in FIG.
  • the number of syntax information 202 included in the DPB lists 141a and 141b is determined by the number of reference pictures that can be referred to in each view by each picture.
  • DPB lists 141a and 141b are not only for the decoding process of the macroblock layer but also for H.264.
  • DPB decoded picture buffer
  • RPL reference picture list
  • the inter-view reference syntax information list 143 includes decoded picture syntax information 113 used as a reference image for inter-view reference.
  • the structure of the inter-view reference syntax information list 143 is the same as that shown in FIG.
  • the number of syntax information 202 included in the inter-view reference syntax information list 143 is determined by the number of reference pictures that can be referred to between views.
  • a picture to be referenced is always stored in a decoded picture buffer (DPB).
  • DPB decoded picture buffer
  • the procedure for updating the decoded picture buffer (DPB) is also described in H.264.
  • the H.264 standard defines the following procedure.
  • Step 1) The picture is decoded.
  • Step 2) The decoded picture buffer (DPB) is updated according to a predetermined rule (Sliding Window or MMCO) to determine a release target picture.
  • Step 3) instead of the release target picture in (Step 2), the picture decoded in (Step 1) is stored in the decoded picture buffer (DPB).
  • the picture that has been decoded in (Step 1) is temporarily reserved in the temporary buffer until the release target picture is determined in (Step 2).
  • the picture for which decoding has been completed is actually stored in the decoded picture buffer (DPB) in (Step 3). Because of this procedure, an extra temporary buffer that can store the picture being decoded must be secured separately from the memory capacity corresponding to the decoded picture buffer (DPB).
  • the frame memory 170 is also used as this temporary buffer. That is, the picture to be decoded (picture being decoded) is stored in the frame memory 170.
  • the frame memory 170 has H.264.
  • the picture defined in the H.264 standard (the picture in the DPB) and the picture depending on the implementation form (the picture being decoded) are mixed.
  • the frame memory area in which the picture that has been displayed is stored is released for storing the next picture. Therefore, these need to be managed together.
  • the frame memory mapping lists 142a and 142b are stored in the management information storage unit 140 as described above. Further, for each frame memory area in the frame memory 170, state management is performed such as whether or not it is designated as a reference picture in the DPB lists 141a and 141b and whether or not it is designated as an image display target. Thus, the frame memory area to be released for storing the next picture is specified.
  • FIG. 7 shows the structure of the frame memory mapping list 142a.
  • the frame memory mapping list 142a has a table format as shown in FIG.
  • the configuration of the frame memory mapping list 142b is the same as that in FIG.
  • the frame memory mapping list 142a includes a plurality of entries associated with each decoded picture.
  • each entry includes a decoded picture that is used as a reference picture for intra-view reference, a decoded picture that is used as a reference picture for inter-view reference, and a decoding picture that is not used as a reference picture.
  • each entry corresponds to a decoded picture that is used as a reference picture for intra-view reference, and a decoded or decoded picture that is not used as a reference picture.
  • Each entry includes a frame memory address 203, a DPB list index 204, an inter-view reference syntax information index 205, an image display status 206, and state information 207.
  • the frame memory address 203 indicates the base address of the frame memory 170 in which the decoded picture is stored.
  • the DPB list index 204 indicates the index 201 of the DPB list 141a corresponding to the decoded picture.
  • the DPB list index 204 indicates whether or not the decoded picture is used as a reference picture for intra-viewpoint reference. Specifically, when the index 201 of the DPB list 141a is set in the DPB list index 204, it indicates that the decoded picture is used as a reference picture for intra-viewpoint reference. Further, when the DPB list index 204 is not set to the index 201 of the DPB list 141a (in the case of “None” in FIG. 7), it indicates that the decoded picture is not used as a reference picture for intra-viewpoint reference. It is.
  • the inter-view reference syntax information index 205 indicates the index 201 of the inter-view reference syntax information list 143 corresponding to the decoded picture.
  • the inter-view reference syntax information index 205 indicates whether or not the decoded picture is used as a reference picture for inter-view reference. Specifically, when the index 201 of the inter-view reference syntax information list 143 is set in the inter-view reference syntax information index 205, the decoded picture is used as a reference picture for inter-view reference. It is shown. When the index 201 of the inter-view reference syntax information list 143 is not set in the inter-view reference syntax information index 205 (in the case of “None” in FIG. 7), the decoded picture is within the viewpoint. It is indicated that it is not used as a reference picture for reference.
  • the image display status 206 indicates whether the decoded picture has been displayed (output has been output as the output image signal 112) or has not been displayed (not displayed).
  • Status information 207 indicates whether the entry is in use or unused. Specifically, when the DPB list index 204 and the inter-view reference syntax information index 205 are both “none” and the image display status 206 is “0” displayed, the status information 207 is “unused”. In other cases, the status information 207 is “in use”.
  • control unit 130 notifies the image decoding unit 120 to store the decoded picture newly decoded by the image decoding unit 120 at the base address whose status information 207 is “unused”.
  • the entry whose frame memory address 203 is “0” is used as a decoded picture buffer (DPB), and the corresponding index 201 assigned to the DPB list 141a is assigned. Further, the entry with the frame memory address 203 of “2” stores the inter-view reference picture, and the corresponding index 201 assigned to the inter-view reference syntax information list 143 is assigned. Also, the entry whose frame memory address 203 is “3” cannot be used because it is used as a temporary buffer (a picture not displayed is stored). Therefore, in this example, it can be specified that an entry whose frame memory address 203 is not used as a decoded picture buffer (DPB) and is not used as a temporary buffer is “1”.
  • DPB decoded picture buffer
  • the first decoding unit 121 or the second decoding unit 122 creates the first decoding unit 121 or the second decoding unit 122. Hold inside.
  • each entry corresponds to a decoded picture used as a reference picture for inter-view reference.
  • inter-view reference frame memory mapping list 144 may include only the frame memory address 203 and the inter-view reference syntax information index 205.
  • the frame memory mapping list 142b may not include the inter-view reference syntax information index 205.
  • the base address of the frame memory 170 can be specified from the reference picture number (ref_idx) obtained from the normalized bit stream 110.
  • the first controller 131 acquires a reference picture number (ref_idx) obtained from the encoded bitstream 110 for each motion compensation block.
  • the first control unit 131 refers to the RPL 114 and identifies the picture number corresponding to the reference picture number (ref_idx).
  • the first control unit 131 specifies the index 201 of the syntax information 202 corresponding to the specified picture number with reference to the DPB list 141a.
  • the first controller 131 refers to the frame memory mapping list 142a and identifies the base address (frame memory address 203) corresponding to the identified index 201.
  • the second control unit 132 acquires a reference picture number (ref_idx) obtained from the encoded bitstream 110 for each motion compensation block.
  • the second control unit 132 refers to the RPL 114 and identifies a picture number corresponding to the reference picture number (ref_idx).
  • the second control unit 132 refers to the DPB list 141b and the inter-view reference syntax information list 143, and identifies the index 201 of the syntax information 202 corresponding to the identified picture number.
  • the second control unit 132 identifies the base address (frame memory address 203) corresponding to the identified index 201 with reference to the frame memory mapping list 142b and the inter-view reference frame memory mapping list 144.
  • H. H.264-MVC is a H.264 having a flexible structure as described above. H.264 is extended as a multi-view coding method. That is, H.I. 264-MVC is a technology that realizes high information compression by encoding each viewpoint as a view and performing inter-view reference using the correlation between viewpoints.
  • Each view is identified by a view ID (view_id).
  • view_id A view that does not refer to another view is referred to as a base view, and a view that refers to another view is referred to as a non-base view.
  • a feature of each non-base view picture is that it can refer to pictures in different views at the same time in addition to pictures in the same view.
  • the L-side encoded bit stream 110 is a base view
  • the R-side encoded bit stream 111 is a non-base view. That is, when decoding the R-side encoded bitstream 111, the decoded picture of the L-side encoded bitstream 110 can be referred between views.
  • the inter-view reference syntax information list 143 stores the reference picture syntax information 113 of the L-side encoded bitstream 111 that is the base view.
  • the second control unit 132 When decoding the R-side encoded bitstream 111 that is a non-base view, the second control unit 132, in addition to the DPB list 141b including the intra-view reference syntax information 113, includes inter-view reference syntax information 113.
  • the inter-view reference syntax information list 143 including is acquired. Based on these, the second decoding unit 122 creates an RPL including an inter-view reference picture.
  • FIG. 9 is a diagram illustrating processing of the first control unit 131 and the second control unit 132.
  • the first control unit 131 uses the inter-view reference syntax information that can refer to the information stored in the index number “1” of the DPB list 141a on the L side as in the example of FIG. It is also stored in the list 143.
  • the frame memory management unit 150 determines whether each frame memory area in the frame memory 170 is designated as a reference picture in the DPB lists 141a and 141b, and whether it is designated as an image display target. Manage state. Further, the frame memory management unit 150 manages a state such as whether or not it is designated as a reference picture used for inter-view reference in the inter-view reference syntax information list 143. As a result, the frame memory management unit 150 can specify the area of the frame memory 170 to be released for storing the next picture.
  • the inter-view reference syntax information list 143 and the inter-view reference frame memory mapping list 144 are at least for one picture in the present embodiment. It only needs to be able to store information.
  • the inter-view reference thin is used for writing from the first decoding unit 121 and for reading from the second decoding unit 122.
  • An area for two pictures is secured in each of the tax information list 143 and the inter-view reference frame memory mapping list 144.
  • H.264 standard As above. H.264 standard and H.264 standard. The operation of the image decoding apparatus 100 according to the first embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the number of pictures required for reference per stream is three. Further, as described above, one image is required for storing the picture being decoded.
  • the image display is displayed at the timing as shown in FIG. 10 after the decoding of the L side picture and the R side picture belonging to the same access unit.
  • the decoding process of the L-side picture L1 is performed.
  • decoding processing of the L-side picture L2 and the R-side picture R1 is performed.
  • the picture L1 and the picture R1 are displayed. Note that the picture L1 and the picture R1 are pictures included in the same access unit.
  • the frame memory 170 has an area capable of storing a total of 10 pictures (5 on the L side and 5 on the R side).
  • the input encoded bit streams 110 and 111 are H.264 as described above. Multi-view coding is performed by H.264-MVC. Also, as shown in FIG. 11, it is assumed that the L-side encoded bit stream 110 is encoded in the order of I / P1 / P2 / B1 / P3 / B2. Similarly, it is assumed that the R-side encoded bit stream 111 is encoded in the order of I / P1 / P2 / B1 / P3 / B2. Note that “I” shown in FIG. 11 indicates that the picture is an I picture. “P1, P2, P3” indicates that the picture is a P picture. “B” indicates that the picture is a B picture.
  • An I picture is a picture that has been subjected to intra-frame coding without reference within the view.
  • the P picture and the B picture are pictures encoded by performing intra-view reference.
  • the I picture and the P picture are pictures that are referenced in the view from other pictures.
  • the L-side encoded bitstream 110 is a base view and the R-side encoded bitstream is a non-base view.
  • the image decoding apparatus 100 starts decoding processing from the L-side encoded bit stream 110.
  • the first control unit 131 and the second control unit 132 synchronize the decoding processing of the encoded bit streams 110 and 111 by simultaneously starting each picture and waiting for completion as follows.
  • the first control unit 131 performs picture decoding processing of the L-side encoded bitstream 110 by controlling the first decoding unit 121 in the following processing steps.
  • FIG. 12 is a flowchart of the decoding process on the L side by the image decoding apparatus 100.
  • the first control unit 131 clears the first completion flag stored in the flag storage unit 180 (S101).
  • the first control unit 131 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture from the frame memory management unit 150 (S102).
  • the first control unit 131 acquires the DPB list 141a on the L side from the management information storage unit 140 (S103).
  • the first control unit 131 acquires the frame memory mapping list 142a. Also, the first control unit 131 refers to the acquired DPB list 141a and the frame memory mapping list 142a, and acquires the base address of the reference picture for reference within the view (S104).
  • the first control unit 131 sets the decoding target picture and the base address of the reference picture obtained in steps S102 to S104 and the DPB list 141a in the first decoding unit 121, and activates the first decoding unit 121. (S105).
  • the first decoding unit 121 acquires a reference picture from the base address of the reference picture set in step S105, and generates a decoded picture by decoding the encoded bitstream 110 using the acquired reference picture. .
  • the first decoding unit 121 stores the generated decoded picture at the base address of the decoding target picture set in step S105. Further, the first decoding unit 121 notifies the first control unit 131 that the decoding process for the decoding target picture has been completed (S106).
  • the first control unit 131 acquires the syntax information 113 of the picture that has been decoded in step S106 from the first decoding unit 121 (S107).
  • the first control unit 131 uses the syntax information 113 acquired in step S107 to manage information
  • the DPB list 141a in the storage unit 140 is updated (S108). Specifically, the first control unit 131 adds the syntax information 113 acquired in step S107 to the DPB list 141a.
  • the first control unit 131 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141a.
  • the frame memory manager 150 updates the frame memory mapping list 142a (S109). Specifically, the frame memory management unit 150 changes the DPB list index 204 corresponding to the notified index 201 to “none”. In addition, the frame memory management unit 150 adds information on the picture for which decoding processing has been completed to the frame memory mapping list 142a.
  • the first control unit 131 stores the syntax information 113 obtained in step S107 in the inter-view reference syntax information list 143 as the inter-view reference syntax information (S110).
  • the first control unit 131 stores the information of the picture for which the decoding process has been completed in the inter-view reference frame memory mapping list 144 (S111).
  • the first control unit 131 once stops the decoding process on the L side and sets the first completion flag in the flag storage unit 180 (S112).
  • the second control unit 132 performs the decoding process on the R-side encoded bitstream 111 by controlling the second decoding unit 122 in the following processing steps.
  • FIG. 13 is a flowchart of the decoding process on the R side by the image decoding apparatus 100.
  • the second control unit 132 clears the second completion flag stored in the flag storage unit 180 (S201).
  • the second control unit 132 obtains the syntax information of the L-side decoded picture that can be referred to in the decoding process of the R-side encoded bitstream 111 from the inter-view reference syntax information list 143, thereby A reference picture for reference is specified (S202).
  • the second control unit 132 refers to the inter-view reference frame memory mapping list 144 and acquires the base address corresponding to the syntax information acquired in step S202. That is, the second control unit 132 acquires the base address of the L-side decoded picture that can be referred to in the decoding process of the R-side encoded bitstream 111 (S203).
  • the second control unit 132 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture (R side picture) from the frame memory management unit 150 (S204).
  • the second control unit 132 acquires the DPB list 141b on the R side from the management information storage unit 140 (S205).
  • the second controller 132 acquires the frame memory mapping list 142b. Further, the second control unit 132 refers to the acquired DPB list 141b and the frame memory mapping list 142b, and acquires the base address of the reference picture for reference within the view (S206).
  • the second control unit 132 determines the decoding target picture obtained in steps S203, S204, S205, and S206, the base address of the reference picture for intra-view reference and the reference picture for inter-view reference, and the decoding target picture.
  • the DPB list 141b is set in the second decryption unit 122, and the second decryption unit 122 is activated (S207).
  • the second decoding unit 122 acquires a reference picture from the base address for intra-view reference or inter-view reference set in step S207, and decodes the encoded bitstream 111 using the acquired reference picture. Generate a picture. Further, the second decoding unit 122 stores the generated decoded picture at the base address of the decoding target picture set in step S207. Further, the second decoding unit 122 notifies the second control unit 132 that the decoding process of the picture has been completed (S208).
  • the second control unit 132 acquires the syntax information 113 of the picture that has been decoded in step S208 from the second decoding unit 122 (S209).
  • the second control unit 132 updates the DPB list 141b when the picture that has been decoded in step S208 is used as a reference picture when decoding a subsequent picture (S210). Specifically, the second control unit 132 adds the syntax information 113 acquired in step S209 to the DPB list 141b.
  • the second control unit 132 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141b.
  • the frame memory management unit 150 updates the frame memory mapping list 142b (S211). Specifically, the frame memory management unit 150 changes the DPB list index 204 corresponding to the notified index 201 to “none”. In addition, the frame memory management unit 150 adds information on the picture for which decoding processing has been completed to the frame memory mapping list 142b.
  • the second control unit 132 temporarily stops the decoding process on the R side and sets a second completion flag in the flag storage unit 180 (S212).
  • the first control unit 131 and the second control unit 132 are simultaneously activated for each picture and wait for completion, thereby synchronizing the decoding processing of the encoded bit streams 110 and 111 as shown in FIG. be able to.
  • the decoding process on the L side and the decoding process on the R side are started simultaneously. That is, the processing shown in FIGS. 12 and 13 is performed. Also, the decoding process on the R side ends at time t02. At time t02, since the decoding process on the L side has not been completed, the first completion flag is not set. Therefore, the second control unit 132 does not start the decoding process for the next picture until the decoding process on the L side is completed.
  • the image decoding unit 120 starts the decoding process for the next picture at the same time.
  • the first control unit 131 decodes the next picture until the decoding process on the R side is completed. Do not start.
  • the decoding process on the R side is completed. Therefore, at time t05, since both the L-side and R-side decoding processes are completed, the image decoding unit 120 starts decoding the next picture at the same time.
  • the first decoding unit 121 and the second decoding unit 122 complete the decoding processing of the predetermined decoding processing units (picture units) of the encoded bit streams 110 and 111 together.
  • the first decoding unit 121 and the second decoding unit 122 are caused to start decoding processing for the next decoding processing unit.
  • the first control unit 131 has completed the decoding processing unit of the encoded bitstream 110 by the first decoding unit 121, and the second completion flag is stored in the flag storage unit 180.
  • the first decoding unit 121 is caused to start decoding the encoded bitstream 110 of the next decoding processing unit.
  • the second control unit 132 when the decoding processing unit of the encoded bitstream 111 by the second decoding unit 122 is completed and the first completion flag is stored in the flag storage unit 180, The second decoding unit 122 is caused to start the decoding process of the encoded bit stream 111 of the decoding process unit.
  • the decoding process of the next picture on the L side is waited until the decoding process on the R side is completed, and the decoding process of the next picture on the R side is waited until the decoding process on the L side is completed.
  • the decoding process for the next picture on the L side may be performed without waiting for the completion of the decoding process on the R side. This is because the R side uses the L side decoded picture as the reference picture, but the L side does not use the R side decoded picture as the reference picture, so that the reference picture is not decoded even if the decoding process is performed in advance. The problem does not occur.
  • the decoding process of the next picture on the L side is made to wait until the decoding process on the R side is completed, and the decoding of the next picture on the R side is performed until the decoding process on the L side is completed. It is preferable to wait for processing.
  • H In the process of decoding image data compressed by an encoding method using inter-view prediction such as 264-MVC, for decoding a non-base view image, a decoded image of the base view at the same display time is motion-compensated. Sometimes the reference image is used. Therefore, there is a dependency relationship between the decoding process timing of the base view and the decoding process timing of the non-base view. In the case of three or more viewpoints, in decoding a non-base view image, a non-base view or base view decoded image having the same display time may be used as a reference image at the time of motion compensation.
  • the decoding timings of the images of each channel are different from each other as in the conventional image decoding device.
  • the reference between the channels at the time of decoding is not performed well, and the decoding process can be performed correctly. The problem of not occurring.
  • the image decoding apparatus 100 activates the first control unit 131 and the second control unit 132 at the same time and waits for the completion of the encoding bitstream 110 and 111 decoding processes can be synchronized.
  • the image decoding apparatus 100 performs L-side encoding via the inter-view reference syntax information list 143 that can be commonly accessed during decoding of the R-side encoded bitstream 111. It is possible to know the syntax management information of the reference picture of the bitstream. As a result, the image decoding apparatus 100 can decode the encoded bitstream encoded using inter-view prediction.
  • Period T10 (Decoding process of L-side encoded bit stream 110)
  • the decoded I picture (LI) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “0” of the DPB list 141a. Also, the base address is registered in the index number “0” of the frame memory mapping list 142a.
  • syntax information 113 of I picture (LI) is registered in the inter-view reference syntax information list 143. Further, the base address of the I picture (LI) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • Period T11 (Decoding process of L-side encoded bit stream 110)
  • the decoded P picture (LP1) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “1” of the DPB list 141a. Also, the base address is registered in the index number “1” of the frame memory mapping list 142a. Also, the syntax information 113 of the P picture (P11) is registered in the index number “1” of the inter-view reference syntax information list 143. Also, the base address of the P picture (L-Pl) is registered in the index number “1” of the inter-view reference frame memory mapping list 144.
  • the decoded I picture (RI) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “0” of the DPB list 141b. Also, the base address is registered in the index number “0” of the frame memory mapping list 142b.
  • the decoded P picture (LP2) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “2” of the DPB list 141b. Also, the base address is registered in the index number “2” of the frame memory mapping list 142b. Also, the syntax information 113 of the P picture (LP2) is registered at the index number “0” of the inter-view reference syntax information list 143. Also, the base address of the P picture (LP2) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P1) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “1” of the DPB list 141b. Also, the base address is registered in the index number “1” of the frame memory mapping list 142b.
  • the B picture (L-B1) is registered in the index number “1” of the inter-view reference syntax information list 143. Further, the base address of the P picture (LB1) is registered in the index number “1” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P2) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “2” of the DPB list 141b. Also, the base address is registered in the index number “2” of the frame memory mapping list 142b.
  • the I picture (LI) is displayed as an image
  • the I picture (L-1) can be used as a reference picture when the subsequent picture is decoded, and is registered in the index number “0” of the DPB list 141a.
  • the syntax information 113 is not deleted.
  • the base address registered in the index number “0” of the frame memory mapping list 142a is not deleted.
  • the decoded P picture (LP3) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “0” of the DPB list 141b.
  • the base address is registered in the index number “4” of the frame memory mapping list 142b.
  • the syntax information 113 of the I picture (LI) registered in the index number “0” of the DPB list 141a and the I picture registered in the index number “0” of the frame memory mapping list 142a ( The base address of LI) is deleted.
  • the P picture (LP3) is registered in the index number “0” of the inter-view reference syntax information list 143.
  • the base address of the P picture (LP3) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded B picture (R-B1) is stored in the frame memory 170, and the base address is registered in the index number “3” of the frame memory mapping list 142b. Further, since the B picture (R-B1) is not referred to when the subsequent picture is decoded, the syntax information 113 is not registered in the DPB list 141b.
  • the decoded B picture (L-B2) is stored in the frame memory 170, and the base address is registered in the index number “0” of the frame memory mapping list 142a. Further, since the B picture (L-B2) is not referred to when the subsequent picture is decoded, the syntax information 113 is not registered in the DPB list 141a.
  • the B picture (LB-2) is registered in the index number “1” of the inter-view reference syntax information list 143. Further, the base address of the B picture (LB2) is registered in the index number “1” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P3) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “0” of the DPB list 141b.
  • the base address is registered in the index number “4” of the frame memory mapping list 142b.
  • the base address of LI) is deleted.
  • the decoded P picture (L-P4) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “1” of the DPB list 141b. Also, the base address is registered in the index number “3” of the frame memory mapping list 142b. At this time, the syntax information 113 of the P picture (L-P1) registered in the index number “1” of the DPB list 141a and the I picture registered in the index number “1” of the frame memory mapping list 142a ( The base address of L-P1) is deleted. Also, the P picture (LP4) is registered in the index number “0” of the inter-view reference syntax information list 143. Further, the base address of the P picture (LP3) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded B picture (R-B2) is stored in the frame memory 170, and the base address is registered in the index number “3” of the frame memory mapping list 142b. Further, since the B picture (R-B2) is not referred to when the subsequent picture is decoded, the syntax information 113 is not registered in the DPB list 141b.
  • the image decoding apparatus 100 activates the first control unit 131 and the second control unit 132 at the same time, and waits for completion to thereby encode the bit stream 110. And 111 can be synchronized.
  • the image decoding apparatus 100 according to Embodiment 1 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the first control unit 131 and the second control unit 132 are synchronized by waiting in picture units (frame units). However, in the case of a field structure or the like, two field picture units are used. It is also possible to synchronize with.
  • the first control unit 131 and the second control unit 132 are H.264. Synchronization may be performed in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • first control unit 131 and the second control unit 132 described in the present embodiment may actually be equipped with two processors, or may be two logical threads.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b are individually managed by the R side encoded bit stream 111 and the L side encoded bit stream 110. At least one of the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b may be managed by one list, and a unified index may be assigned.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • FIG. 16 is a diagram showing a configuration of an image decoding device 100A according to Embodiment 2 of the present invention.
  • the configuration of the image decoding unit 220 is different from the configuration of the image decoding unit 120 illustrated in FIG.
  • the image decoding unit 220 includes a selection unit 221 and a decoding unit 222.
  • the selection unit 221 selects one of the encoded bit streams 110 and 111, and outputs the selected encoded bit stream to the decoding unit 222.
  • the decoding unit 222 decodes the encoded bit stream output from the selection unit 221. Note that the internal configuration of the decoding unit 222 is the same as that of the first decoding unit 121 and the second decoding unit 122 described in Embodiment 1.
  • the encoded bit streams 110 and 111 input to the image decoding apparatus according to the present embodiment are H.264. It is encoded using 264-MVC. H. The description of the characteristics of the 264-MVC encoding and the relationship with the configuration of the image decoding apparatus according to the present embodiment has already been described in the first embodiment.
  • H.264 standard As above. H.264 standard and H.264 standard. The operation of the image decoding apparatus 100A according to the second embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the number of pictures required for reference per stream is three. Further, as described above, one image is required for storing the image being decoded.
  • the image display is displayed at the timing as shown in FIG. 17 after the decoding of the L side picture and the R side picture belonging to the same access unit.
  • the decoding process for the L-side picture L1 is performed.
  • a decoding process for the R-side picture R1 is performed.
  • the decoding process of the picture L1 on the L side is performed.
  • the picture L1 and the picture R1 are displayed. Note that the picture L1 and the picture R1 are pictures included in the same access unit.
  • the frame memory 170 has an area capable of storing a total of 10 pictures (5 on the L side and 5 on the R side).
  • the decoding unit 222 since the decoding unit 222 alternately performs the decoding process of the encoded bit stream 110 and the encoded bit stream 111, the inter-view reference syntax information list 143 and the inter-view reference frame memory mapping list 144 are performed. The area for one picture is secured.
  • the configuration of the input encoded bit streams 110 and 111 is the same as in the first embodiment.
  • the image decoding device 100A starts decoding processing from the L-side encoded bitstream 110. Further, the first control unit 131 and the second control unit 132 synchronize the decoding processing of the encoded bit streams 110 and 111 by alternately operating as follows.
  • the first control unit 131 controls the decoding unit 222 and performs the picture decoding process of the L-side encoded bitstream 110 in the following processing steps. Note that the processing procedure by the first control unit 131 is the same as the processing shown in FIG. 12, and therefore will be described with reference to FIG.
  • the first control unit 131 clears the first completion flag stored in the flag storage unit 180 (S101).
  • the first control unit 131 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture from the frame memory management unit 150 (S102).
  • the first control unit 131 acquires the DPB list 141a on the L side from the management information storage unit 140 (S103).
  • the first control unit 131 acquires the frame memory mapping list 142a. Also, the first control unit 131 refers to the acquired DPB list 141a and the frame memory mapping list 142a, and acquires the base address of the reference picture for reference within the view (S104).
  • the first control unit 131 sets the decoding target picture and the base address of the reference picture obtained in steps S102 to S104, and the DPB list 141a in the first decoding unit 121. In addition, the first control unit 131 sets the selection unit 221 so as to select the L-side encoded bitstream 110. Further, the first control unit 131 activates the decryption unit 222 (S105).
  • the decoding unit 222 acquires a reference picture from the base address of the reference picture set in step S105, and generates a decoded picture by decoding the encoded bitstream 110 using the acquired reference picture. In addition, the decoding unit 222 stores the generated decoded picture at the base address of the decoding target picture set in step S105. In addition, the decoding unit 222 notifies the first control unit 131 that the decoding process for the decoding target picture has been completed (S106).
  • the first control unit 131 obtains the syntax information 113 of the picture that has been decoded in step S106 from the decoding unit 222 (S107).
  • step S105 when the picture for which decoding processing has been completed in step S105 is used as a reference picture when decoding subsequent pictures, the first control unit 131 uses the syntax information 113 acquired in step S107 to manage information
  • the DPB list 141a in the storage unit 140 is updated (S108).
  • the first control unit 131 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141a.
  • the frame memory manager 150 updates the frame memory mapping list 142a (S109).
  • the first control unit 131 stores the syntax information 113 obtained in step S107 in the inter-view reference syntax information list 143 as the inter-view reference syntax information (S110).
  • the first control unit 131 stores the base address obtained in step S102 in the inter-view reference frame memory mapping list 144 (S111).
  • the first control unit 131 once stops the decoding process on the L side and sets the first completion flag in the flag storage unit 180 (S112).
  • the second control unit 132 controls the decoding unit 222 in the following processing steps to control the R-side encoded bitstream. 111 decoding processing is performed.
  • the processing procedure by the second control unit 132 is the same as the processing shown in FIG. 13, and will be described with reference to FIG.
  • the second control unit 132 clears the second completion flag stored in the flag storage unit 180 (S201).
  • the second control unit 132 uses the inter-view reference syntax information list in the management information storage unit 140 for the syntax information 113 of the L-side decoded picture that can be referred to in the decoding process of the R-side encoded bitstream 111. 143, the inter-view reference picture is specified (S202).
  • the second control unit 132 obtains the base address of the L-side decoded picture that can be referenced in the decoding process of the R-side encoded bitstream 111 from the inter-view reference frame memory mapping list 144 in the management information storage unit 140. Obtain (S203).
  • the second control unit 132 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture (R side picture) from the frame memory management unit 150 (S204).
  • the second control unit 132 acquires the DPB list 141b on the R side from the management information storage unit 140 (S205).
  • the second controller 132 acquires the frame memory mapping list 142b. Further, the second control unit 132 refers to the acquired DPB list 141b and the frame memory mapping list 142b, and acquires the base address of the reference picture for reference within the view (S206).
  • the second control unit 132 determines the decoding target picture obtained in steps S203, S204, S205, and S206, the base address of the reference picture for intra-view reference and the reference picture for inter-view reference, and the decoding target picture.
  • the DPB list 141b is set in the decryption unit 222.
  • the second control unit 132 sets the selection unit 221 so as to select the R-side encoded bitstream 111. Further, the second control unit 132 activates the decoding unit 222 (S207).
  • the decoding unit 222 acquires a reference picture from the base address for intra-view reference or inter-view reference set in step S207, and decodes the encoded bitstream 111 using the acquired reference picture. A decoded picture is generated. Also, the decoding unit 222 stores the generated decoded picture at the base address of the decoding target picture set in step S207. In addition, the decoding unit 222 notifies the second control unit 132 that the decoding process of the picture has been completed (S208).
  • the second control unit 132 acquires the syntax information 113 of the picture that has been decoded in step S208 from the decoding unit 222 (S209).
  • the second control unit 132 updates the DPB list 141b when the picture that has been decoded in step S208 is used as a reference picture when decoding a subsequent picture (S210).
  • the second control unit 132 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141b.
  • the frame memory management unit 150 updates the frame memory mapping list 142b (S211).
  • the second control unit 132 temporarily stops the decoding process on the R side and sets a second completion flag in the flag storage unit 180 (S212).
  • the decoding processing of the encoded bit streams 110 and 111 can be synchronized as shown in FIG.
  • the decoding process on the L side is started at time t11 shown in FIG. That is, the process shown in FIG. 12 described above is performed.
  • the L-side decoding process ends, and then the R-side decoding process is started. That is, the process shown in FIG. 13 described above is performed.
  • the R-side decoding process ends, and then the L-side decoding process starts.
  • control unit 130 causes the selection unit 221 to select one of the encoded bitstreams 110 and 111.
  • the control unit 130 also causes the selection unit 221 to select the other signal of the encoded bitstreams 110 and 111 after the decoding process of a predetermined decoding process unit of the one signal is completed.
  • the first control unit 131 causes the decoding unit 222 to start the decoding process of the encoded bitstream 110 of the next decoding processing unit.
  • the second control unit 132 causes the decoding unit 222 to start the decoding process of the encoded bitstream 111 of the next decoding processing unit.
  • Period T30 (Decoding process of L-side encoded bit stream 110)
  • the decoded I picture (LI) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “0” of the DPB list 141a. Also, the base address is registered in the index number “0” of the frame memory mapping list 142a.
  • the syntax information 113 of the I picture (LI) is registered in the index number “0” in the inter-view reference syntax information list 143. Also, the base address of the P picture (LI) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded I picture (RI) is stored in the frame memory, and the syntax information 113 is registered in the index number “0” of the DPB list 141b. Also, the base address is registered in the index number “0” of the frame memory mapping list 142b.
  • the syntax information 113 of the P picture (L-P1) is registered in the index number “0” of the inter-view reference syntax information list 143.
  • the base address of the P picture (LP1) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P1) is stored in the frame memory, and the syntax information 113 is registered in the index number “1” of the DPB list 141b. Also, the base address is registered in the index number “1” of the frame memory mapping list 142b.
  • Period T34 (Decoding process of L-side encoded bit stream 110)
  • the decoded P picture (LP2) is stored in the frame memory, and the syntax information 113 is registered in the index number “2” of the DPB list 141a. Also, the base address is registered in the index number “2” of the frame memory mapping list 142a.
  • the syntax information 113 of the P picture (LP2) is registered in the index number “0” of the inter-view reference syntax information list 143. Also, the base address of the P picture (LP2) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • Period T35 (Decoding process of R side encoded bit stream 111)
  • the decoded P picture (R-P2) is stored in the frame memory, and the syntax information 113 is registered in the index number “2” of the DPB list 141b. Also, the base address is registered in the index number “2” of the frame memory mapping list 142b.
  • the I picture (LP1) is displayed as an image after the decoding process, but the syntax information 113 registered in the index number “1” of the DPB list 141a is not deleted because it can become a reference picture when the subsequent picture is decoded. . Similarly, the base address registered in the index number “1” of the frame memory mapping list 142a is not deleted.
  • the I picture (R-P1) is displayed after the decoding process, but the syntax information 113 registered in the index number “1” of the DPB list 141b is not deleted because it can become a reference picture when the subsequent picture is decoded. . Similarly, the base address registered in the index number “1” of the frame memory mapping list 142b is not deleted.
  • the decoded B picture (R-B1) is stored in the frame memory, and the base address is registered in the index number “3” of the frame memory mapping list 142b. However, since it is not referred to when decoding subsequent pictures, it is stored in the DPB list 141b. The syntax information 113 is not registered.
  • the decoded P picture (LP3) is stored in the frame memory, and the syntax information 113 is registered in the index number “0” of the DPB list 141b.
  • the base address is registered in the index number “4” of the frame memory mapping list 142b.
  • the syntax information 113 of the I picture (LI) registered in the index number “0” of the DPB list 141a and the I picture registered in the index number “0” of the frame memory mapping list 142a ( The base address of LI) is deleted.
  • the syntax information 113 of the P picture (LP3) is registered at the index number “0” of the inter-view reference syntax information list 143.
  • the base address of the P picture (LP3) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P3) is stored in the frame memory, and the syntax information 113 is registered in the index number “0” of the DPB list 141b.
  • the base address is registered in the index number “4” of the frame memory mapping list 142b.
  • the base address of -I) is deleted.
  • the image decoding apparatus 100A operates the first control unit 131 and the second control unit 132 alternately to perform the decoding process of the encoded bit streams 110 and 111. Can be synchronized.
  • the image decoding apparatus 100A performs L-side encoding via the inter-view reference syntax information list 143 that can be commonly accessed during the decoding process of the R-side encoded bitstream 111. It is possible to know the syntax management information of the reference picture of the bitstream 110. As a result, the image decoding device 100A can decode the encoded bitstream encoded using inter-view prediction.
  • the image decoding apparatus 100A according to Embodiment 2 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the first control unit 131 and the second control unit 132 are synchronized by waiting in picture units (frame units). However, in the case of a field structure or the like, two field picture units are used. It is also possible to synchronize with.
  • the first control unit 131 and the second control unit 132 are H.264. Synchronization may be performed in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • first control unit 131 and the second control unit 132 described in the present embodiment may actually be equipped with two processors, or may be two logical threads.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b are individually managed by the R side encoded bit stream 111 and the L side encoded bit stream 110. At least one of the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b may be managed by one list, and a unified index may be assigned.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • FIG. 20 is a diagram showing a configuration of an image decoding device 100B according to Embodiment 3 of the present invention.
  • the configuration of the management information storage unit 240 is different from the configuration of the management information storage unit 140 shown in FIG. More specifically, the management information storage unit 240 stores a frame memory mapping list 142c instead of the frame memory mapping lists 142a and 142b shown in FIG.
  • the state of the frame memory 170 is managed using this frame memory mapping list 142c.
  • FIG. 21 shows the structure of the frame memory mapping list 142c.
  • the frame memory mapping list 142c has a table format as shown in FIG. Elements similar to those in FIG. 7 are denoted by the same reference numerals.
  • the frame memory mapping list 142a includes a plurality of entries associated with each decoded picture.
  • Each entry includes a frame memory address 203, DPB list indexes 204a and 204b, an inter-view reference syntax information index 205, an image display status 206, and state information 207.
  • the DPB list index 204a indicates the index 201 of the DPB list 141a corresponding to the decoded picture.
  • the DPB list index 204b indicates the index 201 of the DPB list 141b corresponding to the decoded picture.
  • entries whose frame memory addresses 203 are “0” and “3” are used as decoded picture buffers (DPBs) for L-side decoding processing, and the corresponding indexes assigned to the DPB list 141a. 201 is assigned.
  • entries whose frame memory addresses 203 are “1” and “4” are used as decoded picture buffers (DPBs) for the R-side decoding process, and the corresponding index 201 assigned to the DPB list 141b is assigned.
  • An entry whose frame memory address 203 is “5” is used as an inter-view reference picture, and the corresponding index 201 assigned to the inter-view reference syntax information list 143 is assigned.
  • the encoded bit streams 110 and 111 input to the image decoding apparatus 100B according to the present embodiment are H.264 and H.264. It is encoded using 264-MVC. H.
  • the description of the characteristics of the 264-MVC encoding and the relationship with the configuration of the image decoding apparatus according to the present embodiment has already been described in the first embodiment.
  • H.264 standard As above. H.264 standard and H.264 standard.
  • the operation of the image decoding apparatus 100B according to the third embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the number of pictures required for reference per stream is assumed to be three as in the second embodiment. Further, as described above, one image is required for storing the picture being decoded. Further, it is assumed that the image display is displayed at the timing as shown in FIG. 17 after the decoding of the L side picture and the R side picture belonging to the same access unit. Therefore, one storage area is provided for display in order to start decoding of the next picture during display. However, by managing this storage area in common for the L-side encoded bit stream and the R-side encoded bit stream, the storage area can be reduced by one as compared with the second embodiment. Therefore, it is assumed that the frame memory 170 has an area capable of storing a total of nine pictures.
  • the image decoding device 100B starts decoding processing from the L-side encoded bitstream 110. Further, the first control unit 131 and the second control unit 132 synchronize the decoding processing of the encoded bit streams 110 and 111 by operating alternately as in the second embodiment.
  • Period T40 (Decoding process of L-side encoded bit stream 110)
  • the decoded I picture (LI) is stored in the frame memory 170, and the syntax information 113 is registered in the index number “0” of the DPB list 141a. Also, the base address is registered in the index number “0” of the frame memory mapping list 142a.
  • the syntax information 113 of the I picture (LI) is registered in the index number “0” in the inter-view reference syntax information list 143. Also, the base address of the P picture (LI) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the syntax information 113 of the P picture (L-P1) is registered in the index number “0” of the inter-view reference syntax information list 143.
  • the base address of the P picture (LP1) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P1) is stored in the frame memory, and the syntax information 113 is registered in the index number “1” of the DPB list 141b. Also, the base address is registered in the index number “3” of the frame memory mapping list 142b.
  • Period T44 (Decoding process of L-side encoded bit stream 110)
  • the decoded P picture (LP2) is stored in the frame memory, and the syntax information 113 is registered in the index number “2” of the DPB list 141a. Further, the base address is registered in the index number “4” of the frame memory mapping list 142a.
  • the syntax information 113 of the P picture (LP2) is registered in the index number “0” of the inter-view reference syntax information list 143. Also, the base address of the P picture (LP2) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • Period T45 (Decoding process of R side encoded bit stream 111)
  • the decoded P picture (R-P2) is stored in the frame memory, and the syntax information 113 is registered in the index number “2” of the DPB list 141b.
  • the base address is registered in the index number “5” of the frame memory mapping list 142b.
  • the decoded B picture (L-B1) is stored in the frame memory, and the base address is registered in the index number “6” of the frame memory mapping list 142a. However, since it is not referred to when decoding subsequent pictures, it is stored in the DPB list 141a. The syntax information 113 is not registered.
  • the I picture (LP1) is displayed as an image after the decoding process, but the syntax information 113 registered in the index number “1” of the DPB list 141a is not deleted because it can become a reference picture when the subsequent picture is decoded. . Similarly, the base address registered in the index number “2” of the frame memory mapping list 142a is not deleted.
  • the I picture (R-P1) is displayed after the decoding process, but the syntax information 113 registered in the index number “1” of the DPB list 141b is not deleted because it can become a reference picture when the subsequent picture is decoded. . Similarly, the base address registered in the index number “3” of the frame memory mapping list 142b is not deleted.
  • the decoded B picture (R-B1) is stored in the frame memory, and the base address is registered in the index number “7” of the frame memory mapping list 142b. However, since it is not referred to when decoding the subsequent picture, it is stored in the DPB list 141b. The syntax information 113 is not registered.
  • the decoded P picture (LP3) is stored in the frame memory, and the syntax information 113 is registered in the index number “0” of the DPB list 141b.
  • the base address is registered in the index number “8” of the frame memory mapping list 142b.
  • the base address of -I) is deleted.
  • the syntax information 113 of the P picture (LP3) is registered at the index number “0” of the inter-view reference syntax information list 143. Further, the base address of the P picture (LP3) is registered in the index number “0” of the inter-view reference frame memory mapping list 144.
  • the decoded P picture (R-P3) is stored in the frame memory, and the syntax information 113 is registered in the index number “0” of the DPB list 141b. Also, the base address is registered in the index number “0” of the frame memory mapping list 142b. At this time, the syntax information of the I picture (LI) registered in the index number “0” of the DPB list 141b and the I picture (L) registered in the index number “1” of the frame memory mapping list 142b. The base address of -I) is deleted.
  • the image decoding device 100B operates the first control unit 131 and the second control unit 132 alternately to perform the decoding process of the encoded bit streams 110 and 111. Can be synchronized.
  • the image decoding apparatus 100B performs L-side encoding via the inter-view reference syntax information list 143 that can be commonly accessed during decoding of the R-side encoded bitstream 111. It is possible to know the syntax management information of the reference picture of the bitstream 110. As a result, the image decoding device 100B can decode the encoded bitstream encoded using inter-view prediction.
  • the image decoding apparatus 100B can reduce the capacity of the frame memory 170 by managing the frame memory mapping list 142c in common for the L-side encoded bit stream 110 and the R-side encoded bit stream 111. Therefore, the image decoding device 100B can reduce the cost.
  • the image decoding device 100B according to Embodiment 3 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the first control unit 131 and the second control unit 132 are synchronized by waiting in picture units (frame units). However, in the case of a field structure or the like, two field picture units are used. It is also possible to synchronize with.
  • the first control unit 131 and the second control unit 132 are H.264. Synchronization may be performed in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • first control unit 131 and the second control unit 132 described in the present embodiment may actually be equipped with two processors, or may be two logical threads.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b are individually managed by the R-side encoded bitstream 111 and the L-side encoded bitstream 110.
  • the index managed and unified by one list is used. It may be given.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • FIG. 23 is a block diagram showing a configuration of an image decoding apparatus 100C according to Embodiment 4 of the present invention. Elements similar to those in FIG. 2 are denoted by the same reference numerals, and redundant description is omitted.
  • the image decoding device 100C further includes a stream combining unit 190.
  • the image decoding device 100 ⁇ / b> C includes an image decoding unit 320 instead of the image decoding unit 120.
  • the stream combining unit 190 combines the encoded bit stream 110 and the encoded bit stream 111 into one encoded bit stream 310. Specifically, the stream combining unit 190 generates one encoded bit stream 310 by alternately arranging the encoded bit stream 110 and the encoded bit stream 111 for each predetermined encoding unit.
  • the image decoding unit 320 includes a decoding unit 321.
  • the decoding unit 321 alternately decodes the encoded bit stream 110 and the encoded bit stream 111 included in the encoded bit stream 310 for each encoding unit.
  • the configuration of the decoding unit 321 is the same as the configuration of the first decoding unit 121 and the second decoding unit 122 shown in FIG.
  • the encoded bit streams 110 and 111 input to the image decoding apparatus 100C according to the present embodiment are H.264 and H.264. It is encoded using 264-MVC. H.
  • the description of the characteristics of the 264-MVC encoding and the relationship with the configuration of the image decoding apparatus according to the present embodiment has already been described in the first embodiment.
  • NAL units encoded information is separated into layers called NAL units.
  • Each NAL unit is assigned an identifiable code called a start code. Further, the type of the NAL unit can be discriminated by the NAL header following the start code. Examples of the NAL unit type include a sequence parameter set, a picture parameter set, and a slice.
  • a view (base view or non-base view) to which the aforementioned sequence parameter set, picture parameter set, slice, and the like belong can be determined by analyzing the NAL header.
  • the stream combining unit 190 performs stream analysis of the encoded bit streams 110 and 111, and outputs the encoded bit stream 310 by alternately outputting the encoded bit streams 110 and 111 in the state of the encoded bit stream in a predetermined unit. Generate.
  • the stream combining unit 190 starts the L-side encoded bitstream 110 at the head, and alternately outputs the encoded bitstreams 110 and 111 in units of one picture, thereby encoding the encoded bitstream 310 that is picture-interleaved. Is generated.
  • the stream combining unit 190 arranges the encoded bitstream 110 in units of one picture out of the encoded bitstream 110 and encoded bitstream 111 in units of one picture included in the same access unit,
  • An encoded bit stream 310 is generated by arranging encoded bit streams 111 of units.
  • H. H.264 standard and H.264 standard.
  • the operation of the image decoding apparatus 100C according to the fourth embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the first control unit 131 and the second control unit 132 operate as follows to synchronize the decoding process of the encoded bitstream 310.
  • the first control unit 131 controls the image decoding unit 320 in the following processing steps, and performs picture decoding processing of the L-side encoded bitstream 110 combined with the encoded bitstream 310.
  • the first control unit 131 clears the first completion flag stored in the flag storage unit 180 (S101).
  • the first control unit 131 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture from the frame memory management unit 150 (S102).
  • the first control unit 131 acquires the DPB list 141a on the L side from the management information storage unit 140 (S103).
  • the first control unit 131 acquires the frame memory mapping list 142a. Also, the first control unit 131 refers to the acquired DPB list 141a and the frame memory mapping list 142a, and acquires the base address of the reference picture for reference within the view (S104).
  • the first control unit 131 sets the decoding target picture and the base address of the reference picture obtained in steps S102 to S104, and the DPB list 141a, and activates the decoding unit 321 (S105). Since the streams are combined into one, the setting of the decoding target stream as in the second embodiment is not necessary.
  • the decoding unit 321 acquires a reference picture from the base address of the reference picture set in step S105, and generates a decoded picture by decoding the encoded bitstream 110 using the acquired reference picture. Also, the decoding unit 321 stores the generated decoded picture at the base address of the decoding target picture set in step S105. In addition, the decoding unit 321 notifies the first control unit 131 that the decoding process for the decoding target picture has been completed (S106).
  • the first control unit 131 obtains the syntax information 113 of the picture that has been decoded in step S106 from the decoding unit 321 (S107).
  • step S105 when the picture for which decoding processing has been completed in step S105 is used as a reference picture when decoding subsequent pictures, the first control unit 131 uses the syntax information 113 acquired in step S107 to manage information
  • the DPB list 141a in the storage unit 140 is updated (S108).
  • the first control unit 131 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141a.
  • the frame memory manager 150 updates the frame memory mapping list 142a (S109).
  • the first control unit 131 stores the syntax information 113 obtained in step S107 in the inter-view reference syntax information list 143 as the inter-view reference syntax information (S110).
  • the first control unit 131 stores the base address obtained in step S102 in the inter-view reference frame memory mapping list 144 (S111).
  • the first control unit 131 temporarily stops the L-side decoding process and first completes the flag storage unit 180.
  • a flag is set (S112).
  • the second control unit 132 controls the image decoding unit 320 and performs the decoding process of the R-side encoded bitstream 111 combined with the encoded bitstream 310 in the following processing steps. .
  • the processing procedure by the second control unit 132 is the same as the processing shown in FIG. 13, and will be described with reference to FIG.
  • the second control unit 132 clears the second completion flag stored in the flag storage unit 180 (S201).
  • the second control unit 132 uses the inter-view reference syntax information list in the management information storage unit 140 for the syntax information 113 of the L-side decoded picture that can be referred to in the decoding process of the R-side encoded bitstream 111. 143, the inter-view reference picture is specified (S202).
  • the second control unit 132 obtains the base address of the L-side decoded picture that can be referenced in the decoding process of the R-side encoded bitstream 111 from the inter-view reference frame memory mapping list 144 in the management information storage unit 140. Obtain (S203).
  • the second control unit 132 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture (R side picture) from the frame memory management unit 150 (S204).
  • the second control unit 132 acquires the DPB list 141b on the R side from the management information storage unit 140 (S205).
  • the second controller 132 acquires the frame memory mapping list 142b. Further, the second control unit 132 refers to the acquired DPB list 141b and the frame memory mapping list 142b, and acquires the base address of the reference picture for reference within the view (S206).
  • the second control unit 132 determines the decoding target picture obtained in steps S203, S204, S205, and S206, the base address of the reference picture for intra-view reference and the reference picture for inter-view reference, and the decoding target picture.
  • the DPB list 141b is set in the decryption unit 321 and the decryption unit 321 is activated (S207). Since the streams are combined into one, the setting of the decoding target stream as in the second embodiment is not necessary.
  • the decoding unit 321 acquires a reference picture from the base address for intra-view reference or inter-view reference set in step S207, and decodes the encoded bitstream 111 using the acquired reference picture. A decoded picture is generated. Also, the decoding unit 321 stores the generated decoded picture at the base address of the decoding target picture set in step S207. In addition, the decoding unit 321 notifies the second control unit 132 that the decoding process of the picture has been completed (S208).
  • the second control unit 132 acquires the syntax information 113 of the picture that has been decoded in step S208 from the decoding unit 321 (S209).
  • the second control unit 132 updates the DPB list 141b when the picture that has been decoded in step S208 is used as a reference picture when decoding a subsequent picture (S210).
  • the second control unit 132 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141b.
  • the frame memory management unit 150 updates the frame memory mapping list 142b (S211).
  • the second control unit 132 temporarily stops the R-side decoding process and completes the second completion in the flag storage unit 180.
  • a flag is set (S212).
  • the relationship of the DPB lists 141a and 141b, the frame memory mapping lists 142a and 142b, the inter-view reference syntax information list 143, and the inter-view reference frame memory mapping list 144 for each picture time is as follows. This is the same as in the second mode.
  • the image decoding apparatus 100C can synchronize the decoding process by combining the encoded bit streams 110 and 111 into one encoded bit stream 310. it can.
  • the image decoding device 100C performs the L-side encoding via the inter-view reference syntax information list 143 that can be commonly accessed during the decoding process of the R-side encoded bitstream 111. It is possible to know the syntax management information of the reference picture of the normalized bitstream 110. As a result, the image decoding apparatus 100C can decode the encoded bitstream encoded using inter-view prediction.
  • the image decoding apparatus 100C according to Embodiment 4 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the stream combining unit 190 generates the encoded bitstream 310 by alternately outputting the encoded bitstreams 110 and 111 in units of pictures (frame units). In this case, the data may be alternately output in units of 2 field pictures.
  • the stream combining unit 190 is an H.264.
  • the encoded bit streams 110 and 111 may be alternately output in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • first control unit 131 and the second control unit 132 described in the present embodiment may actually be equipped with two processors, or may be two logical threads.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b are individually managed by the R side encoded bit stream 111 and the L side encoded bit stream 110. At least one of the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b may be managed by one list, and a unified index may be assigned.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • the NAL header is analyzed to determine whether the data is the encoded bit stream 110 data or the 111 data. For example, a bit string different from the start code that can be identified by the decoding unit 321 is used as the stream combining unit. 190 may be inserted into the encoded bitstream 310.
  • FIG. 24 is a block diagram showing a configuration of an image decoding device 100D according to Embodiment 5 of the present invention. Elements similar to those in FIG. 23 are denoted by the same reference numerals, and redundant description is omitted.
  • the configuration of the management information storage unit 240 is different from the configuration of the management information storage unit 140 illustrated in FIG. More specifically, the management information storage unit 240 stores a frame memory mapping list 142c instead of the frame memory mapping lists 142a and 142b shown in FIG. In other words, the configuration of the management information storage unit 240 is the same as that of the management information storage unit 240 shown in FIG.
  • the encoded bit streams 110 and 111 input to the image decoding apparatus 100D according to the present embodiment are H.264 and H.264. It is encoded using 264-MVC. H.
  • the description of the characteristics of the 264-MVC encoding and the relationship with the configuration of the image decoding apparatus according to the present embodiment has already been described in the first embodiment.
  • H.264 standard As above. H.264 standard and H.264 standard.
  • the operation of the image decoding apparatus 100D according to the fifth embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the frame memory is assumed to have an area capable of storing a total of nine pictures.
  • the image decoding device 100D starts decoding processing from the L-side encoded bitstream 110. Also, the first control unit 131 and the second control unit 132 synchronize the decoding processing of the encoded bitstreams 110 and 111 by operating alternately as in the fourth embodiment.
  • the relationship of the DPB lists 141a and 141b, the frame memory mapping list 142c, the inter-view reference syntax information list 143, and the inter-view reference frame memory mapping list 144 for each picture time is the same as in FIG. is there.
  • the image decoding apparatus 100D can synchronize the decoding process by combining the encoded bit streams 110 and 111 into one encoded bit stream 310. it can.
  • the image decoding device 100D performs the L-side encoding via the inter-view reference syntax information list 143 that can be accessed in common during the decoding process of the R-side encoded bitstream 111. It is possible to know the syntax management information of the reference picture of the normalized bitstream 110. As a result, the image decoding device 100D can decode the encoded bitstream encoded using inter-view prediction.
  • the image decoding apparatus 100D manages the frame memory mapping list 142c in common for the L-side encoded bitstream 110 and the R-side encoded bitstream 111, thereby reducing the frame memory capacity. The cost can be reduced.
  • the image decoding device 100D according to Embodiment 5 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the stream combining unit 190 generates the encoded bitstream 310 by alternately outputting the encoded bitstreams 110 and 111 in units of pictures (frame units). In this case, the data may be alternately output in units of 2 field pictures.
  • the stream combining unit 190 is an H.264.
  • the encoded bit streams 110 and 111 may be alternately output in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • first control unit 131 and the second control unit 132 described in the present embodiment may actually be equipped with two processors, or may be two logical threads.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b are individually managed by the R-side encoded bitstream 111 and the L-side encoded bitstream 110.
  • the index managed and unified by one list is used. It may be given.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • the NAL header is analyzed to determine whether the data is the encoded bit stream 110 data or the 111 data. For example, a bit string different from the start code that can be identified by the decoding unit 321 is used as the stream combining unit. 190 may be inserted into the encoded bitstream 310.
  • FIG. 25 is a block diagram showing a configuration of an image decoding device 100E according to Embodiment 6 of the present invention. Elements similar to those in FIG. 23 are denoted by the same reference numerals, and redundant description is omitted.
  • the image decoding device 100E is different from the image decoding device 100C illustrated in FIG. 23 in that the flag storage unit 180 is not provided.
  • the control unit 230 includes a first control unit 231.
  • the first control unit 231 controls the decoding process of the encoded bit stream 310 in which the encoded bit stream 110 and the encoded bit stream 111 are combined.
  • the first control unit 231 generates the encoded bitstream 310 based on the DPB list 141a, the inter-view reference syntax information list 143, the frame memory mapping list 142a, and the inter-view reference frame memory mapping list 144.
  • the decoding process of the combined encoded bit stream 110 is controlled.
  • the first control unit 231 also encodes the encoded bitstream based on the DPB list 141b, the inter-view reference syntax information list 143, the frame memory mapping list 142b, and the inter-view reference frame memory mapping list 144.
  • the decoding process of the encoded bitstream 111 combined with 310 is controlled.
  • FIG. 26 is a diagram illustrating processing of the first control unit 231.
  • the first control unit 231 stores the syntax information 113 of the reference picture of the L-side encoded bitstream 110, which is the base view, in the inter-view reference syntax information list 143. Also, the first control unit 231 acquires the inter-view reference syntax information list 143 when decoding the R-side encoded bitstream 111 that is a non-base view.
  • the encoded bit streams 110 and 111 input to the image decoding apparatus 100E of the present embodiment are H.264. It is encoded using 264-MVC. H. The description of the characteristics of the 264-MVC encoding and the relationship with the configuration of the image decoding apparatus according to the present embodiment has already been described in the first embodiment.
  • H.264 standard As above. H.264 standard and H.264 standard.
  • the operation of the image decoding apparatus 100E according to the sixth embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the image decoding apparatus 100E performs a decoding process on the encoded bitstream 310 by operating as follows.
  • the first control unit 231 controls the decoding unit 321 and performs a picture decoding process of the L-side encoded bitstream 110 combined with the encoded bitstream 310 in the following processing steps.
  • FIG. 27 is a flowchart of decoding processing on the L side by the image decoding device 100E.
  • the first control unit 231 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture from the frame memory management unit 150 (S301).
  • the first control unit 231 acquires the DPB list 141a on the L side from the management information storage unit 140 (S302).
  • the first controller 231 acquires the frame memory mapping list 142a. Further, the first control unit 231 refers to the acquired DPB list 141a and the frame memory mapping list 142a, and acquires the base address of the reference picture for reference within the view (S303).
  • the first control unit 231 sets the decoding target picture and the base address of the reference picture obtained in steps S301 to S303, and the DPB list 141a, and activates the decoding unit 321 (S304).
  • the decoding unit 321 acquires a reference picture from the base address of the reference picture set in step S304, and generates a decoded picture by decoding the encoded bitstream 110 using the acquired reference picture. Also, the decoding unit 321 stores the generated decoded picture at the base address of the decoding target picture set in step S304. In addition, the decoding unit 321 notifies the first control unit 231 that the decoding process for the decoding target picture has been completed (S305).
  • the first control unit 231 acquires the syntax information 113 of the picture that has been decoded in step S305 from the decoding unit 321 (S306).
  • step S304 when the picture for which decoding processing has been completed in step S304 is used as a reference picture when decoding subsequent pictures, the first control unit 231 uses the syntax information 113 acquired in step S306 to manage the management information.
  • the DPB list 141a in the storage unit 140 is updated (S307).
  • the first control unit 231 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141a.
  • the frame memory management unit 150 updates the frame memory mapping list 142a when the index 201 is notified from the first control unit 231 (S308).
  • the first control unit 231 stores the syntax information 113 obtained in step S306 in the inter-view reference syntax information list 143 as syntax information for inter-view reference (S309).
  • the first control unit 231 stores the base address obtained in step S301 in the inter-view reference frame memory mapping list 144 (S310).
  • the first control unit 231 next starts the R side decoding process.
  • the first control unit 231 controls the image decoding unit 320 and performs the decoding process of the R-side encoded bitstream 111 combined with the encoded bitstream 310 in the following processing steps. .
  • FIG. 28 is a flowchart of the decoding process on the R side by the image decoding apparatus 100E.
  • the first control unit 231 uses the inter-view reference syntax information list 143 in the management information storage unit 140 for the syntax information 113 of the L-side decoded picture that can be referred to in the decoding process of the R-side encoded bitstream 111. And the inter-view reference picture is specified (S401).
  • the first control unit 231 determines the base address of the L-side decoded picture that can be referred to in the decoding process of the R-side encoded bitstream 111 from the inter-view reference frame memory mapping list 144 in the management information storage unit 140. Obtain (S402).
  • the first control unit 231 acquires the base address of the frame memory 170 that stores the decoding result of the decoding target picture (R side picture) from the frame memory management unit 150 (S403).
  • the first control unit 231 acquires the R-side DPB list 141b from the management information storage unit 140 (S404).
  • the first control unit 231 acquires the frame memory mapping list 142b. Also, the first control unit 231 refers to the acquired DPB list 141b and the frame memory mapping list 142b, and acquires the base address of the reference picture for reference within the view (S405).
  • the first control unit 231 includes the base address of the decoding target picture, the reference picture for intra-view reference and the reference picture for inter-view reference obtained in steps S402, S403, S404, and S405, and the decoding target picture.
  • the DPB list 141b is set in the decryption unit 321 and the decryption unit 321 is activated (S406).
  • the decoding unit 321 acquires a reference picture from the base address for intra-view reference or inter-view reference set in step S406, and decodes the encoded bitstream 111 using the acquired reference picture. A decoded picture is generated. Also, the decoding unit 321 stores the generated decoded picture at the base address of the decoding target picture set in step S406. In addition, the decoding unit 321 notifies the first control unit 231 that the decoding processing of the picture has been completed (S407).
  • the first control unit 231 acquires the syntax information 113 of the picture that has been decoded in step S407 from the decoding unit 321 (S408).
  • the first control unit 231 updates the DPB list 141b when the picture that has been decoded in step S407 is used as a reference picture when decoding the subsequent picture (S409).
  • the first control unit 231 notifies the frame memory management unit 150 of the index 201 of the corresponding picture in the DPB list 141b when there is a picture that is out of the DPB list due to the update of the DPB list 141b in step S409.
  • the frame memory management unit 150 updates the frame memory mapping list 142 b (S 410).
  • the first control unit 231 next starts the L-side decoding process.
  • the relationship of the DPB lists 141a and 141b, the frame memory mapping lists 142a and 142b, the inter-view reference syntax information list 143, and the inter-view reference frame memory mapping list 144 for each picture time is as follows. This is the same as in the second mode.
  • the image decoding apparatus 100E can synchronize the decoding process by combining the encoded bit streams 110 and 111 into one encoded bit stream 310. it can.
  • the image decoding device 100E controls the encoded bitstreams 110 and 111 with one first control unit 231, and thereby via the inter-view reference syntax information list 143. It is possible to know the syntax management information of the reference picture of the L-side encoded bitstream 110. Accordingly, the image decoding device 100E can decode the encoded bitstream encoded using inter-view prediction.
  • the image decoding device 100E according to Embodiment 6 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the stream combining unit 190 generates the encoded bitstream 310 by alternately outputting the encoded bitstreams 110 and 111 in units of pictures (frame units). In this case, the data may be alternately output in units of 2 field pictures.
  • the stream combining unit 190 is an H.264.
  • the encoded bit streams 110 and 111 may be alternately output in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • the first control unit 231 described in the present embodiment may actually be equipped with one processor or may be a logical single thread.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b are individually managed by the R side encoded bit stream 111 and the L side encoded bit stream 110. At least one of the DPB lists 141a and 141b and the frame memory mapping lists 142a and 142b may be managed by one list, and a unified index may be assigned.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • the NAL header is analyzed to determine whether the data is the encoded bit stream 110 data or the 111 data. For example, a bit string different from the start code that can be identified by the decoding unit 321 is used as the stream combining unit. 190 may be inserted into the encoded bitstream 310.
  • FIG. 29 is a block diagram showing a configuration of an image decoding device 100F according to Embodiment 7 of the present invention. Elements similar to those in FIG. 25 are denoted by the same reference numerals, and redundant description is omitted.
  • the configuration of the management information storage unit 240 is different from the configuration of the management information storage unit 140 shown in FIG. More specifically, the management information storage unit 240 stores a frame memory mapping list 142c instead of the frame memory mapping lists 142a and 142b shown in FIG. In other words, the configuration of the management information storage unit 240 is the same as that of the management information storage unit 240 shown in FIG.
  • the encoded bit streams 110 and 111 input to the image decoding apparatus 100F according to the present embodiment are H.264 and H.264. It is encoded using 264-MVC. H.
  • the description of the characteristics of the 264-MVC encoding and the relationship with the configuration of the image decoding apparatus according to the present embodiment has already been described in the first embodiment.
  • H.264 standard As above. H.264 standard and H.264 standard.
  • the operation of the image decoding apparatus 100F according to the seventh embodiment of the present invention configured and associated with the 264-MVC standard will be described.
  • the frame memory 170 has a region that can store a total of nine pictures, as in the third embodiment.
  • the image decoding device 100F starts decoding processing from the L-side encoded bitstream 110.
  • the first control unit 231 performs the decoding process of the encoded bitstream 310 by operating in the same manner as in the sixth embodiment.
  • the relationship of the DPB lists 141a and 141b, the frame memory mapping list 142c, the inter-view reference syntax information list 143, and the inter-view reference frame memory mapping list 144 for each picture time is the same as in FIG. is there.
  • the image decoding device 100F can synchronize the decoding process by combining the encoded bit streams 110 and 111 into one encoded bit stream 310. it can.
  • the image decoding device 100F controls the encoded bitstreams 110 and 111 with one first control unit 231, and thereby via the inter-view reference syntax information list 143. It is possible to know the syntax management information of the reference picture of the L-side encoded bit stream. Accordingly, the image decoding device 100F can decode the encoded bitstream encoded using inter-view prediction.
  • the image decoding apparatus 100F reduces the capacity of the frame memory 170 by managing the frame memory mapping list 142c in common for the L-side encoded bitstream and the R-side encoded bitstream. can do. Therefore, the image decoding device 100F can reduce the cost.
  • the image decoding apparatus 100F according to Embodiment 7 of the present invention is an H.264 standard.
  • the present invention is not limited to the H.264 standard and can be applied to decoding of an encoded bit stream based on other standards.
  • the stream combining unit 190 generates the encoded bitstream 310 by alternately outputting the encoded bitstreams 110 and 111 in units of pictures (frame units). In this case, the data may be alternately output in units of 2 field pictures.
  • the stream combining unit 190 is an H.264.
  • the encoded bit streams 110 and 111 may be alternately output in units of NAL units such as a parameter set unit (header decoding processing unit) or a slice unit defined in the H.264 standard.
  • the first control unit 231 described in the present embodiment may actually be equipped with one processor or may be a logical single thread.
  • the L-side encoded bit stream 110 is set as a base view and the R-side encoded bit stream 111 is set as a non-base view.
  • the R-side encoded bit stream 111 is set as a base view and L-side encoded.
  • the bit stream 110 may be a non-base view.
  • the DPB lists 141a and 141b are individually managed by the R-side encoded bitstream 111 and the L-side encoded bitstream 110.
  • the index managed and unified by one list is used. It may be given.
  • syntax information stored in the DPB lists 141a and 141b in the present embodiment is an example, and is not limited by the present embodiment.
  • the NAL header is analyzed to determine whether the data is the encoded bit stream 110 data or the 111 data. For example, a bit string different from the start code that can be identified by the decoding unit 321 is used as the stream combining unit. 190 may be inserted into the encoded bitstream 310.
  • each processing unit included in the image decoding devices according to Embodiments 1 to 7 is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • Embodiments 1 to 7 of the present invention may be realized by a processor such as a CPU executing a program.
  • the present invention may be the above program or a recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • the numbers used above are all exemplified for specifically describing the present invention, and the present invention is not limited to the illustrated numbers.
  • the connection relationship between the components is exemplified for specifically explaining the present invention, and the connection relationship for realizing the function of the present invention is not limited to this.
  • the configuration of the image decoding device is for illustration in order to specifically describe the present invention, and the image decoding device according to the present invention is not necessarily provided with all of the above configurations.
  • the image decoding apparatus according to the present invention only needs to have a minimum configuration capable of realizing the effects of the present invention.
  • the above-described image decoding method by the image decoding apparatus is for illustrative purposes only, and the image decoding method according to the present invention is not necessarily required to include all of the above steps. Absent. In other words, the image decoding method according to the present invention may include only the minimum steps that can realize the effects of the present invention.
  • the order in which the above steps are executed is for illustration in order to specifically describe the present invention, and may be in an order other than the above. Moreover, a part of the above steps may be executed simultaneously (in parallel) with other steps.
  • the present invention can be applied to an image decoding apparatus. This is useful for a stereoscopic image system that uses a plurality of encoded bit streams compressed by an encoding method using inter-view prediction such as 264-MVC.
  • the present invention is useful for an optical disc reproducing device, an optical disc recording device, a digital television receiving device, a movie device, and a mobile phone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

　本発明の一形態に係る画像復号装置（１００）は、符号化ビットストリーム（１１０及び１１１）を復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部（１２０）と、第１復号画像信号及び第２復号画像信号を格納するためのフレームメモリ（１７０）とを備える。画像復号部（１２０）は、第１復号画像信号及び第２復号画像信号を参照して符号化ビットストリーム（１１１）を復号する。この画像復号装置（１００）は、さらに、第１復号画像信号が格納されるフレームメモリ（１７０）の領域を特定するための第１管理情報を参照して、画像復号部（１２０）に符号化ビットストリーム（１１１）の復号の際に参照する参照画像が格納されているフレームメモリ（１７０）の領域を通知する制御部（１３０）を備える。

Description

画像復号装置及び画像復号方法
　本発明は、画像復号装置及び画像復号方法に関し、特に、第１視点の第１画像信号が符号化された第１符号化信号と、第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置に関する。
　近年、高品位画像システムとして、デジタル放送及びパッケージメディアを中心とした立体画像システムに対する期待が高まっている。一般的に、人間は、両眼の視差によって奥行きを知覚できることが知られている。立体画像システムでは、これを利用し、この視差に相当する画像のずれを有する２つの画像を、左眼及び右眼それぞれに独立に映し出すことで立体感を生み出す。
　左眼及び右眼へ、それぞれ独立に視差のある画像を与える方法に関しては、これまで様々な方式が提案されている。例えば、左眼用の二次元画像と右眼用の二次元画像とを同一画面に交互に表示する。さらに、その表示タイミングに同期して、液晶シャッタ等を内蔵したメガネ等を用いて左眼及び右眼のシャッタを切り替える。これにより、視聴者に、視差画像を与える方法がある。なお、より臨場感を出すためには、左眼と右眼とのそれぞれに対して、二次元画像システムと同等の表示コマ数を与える必要がある。
　すなわち、このような立体画像システムにおいては、左眼用及び右眼用といった複数のビットストリームを同時に復号処理することが必要になる。つまり、立体画像システムは、二次元画像システムに比べて大きな画像復号処理性能が必要となり、これによりコストが増大する。
　このようなコストの増大を軽減しつつ、複数のビットストリームを同時に復号する方法としては、特許文献１に、複数の画像復号部を用いて並列に複数のビットストリームを復号する技術が開示されている。
　図３０は、特許文献１記載の画像復号装置５００の構成を示すブロック図である。
　図３０に示す画像復号装置５００は、入力部５０２と、ヘッダ解析部５０３と、復号制御部５０４とを備える。さらに、画像復号装置５００は、復号制御部５０４の後段に、複数の算術復号部５０５、５０６及び５０７と、複数の記憶部５０８、５０９及び５１０と、複数の画像復号部５１１、５１２及び５１３とをそれぞれ並列に備える。また、画像復号装置５００には、複数のビットストリームＡ、Ｂ及びＣが入力される。
　復号制御部５０４は、ヘッダ解析部５０３での解析結果を受けて、算術復号部５０５、５０６及び５０７での算術復号処理の開始タイミング、及びビットストリーム中の算術復号処理の開始位置などを、算術復号部５０５、５０６及び５０７に通知する。
　算術復号部５０５、５０６及び５０７は、入力するビットストリームＡ、Ｂ及びＣに対応して、それぞれ個別に設けられる。この算術復号部５０５、５０６及び５０７は、それぞれビットストリームＡ、Ｂ、Ｃの算術復号処理を同時並行的に行い、生成された算術復号データを記憶部５０８、５０９及び５１０にそれぞれ出力する。
　画像復号部５１１、５１２及び５１３は、記憶部５０８、５０９及び５１０に格納された算術復号データを、実際の画像データに復号することにより、複数のデータストリームを同時再生する。
　また、特許文献２には、単一の画像復号部を用いて、時分割処理により複数のビットストリームを同時に復号する方法が開示されている。
　図３１は、特許文献２記載の画像復号装置６００の構成を示すブロック図である。
　図３１に示す画像復号装置６００は、複数のＶＢＶバッファ６０１と、可変長復号器６０２と、逆量子化器６０３と、ＩＤＣＴ器６０４と、加算器６０５と、画像メモリ６０６と、動き補償予測器６０７と、多重分離器６１１と、信号切替器６１２、６１３及び６１４と、復号制御器６２１と、表示制御器６２２と、スイッチ制御器６２３とを備える。
　画像復号装置６００では、可変長復号器６０２と、逆量子化器６０３と、ＩＤＣＴ器６０４と、加算器６０５と、動き補償予測器６０７とが、それぞれ単一の資源で構成されている。また、画像復号装置６００は、これらの回路に複数のビットストリームを時分割で入力し、復号処理を行う。
　具体的には、複数のチャネルの画像ビットストリームが多重化されているトランスポートストリームが、前段の多重分離器６１１に入力される。多重分離器６１１は、当該トランスポートストリームを各チャネルのビットストリームに分離する。分離された各チャネルのビットストリームは、対応するＶＢＶバッファ６０１（ＶＢＶバッファ１からＶＢＶバッファＮ）にそれぞれ蓄積される。
　多重分離処理後は、ＶＢＶバッファ１からＶＢＶバッファＮに格納されているＮ本のビットストリームを同時復号する処理を行う必要がある。これに対して、特定のチャネルに対応するＶＢＶバッファ６０１内のビットストリームが、スイッチ制御器６２３からのスイッチ切替信号に基づき信号切替器６１２により選択される。この選択されたビットストリームが可変長復号器６０２に入力される。その後、このビットストリームは、可変長復号器６０２、逆量子化器６０３、ＩＤＣＴ器６０４及び動き補償予測器６０７により復号処理される。この復号処理された画像データは、加算器６０５から信号切替器６１３に入力される。信号切替器６１３は、この画像データを、スイッチ制御器６２３の出力するスイッチ切替信号に基づいて、複数の画像メモリ６０６（画像メモリ１から画像メモリＮ）のうちの、対応するチャネルのメモリに格納する。
　表示制御器６２２は、所定の表示タイミングで、画像メモリ１から画像メモリＮの中のそれぞれのチャネルの画像データを同時に読み出し表示するように制御を行う。これにより、表示制御器６２２は、チャネル間の同期を取り、複数のビットストリームを同時再生する。
特開２００７－１５０５６９号公報 特開２０００－１６５８５８号公報
　上述したように立体画像システムでは、視聴者に対して臨場感を与えるため、左眼用画像及び右眼用画像はそれぞれ独立した画像として個別に伝送、又は記録されることが必要になる。よって、立体画像システムは、単一の二次元画像システムに比べて、約２倍の情報量が必要となってしまう。これは、伝送系システムでは膨大な転送帯域が必要になり、また蓄積系になると、これに加えて膨大な記憶容量が必要となる。これにより、システムとしてのコストの増大を招く。
　これを鑑み、立体画像システムを実現するためのデータ量を軽減するために、画像符号化方式も工夫されようとしている。Ｈ．２６４－ＭＶＣ（Ｍｕｌｔｉ　Ｖｉｅｗ　Ｃｏｄｉｎｇ）規格では、各視点の映像間には相関が存在する場合が多いことを利用し、Ｈ．２６４規格をベースに、図３２に示すような視点間の予測構造を持たせる。これにより、冗長性を取り除くことで、圧縮効率を高めることができる。
　各視点は、ｖｉｅｗ＿ｉｄなる視点ＩＤが付与され、ビューという形で管理されるとともに、区別される。このビューには、他のビューから参照される対象になるベースビューと、ベースビューを参照するノンベースビューとが存在する。つまり、視点間予測時はベースビューの画像を予測画像として、ノンベースビューの符号化を行うことにより符号化効率を上げている。
　しかしながら、このような視点間予測を用いて符号化された符号データが、ビューごとに個別のビットストリームとして提供されるシステムにおいては、これら複数のビットストリームを復号する上で、従来技術では、ノンベースビューが参照すべき画像の特定に関する課題が存在する。
　具体的には、Ｈ．２６４－ＭＶＣ規格では、ノンベースビューからは、同一時刻（同一アクセスユニット）に復号されたベースビューの画像のみ参照が許可されている。よって、ビットストリーム中のシンタックス情報では、各ノンベースビューに対し、参照すべきビュー（ベースビュー）のｖｉｅｗ＿ｉｄのみが指定される。
　つまり、ノンベースビューの復号に際しては、ｖｉｅｗ＿ｉｄにより参照対象となるビュー（ベースビュー）を知り、そのベースビューの復号後画像が格納されているフレームメモリの中から、どれが参照対象画像であるか（どれが同一アクセスユニットの画像であるか）を知る必要がある。
　しかしながら、従来技術のように、各チャネルの画像の復号処理を、他のチャネルの復号情報を考慮することなく、それぞれ独立に実施する構成であると、各チャネルが参照すべき画像の特定が行えず、正しく復号処理が行えないという課題が発生する。
　本発明は、この課題を解決するためになされたものであり、その目的は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる画像復号装置を提供することである。
　上記目的を達成するために、本発明の一形態に係る画像復号装置は、第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置であって、前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部と、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として格納するためのフレームメモリとを備え、前記画像復号部は、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、前記画像復号装置は、さらに、前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納部と、前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御部とを備える。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１管理情報を用いて、第２符号化信号の復号の際に参照される第１復号画像信号を特定できる。このように、本発明の一形態に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
　また、前記第１管理情報は、前記第１復号画像信号ごとに、前記第１符号化信号に含まれ、前記第１復号画像信号を特定するための第１シンタックス情報と、当該第１シンタックス情報に対応付けられた第１識別番号とを含む第１シンタックス情報リストと、前記第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す第１マッピングリストとを含み、前記制御部は、前記第１シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記第２管理情報は、前記第２復号画像信号ごとに、前記第２符号化信号に含まれ、前記第２復号画像信号を特定するための第２シンタックス情報と、当該第２シンタックス情報に対応付けられた第２識別番号とを含む第２シンタックス情報リストと、前記第２復号画像信号ごとに、前記第２識別番号と前記フレームメモリの領域との対応関係を示す第２マッピングリストとを含み、前記制御部は、前記第２シンタックス情報リストを参照することにより、前記第２復号画像信号に対応する前記第２識別番号を取得し、前記第２マッピングリストを参照することにより、前記第２識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１シンタックス情報リスト及び第１マッピングリストを用いて、第２符号化信号の復号の際に参照される第１復号画像信号を特定できる。
　また、前記第１シンタックス情報及び第２シンタックス情報は、Ｈ．２６４規格で定義される復号ピクチャバッファ（ＤＰＢ）を更新する際に必要なシンタックス情報であってもよい。
　また、前記第１シンタックス情報リストは、前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点内参照用シンタックス情報リストと、前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点間参照用シンタックス情報リストとを含み、前記制御部は、前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、視点内の参照に用いられる視点内参照用シンタックス情報リストと、視点間の参照に用いられる視点間参照用シンタックス情報リストとを個別に設けることにより、視点内の参照と、視点間の参照とを個別に管理及び制御できる。これにより、本発明の一形態に係る画像復号装置は、視点間の参照画像の管理及び制御を好適に行える。
　また、前記第１マッピングリストは、前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点内参照用マッピングリストと、前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点間参照用マッピングリストとを含み、前記制御部は、前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点内参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点間参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知してもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、視点内の参照に用いられる視点内参照用マッピングリストと、視点間の参照に用いられる視点間参照用マッピングリストとを個別に設けることにより、視点内の参照と、視点間の参照とを個別に管理及び制御できる。これにより、本発明の一形態に係る画像復号装置は、視点間の参照画像の管理及び制御を好適に行える。
　また、前記画像復号装置は、さらに、前記フレームメモリに格納されている前記第１復号画像信号及び前記第２復号画像信号を外部に出力する画像表示部を備え、前記第１マッピングリストは、さらに、前記第１復号画像信号ごとに、当該第１復号画像信号が前記画像表示部により外部に出力されたか否かを示す第１画像表示情報と、当該第１復号画像信号が前記参照画像として用いられるか否かを示す第１参照情報とを含み、前記制御部は、前記第１画像表示情報により当該第１復号画像信号が外部に出力されたことが示され、かつ、前記第１参照情報により当該第１復号画像信号が前記参照画像として用いられないことが示される場合、当該第１復号画像信号が格納されている前記フレームメモリの領域に、前記画像復号部により新たに復号された第１復号画像信号を格納してもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１マッピングリストを用いて、フレームメモリの空き領域の管理を好適に行える。
　また、前記画像復号部は、前記第１符号化信号を復号することにより第１復号画像信号を生成する第１復号部と、前記第２符号化信号を復号することにより第２復号画像信号を生成する第２復号部とを備え、前記制御部は、前記第１復号部及び前記第２復号部により、前記第１符号化信号及び前記第２符号化信号の予め定められた復号処理単位の復号処理が共に完了した後、前記第１復号部及び前記第２復号部に次の復号処理単位の復号処理を開始させてもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
　また、前記画像復号装置は、さらに、第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、前記制御部は、前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、前記第１制御部は、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記第１復号部に開始させ、前記第２制御部は、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記第２復号部に開始させてもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理とを個別に制御することにより、復号処理の制御の複雑化を抑制できる。
　また、前記画像復号部は、前記第１符号化信号及び前記第２符号化信号の一方を選択する選択部と、前記選択部により選択された前記第１符号化信号又は前記第２符号化信号を復号する復号部とを備え、前記制御部は、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの一方の信号を選択させ、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの他方の信号を選択させてもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
　また、前記画像復号装置は、さらに、第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、前記制御部は、前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、前記第１制御部は、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記復号部に開始させ、前記第２制御部は、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記復号部に開始させてもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理とを個別に制御することにより、復号処理の制御の複雑化を抑制できる。
　また、前記画像復号装置は、さらに、前記第１符号化信号と前記第２符号化信号とを予め定められた符号化単位ごとに交互に配置することにより１つの第３符号化信号を生成する結合部を備え、前記画像復号部は、前記第３符号化信号に含まれる前記第１符号化信号及び前記第２符号化信号を前記符号化単位ごとに交互に復号してもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第１符号化信号の復号処理と第２符号化信号の復号処理との同期を取ることができる。
　また、前記符号化単位は、フレーム単位、フィールド単位及びスライス単位のうちのいずれかであってもよい。
　また、前記結合部は、前記符号化単位の対応する前記第１符号化信号と前記第２符号化信号とのうち、前記符号化単位の前記第１符号化信号を配置した後に、当該第１符号化信号に対応する、前記符号化単位の前記第２符号化信号を配置することにより前記第３符号化信号を生成してもよい。
　この構成によれば、本発明の一形態に係る画像復号装置は、第２符号化信号の復号処理の際に参照される第１符号化信号を常に先に復号できる。
　また、前記復号処理単位は、フレーム単位、フィールド単位、ヘッダ復号処理単位、及びスライス単位のうちのいずれかであってもよい。
　なお、本発明は、このような画像復号装置として実現できるだけでなく、画像復号装置に含まれる特徴的な手段をステップとする画像復号方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような画像復号装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像復号装置を備える画像再生装置等として実現したり、このような画像復号装置を含む画像表示システムとして実現したりできる。
　以上のように、本発明は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる画像復号装置を提供できる。
図１は、本発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像復号装置の構成を示すブロック図である。 図３は、本発明の実施の形態１に係る画像復号部のブロック図である。 図４は、本発明の実施の形態１に係る参照ピクチャ番号を示す図である。 図５は、本発明の実施の形態１に係るシンタックス情報の構成を示す図である。 図６は、本発明の実施の形態１に係るＤＰＢリストの構成を示す図である。 図７は、本発明の実施の形態１に係るフレームメモリマッピングリストの構成を示す図である。 図８は、実施の形態１に係る参照ピクチャ番号とベースアドレスとの対応関係を示す図である。 図９は、本発明の実施の形態１に係る制御部の処理を示す図である。 図１０は、本発明の実施の形態１に係る画像表示タイミングを示す図である。 図１１は、本発明の実施の形態１に係るストリーム構造を示す図である。 図１２は、本発明の実施の形態１に係る画像復号装置による復号処理のフローチャートである。 図１３は、本発明の実施の形態１に係る画像復号装置による復号処理のフローチャートである。 図１４は、本発明の実施の形態１に係るＬ側復号処理及びＲ側復号処理の同期関係を示す図である。 図１５は、本発明の実施の形態１に係る画像復号装置の動作例を示す図である。 図１６は、本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。 図１７は、本発明の実施の形態２に係る画像表示タイミングを示す図である。 図１８は、本発明の実施の形態２におけるＬ側復号処理及びＲ側復号処理の同期関係を示す図である。 図１９は、本発明の実施の形態２に係る画像復号装置の動作例を示す図である。 図２０は、本発明の実施の形態３に係る画像復号装置の構成を示すブロック図である。 図２１は、本発明の実施の形態３に係るフレームメモリマッピングリストの構成を示す図である。 図２２は、本発明の実施の形態３に係る画像復号装置の動作例を示す図である。 図２３は、本発明の実施の形態４に係る画像復号装置の構成を示すブロック図である。 図２４は、本発明の実施の形態５に係る画像復号装置の構成を示すブロック図である。 図２５は、本発明の実施の形態６に係る画像復号装置の構成を示すブロック図である。 図２６は、本発明の実施の形態６に係る制御部の処理を示す図である。 図２７は、本発明の実施の形態６に係る画像復号装置による復号処理のフローチャートである。 図２８は、本発明の実施の形態６に係る画像復号装置による復号処理のフローチャートである。 図２９は、本発明の実施の形態７に係る画像復号装置の構成を示すブロック図である。 図３０は、従来技術の画像復号装置の構成を示すブロック図である。 図３１は、従来技術の画像復号装置の構成を示すブロック図である。 図３２は、Ｈ．２６４－ＭＶＣ規格における参照関係を示す図である。
　以下、本発明に係る画像復号装置の実施の形態について、図面を参照しながら詳細に説明する。
　（実施の形態１）
　本発明の実施の形態１に係る画像復号装置は、第１符号化ビットストリームを復号した第１復号画像信号が格納される領域を特定するための第１管理情報を用いて、第２ビットストリームの復号の際に参照される参照画像が格納されている領域を特定する。これにより、本発明の実施の形態１に係る画像復号装置は、視点間予測を用いて符号化された複数のビットストリームを復号できるとともに、各チャネルが参照すべき画像を特定できる。
　まず、本発明の実施の形態に係る画像復号装置１００の構成を説明する。
　図１は、本発明の実施の形態１に係る画像復号装置１００の構成を示すブロック図である。
　図１に示す画像復号装置１００は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を復号することにより出力画像信号１１２を生成する。
　符号化ビットストリーム１１０及び１１１は、それぞれ、互いに視差を有する画像が符号化されたデータを含むストリームデータである。言い換えると、符号化ビットストリーム１１０は、第１視点で撮影された第１画像信号が符号化された第１符号化信号である。また、符号化ビットストリーム１１１は、第１視点と異なる第２視点で撮影された第２画像信号が符号化された第２符号化信号である。
　なお、本実施の形態では、Ｈ．２６４規格で符号化されているビットストリームの復号処理を例に説明する。例えば、符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣ規格に準拠して符号化されている。また、符号化ビットストリーム１１０は左眼用ビットストリーム（Ｌ側）である。また、符号化ビットストリーム１１１は右眼用ビットストリーム（Ｒ側）である。また、符号化ビットストリーム１１０（Ｌ側）及び１１１（Ｒ側）は２本の独立した符号化ビットストリームとして、画像復号装置１００に入力される。
　また、Ｌ側符号化ビットストリーム１１０はベースビューであり、Ｒ側符号化ビットストリームはノンベースビューであるとする。
　この画像復号装置１００は、画像復号部１２０と、制御部１３０と、管理情報格納部１４０と、フレームメモリ管理部１５０と、画像表示部１６０とを、フレームメモリ１７０とを備える。
　画像復号部１２０は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を、参照画像を参照して復号することにより第１復号画像信号（以下、Ｌ側復号ピクチャ）及び第２復号画像信号（以下、Ｒ側復号ピクチャ）を生成する。なお、Ｌ側復号ピクチャ及びＲ側復号ピクチャを特に区別しない場合には、単に「復号ピクチャ」とも記す。
　フレームメモリ１７０は、画像復号部１２０により生成された復号後の画像データ（Ｌ側復号ピクチャ及びＲ側復号ピクチャ）を格納する。
　また、符号化ビットストリーム１１０がベースビューなので、画像復号部１２０は、Ｌ側復号ピクチャのみを参照画像として参照して符号化ビットストリーム１１０を復号する。また、符号化ビットストリーム１１１がノンベースビューなので、画像復号部１２０は、Ｌ側復号ピクチャ及びＲ側復号ピクチャを参照画像として参照して符号化ビットストリーム１１１を復号する。
　なお、以下では、ノンベースビューのピクチャがベースビューのピクチャを参照することをビュー間参照と記す。また、ピクチャが同じビュー（ベースビュー又はノンベースビュー）内のピクチャを参照することをビュー内参照と記す。
　制御部１３０は、画像復号部１２０による符号化ビットストリーム１１０及び１１１の復号処理を制御する。
　管理情報格納部１４０は、画像復号部１２０による復号処理に用いられるピクチャ管理情報を格納する。このピクチャ管理情報は、Ｌ側復号ピクチャ及びＲ側復号ピクチャが格納されるフレームメモリ１７０の領域（ベースアドレス）を特定するための情報である。また、このピクチャ管理情報は、Ｌ側復号ピクチャが格納されるベースアドレスを特定するためのＬ側管理情報と、Ｒ側復号ピクチャが格納されるベースアドレスを特定するためのＲ側管理情報とを含む。
　また、制御部１３０は、Ｌ側管理情報を参照して、符号化ビットストリーム１１０の復号の際に参照する参照画像が格納されているベースアドレスを画像復号部１２０に通知する。また、制御部１３０は、Ｌ側管理情報及びＲ側管理情報を参照して、符号化ビットストリーム１１１の復号の際に参照する参照画像が格納されているベースアドレスを画像復号部１２０に通知する。
　フレームメモリ管理部１５０は、フレームメモリ１７０を管理する。
　画像表示部１６０は、フレームメモリ１７０に格納されたＬ側復号ピクチャ及びＲ側復号ピクチャを含む出力画像信号１１２を生成し、生成した出力画像信号１１２を外部に出力する。
　図２は、画像復号装置１００の詳細な構成を示すブロック図である。
　図２に示すように、画像復号部１２０は、第１復号部１２１と、第２復号部１２２とを備える。
　第１復号部１２１は、符号化ビットストリーム１１０をリアルタイムで復号することによりＬ側復号ピクチャを生成する。
　第２復号部１２２は、符号化ビットストリーム１１１をリアルタイムで復号することによりＲ側復号ピクチャを生成する。
　管理情報格納部１４０は、ピクチャ管理情報として、ＤＰＢ（復号ピクチャバッファ）リスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４とを格納する。ここで、ＤＰＢリスト１４１ａ、フレームメモリマッピングリスト１４２ａ、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は、Ｌ側復号ピクチャが格納されるベースアドレスを特定するためのＬ側管理情報である。また、ＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂは、Ｒ側復号ピクチャが格納されるベースアドレスを特定するためのＲ側管理情報である。
　ＤＰＢリスト１４１ａは、符号化ビットストリーム１１０から生成されたＬ側復号ピクチャのビュー内参照用のシンタックス情報を含む。また、ＤＰＢリスト１４１ｂは、符号化ビットストリーム１１１から生成されたＬ側復号ピクチャのビュー内参照用のシンタックス情報を含む。ここでシンタックス情報とは、規格で定められたパラメータ（変数）を含む。
　ビュー間参照用シンタックス情報リスト１４３は、ビュー間参照用のシンタックス情報を含む。
　フレームメモリマッピングリスト１４２ａ及び１４２ｂは、フレームメモリ１７０のベースアドレスを管理するために用いられる。
　ビュー間参照用フレームメモリマッピングリスト１４４は、ビュー間参照用ピクチャのベースアドレスを管理するために用いられる。
　フレームメモリ管理部１５０は、制御部１３０及び画像表示部１６０から得られる情報をもとにフレームメモリマッピングリスト１４２ａ及び１４２ｂを更新することにより、フレームメモリ１７０のベースアドレスを管理する。
　制御部１３０は、第１制御部１３１と、第２制御部とを含む。
　第１制御部１３１は、Ｌ側符号化ビットストリーム１１０の復号処理を担当する。また、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理を担当する。
　第１制御部１３１は、管理情報格納部１４０に格納されている、ＤＰＢリスト１４１ａと、ビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ａと、ビュー間参照用フレームメモリマッピングリスト１４４とを用いて、第１復号部１２１の復号処理を制御する。
　第２制御部１３２は、管理情報格納部１４０に格納されている、ＤＰＢリスト１４１ｂと、ビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ｂと、ビュー間参照用フレームメモリマッピングリスト１４４とを用いて、第２復号部１２２の復号処理を制御する。
　つまり、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は、第１制御部１３１と第２制御部１３２との両方からアクセス可能である。
　また、画像復号装置１００は、さらに、フラグ格納部１８０を備える。
　このフラグ格納部１８０は、第１制御部１３１及び第２制御部１３２に用いられる第１完了フラグ及び第２完了フラグを格納する。
　また、第１制御部１３１は、１ピクチャの復号処理が完了した際に第１完了フラグをフラグ格納部１８０に格納する。第２制御部１３２は１ピクチャの復号処理が完了した際に第２完了フラグをフラグ格納部１８０に格納する。フラグ格納部１８０は、第１制御部１３１と第２制御部１３２との両方からアクセス可能である。よって、第１制御部１３１及び第２制御部１３２は、フラグ格納部１８０を介してお互いの復号処理が完了したことを確認することができる。
　画像表示部１６０は、フレームメモリ１７０に格納されている復号ピクチャのうち、表示対象ピクチャが格納されているベースアドレスをフレームメモリ管理部１５０から取得する。画像表示部１６０は、取得したベースアドレスに格納される表示対象ピクチャをフレームメモリ１７０から読み出し、読み出した表示対象ピクチャを表示出力する。また、画像表示部１６０は、表示が完了したことをフレームメモリ管理部１５０に通知する。
　以下、第１復号部１２１及び第２復号部１２２の構成を説明する。
　図３は、第１復号部１２１の構成を示すブロック図である。なお、第２復号部１２２の構成も第２復号部１２２と同様である。
　図３に示すように、第１復号部１２１は、ヘッダ解析部１２３と、エントロピー復号部１２４と、逆量子化部１２５と、逆直交変換部１２６と、イントラ予測部１２７と、動き補償部１２８と、デブロッキングフィルタ処理部１２９とを備える。
　ヘッダ解析部１２３は、シーケンス層／ピクチャ層／スライス層などのヘッダ解析を行う。また、ヘッダ解析部１２３は、符号化ビットストリーム１１０に含まれる、復号対象画像のシンタックス情報１１３を取得する。
　また、第１復号部１２１は、マクロブロック層以下の復号機能を備えている。具体的には、エントロピー復号部１２４、逆量子化部１２５、逆直交変換部１２６、イントラ予測部１２７、動き補償部１２８及びデブロッキングフィルタ処理部１２９により、Ｈ．２６４規格に準拠した一連の復号処理が行われる。
　なお、動き補償部１２８は、過去に復号した画像をフレームメモリ１７０から読み出すことで参照を行い、復号後の画像をフレームメモリ１７０に格納する。
　また、フレームメモリ１７０に対する読み出し及び書き込みに際して、第１制御部１３１は、ベースアドレスをフレームメモリ管理部１５０から取得し第１復号部１２１に設定する。また、第２制御部１３２はベースアドレスをフレームメモリ管理部１５０から取得し第２復号部１２２に設定する。
　以上のように構成された画像復号装置１００の具体的な動作の説明を容易にするために、以下、Ｈ．２６４規格で定義されている用語と、本実施の形態の構成要素との対応関係を説明する。
　まず、Ｈ．２６４規格で定義されている復号ピクチャバッファ（Ｄｅｃｏｄｅｄ　Ｐｉｃｔｕｒｅ　Ｂｕｆｆｅｒ：ＤＰＢ）と、本実施の形態の構成要素であるＤＰＢリスト１４１ａ及び１４１ｂとの関係を説明する。
　Ｈ．２６４規格では、複数の復号ピクチャを参照ピクチャとして用いることができる。また、Ｈ．２６４規格では、複数の参照ピクチャの中から動き補償ブロックごとに、異なるピクチャを選択して動き補償処理が行われる。この参照ピクチャを指定するために、各復号ピクチャに割り当てられた識別番号を参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）と言う。Ｈ．２６４規格では、符号化時に、動き補償ブロックごとに参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）が付与され、復号時にはこの参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を用いて、参照ピクチャが特定される。
　ここで、参照ピクチャ枚数を増やすと符号化効率が上がる一方、多くの復号ピクチャをメモリに確保しておく必要がある。この複数の参照ピクチャに加えて、動き補償時に参照されない復号ピクチャである非参照ピクチャも、その表示時刻までメモリに確保しておく必要がある。これにより、非常に多くのメモリ容量が必要となる。また、これらピクチャの管理も複雑になる。
　そこで、Ｈ．２６４規格では、復号ピクチャバッファ（ＤＰＢ）というメモリを概念的に準備し、このＤＰＢに復号ピクチャを格納する。また、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ又はＭＭＣＯ（Ｍｅｍｏｒｙ　Ｍａｎａｇｅｍｅｎｔ　Ｃｏｎｔｒｏｌ　Ｏｐｅｒａｔｉｏｎ）といった方法でピクチャを統一的に管理する。これにより、Ｈ．２６４規格では、メモリを効率良く利用できる。
　また、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ又はＭＭＣＯは、ピクチャのシンタックス情報１１３を用いて処理を行う。
　図４は、ピクチャの参照関係を示す図である。
　前述のように、参照ピクチャを指定するために参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）が付与されているが、図４に示すように復号対象ピクチャごとに、参照ピクチャ番号に対応する参照ピクチャの割り当てを変えることができる。また、ＤＰＢに確保されている参照ピクチャと、参照ピクチャ番号との対応付けには、参照ピクチャリスト（Ｒｅｆｅｒｅｎｃｅ　Ｐｉｃｔｕｒｅ　Ｌｉｓｔ：ＲＰＬ）というリストが用いられる。
　なお、このＲＰＬはピクチャごとにシンタックス情報１１３をもとに作成される。
　本実施の形態においては、このようなＨ．２６４規格の柔軟な参照構造に対応するために、前述のようにＤＰＢリスト１４１ａ及び１４１ｂを管理情報格納部１４０に格納し、このＤＰＢリスト１４１ａ及び１４１ｂの情報を用いることにより、Ｈ．２６４規格で規定される復号ピクチャバッファ（ＤＰＢ）に格納されるべきピクチャの特定及び管理を実現している。
　図５は、各ピクチャのシンタックス情報１１３の構成を示す図である。このシンタックス情報１１３は、参照ピクチャとして用いる復号ピクチャを特定するために用いられる。
　図５に示すように、例えば、シンタックス情報１１３は、ｓｈｏｒｔ　ｔｅｒｍ／ｌｏｎｇ　ｔｅｒｍと、ｎａｌ＿ｒｅｆ＿ｉｄｃと、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇと、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇと、ｆｒａｍｅ＿ｎｕｍと、ｖｉｅｗ＿ｉｄとを含む。なお、シンタックス情報１１３には、これらの情報の一部のみが含まれていてもよいし、これら以外の情報が含まれていてもよい。
　ｓｈｏｒｔ　ｔｒｅｍ／ｌｏｎｇ　ｔｅｒｍは、当該ピクチャがｓｈｏｒｔ　ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ　ｐｉｃｔｕｒｅかｌｏｎｇ　ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ　ｐｉｃｔｕｒｅかを示す。ｓｈｏｒｔ　ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ　ｐｉｃｔｕｒｅとはＳｌｉｄｉｎｇ　Ｗｉｎｄｏｗによって管理できるピクチャであり、ｌｏｎｇ　ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ　ｐｉｃｔｕｒｅとはＳｌｉｄｉｎｇ　Ｗｉｎｄｏｗでは管理できない時間的に離れた位置に存在するピクチャである。
　ｎａｌ＿ｒｅｆ＿ｉｄｃは、当該ピクチャがビュー内参照されるか否かを示す。
　ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇは、当該ピクチャの方式がフィールド（インタレース）であるかフレーム（プログレッシブ）であるかを示す。
　ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、当該ピクチャがビュー間参照されるか否かを示す。
　ｆｒａｍｅ＿ｎｕｍは、当該ピクチャの番号を示す。
　ｖｉｅｗ＿ｉｄは、当該ピクチャが含まれるビューの識別子である。例えば、ベースビューに含まれるピクチャには「０」が付与され、ノンベースビューに含まれるピクチャには、「１、２、・・・」が付与される。
　図６は、ＤＰＢリスト１４１ａ（１４１ｂ）の構成を示す図である。
　ＤＰＢリスト１４１ａ及び１４１ｂは、ビュー内参照の参照画像として用いられる復号ピクチャのシンタックス情報１１３を含む。
　図６に示すように、復号ピクチャごとに、シンタックス情報２０２と、当該シンタックス情報２０２に対応付けられた識別番号であるインデックス２０１とを含む。このシンタックス情報２０２は、図５に示すシンタックス情報１１３に相当する。
　また、このＤＰＢリスト１４１ａ及び１４１ｂに含まれるシンタックス情報２０２の数は、各ピクチャがビュー内参照可能な参照ピクチャの数により決定される。
　また、ＤＰＢリスト１４１ａ及び１４１ｂは、マクロブロック層の復号処理のみならず、Ｈ．２６４規格で規定される復号ピクチャバッファ（ＤＰＢ）の更新、及び、おなじくＨ．２６４規格で規定される参照ピクチャリスト（ＲＰＬ）の作成時にも使用される。
　また、ビュー間参照用シンタックス情報リスト１４３は、ビュー間参照の参照画像として用いられる復号ピクチャのシンタックス情報１１３を含む。例えば、ビュー間参照用シンタックス情報リスト１４３の構成も図６と同様である。
　また、このビュー間参照用シンタックス情報リスト１４３に含まれるシンタックス情報２０２の数は、各ピクチャがビュー間参照可能な参照ピクチャの数により決定される。
　次に、Ｈ．２６４規格で定義されている復号ピクチャバッファ（ＤＰＢ）と、本実施の形態の構成要素であるフレームメモリマッピングリスト１４２ａ及び１４２ｂとの関係を説明する。
　Ｈ．２６４規格では、参照されるピクチャは、必ず復号ピクチャバッファ（ＤＰＢ）に格納される。また、１ピクチャの復号処理が完了するたびに復号ピクチャバッファの内容が更新される。
　この復号ピクチャバッファ（ＤＰＢ）の更新手順も、Ｈ．２６４規格で規定されており、以下の手順で行われる。
（ステップ１）ピクチャを復号する。
（ステップ２）所定のルール（Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ又はＭＭＣＯ）により、復号ピクチャバッファ（ＤＰＢ）を更新し、開放対象ピクチャを決定する。
（ステップ３）（ステップ２）の開放対象ピクチャの代わりに、（ステップ１）で復号したピクチャを復号ピクチャバッファ（ＤＰＢ）に格納する。
　上記のように、規格上では、（ステップ１）で復号が完了したピクチャは、（ステップ２）で開放対象ピクチャが決まるまで、一旦、テンポラリバッファに確保される。また、この復号が完了したピクチャは、（ステップ３）において実際に復号ピクチャバッファ（ＤＰＢ）に格納される。このような手順になっているため、実装上は復号ピクチャバッファ（ＤＰＢ）に相当するメモリ容量とは別に、復号中のピクチャが格納できるテンポラリバッファを余分に確保しなければならない。
　本実施の形態では、このテンポラリバッファとしても、フレームメモリ１７０を用いる。つまり、復号対象ピクチャ（復号中のピクチャ）はフレームメモリ１７０に格納される。
　このように、フレームメモリ１７０内には、Ｈ．２６４規格において規定されるピクチャ（ＤＰＢ内のピクチャ）と、実装形態に依存したピクチャ（復号中のピクチャ）が混在する。また、これらの中で表示が完了したピクチャが格納されていたフレームメモリ領域が次のピクチャの格納用として開放される。よって、これらをまとめて管理する必要がある。
　本実施の形態においては、このような管理に柔軟に対応するために、前述のようにフレームメモリマッピングリスト１４２ａ及び１４２ｂを、管理情報格納部１４０内に格納する。また、フレームメモリ１７０内のフレームメモリ領域ごとに、ＤＰＢリスト１４１ａ及び１４１ｂにおいて参照ピクチャとして指定されているか否か、及び画像表示対象として指定されているか否か、といった状態管理をする。これらにより、次のピクチャの格納用として開放すべきフレームメモリ領域の特定を実現する。
　図７は、フレームメモリマッピングリスト１４２ａの構成を示す図である。例えば、フレームメモリマッピングリスト１４２ａは、図７に示すようなテーブル形式である。なお、フレームメモリマッピングリスト１４２ｂの構成も図７と同様である。
　図７に示すように、フレームメモリマッピングリスト１４２ａは、復号ピクチャごとに対応付けられた複数のエントリを含む。なお、フレームメモリマッピングリスト１４２ａでは、各エントリは、ビュー内参照の参照ピクチャとして用いられる復号ピクチャと、ビュー間参照の参照ピクチャとして用いられる復号ピクチャと、参照ピクチャとして用いられない復号中又は復号済みピクチャとのいずれかに対応する。また、フレームメモリマッピングリスト１４２ｂでは、各エントリは、ビュー内参照の参照ピクチャとして用いられる復号ピクチャと、参照ピクチャとして用いられない復号中又は復号済みピクチャとのいずれかに対応する。
　各エントリは、フレームメモリアドレス２０３と、ＤＰＢリストインデックス２０４と、ビュー間参照用シンタックス情報インデックス２０５と、画像表示ステータス２０６と、状態情報２０７とを含む。
　フレームメモリアドレス２０３は、当該復号ピクチャが格納されているフレームメモリ１７０のベースアドレスを示す。
　ＤＰＢリストインデックス２０４は、当該復号ピクチャに対応するＤＰＢリスト１４１ａのインデックス２０１を示す。また、ＤＰＢリストインデックス２０４は、当該復号ピクチャが視点内参照の参照ピクチャとして用いられるか否かを示す。具体的には、ＤＰＢリストインデックス２０４に、ＤＰＢリスト１４１ａのインデックス２０１が設定されている場合には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられることが示される。また、ＤＰＢリストインデックス２０４に、ＤＰＢリスト１４１ａのインデックス２０１が設定されていない場合（図７における「なし」の場合）には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられないことが示される。
　ビュー間参照用シンタックス情報インデックス２０５は、当該復号ピクチャに対応するビュー間参照用シンタックス情報リスト１４３のインデックス２０１を示す。また、ビュー間参照用シンタックス情報インデックス２０５は、当該復号ピクチャが視点間参照の参照ピクチャとして用いられるか否かを示す。具体的には、ビュー間参照用シンタックス情報インデックス２０５に、ビュー間参照用シンタックス情報リスト１４３のインデックス２０１が設定されている場合には、当該復号ピクチャが視点間参照の参照ピクチャとして用いられることが示される。また、ビュー間参照用シンタックス情報インデックス２０５に、ビュー間参照用シンタックス情報リスト１４３のインデックス２０１が設定されていない場合（図７における「なし」の場合）には、当該復号ピクチャが視点内参照の参照ピクチャとして用いられないことが示される。
　画像表示ステータス２０６は、当該復号ピクチャが画像表示済み（出力画像信号１１２として出力済み）であるか画像表示されていない（未表示）かを示す。
　状態情報２０７は、当該エントリが使用中であるか未使用であるかを示す。具体的には、ＤＰＢリストインデックス２０４及びビュー間参照用シンタックス情報インデックス２０５がともに「なし」であり、かつ、画像表示ステータス２０６が表示済み「０」の場合に、状態情報２０７は「未使用」であり、それ以外の場合、状態情報２０７は「使用中」となる。
　また、制御部１３０は、状態情報２０７が「未使用」のベースアドレスに画像復号部１２０により新たに復号された復号ピクチャを格納するように、画像復号部１２０に通知する。
　図７に示す例では、フレームメモリアドレス２０３が「０」のエントリは、復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ａに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「２」のエントリは、ビュー間参照用ピクチャが格納されており、ビュー間参照用シンタックス情報リスト１４３に付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「３」のエントリは、テンポラリバッファとして用いられている（画像表示されていないピクチャが格納されている）ため使用することができない。よって、この例では復号ピクチャバッファ（ＤＰＢ）として使用されておらず、かつテンポラリバッファとしても使用されていないフレームメモリアドレス２０３が「１」のエントリが未使用であると特定できる。
　なお、Ｈ．２６４規格で定義されている参照ピクチャリスト（ＲＰＬ）については、本実施の形態では、マクロブロック層の復号の際に、符号化ビットストリーム１１０から得られる各参照ピクチャのシンタックス情報１１３と、第１制御部１３１又は第２制御部１３２から与えられるＤＰＢリスト１４１ａ又は１４１ｂの内容をもとに第１復号部１２１又は第２復号部１２２が作成し、第１復号部１２１又は第２復号部１２２の内部で保持する。
　なお、ビュー間参照用フレームメモリマッピングリスト１４４の構成も図７と同様である。また、ビュー間参照用フレームメモリマッピングリスト１４４では、各エントリは、ビュー間参照の参照ピクチャとして用いられる復号ピクチャに対応する。
　また、ビュー間参照用フレームメモリマッピングリスト１４４は、ビュー間参照の際にしか参照されないので、フレームメモリアドレス２０３とビュー間参照用シンタックス情報インデックス２０５とのみを含んでもよい。
　また、Ｒ側復号ピクチャがビュー間参照の参照画像として用いられない場合には、フレームメモリマッピングリスト１４２ｂは、ビュー間参照用シンタックス情報インデックス２０５を含まなくてもよい。
　以上のように、Ｈ．２６４規格で定義されている復号ピクチャバッファ（ＤＰＢ）及び参照ピクチャリスト（ＲＰＬ）１１４と、本実施の形態の各構成要素とを対応づけることにより、図８のように、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）から、フレームメモリ１７０のベースアドレスを特定することができる。
　具体的には、第１制御部１３１は、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を取得する。次に、第１制御部１３１は、ＲＰＬ１１４を参照し、参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に対応するｐｉｃｔｕｒｅ　ｎｕｍｂｅｒを特定する。次に、第１制御部１３１は、ＤＰＢリスト１４１ａを参照し、特定したｐｉｃｔｕｒｅ　ｎｕｍｂｅｒに対応するシンタックス情報２０２のインデックス２０１を特定する。次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを参照して、特定したインデックス２０１に対応するベースアドレス（フレームメモリアドレス２０３）を特定する。
　また、第２制御部１３２は、動き補償ブロックごとに符号化ビットストリーム１１０から得られる参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）を取得する。次に、第２制御部１３２は、ＲＰＬ１１４を参照し、参照ピクチャ番号（ｒｅｆ＿ｉｄｘ）に対応するｐｉｃｔｕｒｅ　ｎｕｍｂｅｒを特定する。次に、第２制御部１３２は、ＤＰＢリスト１４１ｂ及びビュー間参照用シンタックス情報リスト１４３を参照し、特定したｐｉｃｔｕｒｅ　ｎｕｍｂｅｒに対応するシンタックス情報２０２のインデックス２０１を特定する。次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂ及びビュー間参照用フレームメモリマッピングリスト１４４を参照して、特定したインデックス２０１に対応するベースアドレス（フレームメモリアドレス２０３）を特定する。
　さて、Ｈ．２６４－ＭＶＣは、前述のような柔軟な構造を持つＨ．２６４を、多視点符号化方式として拡張したものである。つまり、Ｈ．２６４－ＭＶＣは、各視点をビューとして符号化を行い、視点間の相関性を利用したビュー間参照をすることにより高い情報圧縮を実現する技術である。
　各ビューはビューＩＤ（ｖｉｅｗ＿ｉｄ）でそれぞれ識別され、他のビューを参照しないビューをベースビューと言い、他のビューを参照するビューをノンベースビューと言う。ノンベースビューの各ピクチャは、同じビュー内のピクチャに加え、同じ時間の異なるビューのピクチャを参照することができることを大きな特徴とする。
　本実施の形態では、Ｌ側符号化ビットストリーム１１０がベースビューであり、Ｒ側符号化ビットストリーム１１１がノンベースビューである。つまり、Ｒ側符号化ビットストリーム１１１の復号の際は、Ｌ側符号化ビットストリーム１１０の復号ピクチャをビュー間参照することが可能である。
　ビュー間参照用シンタックス情報リスト１４３は、ベースビューであるＬ側符号化ビットストリーム１１１の参照ピクチャのシンタックス情報１１３を格納している。
　第２制御部１３２は、ノンベースビューであるＲ側符号化ビットストリーム１１１の復号時には、ビュー内参照用のシンタックス情報１１３を含むＤＰＢリスト１４１ｂに加えて、ビュー間参照用のシンタックス情報１１３を含むビュー間参照用シンタックス情報リスト１４３を取得する。これらをもとに、第２復号部１２２は、ビュー間参照ピクチャを含めたＲＰＬを作成する。
　図９は、第１制御部１３１及び第２制御部１３２の処理を示す図である。
　具体的には、第１制御部１３１は、図９の例ようにＬ側のＤＰＢリスト１４１ａのインデックス番号「１」に格納される情報を、Ｒ側から参照可能なビュー間参照用シンタックス情報リスト１４３にも格納する。
　これにより、フレームメモリ管理部１５０は、フレームメモリ１７０内のフレームメモリ領域ごとに、ＤＰＢリスト１４１ａ及び１４１ｂにおいて参照ピクチャとして指定されているか否か、及び画像表示対象として指定されているか否か、といった状態を管理する。さらに、フレームメモリ管理部１５０は、ビュー間参照用シンタックス情報リスト１４３においてビュー間参照に用いられる参照ピクチャとして指定されているか否かといった状態を管理する。これにより、フレームメモリ管理部１５０は、次のピクチャの格納用として開放すべきフレームメモリ１７０の領域を特定できる。
　また、ビュー間参照は同じアクセスユニット内のピクチャのみ参照することができるため、本実施の形態ではビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４は少なくとも１ピクチャ分の情報が格納できればよい。ただし、本実施の形態では、第１復号部１２１及び第２復号部１２２が同時に動作するため第１復号部１２１からの書き込み用と第２復号部１２２からの読み出し用とでビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４のそれぞれに２ピクチャ分の領域を確保する。
　上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態１の画像復号装置１００について、その動作を説明する。
　以下では１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中のピクチャの格納用に１枚必要である。
　さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャとが復号完了したあとに図１０のようなタイミングで表示されるものとする。具体的には、期間Ｔ０１において、Ｌ側のピクチャＬ１の復号処理が行われる。次に、期間Ｔ０２において、Ｌ側のピクチャＬ２とＲ側のピクチャＲ１との復号処理が行われる。次に、期間Ｔ０３において、ピクチャＬ１及びピクチャＲ１が表示される。なお、ピクチャＬ１及びピクチャＲ１は同一のアクセスユニットに含まれるピクチャである。
　このように、表示までの間にも次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。
　したがって、フレームメモリ１７０は、合計１０枚（Ｌ側５枚、Ｒ側５枚）のピクチャが格納できる領域を備えているものとする。
　また、入力される符号化ビットストリーム１１０及び１１１は、前述のようにＨ．２６４－ＭＶＣにより多視点符号化されている。また、図１１に示すようにＬ側符号化ビットストリーム１１０はＩ／Ｐ１／Ｐ２／Ｂ１／Ｐ３／Ｂ２の順に符号化されているものとする。同様にＲ側符号化ビットストリーム１１１はＩ／Ｐ１／Ｐ２／Ｂ１／Ｐ３／Ｂ２の順に符号化されているものとする。なお、図１１に示す「Ｉ」は当該ピクチャがＩピクチャであることを示す。また、「Ｐ１、Ｐ２、Ｐ３」は当該ピクチャがＰピクチャであることを示す。また、「Ｂ」は当該ピクチャがＢピクチャであることを示す。また、Ｉピクチャとは、ビュー内参照を行わない画面内符号化が行われたピクチャである。Ｐピクチャ及びＢピクチャは、ビュー内参照を行って符号化されたピクチャである。また、Ｉピクチャ及びＰピクチャは、他のピクチャからビュー内参照されるピクチャであり、本実施例においては、Ｂピクチャは他のピクチャからビュー内参照されないピクチャとする（ｎａｌ＿ｒｅｆ＿ｉｄｃ＝０）。
　また、Ｌ側符号化ビットストリーム１１０はベースビューであり、Ｒ側符号化ビットストリームはノンベースビューであるとする。
　まず、画像復号装置１００は、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２は次のように１ピクチャごとに同時に起動し完了待ち合わせをすることで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
　まず、Ｌ側のピクチャの復号処理について説明する。
　第１制御部１３１は、以下の処理ステップで、第１復号部１２１を制御することにより、Ｌ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
　図１２は、画像復号装置１００によるＬ側の復号処理のフローチャートである。
　まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
　次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
　次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
　次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
　次に、第１制御部１３１は、上記ステップＳ１０２～Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを第１復号部１２１に設定し、第１復号部１２１を起動する（Ｓ１０５）。
　次に、第１復号部１２１は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、第１復号部１２１は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、第１復号部１２１は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
　次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を第１復号部１２１から取得する（Ｓ１０７）。
　次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。具体的には、第１制御部１３１は、ステップＳ１０７で取得したシンタックス情報１１３をＤＰＢリスト１４１ａに加える。
　次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。具体的には、フレームメモリ管理部１５０は、通知されたインデックス２０１に対応するＤＰＢリストインデックス２０４を「なし」に変更する。また、フレームメモリ管理部１５０は、復号処理が完了したピクチャの情報をフレームメモリマッピングリスト１４２ａに加える。
　次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
　次に、第１制御部１３１は、復号処理が完了したピクチャの情報をビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
　次に、第１制御部１３１は、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
　次に、Ｒ側のピクチャの復号処理について説明する。
　第２制御部１３２は、以下の処理ステップで、第２復号部１２２を制御することにより、Ｒ側符号化ビットストリーム１１１の復号処理を行う。
　図１３は、画像復号装置１００によるＲ側の復号処理のフローチャートである。
　まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
　次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理で参照できるＬ側の復号ピクチャのシンタックス情報をビュー間参照用シンタックス情報リスト１４３から取得することにより、ビュー間参照用の参照ピクチャを特定する（Ｓ２０２）。
　次に、第２制御部１３２は、ビュー間参照用フレームメモリマッピングリスト１４４を参照し、ステップＳ２０２で取得したシンタックス情報に対応するベースアドレスを取得する。つまり、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理で参照できるＬ側の復号ピクチャのベースアドレスを取得する（Ｓ２０３）。
　次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
　次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
　次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
　次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを第２復号部１２２に設定し、第２復号部１２２を起動する（Ｓ２０７）。
　第２復号部１２２は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、第２復号部１２２は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、第２復号部１２２は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
　次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を第２復号部１２２から取得する（Ｓ２０９）。
　次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。具体的には、第２制御部１３２は、ステップＳ２０９で取得したシンタックス情報１１３をＤＰＢリスト１４１ｂに加える。
　次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。具体的には、フレームメモリ管理部１５０は、通知されたインデックス２０１に対応するＤＰＢリストインデックス２０４を「なし」に変更する。また、フレームメモリ管理部１５０は、復号処理が完了したピクチャの情報をフレームメモリマッピングリスト１４２ｂに加える。
　次に、第２制御部１３２は、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
　以上のように、第１制御部１３１及び第２制御部１３２を１ピクチャごとに同時に起動し完了待ち合わせをすることで、図１４のように符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
　例えば、図１４に示す時刻ｔ０１において、Ｌ側の復号処理及びＲ側の復号処理が同時に開始される。つまり、上述した図１２及び図１３に示す処理が行われる。また、時刻ｔ０２においてＲ側の復号処理が終了する。時刻ｔ０２の時点では、Ｌ側の復号処理が完了していないので、第１完了フラグがセットされていない。よって、第２制御部１３２は、Ｌ側の復号処理が完了するまで、次のピクチャの復号処理を開始しない。
　時刻ｔ０３において、Ｌ側の復号処理が完了する。よって、時刻ｔ０３において、Ｌ側及びＲ側の両方の復号処理が完了したので、画像復号部１２０は、次のピクチャの復号処理を同時に開始する。
　また、時刻ｔ０４においてＬ側の復号処理が完了するが、Ｒ側の復号処理が完了していないので、第１制御部１３１は、Ｒ側の復号処理が完了するまで、次のピクチャの復号処理を開始しない。
　時刻ｔ０５において、Ｒ側の復号処理が完了する。よって、時刻ｔ０５において、Ｌ側及びＲ側の両方の復号処理が完了したので、画像復号部１２０は、次のピクチャの復号処理を同時に開始する。
　このように、制御部１３０は、第１復号部１２１及び第２復号部１２２により、符号化ビットストリーム１１０及び１１１の予め定められた復号処理単位（ピクチャ単位）の復号処理が共に完了した後、第１復号部１２１及び第２復号部１２２に次の復号処理単位の復号処理を開始させる。
　具体的には、第１制御部１３１は、第１復号部１２１による符号化ビットストリーム１１０の復号処理単位の復号処理が完了し、かつ、フラグ格納部１８０に第２完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１０の復号処理を第１復号部１２１に開始させる。
　また、第２制御部１３２は、第２復号部１２２による符号化ビットストリーム１１１の復号処理単位の復号処理が完了し、かつ、フラグ格納部１８０に第１完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１１の復号処理を第２復号部１２２に開始させる。
　なお、ここでは、Ｒ側の復号処理が完了するまで、Ｌ側の次のピクチャの復号処理を待機させ、Ｌ側の復号処理が完了するまで、Ｒ側の次のピクチャの復号処理を待機させているが、Ｌ側の復号処理がＲ側の復号処理より先に完了した場合に、Ｒ側の復号処理の完了を待たずに、Ｌ側の次のピクチャの復号処理を行なってもよい。なぜなら、Ｒ側はＬ側の復号ピクチャを参照ピクチャとして用いるが、Ｌ側はＲ側の復号ピクチャを参照ピクチャとして用いないので、先行して復号処理を行っても参照ピクチャが復号されていない等の問題は発生しない。
　ただし、Ｌ側の復号処理が大きく先行した場合、表示のためにＬ側の復号ピクチャを格納するための格納領域が多く必要となる。または、Ｒ側での使用完了を含めたフレームメモリの空き状況を管理し、できるところまでＬ側の復号処理を先行させる制御を行うことも考えられるが制御が複雑になる。よって、図１４に示すように、Ｒ側の復号処理が完了するまで、Ｌ側の次のピクチャの復号処理を待機させ、Ｌ側の復号処理が完了するまで、Ｒ側の次のピクチャの復号処理を待機させていることが好ましい。
　ここで、従来の画像復号装置では、複数のビットストリームの復号処理に関する同期の課題が存在する。
　具体的には、Ｈ．２６４－ＭＶＣのような視点間予測を用いた符号化方式で圧縮された画像データを復号する過程において、ノンベースビューの画像の復号には、同じ表示時刻のベースビューの復号後画像を動き補償時の参照画像とする場合がある。よって、ベースビューの復号処理タイミングとノンベースビューの復号処理タイミングとには依存関係が存在する。なお、３視点以上の場合、ノンベースビューの画像の復号には、同じ表示時刻の異なるノンベースビュー又はベースビューの復号画像を動き補償時の参照画像とする場合もある。
　よって、所定の単位ごとに、各チャネルの復号処理の同期を取りながら、複数ビットストリームの復号を行う必要があるため、従来の画像復号装置のように、各チャネルの画像の復号タイミングは、お互いに他のチャネルの復号状況を考慮することなく任意とし、表示の際に各チャネルの同期を取って再生する構成の場合、復号時の各チャネル間の参照が上手く行われず、正しく復号処理が行えないという課題が発生する。
　一方で、本発明の実施の形態１に係る画像復号装置１００は、第１制御部１３１と第２制御部１３２とを同時に起動するとともに、完了の待ち合わせを行うことにより、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
　また、本発明の実施の形態１に係る画像復号装置１００は、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリームの参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００は、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　次に、ＤＰＢリスト１４１ａ及び１４１ｂとフレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図１５を用いて説明する。
　（期間Ｔ１０）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＩピクチャ（Ｌ－Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３にＩピクチャ（Ｌ－Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＩピクチャ（Ｌ－Ｉ）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　ビュー間参照が発生する可能性があるため、期間Ｔ１０ではＲ側符号化ビットストリームの処理は行わずに、期間Ｔ１１から開始する。
　（期間Ｔ１１）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＰピクチャ（Ｐｌ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ－Ｐｌ）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＩピクチャ（Ｒ－Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
　（期間Ｔ１２）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ２）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ１）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
　（期間Ｔ１３）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＢピクチャ（Ｌ－Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録される。しかし、当該Ｂピクチャ（Ｌ－Ｂ１）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＢピクチャ（Ｌ－Ｂ１）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＰピクチャ（Ｌ－Ｂ１）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ２）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｉピクチャ（Ｌ－Ｉ）は画像表示されるが、当該Ｉピクチャ（Ｌ－１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｐピクチャ（Ｒ－Ｐ１）は画像表示されるが、当該Ｐピクチャ（Ｒ－Ｐ１）は、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
　（期間Ｔ１４）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＢピクチャ（Ｒ－Ｂ１）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ－Ｂ１）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｐピクチャ（Ｌ－Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｐピクチャ（Ｒ－Ｐ１）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
　（期間Ｔ１５）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＢピクチャ（Ｌ－Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。また、当該Ｂピクチャ（Ｌ－Ｂ２）は、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「１」にＢピクチャ（Ｌ－Ｂ２）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「１」にＢピクチャ（Ｌ－Ｂ２）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ３）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のベースアドレスが削除される。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｂピクチャ（Ｌ－Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ－Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｂピクチャ（Ｒ－Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ－Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」から登録されていたベースアドレスが削除される。
　（期間Ｔ１６）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ４）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「１」に登録されていたＰピクチャ（Ｌ－Ｐ１）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されていたＩピクチャ（Ｌ－Ｐ１）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ４）が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）のベースアドレスが登録される。
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＢピクチャ（Ｒ－Ｂ２）がフレームメモリ１７０に格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。また、当該Ｂピクチャ（Ｒ－Ｂ２）は後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｐピクチャ（Ｌ－Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「２」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｐピクチャ（Ｒ－Ｐ２）は画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「２」に登録されているシンタックス情報は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録されているベースアドレスは削除されない。
　このように、本発明の実施の形態１に係る画像復号装置１００は、第１制御部１３１と第２制御部１３２とを同時に起動するとともに、完了の待ち合わせを行うことにより、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
　なお、本発明の実施の形態１に係る画像復号装置１００は、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
　また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　（実施の形態２）
　図１６は、本発明の実施の形態２に係る画像復号装置１００Ａの構成を示す図である。
　以下、本発明の実施の形態２に係る画像復号装置１００Ａの構成について説明する。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
　具体的には、図１６に示す画像復号装置１００Ａは、画像復号部２２０の構成が、図２に示す画像復号部１２０の構成と異なる。
　画像復号部２２０は、選択部２２１と、復号部２２２とを備える。
　選択部２２１は、符号化ビットストリーム１１０及び１１１のうち一方を選択し、選択した符号化ビットストリームを復号部２２２へ出力する。
　復号部２２２は、選択部２２１により出力された符号化ビットストリームを復号する。なお、復号部２２２の内部構成は、実施の形態１で説明した第１復号部１２１及び第２復号部１２２と同じ構成である。
　本実施の形態の画像復号装置に入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣを用いて符号化されている。また、Ｈ．２６４－ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
　上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態２の画像復号装置１００Ａについて、その動作を説明する。
　本実施の形態では１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中の画像の格納用に１枚必要である。
　さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャが復号完了したあとに図１７のようなタイミングで表示されるものとする。具体的には、期間Ｔ２１において、Ｌ側のピクチャＬ１の復号処理が行われる。次に、期間Ｔ２２において、Ｒ側のピクチャＲ１の復号処理が行われる。次に、期間Ｔ２３において、Ｌ側のピクチャＬ１の復号処理が行われる。また、期間Ｔ２４において、ピクチャＬ１及びピクチャＲ１が表示される。なお、ピクチャＬ１及びピクチャＲ１は同一のアクセスユニットに含まれるピクチャである。
　このように、表示中に次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。
　したがって、フレームメモリ１７０は、合計１０枚（Ｌ側５枚、Ｒ側５枚）のピクチャが格納できる領域を備えているものとする。
　本実施の形態において、復号部２２２が符号化ビットストリーム１１０と符号化ビットストリーム１１１との復号処理を交互に行うため、ビュー間参照用シンタックス情報リスト１４３及びビュー間参照用フレームメモリマッピングリスト１４４には１ピクチャ分の領域を確保する。
　また、入力される符号化ビットストリーム１１０及び１１１の構成も実施の形態１と同様である。
　まず、本実施の形態の画像復号装置１００Ａは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１及び第２制御部１３２は次のように交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
　まず、Ｌ側のピクチャの復号処理について説明する。
　第１制御部１３１は、以下の処理ステップで、復号部２２２を制御し、Ｌ側符号化ビットストリーム１１０のピクチャ復号処理を行う。なお、第１制御部１３１による処理手順は、図１２に示す処理と同様なので、図１２を用いて説明を行う。
　まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
　次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
　次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
　次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
　次に、第１制御部１３１は、上記ステップＳ１０２～Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを第１復号部１２１に設定する。また、第１制御部１３１は、Ｌ側符号化ビットストリーム１１０を選択するように選択部２２１を設定する。また、第１制御部１３１は、復号部２２２を起動する（Ｓ１０５）。
　次に、復号部２２２は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部２２２は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部２２２は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
　次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を復号部２２２から取得する（Ｓ１０７）。
　次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。
　次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。
　次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
　次に、第１制御部１３１は、ステップＳ１０２で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
　次に、第１制御部１３１は、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
　次に、Ｒ側のピクチャの復号処理について説明する。
　上記ステップＳ１０１～Ｓ１１２で、一連のＬ側符号化ビットストリーム１１０の復号処理が完了した後、第２制御部１３２は、以下の処理ステップで、復号部２２２を制御し、Ｒ側符号化ビットストリーム１１１の復号処理を行う。
　なお、第２制御部１３２による処理手順は、図１３に示す処理と同様なので、図１３を用いて説明を行う。
　まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
　次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ２０２）。
　次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ２０３）。
　次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
　次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
　次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
　次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部２２２に設定する。また、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１を選択するように選択部２２１を設定する。また、第２制御部１３２は、復号部２２２を起動する（Ｓ２０７）。
　次に、復号部２２２は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部２２２は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部２２２は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
　次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を復号部２２２から取得する（Ｓ２０９）。
　次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。
　次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。
　次に、第２制御部１３２は、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
　以上のように、第１制御部１３１と第２制御部１３２とを交互に動作させることで、図１８のように符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
　例えば、図１８に示す時刻ｔ１１において、Ｌ側の復号処理が開始される。つまり、上述した図１２に示す処理が行われる。また、時刻ｔ１２においてＬ側の復号処理が終了し、次に、Ｒ側の復号処理が開始される。つまり、上述した図１３に示す処理が行われる。また、時刻ｔ１３においてＲ側の復号処理が終了し、次に、Ｌ側の復号処理が開始される。
　このように、制御部１３０は、選択部２２１に符号化ビットストリーム１１０及び１１１のうちの一方の信号を選択させる。また、制御部１３０は、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、選択部２２１に符号化ビットストリーム１１０及び１１１のうちの他方の信号を選択させる。
　具体的には、第１制御部１３１は、フラグ格納部１８０に第２完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１０の復号処理を復号部２２２に開始させる。
　また、第２制御部１３２は、フラグ格納部１８０に第１完了フラグが格納されている場合、次の復号処理単位の符号化ビットストリーム１１１の復号処理を復号部２２２に開始させる。
　次に、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図１９を用いて説明する。
　（期間Ｔ３０）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＩピクチャ（Ｌ－Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＩピクチャ（Ｌ－Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｉ）のベースアドレスが登録される。
　（期間Ｔ３１）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＩピクチャ（Ｒ－Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。
　（期間Ｔ３２）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ１）のベースアドレスが登録される。
　（期間Ｔ３３）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
　（期間Ｔ３４）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ２）のベースアドレスが登録される。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｉピクチャ（Ｌ－Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｉピクチャ（Ｒ－Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されているベースアドレスは削除されない。
　（期間Ｔ３５）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「２」に登録される。
　（期間Ｔ３６）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＢピクチャ（Ｌ－Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｉピクチャ（Ｌ－Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「１」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｉピクチャ（Ｒ－Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
　（期間Ｔ３７）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＢピクチャ（Ｒ－Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
　（期間Ｔ３８）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のシンタックス情報１１３、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）のベースアドレスが登録される。
　（Ｌ側符号化ビットストリーム１１１の画像表示）
　Ｂピクチャ（Ｌ－Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ－Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｂピクチャ（Ｒ－Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ－Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「３」から登録されていたベースアドレスが削除される。
　（期間Ｔ３９）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「４」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のベースアドレスが削除される。
　このように、本発明の実施の形態２に係る画像復号装置１００Ａは、第１制御部１３１と第２制御部１３２とを交互に動作させることで、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
　また、本発明の実施の形態２に係る画像復号装置１００Ａは、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ａは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　なお、本発明の実施の形態２に係る画像復号装置１００Ａは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
　また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　（実施の形態３）
　図２０は、本発明の実施の形態３に係る画像復号装置１００Ｂの構成を示す図である。
　以下、本発明の実施の形態３に係る画像復号装置１００Ｂの構成について説明する。なお、図１６と同様の要素には同様の符号を付しており、重複する説明は省略する。
　具体的には、図２０に示す画像復号装置１００Ｂは、管理情報格納部２４０の構成が、図１６に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図１６に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。
　本実施の形態ではこのフレームメモリマッピングリスト１４２ｃを用いてフレームメモリ１７０の状態を管理する。
　図２１は、フレームメモリマッピングリスト１４２ｃの構成を示す図である。例えば、フレームメモリマッピングリスト１４２ｃは、図２１に示すようなテーブル形式である。なお、図７と同様の要素には同様の符号を付している。
　図２１に示すように、フレームメモリマッピングリスト１４２ａは、復号ピクチャごとに対応付けられた複数のエントリを含む。各エントリは、フレームメモリアドレス２０３と、ＤＰＢリストインデックス２０４ａ及び２０４ｂと、ビュー間参照用シンタックス情報インデックス２０５と、画像表示ステータス２０６と、状態情報２０７とを含む。
　ＤＰＢリストインデックス２０４ａは、当該復号ピクチャに対応するＤＰＢリスト１４１ａのインデックス２０１を示す。
　ＤＰＢリストインデックス２０４ｂは、当該復号ピクチャに対応するＤＰＢリスト１４１ｂのインデックス２０１を示す。
　図２１に示す例では、フレームメモリアドレス２０３が「０」及び「３」のエントリは、Ｌ側復号処理の復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ａに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「１」及び「４」のエントリは、Ｒ側復号処理の復号ピクチャバッファ（ＤＰＢ）として使用されており、ＤＰＢリスト１４１ｂに付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「５」のエントリは、ビュー間参照用ピクチャとして使用されており、ビュー間参照用シンタックス情報リスト１４３に付与されている該当インデックス２０１が割り当てられている。また、フレームメモリアドレス２０３が「６」のエントリは、テンポラリバッファとして用いられている（画像表示されていないピクチャが格納されている）ため使用することができない。よって、この例では復号ピクチャバッファ（ＤＰＢ）として使用されておらず、かつテンポラリバッファとしても使用されていないフレームメモリアドレス２０３が「１」及び「６」のエントリが未使用であると特定できる。
　本実施の形態の画像復号装置１００Ｂに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣを用いて符号化されている。また、Ｈ．２６４－ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
　上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態３の画像復号装置１００Ｂについて、その動作を説明する。
　本実施の形態では、実施の形態２と同様に、１ストリームにつき参照に必要なピクチャ枚数は３枚とする。また、前述のように復号中のピクチャの格納用に１枚必要とする。さらに、画像表示は同一アクセスユニットに属するＬ側のピクチャとＲ側のピクチャが復号完了したあとに図１７のようなタイミングで表示されるものとする。よって、表示中に次のピクチャの復号処理を開始させるため、格納領域を表示用に１枚設ける。ただし、この格納領域を、Ｌ側符号化ビットストリームとＲ側符号化ビットストリームとで共通に管理することで、上記実施の形態２に比べ、格納領域を１枚分削減できる。よって、フレームメモリ１７０は、合計９枚のピクチャが格納できる領域を備えているものとする。
　まず、本実施の形態の画像復号装置１００Ｂは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２とは実施の形態２と同様に交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
　以下、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係について、図２２を用いて説明する。
　（期間Ｔ４０）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＩピクチャ（Ｌ－Ｉ）がフレームメモリ１７０に格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＩピクチャ（Ｌ－Ｉ）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｉ）のベースアドレスが登録される。
　（期間Ｔ４１）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＩピクチャ（Ｒ－Ｉ）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録される。
　（期間Ｔ４２）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ１）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ１）のベースアドレスが登録される。
　（期間Ｔ４３）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ１）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「１」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録される。
　（期間Ｔ４４）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ａのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「４」に登録される。
　また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ２）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ２）のベースアドレスが登録される。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｉピクチャ（Ｌ－Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｉピクチャ（Ｒ－Ｉ）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「０」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されているベースアドレスは削除されない。
　（期間Ｔ４５）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ２）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「２」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「５」に登録される。
　（期間Ｔ４６）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＢピクチャ（Ｌ－Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ａのインデックス番号「６」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ａにはシンタックス情報１１３は登録されない。
　（Ｌ側符号化ビットストリーム１１０の画像表示）
　Ｉピクチャ（Ｌ－Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ａのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ａのインデックス番号「２」に登録されているベースアドレスは削除されない。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｉピクチャ（Ｒ－Ｐ１）は復号処理後に画像表示されるが、後続のピクチャの復号時に参照ピクチャと成りうるためＤＰＢリスト１４１ｂのインデックス番号「１」に登録されているシンタックス情報１１３は削除されない。同様に、フレームメモリマッピングリスト１４２ｂのインデックス番号「３」に登録されているベースアドレスは削除されない。
　（期間Ｔ４７）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＢピクチャ（Ｒ－Ｂ１）がフレームメモリに格納され、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「７」に登録されるが、後続のピクチャの復号時に参照されないためＤＰＢリスト１４１ｂにはシンタックス情報１１３は登録されない。
　（期間Ｔ４８）
　（Ｌ側符号化ビットストリーム１１０の復号処理）
　復号されたＰピクチャ（Ｌ－Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「８」に登録される。その際、ＤＰＢリスト１４１ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ａのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のベースアドレスが削除される。また、ビュー間参照用シンタックス情報リスト１４３のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）のシンタックス情報１１３が登録される。また、ビュー間参照用フレームメモリマッピングリスト１４４のインデックス番号「０」にＰピクチャ（Ｌ－Ｐ３）のベースアドレスが登録される。
　（Ｌ側符号化ビットストリーム１１１の画像表示）
　Ｂピクチャ（Ｌ－Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｌ－Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「６」から登録されていたベースアドレスが削除される。
　（Ｒ側符号化ビットストリーム１１１の画像表示）
　Ｂピクチャ（Ｒ－Ｂ１）が画像表示され、且つビュー間参照用としてもＢピクチャ（Ｒ－Ｂ１）が使用されていないため、フレームメモリマッピングリスト１４２ａのインデックス番号「７」から登録されていたベースアドレスが削除される。
　（期間Ｔ４９）
　（Ｒ側符号化ビットストリーム１１１の復号処理）
　復号されたＰピクチャ（Ｒ－Ｐ３）がフレームメモリに格納され、シンタックス情報１１３がＤＰＢリスト１４１ｂのインデックス番号「０」に登録される。また、ベースアドレスがフレームメモリマッピングリスト１４２ｂのインデックス番号「０」に登録される。その際、ＤＰＢリスト１４１ｂのインデックス番号「０」に登録されていたＩピクチャ（Ｌ－Ｉ）のシンタックス情報、及びフレームメモリマッピングリスト１４２ｂのインデックス番号「１」に登録されていたＩピクチャ（Ｌ－Ｉ）のベースアドレスが削除される。
　このように、本発明の実施の形態３に係る画像復号装置１００Ｂは、第１制御部１３１と第２制御部１３２とを交互に動作させることで、符号化ビットストリーム１１０及び１１１の復号処理の同期をとることができる。
　また、本発明の実施の形態３に係る画像復号装置１００Ｂは、Ｒ側符号化ビットストリーム１１１の復号処理の際に共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｂは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　さらに、画像復号装置１００Ｂは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリーム１１０とＲ側符号化ビットストリーム１１１で共通に管理することでフレームメモリ１７０の容量を削減することができる。よって、画像復号装置１００Ｂは、コストを下げることができる。
　なお、本発明の実施の形態３に係る画像復号装置１００Ｂは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、第１制御部１３１と第２制御部１３２とはピクチャ単位（フレーム単位）で待ち合わせを行うことで同期を取っているが、フィールド構造などの場合は２フィールドピクチャ単位での同期としてもよい。また、第１制御部１３１と第２制御部１３２とは、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で同期をとってもよい。
　また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　（実施の形態４）
　図２３は、本発明の実施の形態４に係る画像復号装置１００Ｃの構成を示すブロック図である。なお、図２と同様の要素には同様の符号を付しており、重複する説明は省略する。
　図２３に示す画像復号装置１００Ｃは、図２に示す画像復号装置１００の構成に加え、さらに、ストリーム結合部１９０を備える。また、画像復号装置１００Ｃは、画像復号部１２０の代わりに画像復号部３２０を備える。
　ストリーム結合部１９０は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１を１つの符号化ビットストリーム３１０に結合する。具体的には、ストリーム結合部１９０は、符号化ビットストリーム１１０と符号化ビットストリーム１１１とを予め定められた符号化単位ごとに交互に配置することにより１つの符号化ビットストリーム３１０を生成する。
　画像復号部３２０は、復号部３２１を備える。復号部３２１は、符号化ビットストリーム３１０に含まれる符号化ビットストリーム１１０及び符号化ビットストリーム１１１を上記符号化単位ごとに交互に復号する。なお、復号部３２１の構成は、図２に示す第１復号部１２１及び第２復号部１２２の構成と同様である。
　本実施の形態の画像復号装置１００Ｃに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣを用いて符号化されている。また、Ｈ．２６４－ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
　ここで、Ｈ．２６４－ＭＶＣのストリームの構造について補足する。
　Ｈ．２６４規格において、符号化された情報をＮＡＬユニットと呼ばれるレイヤに分離することが定義されている。それぞれのＮＡＬユニットにはスタートコードと呼ばれる識別可能な符号が付与されている。また、スタートコードに後続するＮＡＬヘッダによってＮＡＬユニットの種類を判別することができるようになっている。ＮＡＬユニットの種類とは、例えば、シーケンスパラメータセット、ピクチャパラメータセット、及びスライスなどがある。
　Ｈ．２６４－ＭＶＣにおいては、ＮＡＬヘッダを解析することで前述のシーケンスパラメータセット、ピクチャパラメータセット、及びスライスなどが属するビュー（ベースビュー又はノンベースビュー）を判別できるようになっている。
　ストリーム結合部１９０は、符号化ビットストリーム１１０及び１１１のストリーム解析を行い、符号化ビットストリーム１１０及び１１１を所定の単位で符号化ビットストリームの状態で交互に出力することで符号化ビットストリーム３１０を生成する。本実施の形態では、ストリーム結合部１９０は、Ｌ側符号化ビットストリーム１１０を先頭に、１ピクチャ単位で符号化ビットストリーム１１０及び１１１を交互に出力することでピクチャインターリーブされた符号化ビットストリーム３１０を生成する。言い換えると、ストリーム結合部１９０は、同一アクセスユニットに含まれる１ピクチャ単位の符号化ビットストリーム１１０と符号化ビットストリーム１１１とのうち、１ピクチャ単位の符号化ビットストリーム１１０を配置した後に、１ピクチャ単位の符号化ビットストリーム１１１を配置することにより符号化ビットストリーム３１０を生成する。
　以下、上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態４の画像復号装置１００Ｃについて、その動作を説明する。
　本実施の形態の画像復号装置１００Ｃでは、第１制御部１３１と第２制御部１３２とは次のように動作することで符号化ビットストリーム３１０の復号処理の同期をとる。
　まず、Ｌ側のピクチャの復号処理について説明する。
　第１制御部１３１は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＬ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
　なお、第１制御部１３１による処理手順は、図１２に示す処理と同様なので、図１２を用いて説明を行う。
　まず、第１制御部１３１は、フラグ格納部１８０に格納されている第１完了フラグをクリアする（Ｓ１０１）。
　次に、第１制御部１３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ１０２）。
　次に、第１制御部１３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ１０３）。
　次に、第１制御部１３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部１３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ１０４）。
　次に、第１制御部１３１は、上記ステップＳ１０２～Ｓ１０４で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを設定し、復号部３２１を起動する（Ｓ１０５）。なお、ストリームは１本に結合されているため、実施の形態２のような復号対象ストリームの設定は不要となる。
　次に、復号部３２１は、ステップＳ１０５で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ１０５で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部１３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ１０６）。
　次に、第１制御部１３１は、ステップＳ１０６で復号処理が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ１０７）。
　次に、第１制御部１３１は、ステップＳ１０５で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ１０７で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ１０８）。
　次に、第１制御部１３１は、ステップＳ１０８におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部１３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ１０９）。
　次に、第１制御部１３１は、ステップＳ１０７で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ１１０）。
　次に、第１制御部１３１は、ステップＳ１０２で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ１１１）。
　次に、第１制御部１３１は、入力される符号化ビットストリームがＲ側符号化ビットストリームのデータであれば、Ｌ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第１完了フラグをセットする（Ｓ１１２）。
　次に、Ｒ側のピクチャの復号処理について説明する。
　上記ステップＳ１０１～Ｓ１１２の後、第２制御部１３２は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＲ側符号化ビットストリーム１１１の復号処理を行う。
　なお、第２制御部１３２による処理手順は、図１３に示す処理と同様なので、図１３を用いて説明を行う。
　まず、第２制御部１３２は、フラグ格納部１８０に格納されている第２完了フラグをクリアする（Ｓ２０１）。
　次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ２０２）。
　次に、第２制御部１３２は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ２０３）。
　次に、第２制御部１３２は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ２０４）。
　次に、第２制御部１３２は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ２０５）。
　次に、第２制御部１３２は、フレームメモリマッピングリスト１４２ｂを取得する。また、第２制御部１３２は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ２０６）。
　次に、第２制御部１３２は、ステップＳ２０３、Ｓ２０４、Ｓ２０５及びＳ２０６で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部３２１に設定し、復号部３２１を起動する（Ｓ２０７）。なお、ストリームは１本に結合されているため、実施の形態２のような復号対象ストリームの設定は不要となる。
　次に、復号部３２１は、ステップＳ２０７で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ２０７で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第２制御部１３２に当該ピクチャの復号処理が完了したことを通知する（Ｓ２０８）。
　次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ２０９）。
　次に、第２制御部１３２は、ステップＳ２０８で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャにとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ２１０）。
　次に、第２制御部１３２は、ステップＳ２１０におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第２制御部１３２からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ２１１）。
　次に、第２制御部１３２は、入力される符号化ビットストリームがＬ側符号化ビットストリームのデータであれば、Ｒ側の復号処理を一旦、停止するとともに、フラグ格納部１８０に第２完了フラグをセットする（Ｓ２１２）。
　なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係については実施の形態２と同様である。
　このように、本発明の実施の形態４に係る画像復号装置１００Ｃは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
　また、本発明の実施の形態４に係る画像復号装置１００Ｃは、Ｒ側符号化ビットストリーム１１１の復号処理の際に、共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｃは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　なお、本発明の実施の形態４に係る画像復号装置１００Ｃは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
　また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
　（実施の形態５）
　図２４は、本発明の実施の形態５に係る画像復号装置１００Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
　具体的には、図２４に示す画像復号装置１００Ｄは、管理情報格納部２４０の構成が、図２３に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図２３に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。言い換えると、管理情報格納部２４０の構成は、図２０に示す管理情報格納部２４０と同様である。
　本実施の形態の画像復号装置１００Ｄに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣを用いて符号化されている。また、Ｈ．２６４－ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
　上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態５の画像復号装置１００Ｄについて、その動作を説明する。
　本実施の形態では、実施の形態３と同様に、フレームメモリは合計９枚のピクチャが格納できる領域を備えているものとする。
　まず、本実施の形態５に係る画像復号装置１００Ｄは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。また、第１制御部１３１と第２制御部１３２とは実施の形態４と同様に交互に動作することで符号化ビットストリーム１１０及び１１１の復号処理の同期をとる。
　また、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係は図２２と同様である。
　このように、本発明の実施の形態５に係る画像復号装置１００Ｄは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
　また、本発明の実施の形態５に係る画像復号装置１００Ｄは、Ｒ側符号化ビットストリーム１１１の復号処理の際に、共通でアクセスできるビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｄは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　さらに、本発明の実施の形態５に係る画像復号装置１００Ｄは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリーム１１０とＲ側符号化ビットストリーム１１１とで共通に管理することでフレームメモリ容量を削減することができ、コストを下げることができる。
　なお、本発明の実施の形態５に係る画像復号装置１００Ｄは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
　また、本実施の形態で述べている第１制御部１３１及び第２制御部１３２は、実際はプロセッサを２個搭載してもよいし、論理的な２つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
　（実施の形態６）
　図２５は、本発明の実施の形態６に係る画像復号装置１００Ｅの構成を示すブロック図である。なお、図２３と同様の要素には同様の符号を付しており、重複する説明は省略する。
　図２５に示す画像復号装置１００Ｅは、制御部２３０の構成が、図２３に示す制御部１３０の構成と異なる。また、画像復号装置１００Ｅは、フラグ格納部１８０を備えない点が図２３に示す画像復号装置１００Ｃと異なる。
　制御部２３０は、第１制御部２３１を備える。
　第１制御部２３１は、符号化ビットストリーム１１０及び符号化ビットストリーム１１１が結合された符号化ビットストリーム３１０の復号処理を制御する。
　第１制御部２３１は、ＤＰＢリスト１４１ａ及びビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ａと、ビュー間参照用フレームメモリマッピングリスト１４４とをもとに、符号化ビットストリーム３１０に結合された符号化ビットストリーム１１０の復号処理の制御を行う。また、第１制御部２３１は、ＤＰＢリスト１４１ｂ及びビュー間参照用シンタックス情報リスト１４３と、フレームメモリマッピングリスト１４２ｂと、ビュー間参照用フレームメモリマッピングリスト１４４とをもとに、符号化ビットストリーム３１０に結合された符号化ビットストリーム１１１の復号処理の制御を行う。
　図２６は、第１制御部２３１の処理を示す図である。
　図２６のように、第１制御部２３１は、ベースビューであるＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス情報１１３をビュー間参照用シンタックス情報リスト１４３に格納する。また、第１制御部２３１は、ノンベースビューであるＲ側符号化ビットストリーム１１１の復号時には、ビュー間参照用シンタックス情報リスト１４３を取得する。
　本実施の形態の画像復号装置１００Ｅに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣを用いて符号化されている。また、Ｈ．２６４－ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
　上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態６の画像復号装置１００Ｅについて、その動作を説明する。
　本実施の形態の画像復号装置１００Ｅは、次のように動作することで符号化ビットストリーム３１０の復号処理を行う。
　まず、Ｌ側のピクチャの復号処理について説明する。
　第１制御部２３１は、以下の処理ステップで、復号部３２１を制御し、符号化ビットストリーム３１０に結合されたＬ側符号化ビットストリーム１１０のピクチャ復号処理を行う。
　図２７は、画像復号装置１００ＥによるＬ側の復号処理のフローチャートである。
　まず、第１制御部２３１は、復号対象ピクチャの復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ３０１）。
　次に、第１制御部２３１は、Ｌ側のＤＰＢリスト１４１ａを管理情報格納部１４０から取得する（Ｓ３０２）。
　次に、第１制御部２３１は、フレームメモリマッピングリスト１４２ａを取得する。また、第１制御部２３１は、取得したＤＰＢリスト１４１ａ及びフレームメモリマッピングリスト１４２ａを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ３０３）。
　次に、第１制御部２３１は、上記ステップＳ３０１～Ｓ３０３で得られた復号対象ピクチャ及び参照ピクチャのベースアドレス、及びＤＰＢリスト１４１ａを設定し、復号部３２１を起動する（Ｓ３０４）。
　次に、復号部３２１は、ステップＳ３０４で設定された参照ピクチャのベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１０を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ３０４で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部２３１に当該復号対象ピクチャの復号処理が完了したことを通知する（Ｓ３０５）。
　次に、第１制御部２３１は、ステップＳ３０５で復号処理が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ３０６）。
　次に、第１制御部２３１は、ステップＳ３０４で復号処理が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ステップＳ３０６で取得したシンタックス情報１１３を用いて、管理情報格納部１４０内のＤＰＢリスト１４１ａを更新する（Ｓ３０７）。
　次に、第１制御部２３１は、ステップＳ３０７におけるＤＰＢリスト１４１ａの更新により、ＤＰＢリスト１４１ａから外れたピクチャが存在する場合、ＤＰＢリスト１４１ａの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部２３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ａを更新する（Ｓ３０８）。
　次に、第１制御部２３１は、ステップＳ３０６で得られたシンタックス情報１１３をビュー間参照用のシンタックス情報としてビュー間参照用シンタックス情報リスト１４３に格納する（Ｓ３０９）。
　次に、第１制御部２３１は、ステップＳ３０１で得られたベースアドレスをビュー間参照用フレームメモリマッピングリスト１４４に格納する（Ｓ３１０）。
　また、第１制御部２３１は、入力される符号化ビットストリームがＲ側符号化ビットストリームのデータであれば、次に、Ｒ側の復号処理を開始する。
　次に、Ｒ側のピクチャの復号処理について説明する。
　上記ステップＳ４０１～Ｓ４１０の後、第１制御部２３１は、以下の処理ステップで、画像復号部３２０を制御し、符号化ビットストリーム３１０に結合されたＲ側符号化ビットストリーム１１１の復号処理を行う。
　図２８は、画像復号装置１００ＥによるＲ側の復号処理のフローチャートである。
　まず、第１制御部２３１は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのシンタックス情報１１３を、管理情報格納部１４０内のビュー間参照用シンタックス情報リスト１４３から取得し、ビュー間参照ピクチャを特定する（Ｓ４０１）。
　次に、第１制御部２３１は、Ｒ側符号化ビットストリーム１１１の復号処理において参照できるＬ側の復号ピクチャのベースアドレスを、管理情報格納部１４０内のビュー間参照用フレームメモリマッピングリスト１４４から取得する（Ｓ４０２）。
　次に、第１制御部２３１は、復号対象ピクチャ（Ｒ側ピクチャ）の復号結果を格納するフレームメモリ１７０のベースアドレスをフレームメモリ管理部１５０から取得する（Ｓ４０３）。
　次に、第１制御部２３１は、Ｒ側のＤＰＢリスト１４１ｂを管理情報格納部１４０から取得する（Ｓ４０４）。
　次に、第１制御部２３１は、フレームメモリマッピングリスト１４２ｂを取得する。また、第１制御部２３１は、取得したＤＰＢリスト１４１ｂ及びフレームメモリマッピングリスト１４２ｂを参照して、ビュー内参照用の参照ピクチャのベースアドレスを取得する（Ｓ４０５）。
　次に、第１制御部２３１は、ステップＳ４０２、Ｓ４０３、Ｓ４０４及びＳ４０５で得られた復号対象ピクチャ、ビュー内参照用の参照ピクチャ及びビュー間参照用の参照ピクチャのベースアドレスと、復号対象ピクチャのＤＰＢリスト１４１ｂとを復号部３２１に設定し、復号部３２１を起動する（Ｓ４０６）。
　次に、復号部３２１は、ステップＳ４０６で設定されたビュー内参照用又はビュー間参照用のベースアドレスから参照ピクチャを取得し、取得した参照ピクチャを用いて符号化ビットストリーム１１１を復号することにより復号ピクチャを生成する。また、復号部３２１は、生成した復号ピクチャを、ステップＳ４０６で設定された復号対象ピクチャのベースアドレスに格納する。また、復号部３２１は、第１制御部２３１に当該ピクチャの復号処理が完了したことを通知する（Ｓ４０７）。
　次に、第１制御部２３１は、ステップＳ４０７で復号が完了したピクチャのシンタックス情報１１３を復号部３２１から取得する（Ｓ４０８）。
　次に、第１制御部２３１は、ステップＳ４０７で復号が完了したピクチャが、後続のピクチャの復号時に参照ピクチャとして用いられる場合は、ＤＰＢリスト１４１ｂを更新する（Ｓ４０９）。
　次に、第１制御部２３１は、ステップＳ４０９におけるＤＰＢリスト１４１ｂの更新により、ＤＰＢリストから外れたピクチャが存在する場合、ＤＰＢリスト１４１ｂの該当ピクチャのインデックス２０１をフレームメモリ管理部１５０に通知する。フレームメモリ管理部１５０は、第１制御部２３１からインデックス２０１が通知された場合、フレームメモリマッピングリスト１４２ｂを更新する（Ｓ４１０）。
　また、第１制御部２３１は、入力される符号化ビットストリームがＬ側符号化ビットストリームのデータであれば、次に、Ｌ側の復号処理を開始する。
　なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係については実施の形態２と同様である。
　このように、本発明の実施の形態６に係る画像復号装置１００Ｅは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
　また、本発明の実施の形態６に係る画像復号装置１００Ｅは、１つの第１制御部２３１で符号化ビットストリーム１１０及び１１１の制御を行うことでビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリーム１１０の参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｅは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　なお、本発明の実施の形態６に係る画像復号装置１００Ｅは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
　また、本実施の形態で述べている第１制御部２３１は、実際はプロセッサを１個搭載してもよいし、論理的な１つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ａ及び１４２ｂとのうちの少なくとも一方を１つのリストによって管理し、統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
　（実施の形態７）
　図２９は、本発明の実施の形態７に係る画像復号装置１００Ｆの構成を示すブロック図である。なお、図２５と同様の要素には同様の符号を付しており、重複する説明は省略する。
　具体的には、図２９に示す画像復号装置１００Ｆは、管理情報格納部２４０の構成が、図２５に示す管理情報格納部１４０の構成と異なる。さらに具体的には、管理情報格納部２４０は、図２５に示すフレームメモリマッピングリスト１４２ａ及び１４２ｂの代わりにフレームメモリマッピングリスト１４２ｃを格納する。言い換えると、管理情報格納部２４０の構成は、図２０に示す管理情報格納部２４０と同様である。
　本実施の形態の画像復号装置１００Ｆに入力される符号化ビットストリーム１１０及び１１１は、Ｈ．２６４－ＭＶＣを用いて符号化されている。また、Ｈ．２６４－ＭＶＣ符号化の特徴及び本実施の形態の画像復号装置の構成との関連についての説明はすでに実施の形態１で述べられている通りである。
　上記のようにＨ．２６４規格及びＨ．２６４－ＭＶＣ規格に対応づけられ、構成された本発明の実施の形態７の画像復号装置１００Ｆについて、その動作を説明する。
　本実施の形態では、実施の形態３と同様に、フレームメモリ１７０は合計９枚のピクチャが格納できる領域を備えているものとする。
　まず、本実施の形態の画像復号装置１００Ｆは、Ｌ側符号化ビットストリーム１１０から復号処理を開始する。第１制御部２３１は実施の形態６と同様に動作することで符号化ビットストリーム３１０の復号処理を行う。
　なお、ＤＰＢリスト１４１ａ及び１４１ｂと、フレームメモリマッピングリスト１４２ｃと、ビュー間参照用シンタックス情報リスト１４３と、ビュー間参照用フレームメモリマッピングリスト１４４との１ピクチャ時間ごとの関係は図２２と同様である。
　このように、本発明の実施の形態７に係る画像復号装置１００Ｆは、符号化ビットストリーム１１０及び１１１を結合して１本の符号化ビットストリーム３１０とすることで復号処理の同期をとることができる。
　また、本発明の実施の形態７に係る画像復号装置１００Ｆは、１つの第１制御部２３１で符号化ビットストリーム１１０及び１１１の制御を行うことでビュー間参照用シンタックス情報リスト１４３を介してＬ側符号化ビットストリームの参照ピクチャのシンタックス管理情報を知ることができる。これにより、画像復号装置１００Ｆは、視点間予測を用いて符号化された符号化ビットストリームの復号が可能になる。
　さらに、本発明の実施の形態７に係る画像復号装置１００Ｆは、フレームメモリマッピングリスト１４２ｃをＬ側符号化ビットストリームとＲ側符号化ビットストリームで共通に管理することでフレームメモリ１７０の容量を削減することができる。よって、画像復号装置１００Ｆは、コストを下げることができる。
　なお、本発明の実施の形態７に係る画像復号装置１００Ｆは、Ｈ．２６４規格に限らずその他の規格に基づく符号化ビットストリームの復号にも適用可能である。
　また、本実施の形態では、ストリーム結合部１９０は符号化ビットストリーム１１０と１１１とをピクチャ単位（フレーム単位）で交互に出力することにより符号化ビットストリーム３１０を生成しているが、フィールド構造などの場合は２フィールドピクチャ単位で交互に出力してもよい。また、ストリーム結合部１９０は、Ｈ．２６４規格で定義されているパラメータセット単位（ヘッダ復号処理単位）又はスライス単位などのＮＡＬユニット単位で符号化ビットストリーム１１０と１１１とを交互に出力してもよい。
　また、本実施の形態で述べている第１制御部２３１は、実際はプロセッサを１個搭載してもよいし、論理的な１つのスレッドであってもよい。
　また、本実施の形態ではＬ側符号化ビットストリーム１１０をベースビューとし、Ｒ側符号化ビットストリーム１１１をノンベースビューとしているが、Ｒ側符号化ビットストリーム１１１をベースビューとし、Ｌ側符号化ビットストリーム１１０をノンベースビューとしてもよい。
　また、本実施の形態では２視点符号化ビットストリームについて述べているが３視点以上の符号化ビットストリームでも本発明の効果が得られることは言うまでもない。
　また、本実施の形態では、ＤＰＢリスト１４１ａ及び１４１ｂを、Ｒ側符号化ビットストリーム１１１とＬ側符号化ビットストリーム１１０とで個別に管理していたが、１つのリストによって管理し統一したインデックスを付与してもよい。
　また、本実施の形態におけるＤＰＢリスト１４１ａ及び１４１ｂに格納するシンタックス情報は一例であり、本実施の形態によって限定するものではない。
　また、本実施の形態ではＮＡＬヘッダの解析によって、符号化ビットストリーム１１０のデータか１１１のデータかを判別しているが、例えば、復号部３２１が識別可能なスタートコードと異なるビット列をストリーム結合部１９０が符号化ビットストリーム３１０に挿入してもよい。
　また、上記実施の形態１～７に係る画像復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本発明の実施の形態１～７に係る、画像復号装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記実施の形態１～７に係る、画像復号装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
　また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
　また、上記画像復号装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像復号装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る画像復号装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
　同様に、上記の画像復号装置による画像復号方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像復号方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る画像復号方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
　本発明は、画像復号装置に適用でき、特に、Ｈ．２６４－ＭＶＣのような視点間予測を用いた符号化方式で圧縮された複数の符号化ビットストリームを用いる立体画像システムに有用である。例えば、本発明は、光ディスク再生装置、光ディスク記録装置、デジタルテレビジョン受信装置、ムービー装置及び携帯電話に有用である。
　１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、５００、６００　画像復号装置
　１１０、１１１、３１０　符号化ビットストリーム
　１１２　出力画像信号
　１１３　シンタックス情報
　１１４　ＲＰＬ
　１２０、２２０、３２０　画像復号部
　１２１　第１復号部
　１２２　第２復号部
　１２３　ヘッダ解析部
　１２４　エントロピー復号部
　１２５　逆量子化部
　１２６　逆直交変換部
　１２７　イントラ予測部
　１２８　動き補償部
　１２９　デブロッキングフィルタ処理部
　１３０、２３０　制御部
　１３１、２３１　第１制御部
　１３２　第２制御部
　１４０、２４０　管理情報格納部
　１４１ａ、１４１ｂ　ＤＰＢリスト
　１４２ａ、１４２ｂ、１４２ｃ　フレームメモリマッピングリスト
　１４３　ビュー間参照用シンタックス情報リスト
　１４４　ビュー間参照用フレームメモリマッピングリスト
　１５０　フレームメモリ管理部
　１６０　画像表示部
　１７０　フレームメモリ
　１８０　フラグ格納部
　１９０　ストリーム結合部
　２０１　インデックス
　２０２　シンタックス情報
　２０３　フレームメモリアドレス
　２０４、２０４ａ、２０４ｂ　ＤＰＢリストインデックス
　２０５　ビュー間参照用シンタックス情報インデックス
　２０６　画像表示ステータス
　２０７　状態情報
　２２１　選択部
　２２２、３２１　復号部
　５０２　入力部
　５０３　ヘッダ解析部
　５０４　復号制御部
　５０５、５０６、５０７　算術復号部
　５０８、５０９、５１０　記憶部
　５１１、５１２、５１３　画像復号部
　６０１　ＶＢＶバッファ
　６０２　可変長復号器
　６０３　逆量子化器
　６０４　ＩＤＣＴ器
　６０５　加算器
　６０６　画像メモリ
　６０７　動き補償予測器
　６１１　多重分離器（Ｄｅｍｕｘ）
　６１２、６１３、６１４　信号切替器
　６２１　復号制御器
　６２２　表示制御器
　６２３　スイッチ制御器

Claims (15)

  1. 　第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号装置であって、
    　前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号部と、
    　前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として格納するためのフレームメモリとを備え、
    　前記画像復号部は、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、
    　前記画像復号装置は、さらに、
    　前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納部と、
    　前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御部とを備える
    　画像復号装置。
  2. 　前記第１管理情報は、
    　前記第１復号画像信号ごとに、前記第１符号化信号に含まれ、前記第１復号画像信号を特定するための第１シンタックス情報と、当該第１シンタックス情報に対応付けられた第１識別番号とを含む第１シンタックス情報リストと、
    　前記第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す第１マッピングリストとを含み、
    　前記制御部は、前記第１シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
    　前記第２管理情報は、
    　前記第２復号画像信号ごとに、前記第２符号化信号に含まれ、前記第２復号画像信号を特定するための第２シンタックス情報と、当該第２シンタックス情報に対応付けられた第２識別番号とを含む第２シンタックス情報リストと、
    　前記第２復号画像信号ごとに、前記第２識別番号と前記フレームメモリの領域との対応関係を示す第２マッピングリストとを含み、
    　前記制御部は、前記第２シンタックス情報リストを参照することにより、前記第２復号画像信号に対応する前記第２識別番号を取得し、前記第２マッピングリストを参照することにより、前記第２識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
    　請求項１記載の画像復号装置。
  3. 　前記第１シンタックス情報及び第２シンタックス情報は、Ｈ．２６４規格で定義される復号ピクチャバッファ（ＤＰＢ）を更新する際に必要なシンタックス情報である
    　請求項２記載の画像復号装置。
  4. 　前記第１シンタックス情報リストは、
    　前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点内参照用シンタックス情報リストと、
    　前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１シンタックス情報と前記第１識別番号とを含む視点間参照用シンタックス情報リストとを含み、
    　前記制御部は、
    　前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
    　前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記第１マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
    　請求項２記載の画像復号装置。
  5. 　前記第１マッピングリストは、
    　前記画像復号部による前記第１符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点内参照用マッピングリストと、
    　前記画像復号部による前記第２符号化信号の復号の際に参照される第１復号画像信号ごとに、前記第１識別番号と前記フレームメモリの領域との対応関係を示す視点間参照用マッピングリストとを含み、
    　前記制御部は、
    　前記画像復号部が前記第１符号化信号を復号する際には、前記視点内参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点内参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知し、
    　前記画像復号部が前記第２符号化信号を復号する際には、前記視点間参照用シンタックス情報リストを参照することにより、前記第１復号画像信号に対応する前記第１識別番号を取得し、前記視点間参照用マッピングリストを参照することにより、前記第１識別番号に対応する前記フレームメモリの領域を取得し、取得した前記フレームメモリの領域を前記参照画像が格納されている前記フレームメモリの領域として、前記画像復号部に通知する
    　請求項４記載の画像復号装置。
  6. 　前記画像復号装置は、さらに、
    　前記フレームメモリに格納されている前記第１復号画像信号及び前記第２復号画像信号を外部に出力する画像表示部を備え、
    　前記第１マッピングリストは、さらに、前記第１復号画像信号ごとに、当該第１復号画像信号が前記画像表示部により外部に出力されたか否かを示す第１画像表示情報と、当該第１復号画像信号が前記参照画像として用いられるか否かを示す第１参照情報とを含み、
    　前記制御部は、前記第１画像表示情報により当該第１復号画像信号が外部に出力されたことが示され、かつ、前記第１参照情報により当該第１復号画像信号が前記参照画像として用いられないことが示される場合、当該第１復号画像信号が格納されている前記フレームメモリの領域に、前記画像復号部により新たに復号された第１復号画像信号を格納する
    　請求項２記載の画像復号装置。
  7. 　前記画像復号部は、
    　前記第１符号化信号を復号することにより第１復号画像信号を生成する第１復号部と、
    　前記第２符号化信号を復号することにより第２復号画像信号を生成する第２復号部とを備え、
    　前記制御部は、
    　前記第１復号部及び前記第２復号部により、前記第１符号化信号及び前記第２符号化信号の予め定められた復号処理単位の復号処理が共に完了した後、前記第１復号部及び前記第２復号部に次の復号処理単位の復号処理を開始させる
    　請求項１記載の画像復号装置。
  8. 　前記画像復号装置は、さらに、
    　第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、
    　前記制御部は、
    　前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、
    　前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、
    　前記第１制御部は、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記第１復号部に開始させ、
    　前記第２制御部は、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了し、かつ、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記第２復号部に開始させる
    　請求項７記載の画像復号装置。
  9. 　前記画像復号部は、
    　前記第１符号化信号及び前記第２符号化信号の一方を選択する選択部と、
    　前記選択部により選択された前記第１符号化信号又は前記第２符号化信号を復号する復号部とを備え、
    　前記制御部は、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの一方の信号を選択させ、当該一方の信号の予め定められた復号処理単位の復号処理が完了した後、前記選択部に前記第１符号化信号及び前記第２符号化信号のうちの他方の信号を選択させる
    　請求項１記載の画像復号装置。
  10. 　前記画像復号装置は、さらに、
    　第１完了フラグ及び第２完了フラグを格納するためのフラグ格納部を備え、
    　前記制御部は、
    　前記第１復号部を制御するとともに、前記第１復号部による前記第１符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第１完了フラグを格納する第１制御部と、
    　前記第２復号部を制御するとともに、前記第２復号部による前記第２符号化信号の前記復号処理単位の復号処理が完了した場合に、前記フラグ格納部に前記第２完了フラグを格納する第２制御部とを備え、
    　前記第１制御部は、前記フラグ格納部に前記第２完了フラグが格納されている場合、次の復号処理単位の前記第１符号化信号の復号処理を前記復号部に開始させ、
    　前記第２制御部は、前記フラグ格納部に前記第１完了フラグが格納されている場合、次の復号処理単位の前記第２符号化信号の復号処理を前記復号部に開始させる
    　請求項９記載の画像復号装置。
  11. 　前記画像復号装置は、さらに、
    　前記第１符号化信号と前記第２符号化信号とを予め定められた符号化単位ごとに交互に配置することにより１つの第３符号化信号を生成する結合部を備え、
    　前記画像復号部は、前記第３符号化信号に含まれる前記第１符号化信号及び前記第２符号化信号を前記符号化単位ごとに交互に復号する
    　請求項１記載の画像復号装置。
  12. 　前記符号化単位は、フレーム単位、フィールド単位及びスライス単位のうちのいずれかである
    　請求項１１記載の画像復号装置。
  13. 　前記結合部は、前記符号化単位の対応する前記第１符号化信号と前記第２符号化信号とのうち、前記符号化単位の前記第１符号化信号を配置した後に、当該第１符号化信号に対応する、前記符号化単位の前記第２符号化信号を配置することにより前記第３符号化信号を生成する
    　請求項１１記載の画像復号装置。
  14. 　前記復号処理単位は、フレーム単位、フィールド単位、ヘッダ復号処理単位、及びスライス単位のうちのいずれかである
    　請求項７記載の画像復号装置。
  15. 　第１視点の第１画像信号が符号化された第１符号化信号と、前記第１視点と異なる第２視点の第２画像信号が符号化された第２符号化信号とを復号する画像復号方法であって、
    　前記第１符号化信号及び前記第２符号化信号を、参照画像を参照して復号することにより第１復号画像信号及び第２復号画像信号を生成する画像復号ステップと、
    　前記第１復号画像信号及び前記第２復号画像信号を前記参照画像としてフレームメモリに格納する格納ステップとを含み、
    　前記画像復号ステップでは、前記第１復号画像信号を前記参照画像として参照して前記第１符号化信号を復号し、前記第１復号画像信号及び前記第２復号画像信号を前記参照画像として参照して前記第２符号化信号を復号し、
    　前記画像復号方法は、さらに、
    　前記第１復号画像信号が格納される前記フレームメモリの領域を特定するための第１管理情報と、前記第２復号画像信号が格納される前記フレームメモリの領域を特定するための第２管理情報とを格納する管理情報格納ステップと、
    　前記第１管理情報を参照して、前記画像復号部に前記第１符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知し、前記第１管理情報及び前記第２管理情報を参照して、前記画像復号部に前記第２符号化信号の復号の際に参照する前記参照画像が格納されている前記フレームメモリの領域を通知する制御ステップとを含む
    　画像復号方法。
PCT/JP2010/004081 2009-12-14 2010-06-18 画像復号装置及び画像復号方法 WO2011074153A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2010800561256A CN102783163A (zh) 2009-12-14 2010-06-18 图像解码装置及图像解码方法
US13/494,790 US20120257838A1 (en) 2009-12-14 2012-06-12 Image decoding apparatus and image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-283354 2009-12-14
JP2009283354A JP5524594B2 (ja) 2009-12-14 2009-12-14 画像復号装置及び画像復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/494,790 Continuation US20120257838A1 (en) 2009-12-14 2012-06-12 Image decoding apparatus and image decoding method

Publications (1)

Publication Number Publication Date
WO2011074153A1 true WO2011074153A1 (ja) 2011-06-23

Family

ID=44166927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004081 WO2011074153A1 (ja) 2009-12-14 2010-06-18 画像復号装置及び画像復号方法

Country Status (4)

Country Link
US (1) US20120257838A1 (ja)
JP (1) JP5524594B2 (ja)
CN (1) CN102783163A (ja)
WO (1) WO2011074153A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013096674A1 (en) * 2011-12-20 2013-06-27 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
WO2014028867A2 (en) * 2012-08-16 2014-02-20 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3dv video coding
JP2016507991A (ja) * 2013-01-22 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー デインタレース後のサイド情報ベースの垂直彩度フィルタリング
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
CN104429075B (zh) * 2012-07-09 2017-10-31 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US9967583B2 (en) * 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07250350A (ja) * 1994-03-09 1995-09-26 Sanyo Electric Co Ltd 立体動画像符号化装置
JP2001186543A (ja) * 1999-12-24 2001-07-06 Sanyo Electric Co Ltd データ符号化装置及び復号化装置
JP2003319419A (ja) * 2002-04-25 2003-11-07 Sharp Corp データ復号装置
JP2005303480A (ja) * 2004-04-07 2005-10-27 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2008182669A (ja) * 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002773A1 (en) * 2006-06-26 2008-01-03 Texas Instruments Incorporated Video decoded picture buffer
CA2666452C (en) * 2006-10-16 2014-12-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07250350A (ja) * 1994-03-09 1995-09-26 Sanyo Electric Co Ltd 立体動画像符号化装置
JP2001186543A (ja) * 1999-12-24 2001-07-06 Sanyo Electric Co Ltd データ符号化装置及び復号化装置
JP2003319419A (ja) * 2002-04-25 2003-11-07 Sharp Corp データ復号装置
JP2005303480A (ja) * 2004-04-07 2005-10-27 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2008182669A (ja) * 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
CN103999467A (zh) * 2011-12-20 2014-08-20 高通股份有限公司 用于多视图和三维视频译码的参考图片列表建构
KR20140110960A (ko) * 2011-12-20 2014-09-17 퀄컴 인코포레이티드 멀티-뷰 및 3 차원 비디오 코딩을 위한 참조 픽처 리스트 구성
JP2015505435A (ja) * 2011-12-20 2015-02-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチビュー及び三次元映像コーディングのための基準ピクチャリスト構築
WO2013096674A1 (en) * 2011-12-20 2013-06-27 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9344737B2 (en) 2011-12-20 2016-05-17 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
KR101644253B1 (ko) * 2011-12-20 2016-07-29 퀄컴 인코포레이티드 멀티-뷰 및 3 차원 비디오 코딩을 위한 참조 픽처 리스트 구성
CN103999467B (zh) * 2011-12-20 2017-05-10 高通股份有限公司 用于多视图和三维视频译码的参考图片列表建构
KR101917936B1 (ko) * 2011-12-20 2018-11-12 퀄컴 인코포레이티드 멀티-뷰 및 3 차원 비디오 코딩을 위한 참조 픽처 리스트 구성
US9398284B2 (en) 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
WO2014028867A3 (en) * 2012-08-16 2014-04-10 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3dv video coding
WO2014028867A2 (en) * 2012-08-16 2014-02-20 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3dv video coding
JP2016507991A (ja) * 2013-01-22 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー デインタレース後のサイド情報ベースの垂直彩度フィルタリング

Also Published As

Publication number Publication date
JP2011124950A (ja) 2011-06-23
US20120257838A1 (en) 2012-10-11
JP5524594B2 (ja) 2014-06-18
CN102783163A (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5524594B2 (ja) 画像復号装置及び画像復号方法
US9621871B2 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
KR101904625B1 (ko) 비디오 코딩에서 서브-디코딩된 픽처 버퍼 (서브-dpb) 기반의 dpb 동작들을 위한 시그널링
US10158873B2 (en) Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US20120212579A1 (en) Method and Arrangement for Multi-View Video Compression
US10582183B2 (en) Image encoding method, image decoding method, image encoding device, and image decoding device
JP2014522176A (ja) マルチビュービデオコード化
JPWO2012111325A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
WO2015007242A1 (en) Method and apparatus of camera parameter signaling in 3d video coding
US20120262545A1 (en) Method for coding and decoding a 3d video signal and corresponding devices
JP6008292B2 (ja) ビデオストリームの映像のデータ作成装置及び再生装置
JP2011077722A (ja) 画像復号装置、画像復号方法およびそのプログラム
RU2649758C2 (ru) Устройство и способ обработки изображения
JP2012028960A (ja) 画像復号装置、画像復号方法および画像復号プログラム
JP5343792B2 (ja) 画像符号化装置、画像符号化方法およびそのプログラム
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080056125.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10837191

Country of ref document: EP

Kind code of ref document: A1