WO2010113770A1 - 画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム - Google Patents

画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム Download PDF

Info

Publication number
WO2010113770A1
WO2010113770A1 PCT/JP2010/055271 JP2010055271W WO2010113770A1 WO 2010113770 A1 WO2010113770 A1 WO 2010113770A1 JP 2010055271 W JP2010055271 W JP 2010055271W WO 2010113770 A1 WO2010113770 A1 WO 2010113770A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
encoded
image signal
encoding
Prior art date
Application number
PCT/JP2010/055271
Other languages
English (en)
French (fr)
Inventor
鈴木　輝彦
しのぶ 服部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201080001692.1A priority Critical patent/CN102388616B/zh
Priority to KR1020167000980A priority patent/KR101610614B1/ko
Priority to CA 2724872 priority patent/CA2724872C/en
Priority to EP20100758543 priority patent/EP2416577B1/en
Priority to BRPI1001267A priority patent/BRPI1001267A2/pt
Priority to PL10758543T priority patent/PL2416577T3/pl
Priority to AU2010231805A priority patent/AU2010231805B2/en
Priority to MX2010012930A priority patent/MX2010012930A/es
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to RU2010148466/08A priority patent/RU2511595C2/ru
Priority to US12/993,400 priority patent/US8472731B2/en
Priority to EP13163141.8A priority patent/EP2624570B1/en
Publication of WO2010113770A1 publication Critical patent/WO2010113770A1/ja
Priority to HK12107454A priority patent/HK1166906A1/xx
Priority to US13/687,850 priority patent/US8538181B2/en
Priority to US13/687,890 priority patent/US8503804B2/en
Priority to US13/924,117 priority patent/US9036930B2/en
Priority to US14/666,348 priority patent/US9426480B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image signal decoding device, an image signal decoding method, an image signal encoding device, an image signal encoding method, and a program, and in particular, can easily detect a boundary on a bitstream of a DependentDependstream picture.
  • the present invention relates to an image signal decoding device, an image signal decoding method, an image signal encoding device, an image signal encoding method, and a program.
  • MPEG2 ISO / IEC 13818-2
  • ISO / IEC 13818-2 is defined as a general-purpose image encoding system, and is a standard that covers both interlaced and progressively scanned images, standard resolution images, and high-definition images.
  • ISO / IEC 13818-2 ISO / IEC 13818-2
  • a standard resolution interlaced scanned image having 720 ⁇ 480 pixels can be allocated a 4 to 8 Mbps code amount (bit rate) to achieve a high compression rate and good image quality.
  • a high compression ratio and good image quality can be realized by assigning a code amount of 18 to 22 Mbps.
  • MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but it did not support encoding methods with a lower code amount than MPEG1, that is, a higher compression rate.
  • H.264 / AVC MPEG-4 part 10, ISO / IEC 14496-10
  • JVT Joint Video Team
  • H.264 / AVC is known to achieve higher encoding efficiency, although a larger amount of calculation is required for encoding and decoding than conventional encoding methods such as MPEG2 and MPEG4. .
  • FIG. 1 is a block diagram illustrating a configuration example of an image information encoding apparatus that realizes image compression by orthogonal transform such as discrete cosine transform or Karhunen-Labe transform and motion compensation.
  • 1 is an A / D conversion unit
  • 2 is a screen rearrangement buffer
  • 3 is an addition unit
  • 4 is an orthogonal transformation unit
  • 5 is a quantization unit
  • 6 is a lossless encoding unit
  • 7 is an accumulation buffer
  • 8 is an inverse quantization unit
  • 9 is an inverse orthogonal transform unit
  • 10 is a frame memory
  • 11 is a motion prediction / compensation unit
  • 12 is a rate control unit.
  • the input image signal is first converted into a digital signal by the A / D converter 1.
  • the frames are rearranged in the screen rearrangement buffer 2 according to the GOP (Group of Pictures) structure of the image compression information to be output.
  • GOP Group of Pictures
  • image information of the entire frame is input to the orthogonal transform unit 4 where orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform is performed.
  • the transform coefficient that is the output of the orthogonal transform coefficient 4 is subjected to quantization processing in the quantization unit 5.
  • the quantized transform coefficient that is output from the quantization unit 5 is input to the lossless encoding unit 6, where lossless encoding such as variable length encoding and arithmetic encoding is performed, and then stored in the accumulation buffer 7. Accumulated and output as image compression information.
  • the behavior of the quantization unit 5 is controlled by the rate control unit 12.
  • the quantized transform coefficient that is output from the quantization unit 5 is input to the inverse quantization unit 8, and further subjected to inverse orthogonal transform processing in the inverse orthogonal transform unit 9 to become decoded image information.
  • Information is stored in the frame memory 10.
  • the image to be inter-coded is first input from the screen rearrangement buffer 2 to the motion prediction / compensation unit 11.
  • reference image information is extracted from the frame memory 10 and subjected to motion prediction / compensation processing to generate reference image information.
  • the reference image information is sent to the adding unit 3, where it is converted into a difference signal from the image information.
  • the motion compensation / prediction unit 11 simultaneously outputs motion vector information to the lossless encoding unit 6.
  • the motion vector information is subjected to lossless encoding processing such as variable length encoding and arithmetic encoding, and is inserted into the header portion of the image compression information. Other processes are the same as the image compression information subjected to intra coding.
  • FIG. 2 is a block diagram illustrating a configuration example of the image information decoding apparatus.
  • 21 is an accumulation buffer
  • 22 is a lossless code decoding unit
  • 23 is an inverse quantization unit
  • 24 is an inverse orthogonal transformation unit
  • 25 is an addition unit
  • 26 is a screen rearrangement buffer
  • 27 is a D / A conversion unit
  • 28 is a frame memory
  • 29 are motion prediction / compensation units.
  • Image compression information (bit stream) to be input is first stored in the accumulation buffer 21 and then transferred to the lossless code decoding unit 22.
  • the lossless code decoding unit 22 performs processing such as variable length decoding and arithmetic decoding based on the determined format of the image compression information.
  • the lossless code decoding unit 22 also decodes the motion vector information stored in the header portion of the image compression information, and the information is the motion prediction / compensation unit. 29 is output.
  • the quantized transform coefficient that is output from the lossless code decoding unit 22 is input to the inverse quantization unit 23, where it is output as a transform coefficient.
  • the inverse orthogonal transform unit 24 performs inverse orthogonal transform such as inverse discrete cosine transform and inverse Karhunen-Loeve transform on the transform coefficient based on the determined format of the image compression information.
  • inverse orthogonal transform such as inverse discrete cosine transform and inverse Karhunen-Loeve transform
  • the image information subjected to the inverse orthogonal transform process is stored in the screen rearrangement buffer 26 and output after the D / A conversion process.
  • a reference image is generated based on the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 28.
  • This reference image and the output of the inverse orthogonal transform unit 24 are combined by the adding unit 25.
  • Other processing is the same as that of the intra-coded frame.
  • the AVC standardized by the JVT described above is a hybrid coding system composed of motion compensation and discrete cosine transform, like MPEG2 and MPEG4.
  • the discrete cosine transform may be an integer transform approximating a real discrete cosine transform.
  • the detailed method is different, such as a method using an integer coefficient of 4 ⁇ 4 block size as a conversion method of the discrete cosine transform, or a block size at the time of motion compensation is variable, the basic method is shown in FIG. This is the same as the encoding method realized by the configuration.
  • An image assuming two-point imaging and display is called a stereo image.
  • the autostereoscopic display can handle multi-viewpoint display.
  • FIG. 3 is a diagram illustrating a multi-viewpoint encoding apparatus.
  • the video signals supplied from the imaging device 31 and the imaging device 32 which are two imaging devices are encoded, and a bit stream generated by the encoding is output.
  • a bit stream made up of two-viewpoint image data may be multiplexed and output as a single stream, or may be output as two or more bit streams.
  • FIG. 4 is a block diagram illustrating a configuration example of the multi-viewpoint encoding apparatus 41 in FIG.
  • one viewpoint image among the multi-viewpoint images is encoded as Base stream, and the other images are encoded as Dependent stream (dependent stream).
  • one of the L image (left viewpoint image) and the R image (right viewpoint image) is encoded as Base stream, and the other image is encoded as Dependent stream.
  • Base stream is a bitstream similar to existing AVC encoded with H.264 AVC / High Profile. Therefore, the Base stream is a stream that can be decoded by an existing AVC decoder compatible with H.264 AVC / High Profile.
  • An image to be encoded as Base stream is input to the rearrangement buffer 51 and rearranged in an order suitable for encoding as an I picture, P picture, and B picture.
  • the rearranged images are output to the video encoding unit 52.
  • the video encoding unit 52 has the same configuration as that of the image information encoding apparatus in FIG.
  • encoding is performed in accordance with, for example, H.264 / AVC / High ⁇ Profile, and the obtained bit stream is output to the multiplexing unit 57.
  • the locally decoded image is stored in the frame memory 53 and used as a reference image for encoding the next picture or DependentDependstream picture.
  • an image to be encoded as a Dependent stream is input to the rearrangement buffer 54 and rearranged in an order suitable for encoding as an I picture, P picture, and B picture.
  • the rearranged images are output to the dependent stream encoding unit 55.
  • the dependent stream encoding unit 55 performs encoding using the base-stream local decoded image stored in the frame memory 53 as a reference image, and multiplexes the bit stream. Is output to the unit 57.
  • a locally decoded image is stored in the frame memory 56 and used as a reference image when the next picture is encoded.
  • the Base stream and the Dependent stream are multiplexed into one bit stream and output.
  • Base stream and Dependent stream may be output as separate bit streams.
  • FIG. 5 is a diagram showing an example of an MVC reference image.
  • the Base stream is encoded by performing only prediction in the time direction as in normal AVC.
  • Dependent stream is encoded by performing prediction using the Base stream image at the same time as a reference image in addition to prediction in the time direction in the same viewpoint image as in normal AVC. Even when prediction in the time direction cannot be performed appropriately, encoding efficiency can be improved by making it possible to refer to images of other viewpoints at the same time.
  • FIG. 6 is a block diagram showing the configuration of the video encoding unit 52 of FIG.
  • the configuration shown in FIG. 6 is the same as the configuration of the image information encoding device in FIG. 1 except that the image stored in the frame memory 53 is referred to from the dependent stream encoding unit 55. is there.
  • FIG. 7 is a block diagram showing the configuration of the dependent stream encoding unit 55 of FIG. 4 for generating the Dependent stream and the frame memory 56.
  • the configuration shown in FIG. 7 is the same as the configuration of the image information encoding device in FIG. 1 except that the image stored in the frame memory 53 can be referred to.
  • the reference image read from the frame memory 53 is input to the motion prediction / compensation unit 90 and used for motion prediction and motion compensation.
  • FIG. 8 is a block diagram illustrating a configuration example of the multi-viewpoint decoding apparatus 101.
  • the Base stream supplied from the multi-viewpoint encoding apparatus 41 via the network or the recording medium is input to the buffer 111, and the Dependent stream is input to the buffer 114.
  • the Base stream supplied from the multi-viewpoint encoding apparatus 41 via the network or the recording medium is input to the buffer 111, and the Dependent stream is input to the buffer 114.
  • the Base stream delayed in the buffer 111 for a predetermined time is output to the video decoding unit 112.
  • the Base stream is decoded according to AVC, and the obtained decoded image is stored in the frame memory 113.
  • the decoded image stored in the frame memory 113 is used as a reference image when decoding the next picture or DependentDependstream picture.
  • the decoded image obtained by the video decoding unit 112 is output to the 3D display 102 as a video signal at a predetermined timing.
  • the Dependent stream delayed in the buffer 114 by a predetermined time is output to the dependent stream decoding unit 115.
  • the dependent stream decoding unit 115 performs decoding of the dependent stream, and the obtained decoded image is stored in the frame memory 116.
  • the decoded image stored in the frame memory 116 is used as a reference image when decoding the next picture.
  • an image stored in the frame memory 113 is used as a reference image, as appropriate, based on information (such as a flag) in the bit stream.
  • the decoded image obtained by the dependent stream decoding unit 115 is output to the 3D display 102 as a video signal at a predetermined timing.
  • a stereo image is displayed based on the video signal supplied from the video decoding unit 112 and the video signal supplied from the dependent stream decoding unit 115.
  • FIG. 9 is a diagram showing the configuration of the video decoding unit 112 of FIG.
  • the configuration shown in FIG. 9 is the same as the configuration of the image information decoding apparatus in FIG. 2 except that the image stored in the frame memory 113 is referred to by the dependent stream decoding unit 115.
  • FIG. 10 is a block diagram showing the configuration of the dependent stream decoding unit 115 of FIG. 8 for decoding the dependent stream and the frame memory 116.
  • the configuration shown in FIG. 10 is the same as the configuration of the image information decoding apparatus in FIG. 2 except that the image stored in the frame memory 113 can be referred to.
  • the reference image read from the frame memory 113 is input to the motion prediction / compensation unit 148 and used for motion prediction and motion compensation.
  • a virtual buffer model that mimics the operation of the buffer on the decoding device side is defined.
  • the encoding device performs encoding so that the virtual buffer does not overflow or underflow. If the bit stream is encoded in this way, the decoding apparatus can decode the bit stream without breaking the buffer.
  • FIG. 11 is a diagram illustrating an example of a virtual buffer model.
  • the input bit stream is first supplied to the buffer 151.
  • a bit stream is instantaneously read from the buffer 151 in units called AU (access unit) and supplied to the video decoding unit 152.
  • the data read from the buffer 151 is instantaneously decoded to generate a decoded image. Such an assumption is made in the virtual buffer model.
  • the buffer 151 in FIG. 11 corresponds to the buffer 111 and the buffer 114 in the multi-viewpoint decoding apparatus 101 in FIG.
  • the video decoding unit 152 in FIG. 11 corresponds to the video decoding unit 112 and the dependent stream decoding unit 115 in the multi-viewpoint decoding apparatus 101 in FIG.
  • 1 picture data is stored in 1 AU.
  • 1AU stores data of all views (Base stream and Dependent stream) at the same time.
  • view is an image of each viewpoint.
  • FIG. 12 shows the behavior of the buffer 151 in such a virtual buffer model.
  • the vertical axis in FIG. 12 represents the buffer occupancy, and the horizontal axis represents time.
  • the bit stream is supplied to the buffer 151 at a predetermined bit rate.
  • the bit stream stored in the AU is extracted from the buffer 151 at the read time of each AU. Times t 1 , t 2 , t 3 ,... Are read times from the buffer 151.
  • FIG. 13 is a diagram showing the configuration of the AU of a bitstream encoded with MVC.
  • AU # 1 is composed of a picture P 2 of the picture P 1 and the Dependent, stream of Base, stream is a picture of the same time (data of the picture is stored).
  • AU # 2 is composed of a picture P 3 and the Dependent, stream picture P 4 of the Base, stream is a picture of the same time.
  • AU # 3 is composed of a picture P 6 of the picture P 5 and the Dependent, stream of Base, stream is a picture of the same time.
  • the bit stream in FIG. 13 is a single stream configured by multiplexing the Base stream and the Dependent stream.
  • a NAL unit called AD (AU Delimiter) is inserted at the head of each AU.
  • AD is a unique data string.
  • AD represents the start position of the data of Base stream picture and Dependent stream picture at the same time.
  • AU # 1 is composed of AD # 1, picture P 1 , and picture P 2 .
  • AU # 2 is, AD # 2, composed of picture P 3, and picture P 4.
  • AU # 3 is, AD # 3, composed of picture P 5 and picture P 6,.
  • FIG. 14 is a diagram illustrating an example of a bitstream structure.
  • FIG. 14A shows the structure when Base stream and Dependent stream are multiplexed into one bit stream.
  • the structure of the bit stream in FIG. 14A is the same as the structure of the bit stream in FIG.
  • FIG. 14B shows a structure in which Base stream and Dependent stream are included in two different bit streams. Parts corresponding to those shown in FIG. 14A are denoted by the same reference numerals.
  • the Dependent stream is configured by arranging a picture P 2 , a picture P 4 , and a picture P 6 in that order.
  • the video decoding unit 152 in FIG. 11 after detecting the AD # 1, sequentially reads the picture P 1, the Dependent, stream picture P 2 of the Base, stream, respectively Decrypt.
  • the video decoding unit 152 detects AD # 1 and reads and decodes the picture P 1 for the first AU in the Base stream. In addition, for the second AU, the video decoding unit 152 detects AD # 2 and reads and decodes the picture P 3 .
  • AD is simply added to the head of each picture of the Dependent stream in the same manner as the Base stream so that the head of the picture can be easily detected.
  • the video decoding unit 152 recognizes the AU of the Base stream and the AU of the Dependent stream as different AUs. As a result, the operation of the virtual buffer model cannot be reproduced correctly.
  • the present invention has been made in view of such a situation, and makes it possible to easily detect a boundary on a bit stream of a picture of a dependent stream.
  • An image signal decoding apparatus is encoded into a single viewpoint image in an image signal decoding apparatus that decodes a bitstream obtained by encoding a stereoscopic image signal composed of a plurality of viewpoint image signals. , Decoding the first unique data sequence indicating that the image encoded bitstream of all viewpoints at a predetermined time starts, identifying the start of encoded data at the predetermined time, and encoding the images of other viewpoints Decoding the second unique data string indicating that the image encoded bitstream of the other viewpoint at the predetermined time, which is encoded at the beginning of each of the encoded bitstreams, is started, and the image of the other viewpoint Decoding means for decoding the bitstream by identifying the start of the encoded data of the signal is provided.
  • the multi-viewpoint image signal is a two-viewpoint image signal and can be configured as one bit stream.
  • the multi-viewpoint image signal is a two-viewpoint image signal and can be configured as two bit streams.
  • the decoding means decodes the first unique data sequence indicating that the image encoded bitstream of all viewpoints at the predetermined time, which is encoded in an image of one viewpoint, starts, The start of the encoded data at the predetermined time is identified, and the encoded video bitstream of the other viewpoint at the predetermined time, which is encoded at the head of the encoded bitstream of the image of the other viewpoint, is started. It is possible to decode the second specific data string indicating that the bit stream is decoded by identifying the start of the encoded data of the image signal of the other viewpoint.
  • the decoding means When accessing a position where decoding can be started correctly, the decoding means indicates that the first encoded video stream of all viewpoints encoded at one viewpoint starts.
  • One unique data sequence is decoded to identify the start of encoded data at the predetermined time of the one viewpoint, and encoded at the head of the encoded bitstream of the image of the other viewpoint, Decoding the second unique data sequence indicating that the image encoded bitstream of the other viewpoint at the predetermined time starts, and identifying the start of the encoded data of the image signal of the other viewpoint
  • the bit stream can be decoded from the identified starting position.
  • An image signal decoding method is an image signal decoding method for decoding a bit stream obtained by encoding a stereoscopic image signal composed of image signals of a plurality of viewpoints, and is encoded into an image of one viewpoint. , Decoding the first unique data sequence indicating that the image encoded bitstream of all viewpoints at a predetermined time starts, identifying the start of encoded data at the predetermined time, and encoding the images of other viewpoints Decoding the second unique data string indicating that the image encoded bitstream of the other viewpoint at the predetermined time, which is encoded at the beginning of each of the encoded bitstreams, is started, and the image of the other viewpoint Identifying the beginning of the encoded data of the signal and decoding the bitstream.
  • a program according to one aspect of the present invention is encoded into an image of one viewpoint in a program that causes a computer to execute a process of decoding a bitstream obtained by encoding a stereoscopic image signal composed of image signals of a plurality of viewpoints.
  • a computer is caused to execute a process including a step of identifying a start of encoded data of a signal and decoding a bitstream.
  • An image signal encoding device is an image signal encoding device that encodes a stereoscopic image signal composed of image signals of a plurality of viewpoints.
  • the first unique data string indicating that the image encoded bit stream starts is encoded, and the image bit of the other viewpoint at the predetermined time is respectively added to the head of the encoded bit stream of the image of the other viewpoint.
  • the encoding means can multiplex encoded data of all viewpoints into one bit stream.
  • the encoding means can include encoded data of all viewpoints in two bit streams.
  • the multi-viewpoint image signal may be a two-viewpoint image signal.
  • An image signal encoding method is an image signal encoding method for encoding a stereoscopic image signal composed of image signals of a plurality of viewpoints.
  • the first unique data string indicating that the image encoded bit stream starts is encoded, and the image bit of the other viewpoint at the predetermined time is respectively added to the head of the encoded bit stream of the image of the other viewpoint.
  • a program for causing a computer to execute a process of encoding a stereoscopic image signal composed of image signals of a plurality of viewpoints The first unique data string indicating that the encoded bit stream starts is encoded, and the encoded bit stream of the image of another viewpoint is encoded with the image encoded bits of the other viewpoint at the predetermined time, respectively.
  • a computer is caused to execute a process including a step of encoding a second unique data string indicating that a stream starts.
  • a first unique data sequence which is encoded in an image of one viewpoint and indicates that an image encoded bitstream of all viewpoints at a predetermined time starts, is decoded, and the predetermined The start of the encoded data at the time is identified.
  • a second unique data string indicating that the image encoded bitstream of the other viewpoint at the predetermined time starts, which is encoded at the head of the encoded bitstream of the image of the other viewpoint, respectively.
  • a first unique data sequence indicating that an image encoded bitstream of all viewpoints at a predetermined time starts in an image of one viewpoint, and an image of another viewpoint is encoded.
  • a second unique data string indicating that the image encoded bit stream of the other viewpoint at the predetermined time starts is encoded.
  • FIG. 5 is a block diagram showing a configuration of a video encoding unit in FIG. 4 and a frame memory.
  • FIG. 5 is a block diagram showing a configuration of a dependent stream encoding unit in FIG. 4 and a frame memory. It is a block diagram which shows the structural example of a multiview decoding apparatus.
  • FIG. 1 It is a figure which shows the structure and frame memory of the video decoding part of FIG. It is a block diagram which shows the structure and frame memory of the dependence stream decoding part of FIG. It is a figure which shows the example of a virtual buffer model. It is a figure which shows the behavior of the buffer of FIG. It is a figure which shows the structure of AU of the bit stream encoded by MVC. It is a figure which shows the example of the structure of a bit stream. It is a block diagram which shows the structural example of the dependent stream encoding part which is a part of multiview encoding apparatus which concerns on one Embodiment of this invention. It is a figure which shows the example of the structure of a bit stream. It is a figure which shows the structural example of NAL unit.
  • unit It is a figure which shows the syntax of NAL
  • FIG. 15 is a block diagram illustrating a configuration example of a dependent stream encoding unit that is a part of the multi-viewpoint encoding apparatus according to an embodiment of the present invention.
  • information indicating the boundary of the AU is encoded in the Base stream, and information indicating the boundary between the pictures of the Dependent stream is encoded in the Dependent stream.
  • the multi-viewpoint encoding apparatus has the same configuration as that shown in FIG. FIG. 15 shows a configuration example of the dependent stream encoding unit 55 of FIG.
  • the video encoding unit 52 of the multi-viewpoint encoding apparatus 41 according to an embodiment of the present invention has the same configuration as the configuration of FIG.
  • symbol is attached
  • the configuration of the dependent stream encoding unit 55 shown in FIG. 15 is such that the DD encoding unit 201 is provided and the output of the DD encoding unit 201 is supplied to the lossless encoding unit 86.
  • the configuration is the same as that of FIG.
  • the DD encoding unit 201 inserts a NAL unit called DD (Dependent unit delimiter) (View unit and dependency unit representation) delimiter unit NAL unit at the head of each picture of the dependent unit stream.
  • DD is a unique data string like AD, but has a different value from AD.
  • the lossless encoding unit 86 inserts and encodes the NAL unit of the DD generated by the DD encoding unit 201 at the head of each picture, and outputs the Dependent stream with the DD inserted.
  • FIG. 16 is a diagram illustrating an example of the structure of a bit stream generated by the multi-viewpoint encoding apparatus 41 including the dependent stream encoding unit 55 of FIG.
  • FIG. 16A shows an example of the structure when Base stream and Dependent stream are multiplexed into one bit stream.
  • FIG. 16B shows an example of the structure when Base stream and Dependent stream are included in two separate bitstreams. Parts corresponding to those shown in FIG. 16A are denoted by the same reference numerals.
  • the multi-viewpoint encoding apparatus 41 When the bit stream of A in FIG. 16 is generated, the multi-viewpoint encoding apparatus 41 encodes AD # 1 and then encodes the picture P 1 of the Base stream. Next, the multi-viewpoint encoding apparatus 41, the DD # 1 encoding before encoding the pictures of the Dependent, stream, encodes the picture P 2 thereafter to the Dependent, stream.
  • the multi-viewpoint encoding apparatus 41 When switching an object to be processed to the next AU, the multi-viewpoint encoding apparatus 41, the AD # 2 and encodes encodes the picture P 3 of the Base, stream. Next, the multi-viewpoint encoding apparatus 41, the DD # 2 and encodes before encoding the pictures of the Dependent, stream, encodes the picture P 4 subsequent to the Dependent, stream.
  • the multi-viewpoint encoding apparatus 41 encodes the DD before encoding the Dependent stream picture, and arranges the Dependent stream picture immediately after the DD.
  • AD is arranged at the head of AU.
  • the first AU is AD # 1, is configured from the picture P 1, DD # 1, and picture P 2, the second AU composed AD # 2, picture P 3, DD # 2, and picture P 4 Is done.
  • the third AU is composed of AD # 3, picture P 5, DD # 3, and picture P 6,.
  • the multi-viewpoint encoding apparatus 41 encodes the base stream picture P 1 after encoding AD # 1 for the Base stream.
  • the multi-viewpoint encoding apparatus 41, the AD # 2 and encodes encodes the picture P 3 of the Base, stream.
  • the multi-viewpoint encoding apparatus 41 for the Dependent, stream, after encoding the DD # 1, encodes the picture P 2 of the Dependent, stream.
  • the multi-viewpoint encoding apparatus 41, the DD # 2 and encodes encodes the picture P 4 of the Dependent, stream.
  • the multi-viewpoint encoding apparatus 41 encodes the DD before encoding the Dependent stream picture, and arranges the Dependent stream picture immediately after the DD.
  • the Dependent, stream is, DD # 1, picture P 2, DD # 2, constituted by the picture P 4, DD # 3, and picture P 6, it is arranged in that order.
  • first AU is composed of AD # 1, picture P 1, DD # 1, and picture P 2
  • the second AU AD # 2, picture P 3, DD # 2, and a picture P 4.
  • the third AU is composed of AD # 3, picture P 5, DD # 3, and picture P 6,.
  • AD represents the start position of the Base stream picture and the Dependent stream picture data at the same time, that is, the start position of the image coded bit stream of all viewpoints at a predetermined time.
  • DD represents the boundary position of the picture data of the Dependent stream, that is, the start position of the image encoded bitstream of the Dependent stream.
  • All encoded data including AD and each picture is stored in a unit called NAL unit, and is rearranged in a predetermined order to form a bit stream. Details are described in ISO / IEC 14496-10
  • DD is also stored in NAL unit.
  • FIG. 17 is a diagram showing a configuration example of the NAL unit.
  • NAL_BytesInNALunit is a parameter indicating the size of the NAL unit in bytes, and is necessary to identify the boundary of NAL unit.
  • rbsp_byte [] is encoded data and header stored in NAL unit.
  • FIG. 18 is a diagram showing the syntax of the NAL unit.
  • Forbidden_zero_bit is 1-bit data and is always 0.
  • Nal_ref_idc is 2-bit data. When this value is a value other than 0, it indicates that the NAL unit refers to data from another NAL unit. When the value of nal_ref_idc is 0, it is not referenced from other NAL units.
  • Nal_unit_type is 5-bit data and indicates what the NAL unit is.
  • nal_ref_idc Forbidden_zero_bit, nal_ref_idc, and nal_unit_type constitute the header of FIG.
  • 19 and 20 are diagrams showing the definition of nal_unit_type.
  • nal_unit_type 9 indicates that the content of the NAL unit is AD.
  • nal_unit_type 18 indicates that the content of the NAL unit is DD.
  • the NAL unit forms a stream called a byte stream by adding a start code based on the syntax shown in FIG.
  • This byte stream corresponds to the bit stream described above.
  • startcode_prefix_one_3bytes The 3 bytes (0x000001) startcode_prefix (start_code_prefix_one_3bytes) in FIG. 22 is a start code added to the head of the NAL unit.
  • startcode_prefix is a unique code that must not appear elsewhere in the byte stream.
  • the head of NAL unit can be detected by searching for startcode_prefix in the byte stream. Also, by checking the nal_unit_type in the header of the NAL unit where the head is detected, it becomes possible to access the desired NAL unit.
  • the start code is added to the head of the NAL unit that stores DD, and the value nal_unit_type is set to 18, which indicates that the contents are DD.
  • the multi-viewpoint decoding device can detect the head of the NAL unit by detecting the start code. Also, by checking that the value of nal_unit_type that detects the head is 18, it is possible to detect the boundary (head) of the DD, that is, the picture of Dependent stream.
  • FIG. 24 is a block diagram illustrating a configuration example of a dependent stream decoding unit that is a part of the multi-viewpoint decoding apparatus according to an embodiment of the present invention.
  • the multi-viewpoint decoding apparatus has the same configuration as that shown in FIG.
  • FIG. 24 shows a configuration example of the dependent stream decoding unit 115 of FIG.
  • the video decoding unit 112 of the multi-viewpoint decoding apparatus 101 according to an embodiment of the present invention has the same configuration as that of FIG.
  • the configuration of the dependent stream decoding unit 115 shown in FIG. 24 is the same as the configuration of FIG. 10 except that the DD is output from the lossless code decoding unit 142.
  • the lossless code decoding unit 142 decodes and outputs the DD included in the Dependent stream. Based on the output DD, the start position of decoding at the time of random access is specified by a higher-level application or the like.
  • FIG. 25 is a diagram illustrating an example of a virtual buffer model in a case where an MVC bitstream is composed of two streams, Base stream and Dependent stream.
  • the input Base stream is stored in the buffer 151A, and the Dependent stream is stored in the buffer 151B.
  • a bit stream is instantaneously read out from the buffers 151A and 151B in units of AU, and is instantaneously decoded by the video decoding device 152.
  • the buffer 151A in FIG. 25 corresponds to the buffer 111 in the multi-viewpoint decoding apparatus 101 in FIG. 8, and the buffer 151B in FIG. 25 corresponds to the buffer 114 in the multi-viewpoint decoding apparatus 101 in FIG.
  • the video decoding unit 152 in FIG. 25 corresponds to the video decoding unit 112 and the dependent stream decoding unit 115 in the multi-viewpoint decoding apparatus 101 in FIG.
  • the picture P 1 is read from the buffer 151A based on AD # 1, and DD Based on # 1, the picture P 2 is read from the buffer 151B.
  • the read picture is decoded by the video decoding unit 152.
  • picture P 3 is read from buffer 151A based on AD # 2
  • picture P 4 is read from buffer 151B based on DD # 2.
  • pictures P 3 and P 4 are read from the buffer 151 based on AD # 2.
  • the input bit stream is first supplied to the buffer 211, temporarily stored, and then supplied to the start code detection unit 212 and the decoder 214.
  • the start code detection unit 212 detects a start code having a unique data string. When the start code is detected, the start code detection unit 212 outputs subsequent data to the syntax analysis unit 213.
  • the syntax analysis unit 213 analyzes the data supplied from the start code detection unit 212. Since the data follows the start code, the data supplied from the start code detection unit 212 is NAL unit data.
  • the syntax analysis unit 213 When the syntax analysis unit 213 identifies the AU start position by analyzing the header of the NAL unit, etc., the syntax analysis unit 213 outputs a signal indicating the AU start position to the decoder 214 and the buffer 211.
  • nal_unit_type 18
  • the content of the NAL unit is DD as described above, and thereby, it is detected that it is the head of the picture of the Dependent stream.
  • the decoder 214 and the buffer 211 thereafter decode each picture as usual in units of AUs.
  • step S1 the start code detector 212 searches for a start code.
  • step S3 the syntax analysis unit 213 stores the DD in the NAL unit where the detected start code is added, and the head of the picture of the dependent stream Is detected.
  • FIG. 28 shows the operation when there is no DD in the Dependent stream as in the conventional MVC, as shown in FIG. 14B.
  • FIG. 29 is a diagram illustrating a configuration of an AU obtained by encoding a video of three viewpoints with MVC.
  • AU # 11 in FIG. 29 includes a base stream picture P 11 , a dependent stream 1 picture P 12 , and a dependent stream 2 picture P 13 .
  • the AU # 12 is composed of a picture P 14 of the Base stream, a picture P 15 of the Dependent stream 1, and a picture P 16 of the Dependent stream 2.
  • the AU # 13 includes a picture P 17 of the Base stream, a picture P 18 of the Dependent stream 1, and a picture P 19 of the Dependent stream 2.
  • FIG. 30 is a diagram illustrating an example of a bitstream structure.
  • DD is not included in the bit stream shown in FIG.
  • 30A shows an example of the structure when Base stream, Dependent stream 1, and Dependent stream 2 are multiplexed into one bit stream.
  • FIG. 30B shows an example of the structure when Base stream, Dependent stream 1, and Dependent stream 2 are included in three different bitstreams. Parts corresponding to those shown in FIG. 30A are denoted by the same reference numerals.
  • the video decoding unit 152 detects the AD # 11, and then selects the picture P 11 of the Base stream, the picture P 12 of the Dependent stream 1, and the picture P 13 of the Dependent stream 2 Read sequentially and decode each.
  • the video decoding unit 152 detects AD # 11 and reads and decodes the picture P11 for the first AU of the Base stream.
  • the video decoding unit 152, for the second AU, reading and decoding the picture P 14 detects the AD # 12.
  • FIG. 31 is a diagram illustrating an example of the structure of a bitstream generated by the multi-viewpoint encoding apparatus 101 according to an embodiment of the present invention.
  • FIG. 31A shows an example of the structure when Base stream, Dependent stream 1, and Dependent stream 2 are multiplexed into one bit stream.
  • FIG. 31B shows an example of the structure when Base stream, Dependent stream1, and Dependent stream2 are included in three different bitstreams.
  • the video decoding unit 152 sequentially reads the picture P 11 of the Base stream, the picture P 12 of the Dependent stream 1, and the picture P 13 of the Dependent stream 2 , Respectively.
  • the video decoding unit 152 When the B bit stream of FIG. 31 is supplied, the video decoding unit 152, for the first AU of the Base, stream, after detecting the AD # 11, decodes the picture P 11. Video decoding unit 152, for the second AU, after detecting the AD # 12, decodes the picture P 14.
  • the video decoding unit 152 for the Dependent stream1, after detecting the DD # 11, decodes the picture P 12.
  • the video decoding unit 152 after detecting the DD # 12, decodes the picture P 15.
  • the video decoding unit 152 for the Dependent stream2, after detecting the DD # 21, decodes the picture P 13.
  • the video decoding unit 152 decodes the picture P 16 after detecting DD # 22.
  • the multi-viewpoint decoding apparatus 101 detects and decodes a desired AU based on AD that is information indicating the boundary of the AU and DD that is information indicating the boundary between the pictures of the Dependent stream, A stereoscopic image is displayed.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a program recording medium into a computer incorporated in dedicated hardware or a general-purpose personal computer.
  • FIG. 32 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 305 is further connected to the bus 304.
  • the input / output interface 305 is connected to an input unit 306 including a keyboard and a mouse, and an output unit 307 including a display and a speaker.
  • a storage unit 308 including a hard disk and a nonvolatile memory, a communication unit 309 including a network interface, and a drive 310 that drives the removable medium 311 are connected to the bus 304.
  • the CPU 301 loads the program stored in the storage unit 308 to the RAM 303 via the input / output interface 305 and the bus 304 and executes the program, for example. Is done.
  • the program executed by the CPU 301 is recorded in the removable medium 311 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 308.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本発明は、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができる画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラムに関する。 ビットストリーム上においては、各AU(Access Unite)の開始位置にはAD(AU Delimiter)が配置され、Dependent streamのピクチャの境界にはDD(Dependent Delimiter)が配置される。スタートコードを検出することによってNAL unitの先頭が検出され、先頭を検出したnal_unit_typeの値が１８であることをチェックすることによって、DD、すなわち、Dependent streamのピクチャの境界（先頭）が検出される。本発明は、立体画像信号を処理する装置に適用することができる。

Description

画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム
　本発明は、画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラムに関し、特に、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができるようにした画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラムに関する。
　近年、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEGなどの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
　特に、MPEG2(ISO/IEC 13818-2)は汎用画像符号化方式として定義されており、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準規格である。プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。
　MPEG2を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4～8Mbps符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。また、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18～22Mbpsの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG１より低い符号量、つまり、より高い圧縮率の符号化方式には対応していなかった。
　携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
　更に、H.264/AVC(MPEG-4 part 10、ISO/IEC 14496-10 | ITU-T H.264)という標準の規格化が行われている。ITU-TとISO/IECの間で、共同でビデオ符号化の標準化を行うJVT(Joint Video Team)という団体を設立し、この団体で規格化を進めている。
　H.264/AVCは、MPEG2やMPEG４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
［H.264/AVC］
　図１は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置の構成例を示すブロック図である。
　１はA／D変換部、２は画面並べ替えバッファ、３は加算部、４は直交変換部、５は量子化部、６は可逆符号化部、７は蓄積バッファ、８は逆量子化部、９は逆直交変換部、１０はフレームメモリ、１１は動き予測・補償部、１２はレート制御部である。
　入力となる画像信号は、まず、A/D変換部１においてデジタル信号に変換される。
　次に、出力となる画像圧縮情報のGOP(Group of Pictures）構造に応じ、画面並べ替えバッファ２においてフレームの並べ替えが行われる。
　イントラ符号化が行われる画像に関しては、フレーム全体の画像情報が直交変換部４に入力され、ここで離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。
　直交変換係数４の出力となる変換係数は、量子化部５において量子化処理が施される。
　量子化部５の出力となる量子化された変換係数は、可逆符号化部６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ７に蓄積され、画像圧縮情報として出力される。量子化部５の挙動は、レート制御部１２によって制御される。
　同時に、量子化部５の出力となる量子化された変換係数は、逆量子化部８に入力され、更に、逆直交変換部９において逆直交変換処理が施されて、復号画像情報となり、その情報はフレームメモリ１０に蓄積される。
　インター符号化が行われる画像に関しては、まず、画面並べ替えバッファ２から動き予測・補償部１１に入力される。
　同時に、参照となる画像情報がフレームメモリ１０より取り出され、動き予測・補償処理が施され、参照画像情報が生成される。
　参照画像情報は加算部３に送られ、ここで、当該画像情報との差分信号に変換される。
　動き補償・予測部１１は、同時に、動きベクトル情報を可逆符号化部６に出力する。動きベクトル情報に対しては、可変長符号化、算術符号化といった可逆符号化処理が施され、画像圧縮情報のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。
　図２は、画像情報復号装置の構成例を示すブロック図である。
　２１は蓄積バッファ、２２は可逆符号復号部、２３は逆量子化部、２４は逆直交変換部、２５は加算部、２６は画面並べ替えバッファ、２７はD/A変換部、２８はフレームメモリ、２９は動き予測・補償部である。
　入力となる画像圧縮情報（ビットストリーム）は、まず、蓄積バッファ２１に格納された後、可逆符号復号部２２に転送される。
　可逆符号復号部２２においては、定められた画像圧縮情報のフォーマットに基づき、可変長復号、算術復号等の処理が行われる。
　同時に、当該フレームがインター符号化されたものである場合には、可逆符号復号部２２においては、画像圧縮情報のヘッダ部に格納された動きベクトル情報も復号され、その情報が動き予測・補償部２９に出力される。
　可逆符号復号部２２の出力となる量子化された変換係数は、逆量子化部２３に入力され、ここで変換係数として出力される。
　変換係数に対しては、逆直交変換部２４において、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換が施される。
　当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画面並べ替えバッファ２６に格納され、D/A変換処理の後に出力される。
　当該フレームがインター符号化されたものである場合には、可逆復号処理が施された動きベクトル情報、およびフレームメモリ２８に格納された画像情報を元に参照画像が生成される。この参照画像と、逆直交変換部２４の出力とが、加算部２５において合成される。その他の処理はイントラ符号化されたフレームと同様である。
　先に述べたJVTで規格化されたAVCは、MPEG2やMPEG４と同様に、動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。
　離散コサイン変換は、実数の離散コサイン変換を近似した整数変換であっても良い。離散コサイン変換の変換方法が４×４ブロックサイズの整数係数を用いた方法であったり、動き補償の際のブロックサイズが可変であるなど、詳細な方式は異なるが、基本的な方式は図１の構成で実現される符号化方式と同様である。
　ところで、近年、立体画像の撮像、表示技術の進歩から、H.264/AVCを立体画像信号の符号化に拡張する検討が進められている。
　複数の撮像装置で撮像された多視点の画像を符号化するMVC(Multiview Video Coding)の標準化が進められている。
　２視点の撮像、表示を想定した画像はステレオ画像と呼ばれる。裸眼の立体ディスプレイでは多視点の表示に対応することが可能である。
　以下、主に、２視点のステレオ画像の例について説明するが、同様にして３視点以上の多視点の画像にも適応することが可能である。
［MVC］
　図３は、多視点符号化装置を示す図である。
　多視点符号化装置４１においては、２つの撮像装置である撮像装置３１と撮像装置３２から供給されたビデオ信号が符号化され、符号化によって生成されたビットストリームが出力される。２視点の画像のデータからなるビットストリームは、１本のストリームに多重化されて出力されるようにしてもよいし、２またはそれ以上の数のビットストリームとして出力されるようにしてもよい。
　図４は、図３の多視点符号化装置４１の構成例を示すブロック図である。
　多視点符号化装置４１においては、多視点の画像のうち１視点の画像がBase streamとして符号化され、他の画像がDependent stream(依存ストリーム)として符号化される。
　ステレオ画像の場合、L画像（左視点画像）とR画像（右視点画像）のうちのどちらか一方の画像がBase streamとして符号化され、他方の画像がDependent streamとして符号化される。
　Base streamは、H.264 AVC/High Profileなどで符号化された、既存のAVCと同様のビットストリームである。従って、Base streamは、H.264 AVC/High Profileに対応した既存のAVCのデコーダで復号可能なストリームとなる。
　Base streamとして符号化する画像は、並べ替えバッファ５１に入力され、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとして符号化するのに適切な順番に並び替えられる。並び替えられた画像はビデオ符号化部５２に出力される。
　ビデオ符号化部５２は、図１の画像情報符号化装置と同様の構成を有している。ビデオ符号化部５２においては、例えばH.264 AVC/High Profileに準じて符号化が行われ、得られたビットストリームが多重化部５７に出力される。また、局所復号画像がフレームメモリ５３に保存され、次のピクチャ、もしくは、Dependent streamのピクチャの符号化の際の参照画像として用いられる。
　一方、Dependent streamとして符号化する画像は、並べ替えバッファ５４に入力され、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとして符号化するのに適切な順番に並び替えられる。並び替えられた画像は依存ストリーム符号化部５５に出力される。
　依存ストリーム符号化部５５では、通常のAVCの符号化に追加して、フレームメモリ５３に記憶されているBase streamの局所復号画像を参照画像として用いた符号化が行われ、ビットストリームが多重化部５７に出力される。また、局所復号画像がフレームメモリ５６に保存され、次のピクチャの符号化の際の参照画像として用いられる。
　多重化部５７では、Base stream、およびDependent streamが１本のビットストリームに多重化されて出力される。Base streamとDependent streamがそれぞれ別々のビットストリームとして出力されるようにしてもよい。
　図５は、MVCの参照画像の例を示す図である。
　Base streamは、通常のAVCと同様に時間方向の予測だけを行って符号化が行われる。
　Dependent streamは、通常のAVCと同様の同一視点画像内での時間方向の予測に追加して、同時刻のBase streamの画像を参照画像とした予測を行って符号化が行われる。時間方向の予測を適切に行うことができない場合においても、同時刻の他の視点の画像を参照可能とすることにより、符号化効率を改善することができる。
　図６は、Base streamを生成する図４のビデオ符号化部５２の構成とフレームメモリ５３を示すブロック図である。
　図６に示す構成は、フレームメモリ５３に保存されている画像が依存ストリーム符号化部５５から参照されるようになっている点を除いて、図１の画像情報符号化装置の構成と同様である。
　図７は、Dependent streamを生成する図４の依存ストリーム符号化部５５の構成とフレームメモリ５６を示すブロック図である。
　図７に示す構成は、フレームメモリ５３に保存されている画像を参照できるようになっている点を除いて、図１の画像情報符号化装置の構成と同様である。フレームメモリ５３から読み出された参照画像は動き予測・補償部９０に入力され、動き予測、動き補償に用いられる。
　図８は、多視点復号装置１０１の構成例を示すブロック図である。
　ネットワークや記録媒体を介して多視点符号化装置４１から供給されたBase streamはバッファ１１１に入力され、Dependent streamはバッファ１１４に入力される。１本のストリームに多重化されて供給された場合、Base streamとDependent streamに分離され、バッファ１１１とバッファ１１４にそれぞれ入力される。
　所定の時間だけバッファ１１１において遅延したBase streamは、ビデオ復号部１１２に出力される。
　ビデオ復号部１１２においては、AVCに従ってBase streamの復号が行われ、得られた復号画像がフレームメモリ１１３に保存される。フレームメモリ１１３に保存された復号画像は、次のピクチャ、もしくは、Dependent streamのピクチャの復号の際の参照画像として用いられる。
　ビデオ復号部１１２により得られた復号画像は、所定のタイミングでビデオ信号として3Dディスプレイ１０２に出力される。
　一方、所定の時間だけバッファ１１４において遅延したDependent streamは依存ストリーム復号部１１５に出力される。
　依存ストリーム復号部１１５においては、Dependent streamの復号が行われ、得られた復号画像がフレームメモリ１１６に保存される。フレームメモリ１１６に保存された復号画像は、次のピクチャの復号の際の参照画像として用いられる。
　依存ストリーム復号部１１５においては、適宜、ビットストリーム中の情報（フラグなど）に基づいて、フレームメモリ１１３に保存されている画像が参照画像として使用される。
　依存ストリーム復号部１１５により得られた復号画像は、所定のタイミングでビデオ信号として3Dディスプレイ１０２に出力される。
　3Dディスプレイ１０２においては、ビデオ復号部１１２から供給されたビデオ信号と、依存ストリーム復号部１１５から供給されたビデオ信号に基づいてステレオ画像の表示が行われる。
　図９は、Base streamの復号を行う図８のビデオ復号部１１２の構成とフレームメモリ１１３を示す図である。
　図９に示す構成は、フレームメモリ１１３に保存されている画像が依存ストリーム復号部１１５から参照されるようになっている点を除いて、図２の画像情報復号装置の構成と同様である。
　図１０は、Dependent streamを復号する図８の依存ストリーム復号部１１５の構成とフレームメモリ１１６を示すブロック図である。
　図１０に示す構成は、フレームメモリ１１３に保存されている画像を参照できるようになっている点を除いて、図２の画像情報復号装置の構成と同様である。フレームメモリ１１３から読み出された参照画像は動き予測・補償部１４８に入力され、動き予測、動き補償に用いられる。
特開２００７－２０８９１７号公報
　AVCおよびMVCでは、バッファオーバーフロー、アンダーフローを防ぐため、復号装置側のバッファの動作を模した仮想バッファモデルを定義している。
　符号化装置側では、仮想バッファをオーバーフロー、アンダーフローさせないように符号化が行われる。このようにして符号化されたビットストリームであれば、復号装置はバッファを破綻させることなく復号することができる。
　仮想バッファモデルについて説明する。
　図１１は、仮想バッファモデルの例を示す図である。
　入力されたビットストリームはまずバッファ１５１に供給される。バッファ１５１からは、AU（アクセスユニット）と呼ばれる単位でビットストリームが瞬時に読み出され、ビデオ復号部１５２に供給される。
　ビデオ復号部１５２においては、バッファ１５１から読み出されたデータが瞬時に復号されて復号画像が生成される。このような仮定が仮想バッファモデルではなされる。
　なお、図１１のバッファ１５１は、図８の多視点復号装置１０１においては、バッファ１１１とバッファ１１４に対応する。また、図１１のビデオ復号部１５２は、図８の多視点復号装置１０１においては、ビデオ復号部１１２と依存ストリーム復号部１１５に対応する。
　AVCの場合、１AUには１ピクチャのデータが格納される。
　MVCの場合、１AUには、同一時刻の全てのview（Base streamおよびDependent stream）のデータが格納される。ここで、viewとは各視点の画像である。
　このような仮想バッファモデルでのバッファ１５１の振る舞いを図１２に示す。図１２の縦軸はバッファ占有量を表し、横軸は時刻を表す。
　図１２に示すように、バッファ１５１には所定のビットレートでビットストリームが供給される。また、各AUの読み出し時刻に、バッファ１５１からそのAUに格納されているビットストリームが引き抜かれる。時刻ｔ1，ｔ2，ｔ3，・・・はそれぞれバッファ１５１からの読み出し時刻である。
　図１３は、MVCで符号化されたビットストリームのAUの構成を示す図である。
　図１３の上段にはAU＃１，＃２，＃３が示されている。
　AU＃１は、同一時刻のピクチャであるBase streamのピクチャＰ1とDependent streamのピクチャＰ2から構成される（ピクチャのデータが格納される）。
　AU＃２は、同一時刻のピクチャであるBase streamのピクチャＰ3とDependent streamのピクチャＰ4から構成される。
　AU＃３は、同一時刻のピクチャであるBase streamのピクチャＰ5とDependent streamのピクチャＰ6から構成される。
　図１３の下段にビットストリームの構成を示す。
　図１３のビットストリームは、Base streamとDependent streamを多重化して構成される１本のストリームである。各AUの先頭にはAD(AU Delimiter)と呼ばれるNAL unitが挿入される。ADは、ある固有のデータ列である。
　ADは、同時刻のBase streamのピクチャとDependent streamのピクチャのデータの開始位置を表すことになる。
　図１３に示すように、ビットストリーム上では、AU＃１は、AD＃１、ピクチャＰ1、およびピクチャＰ2から構成される。
　AU＃２は、AD＃２、ピクチャＰ3、およびピクチャＰ4から構成される。
　AU＃３は、AD＃３、ピクチャＰ5、およびピクチャＰ6から構成される。
　ADを検索することにより、AUの先頭を探し出し、所定のピクチャへのアクセスを容易に行うことができるようになっている。
　図１４は、ビットストリームの構造の例を示す図である。
　図１４のＡは、Base streamとDependent streamを１本のビットストリームに多重化した場合の構造を示す。図１４のＡのビットストリームの構造は、図１３のビットストリームの構造と同じである。
　図１４のＢは、Base streamとDependent streamを、それぞれ別の、合計２本のビットストリームに含めた場合の構造を示す。図１４のＡに示す部分と対応する部分には同じ符号を付してある。
　図１４のＢに示すように、Base streamは、AD＃１、ピクチャＰ1、AD＃２、ピクチャＰ3、AD＃３、およびピクチャＰ5がその順番で配置されることによって構成される。
　一方、Dependent streamは、ピクチャＰ2、ピクチャＰ4、およびピクチャＰ6がその順番で配置されることによって構成される。
　図１４のビットストリームを対象とした復号処理について図１１の構成を用いて説明する。
　例えば、図１４のＡのビットストリームが供給された場合、図１１のビデオ復号部１５２は、AD＃１を検出した後、Base streamのピクチャＰ1、Dependent streamのピクチャＰ2を順次読み出し、それぞれ復号する。
　また、図１４のＢのビットストリームが供給された場合、ビデオ復号部１５２は、Base streamの１つ目のAUについては、AD＃１を検出してピクチャＰ1を読み出して復号する。また、ビデオ復号部１５２は、２つ目のAUについては、AD＃２を検出してピクチャＰ3を読み出して復号する。
　Dependent streamの方にはADが存在しないため、各ピクチャを読み出すには、ビットストリーム中のシンタクスを解析し、ピクチャＰ2，Ｐ4，Ｐ6の境界を判定する必要がある。従って、処理が非常に複雑になる。
　ここで、ピクチャの先頭を容易に検出することができるように、Base streamと同様にして、Dependent streamの各ピクチャの先頭にADを単純に追加した場合を考える。
　この場合、例えばBase streamとDependent streamを１本のビットストリームに多重化したときには、ビデオ復号部１５２は、Base streamのAUとDependent streamのAUを別のAUとして認識してしまうことになる。これにより、仮想バッファモデルの動作を正しく再現することができない。
　本発明はこのような状況に鑑みてなされたものであり、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができるようにするものである。
　本発明の一側面の画像信号復号装置は、複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号装置において、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する復号手段を備える。
　前記複数視点の画像信号は２視点の画像信号であり、１本のビットストリームとして構成されるようにすることができる。
　複数視点の画像信号は２視点の画像信号であり、２本のビットストリームとして構成されるようにすることができる。
　前記復号手段には、一方の視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１固有のデータ列を復号して、前記所定の時刻の符号化データの開始を識別し、他方の視点の画像の符号化ビットストリームの先頭に符号化されている、前記所定の時刻の前記他方の視点の画像符号化ビットストリームが開始することを示す、前記第２の固有データ列を復号し、前記他方の視点の画像信号の符号化データの開始を識別してビットストリームを復号させることができる。
　正しく復号を開始できる位置にアクセスする場合、前記復号手段には、１つの視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１の固有データ列を復号して、前記１つの視点の前記所定の時刻の符号化データの開始を識別し、前記他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す前記第２の固有データ列を復号して、前記他の視点の画像信号の符号化データの開始を識別して、識別した開始位置から、ビットストリームを復号させることができる。
　本発明の一側面の画像信号復号方法は、複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号方法において、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号するステップを含む。
　本発明の一側面のプログラムは、複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する処理をコンピュータに実行させるプログラムにおいて、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号するステップを含む処理をコンピュータに実行させる。
　本発明の他の側面の画像信号符号化装置は、複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化装置において、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する符号化手段を備える。
　前記符号化手段には、全ての視点の符号化データを１本のビットストリーム中に多重化させることができる。
　前記符号化手段には、全ての視点の符号化データを２本のビットストリーム中にそれぞれ含ませることができる。
　前記複数視点の画像信号は２視点の画像信号であるようにすることができる。
　本発明の他の側面の画像信号符号化方法は、複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化方法において、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化するステップを含む。
　本発明の他の側面のプログラムは、複数視点の画像信号から構成される立体画像信号を符号化する処理をコンピュータに実行させるプログラムにおいて、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化するステップを含む処理をコンピュータに実行させる。
　本発明の一側面においては、１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列が復号され、前記所定の時刻の符号化データの開始が識別される。また、他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列が復号され、前記他の視点の画像信号の符号化データの開始が識別されてビットストリームが復号される。
　本発明の他の側面においては、１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列が符号化され、他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列が符号化される。
　本発明の一側面によれば、Dependent streamのピクチャのビットストリーム上の境界を容易に検出することができる。
画像情報符号化装置の構成例を示すブロック図である。 画像情報復号装置の構成例を示すブロック図である。 多視点符号化装置を示す図である。 図３の多視点符号化装置の構成例を示すブロック図である。 MVCの参照画像の例を示す図である。 図４のビデオ符号化部の構成とフレームメモリを示すブロック図である。 図４の依存ストリーム符号化部の構成とフレームメモリを示すブロック図である。 多視点復号装置の構成例を示すブロック図である。 図８のビデオ復号部の構成とフレームメモリを示す図である。 図８の依存ストリーム復号部の構成とフレームメモリを示すブロック図である。 仮想バッファモデルの例を示す図である。 図１１のバッファの振る舞いを示す図である。 MVCで符号化されたビットストリームのAUの構成を示す図である。 ビットストリームの構造の例を示す図である。 本発明の一実施形態に係る多視点符号化装置の一部である依存ストリーム符号化部の構成例を示すブロック図である。 ビットストリームの構造の例を示す図である。 NAL unitの構成例を示す図である。 NAL unitのシンタクスを示す図である。 nal_unit_typeの定義を示す図である。 nal_unit_typeの定義を示す図である。 NAL unitのシンタクスを簡略化して示す図である。 NAL unitを含むシンタクスを示す図である。 図２２のシンタクスを簡略化して示す図である。 本発明の一実施形態に係る多視点復号装置の一部である依存ストリーム復号部の構成例を示すブロック図である。 仮想バッファモデルの例を示す図である。 AUの先頭にアクセスする方法の例を示す図である。 シンタクス解析部の動作について説明するフローチャートである。 従来の解析処理について説明するフローチャートである。 ３視点の映像をMVCで符号化して得られたビットストリームのAUの構成を示す図である。 ビットストリームの構造の例を示す図である。 ビットストリームの構造の例を示す図である。 コンピュータの構成例を示すブロック図である。
　［多視点符号化装置の構成］
　図１５は、本発明の一実施形態に係る多視点符号化装置の一部である依存ストリーム符号化部の構成例を示すブロック図である。
　本発明の一実施形態に係る多視点符号化装置においては、Base streamにはAUの境界を示す情報が符号化され、Dependent streamには、Dependent streamのピクチャ間の境界を示す情報が符号化される。
　これにより、多視点復号装置は、立体画像のビットストリームを復号する際、簡単な処理でAUの境界等を判定し、仮想バッファモデルに基づいて復号動作を行うことが可能になる。
　多視点符号化装置は図４の構成と同じ構成を有する。図１５は、図４の依存ストリーム符号化部５５の構成例を示す。本発明の一実施形態に係る多視点符号化装置４１のビデオ符号化部５２は、図６の構成と同じ構成を有する。同じ構成については同じ符号を付してある。
　図１５に示す依存ストリーム符号化部５５の構成は、DD符号化部２０１が設けられる点と、DD符号化部２０１の出力が可逆符号化部８６に供給されるようになっている点を除いて、図７の構成と同じ構成である。
　DD符号化部２０１は、Dependent streamの各ピクチャの先頭にDD(Dependent delimiter)（View and dependency representation delimiter NAL unit）と呼ばれるNAL unitを挿入する。DDは、ADと同様に固有のデータ列であるが、ADとは異なる値を持つ。
　可逆符号化部８６は、DD符号化部２０１により生成されたDDのNAL unitを各ピクチャの先頭に挿入して符号化し、DDが挿入されたDependent streamを出力する。
　図１６は、図１５の依存ストリーム符号化部５５を含む多視点符号化装置４１により生成されたビットストリームの構造の例を示す図である。
　図１６のＡは、Base streamとDependent streamを１本のビットストリームに多重化した場合の構造の例を示す。
　図１６のＢは、Base streamとDependent streamをそれぞれ、別の、合計２本のビットストリームに含めた場合の構造の例を示す。図１６のＡに示す部分と対応する部分には同じ符号を付してある。
　図１６のＡのビットストリームを生成する場合、多視点符号化装置４１は、AD＃１を符号化した後、Base streamのピクチャＰ1を符号化する。次に、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDD＃１を符号化し、その後にDependent streamのピクチャＰ2を符号化する。
　次のAUに処理対象を切り替えたとき、多視点符号化装置４１は、AD＃２を符号化し、Base streamのピクチャＰ3を符号化する。次に、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDD＃２を符号化し、その後にDependent streamのピクチャＰ4を符号化する。
　同様にして、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDDを符号化し、DDの直後にDependent streamのピクチャを配置する。
　この例においても、AUの先頭にはADが配置される。１つ目のAUはAD＃１、ピクチャＰ1、DD＃１、およびピクチャＰ2から構成され、２つ目のAUはAD＃２、ピクチャＰ3、DD＃２、およびピクチャＰ4から構成される。３つ目のAUはAD＃３、ピクチャＰ5、DD＃３、およびピクチャＰ6から構成される。
　図１６のＢのビットストリームを生成する場合、多視点符号化装置４１は、Base streamについては、AD＃１を符号化した後、Base streamのピクチャＰ1を符号化する。次のAUに処理対象を切り替えたとき、多視点符号化装置４１は、AD＃２を符号化し、Base streamのピクチャＰ3を符号化する。
　また、多視点符号化装置４１は、Dependent streamについては、DD＃１を符号化した後、Dependent streamのピクチャＰ2を符号化する。次のAUに処理対象を切り替えたとき、多視点符号化装置４１は、DD＃２を符号化し、Dependent streamのピクチャＰ4を符号化する。
　同様にして、多視点符号化装置４１は、Dependent streamのピクチャを符号化する前にDDを符号化し、DDの直後にDependent streamのピクチャを配置する。
　図１６のＢに示すように、Base streamは、AD＃１、ピクチャＰ1、AD＃２、ピクチャＰ3、AD＃３、およびピクチャＰ5がその順番で配置されることによって構成される。
　一方、Dependent streamは、DD＃１、ピクチャＰ2、DD＃２、ピクチャＰ4、DD＃３、およびピクチャＰ6がその順番で配置されることによって構成される。
　図１６のＢの例においても、１つ目のAUはAD＃１、ピクチャＰ1、DD＃１、およびピクチャＰ2から構成され、２つ目のAUはAD＃２、ピクチャＰ3、DD＃２、およびピクチャＰ4から構成される。３つ目のAUはAD＃３、ピクチャＰ5、DD＃３、およびピクチャＰ6から構成される。
　ADは、同時刻のBase streamのピクチャとDependent streamのピクチャのデータの開始位置、すなわち、所定の時刻の全視点の画像符号化ビットストリームの開始位置を表す。また、DDは、Dependent streamのピクチャのデータの境界位置、すなわち、Dependent streamの画像符号化ビットストリームの開始位置を表す。
［シンタクスについて］
　DDのシンタクスについて説明する。
　ADや各ピクチャを含む全ての符号化データは、NAL unitと呼ばれるユニットに格納され、所定の順番に並び替えられてビットストリームが構成される。詳細はISO/IEC 14496-10 | ITU-T H.264に記載されている。
　DDについても、NAL unitに格納されることになる。
　図１７は、NAL unitの構成例を示す図である。
　符号化データやヘッダはバイト単位で取り扱われる。NAL_BytesInNALunitはそのNAL unitのサイズをバイト単位で示すパラメータであり、NAL unitの境界を識別するのに必要となる。
　NAL unitの境界を識別する一つの方法として、スタートコードを検索する方法がある。それ以外の場合、何らかの手法でNAL unitのサイズをデコーダに伝送する必要がある。rbsp_byte[]は、NAL unitに格納される符号化データやヘッダである。
　図１８は、NAL unitのシンタクスを示す図である。
　forbidden_zero_bitは１ビットのデータであり常に０である。
　nal_ref_idcは２ビットのデータであり、この値が０以外の値である場合、当該NAL unitが、他のNAL unitからデータを参照されることを示す。nal_ref_idcの値が０である場合、他のNAL unitからは参照されない。
　nal_unit_typeは５ビットのデータであり、当該NAL unitの中身が何であるかを示す。
　forbidden_zero_bit、nal_ref_idc、nal_unit_typeが、図１７のヘッダ（Header）を構成する。
　図１９および図２０は、nal_unit_typeの定義を示す図である。
　図１９に示すように、nal_unit_type=9は、当該NAL unitの中身がADであることを示す。
　図２０に示すように、nal_unit_type=18は、当該NAL unitの中身がDDであることを示す。
　図１８のNAL unitのシンタクスを簡略化すると図２１に示すようなものになる。
　NAL unitは、図２２に示すシンタクスに基づき、スタートコードを付加して、バイトストリームと呼ばれるストリームを構成する。このバイトストリームが、上述したビットストリームに相当する。
　図２２の３byte（0x000001）のstartcode_prefix（start_code_prefix_one_3bytes）が、NAL unitの先頭に付加されるスタートコードである。startcode_prefixは、バイトストリーム中で他の場所に出現してはいけない、固有のコードである。
　バイトストリーム中のstartcode_prefixを検索することで、NAL unitの先頭を検出することができる。また、先頭を検出したNAL unitのヘッダにあるnal_unit_typeをチェックすることで、所望のNAL unitにアクセスすることが可能になる。
　図２２のシンタクスを簡略化すると図２３に示すようなものになる。
　このように、Dependent streamの各ピクチャの境界には、Dependent streamがBase streamとともに１本のビットストリームに多重化される場合であっても、別のビットストリームに含まれる場合であっても、DDが配置される。
　DDを格納するNAL unitの先頭にはスタートコードが付加され、そのnal_unit_typeの値として、中身がDDであることを表す値である１８が設定される。
　多視点復号装置は、スタートコードを検出することによってNAL unitの先頭を検出することができる。また、先頭を検出したnal_unit_typeの値が１８であることをチェックすることによって、DD、すなわち、Dependent streamのピクチャの境界（先頭）を検出することが可能になる。
［多視点復号装置］
　図２４は、本発明の一実施形態に係る多視点復号装置の一部である依存ストリーム復号部の構成例を示すブロック図である。
　本発明の一実施形態に係る多視点復号装置は図８の構成と同じ構成を有する。図２４は、図８の依存ストリーム復号部１１５の構成例を示す。本発明の一実施形態に係る多視点復号装置１０１のビデオ復号部１１２は、図９の構成と同じ構成を有する。
　図２４に示す依存ストリーム復号部１１５の構成は、DDが可逆符号復号部１４２から出力されるようになっている点を除いて、図１０の構成と同じ構成である。
　可逆符号復号部１４２は、Dependent streamに含まれるDDを復号し、出力する。出力されたDDに基づいて、上位のアプリケーションなどにより、ランダムアクセス時のデコードの開始位置などが特定される。
　MVCの仮想バッファモデルについて説明する。
　図２５は、MVCのビットストリームがBase streamとDependent streamの２本で構成される場合の仮想バッファモデルの例を示す図である。
　入力されたBase streamはバッファ１５１Ａに格納され、Dependent streamはバッファ１５１Ｂに格納される。バッファ１５１Ａ，１５１Ｂから、AU単位でビットストリームが瞬時に読み出され、ビデオ復号装置１５２において瞬時に復号される。
　なお、図２５のバッファ１５１Ａは、図８の多視点復号装置１０１においてはバッファ１１１に対応し、図２５のバッファ１５１Ｂは、図８の多視点復号装置１０１においてはバッファ１１４に対応する。また、図２５のビデオ復号部１５２は、図８の多視点復号装置１０１においては、ビデオ復号部１１２と依存ストリーム復号部１１５に対応する。
　例えば、図１６のＢのBase streamがバッファ１５１Ａに格納され、Dependent streamがバッファ１５１Ｂに格納された場合、あるタイミングでは、AD＃１に基づいて、バッファ１５１ＡからピクチャＰ1が読み出され、DD＃１に基づいてバッファ１５１ＢからピクチャＰ2が読み出される。読み出されたピクチャはビデオ復号部１５２により復号される。
　また、次のタイミングでは、AD＃２に基づいて、バッファ１５１ＡからピクチャＰ3が読み出され、DD＃２に基づいてバッファ１５１ＢからピクチャＰ4が読み出される。
　MVCのビットストリームがBase streamとDependent streamの１本で構成される場合の仮想バッファモデルは図１１に示すものと同じになる。
　例えば、図１６のＡのビットストリームが図１１のバッファ１５１に格納された場合、あるタイミングでは、AD＃１に基づいて、バッファ１５１からピクチャＰ1とＰ2が読み出される。
　また、次のタイミングでは、AD＃２に基づいて、バッファ１５１からピクチャＰ3とＰ4が読み出される。
　次に、ランダムアクセス時やエラー発生時などに、所定のAUの先頭にアクセスする方法の例について図２６を参照して説明する。
　入力されたビットストリームは、まず、バッファ２１１に供給され、一時的に記憶された後、スタートコード検出部２１２とデコーダ２１４に供給される。
　スタートコード検出部２１２は、固有のデータ列を持つスタートコードを検出する。スタートコードを検出した場合、スタートコード検出部２１２は、それに続くデータをシンタクス解析部２１３に出力する。
　シンタクス解析部２１３は、スタートコード検出部２１２から供給されたデータを解析する。スタートコードに続くデータであるから、スタートコード検出部２１２から供給されたデータはNAL unitのデータになる。
　シンタクス解析部２１３は、NAL unitのヘッダ等の解析を行うことによってAUの開始位置を識別した場合、デコーダ２１４とバッファ２１１にAUの開始位置であることを示す信号を出力する。
　ADが存在する場合（NAL unitのデータが供給された場合）、シンタクス解析部２１３はnal_unit_type=9であるかどうかをチェックする。nal_unit_type=9である場合、そのNAL unitの中身は上述したようにADであり、これにより、AUの先頭であることが検出される。
　同様に、ADが存在する場合、シンタクス解析部２１３はnal_unit_type=18であるかどうかをチェックする。nal_unit_type=18である場合、そのNAL unitの中身は上述したようにDDであり、これにより、Dependent streamのピクチャの先頭であることが検出される。
　デコーダ２１４とバッファ２１１は、シンタクス解析部２１３からの信号に基づき、以降、AU単位で、各ピクチャの復号を通常通り行う。
　図２７のフローチャートを参照して、Dependent streamのピクチャの先頭を検出する動作について説明する。
　ここでは、図１６のＢに示すようにBase streamとDependent streamがそれぞれ別のビットストリームを構成し、Dependent streamにはDDが符号化されているものとする。
　ステップＳ１において、スタートコード検出部２１２はスタートコードの検索を行う。
　スタートコードが検出された後、ステップＳ２において、シンタクス解析部２１３は、nal_unit_type=18であるかどうかをチェックする。
　nal_unit_type=18であるとステップＳ２において判定された場合、ステップＳ３において、シンタクス解析部２１３は、検出したスタートコードが付加されているNAL unitがDDを格納するユニットであり、Dependent streamのピクチャの先頭であることを検出する。
　図１４のＢに示すように２本のビットストームで構成され、また、従来のMVCのようにDependent streamにDDがない場合の動作を図２８に示す。
　図２８に示すように、Dependent streamにDDがない場合、スライスヘッダまで復号し、多数の条件判定を経て、ようやくステップＳ２３においてAUの先頭（ピクチャの先頭）であることを検出することが可能になる。
　図２８において、ステップＳ２３までの各判定に用いられる値は、NAL unitのRBSP（図１７）に格納されているスライスヘッダに記述されている情報である。上述したnal_unit_type=18のように、NAL unitのヘッダに記述されている情報ではないから、解析処理が複雑になる。
［３視点のビットストリーム］
　３視点のビットストリームについて説明する。
　図２９は、３視点の映像をMVCで符号化して得られたAUの構成を示す図である。
　上述したように、MVCの場合、１AUには同一時刻の全てのviewのデータが格納される。視点の数が３の場合であっても同じである。
　図２９のAU＃１１は、Base streamのピクチャＰ11、Dependent stream1のピクチャＰ12、およびDependent stream2のピクチャＰ13から構成される。
　AU＃１２は、Base streamのピクチャＰ14、Dependent stream1のピクチャＰ15、およびDependent stream2のピクチャＰ16から構成される。
　AU＃１３は、Base streamのピクチャＰ17、Dependent stream1のピクチャＰ18、およびDependent stream2のピクチャＰ19から構成される。
　図３０は、ビットストリームの構造の例を示す図である。
　図３０に示すビットストリームにはDDが含まれていない。
　図３０のＡは、Base streamとDependent stream1とDependent stream2を１本のビットストリームに多重化した場合の構造の例を示す。
　図３０のＢは、Base streamとDependent stream1とDependent stream2とを、それぞれ別の、合計３本のビットストリームに含めた場合の構造の例を示す。図３０のＡに示す部分と対応する部分には同じ符号を付してある。
　例えば、図３０のＡのビットストリームが供給された場合、ビデオ復号部１５２は、AD＃１１を検出した後、Base streamのピクチャＰ11、Dependent stream1のピクチャＰ12、Dependent stream2のピクチャＰ13を順次読み出し、それぞれ復号する。
　また、図３０のＢのビットストリームが供給された場合、ビデオ復号部１５２は、Base streamの１つ目のAUについては、AD＃１１を検出してピクチャＰ11を読み出して復号する。また、ビデオ復号部１５２は、２つ目のAUについては、AD＃１２を検出してピクチャＰ14を読み出して復号する。
　Dependent stream1,2の方にはDDが存在しない。従って、各ピクチャを読み出すには、ビットストリーム中のシンタクスを図２８の処理に従って解析し、ピクチャＰ12，Ｐ13，Ｐ15，Ｐ16，Ｐ18，Ｐ19の境界を検出する必要があることになる。
　図３１は、本発明の一実施形態に係る多視点符号化装置１０１により生成されたビットストリームの構造の例を示す図である。
　図３１のＡは、Base streamとDependent stream1とDependent stream2とを１本のビットストリームに多重化した場合の構造の例を示す。
　図３１のＢは、Base streamとDependent stream1とDependent stream2とを、それぞれ別の、合計３本のビットストリームに含めた場合の構造の例を示す。
　図３１のＡのビットストリームが供給された場合、ビデオ復号部１５２は、AD＃１１を検出した後、Base streamのピクチャＰ11、Dependent stream1のピクチャＰ12、Dependent stream2のピクチャＰ13を順次読み出し、それぞれ復号する。
　図３１のＢのビットストリームが供給された場合、ビデオ復号部１５２は、Base streamの１つ目のAUについては、AD＃１１を検出した後、ピクチャＰ11を復号する。ビデオ復号部１５２は、２つ目のAUについては、AD＃１２を検出した後、ピクチャＰ14を復号する。
　また、ビデオ復号部１５２は、Dependent stream1については、DD＃１１を検出した後、ピクチャＰ12を復号する。また、ビデオ復号部１５２は、DD＃１２を検出した後、ピクチャＰ15を復号する。
　さらに、ビデオ復号部１５２は、Dependent stream2については、DD＃２１を検出した後、ピクチャＰ13を復号する。また、ビデオ復号部１５２は、DD＃２２を検出した後、ピクチャＰ16を復号する。
　このように、多視点復号装置１０１においては、AUの境界を示す情報であるADと、Dependent streamのピクチャ間の境界を示す情報であるDDに基づいて、所望のAUを検出して復号し、立体画像を表示させることが行われる。
　Dependent streamのあるピクチャの開始位置を検出する場合にスライスヘッダの解析を行う必要がないため、高速なランダムアクセスを実現することが可能になる。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、バス３０４には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　４１　多視点符号化装置，　５１　並べ替えバッファ，　５２　ビデオ符号化部，　５３　フレームメモリ，　５４　並べ替えバッファ，　５５　依存ストリーム符号化部，　５６　フレームメモリ，　５７　多重化部，　１０１　多視点復号装置，　１０２　3Dディスプレイ，　１１１　バッファ，　１１２　ビデオ復号部，　１１３　フレームメモリ，　１１４　バッファ，　１１５　依存ストリーム復号部，　１１６　フレームメモリ，　２０１　DD符号化部

Claims (13)

  1. 　複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号装置において、
    　１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、
    　他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する復号手段を備える
    　画像信号復号装置。
  2. 　前記複数視点の画像信号は２視点の画像信号であり、１本のビットストリームとして構成される
    　請求項１に記載の画像信号復号装置。
  3. 　複数視点の画像信号は２視点の画像信号であり、２本のビットストリームとして構成される
    　請求項１に記載の画像信号復号装置。
  4. 　前記復号手段は、一方の視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１固有のデータ列を復号して、前記所定の時刻の符号化データの開始を識別し、
    　他方の視点の画像の符号化ビットストリームの先頭に符号化されている、前記所定の時刻の前記他方の視点の画像符号化ビットストリームが開始することを示す、前記第２の固有データ列を復号し、前記他方の視点の画像信号の符号化データの開始を識別してビットストリームを復号する
    　請求項３に記載の画像信号復号装置。
  5. 　正しく復号を開始できる位置にアクセスする場合、
    　前記復号手段は、１つの視点の画像に符号化されている、前記所定の時刻の全視点の画像符号化ビットストリームが開始することを示す前記第１の固有データ列を復号して、前記１つの視点の前記所定の時刻の符号化データの開始を識別し、
    　前記他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す前記第２の固有データ列を復号して、前記他の視点の画像信号の符号化データの開始を識別して、識別した開始位置から、ビットストリームを復号する
    　請求項１に記載の画像信号復号装置。
  6. 　複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する画像信号復号方法において、
    　１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、
    　他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する
    　ステップを含む画像信号復号方法。
  7. 　複数視点の画像信号から構成される立体画像信号を符号化したビットストリームを復号する処理をコンピュータに実行させるプログラムにおいて、
    　１つの視点の画像に符号化されている、所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を復号し、前記所定の時刻の符号化データの開始を識別し、
    　他の視点の画像の符号化ビットストリームの先頭にそれぞれ符号化されている、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を復号し、前記他の視点の画像信号の符号化データの開始を識別してビットストリームを復号する
    　ステップを含む処理をコンピュータに実行させるプログラム。
  8. 　複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化装置において、
    　１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、
    　他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する符号化手段を備える
    　画像信号符号化装置。
  9. 　前記符号化手段は、全ての視点の符号化データを１本のビットストリーム中に多重化する
    　請求項８に記載の画像信号符号化装置。
  10. 　前記符号化手段は、全ての視点の符号化データを２本のビットストリーム中にそれぞれ含める
    　請求項８に記載の画像信号符号化装置。
  11. 　前記複数視点の画像信号は２視点の画像信号である
    　請求項８に記載の画像信号符号化装置。
  12. 　複数視点の画像信号から構成される立体画像信号を符号化する画像信号符号化方法において、
    　１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、
    　他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する
    　ステップを含む画像信号符号化方法。
  13. 　複数視点の画像信号から構成される立体画像信号を符号化する処理をコンピュータに実行させるプログラムにおいて、
    　１つの視点の画像に所定の時刻の全視点の画像符号化ビットストリームが開始することを示す第１の固有データ列を符号化し、
    　他の視点の画像の符号化ビットストリームの先頭には、それぞれ、前記所定の時刻の前記他の視点の画像符号化ビットストリームが開始することを示す第２の固有データ列を符号化する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2010/055271 2009-04-03 2010-03-25 画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム WO2010113770A1 (ja)

Priority Applications (16)

Application Number Priority Date Filing Date Title
RU2010148466/08A RU2511595C2 (ru) 2009-04-03 2010-03-25 Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа
KR1020167000980A KR101610614B1 (ko) 2009-04-03 2010-03-25 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체
US12/993,400 US8472731B2 (en) 2009-04-03 2010-03-25 Image signal decoding apparatus, image signal decoding method, image signal encoding apparatus, image signal encoding method, and program
BRPI1001267A BRPI1001267A2 (pt) 2009-04-03 2010-03-25 aparelho e métodos de decodificação e codificação de sinal de imagem, e ,programa
PL10758543T PL2416577T3 (pl) 2009-04-03 2010-03-25 Urządzenie do dekodowania sygnału obrazu i sposób dekodowania sygnału obrazu
AU2010231805A AU2010231805B2 (en) 2009-04-03 2010-03-25 Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
MX2010012930A MX2010012930A (es) 2009-04-03 2010-03-25 Aparato para decodificacion de señales de imagen, metodo para decodificacion de señales de imagen, aparato para codificacion de señales de imagen metodo para codificacion de señales de imagen, y programa.
CN201080001692.1A CN102388616B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法
CA 2724872 CA2724872C (en) 2009-04-03 2010-03-25 Image signal decoding apparatus, image signal decoding method, image signal encoding apparatus, image signal encoding method, and program
EP20100758543 EP2416577B1 (en) 2009-04-03 2010-03-25 Image signal decoding apparatus and image signal decoding method
EP13163141.8A EP2624570B1 (en) 2009-04-03 2010-03-25 Image signal encoding method and apparatus
HK12107454A HK1166906A1 (en) 2009-04-03 2012-07-31 Image signal decoding device, image signal decoding method, image signal encoding device and image signal encoding method
US13/687,850 US8538181B2 (en) 2009-04-03 2012-11-28 Image signal encoding apparatus and image signal encoding method
US13/687,890 US8503804B2 (en) 2009-04-03 2012-11-28 Image signal decoding apparatus and image signal decoding method
US13/924,117 US9036930B2 (en) 2009-04-03 2013-06-21 Image signal decoding apparatus and image signal decoding method
US14/666,348 US9426480B2 (en) 2009-04-03 2015-03-24 Image signal decoding apparatus and image signal decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-091245 2009-04-03
JP2009091245A JP4947389B2 (ja) 2009-04-03 2009-04-03 画像信号復号装置、画像信号復号方法、および画像信号符号化方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US12/993,400 A-371-Of-International US8472731B2 (en) 2009-04-03 2010-03-25 Image signal decoding apparatus, image signal decoding method, image signal encoding apparatus, image signal encoding method, and program
US13/687,850 Continuation US8538181B2 (en) 2009-04-03 2012-11-28 Image signal encoding apparatus and image signal encoding method
US13/687,890 Continuation US8503804B2 (en) 2009-04-03 2012-11-28 Image signal decoding apparatus and image signal decoding method

Publications (1)

Publication Number Publication Date
WO2010113770A1 true WO2010113770A1 (ja) 2010-10-07

Family

ID=42828063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/055271 WO2010113770A1 (ja) 2009-04-03 2010-03-25 画像信号復号装置、画像信号復号方法、画像信号符号化装置、画像信号符号化方法、およびプログラム

Country Status (15)

Country Link
US (5) US8472731B2 (ja)
EP (4) EP2618583B1 (ja)
JP (1) JP4947389B2 (ja)
KR (2) KR101610419B1 (ja)
CN (4) CN103281529B (ja)
AU (1) AU2010231805B2 (ja)
BR (1) BRPI1001267A2 (ja)
CA (3) CA2724872C (ja)
HK (1) HK1166906A1 (ja)
MX (1) MX2010012930A (ja)
MY (3) MY184370A (ja)
PL (1) PL2416577T3 (ja)
RU (3) RU2573778C2 (ja)
TW (3) TWI514893B (ja)
WO (1) WO2010113770A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
TWI403423B (zh) * 2010-12-02 2013-08-01 Cal Comp Electronics & Comm Co 功能選項設定方法與應用其之多功能事務機
JP5355606B2 (ja) * 2011-03-03 2013-11-27 日本電信電話株式会社 ステレオ動画像符号化方法、装置およびプログラム
TWI552575B (zh) * 2011-08-09 2016-10-01 三星電子股份有限公司 多視角視訊預測方法及裝置以及多視角視訊預測還原方法及裝置
KR102009049B1 (ko) * 2011-11-11 2019-08-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP5928118B2 (ja) * 2012-04-16 2016-06-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP2865177B1 (en) * 2012-06-25 2018-10-03 Huawei Technologies Co., Ltd. Method for signaling a gradual temporal layer access picture
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US10178400B2 (en) 2012-11-21 2019-01-08 Dolby International Ab Signaling scalability information in a parameter set
EP2923488B1 (en) * 2012-11-21 2021-05-26 Dolby International AB Signaling scalability information in a parameter set
US9135723B1 (en) * 2012-12-19 2015-09-15 Marvell International Ltd. Efficient visually lossless compression
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
JP2017060004A (ja) * 2015-09-16 2017-03-23 株式会社東芝 エンコード装置、デコード装置、エンコードプログラム、デコードプログラム及びストリーミングシステム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
JP7119425B2 (ja) * 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750855A (ja) * 1993-08-06 1995-02-21 Sharp Corp 画像伝送装置
WO2003092304A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP2006054500A (ja) * 2004-07-14 2006-02-23 Ntt Docomo Inc 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
JP2007208917A (ja) 2006-02-06 2007-08-16 Toshiba Corp 復号装置
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3351645B2 (ja) * 1995-01-31 2002-12-03 松下電器産業株式会社 動画像信号の符号化方法
EP2271090B1 (en) * 1996-02-28 2013-12-11 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
JP3593227B2 (ja) * 1996-10-31 2004-11-24 株式会社リコー 立体カメラおよび立体写真撮影アタッチメント
GB2359185B (en) * 1998-10-27 2003-02-19 Hitachi Maxell Information recording method and system,image compression/decompression system,system control method,and monitoring system including part or all of them
US6873630B1 (en) * 1999-05-19 2005-03-29 Sun Microsystems, Inc. Method and apparatus for a multi-gigabit ethernet architecture
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
CN1258922C (zh) * 2000-09-22 2006-06-07 皇家菲利浦电子有限公司 细粒可分级性的最佳传输/流式顺序
JP2002142192A (ja) * 2000-11-01 2002-05-17 Sony Corp 信号処理装置および方法、ならびに、記録装置および方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
EP1501316A4 (en) * 2002-04-25 2009-01-21 Sharp Kk METHOD FOR GENERATING MULTIMEDIA INFORMATION, AND DEVICE FOR REPRODUCING MULTIMEDIA INFORMATION
JP2004140575A (ja) * 2002-10-17 2004-05-13 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
JP2006518127A (ja) * 2003-02-18 2006-08-03 ノキア コーポレイション ピクチャ復号化方法
JP4265527B2 (ja) * 2003-12-19 2009-05-20 ソニー株式会社 再生装置及び再生方法、並びにコンテンツ記録方法
JP4044069B2 (ja) * 2004-04-23 2008-02-06 株式会社ソニー・コンピュータエンタテインメント テクスチャ処理装置、テクスチャ処理方法および画像処理装置
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP4902358B2 (ja) * 2004-12-02 2012-03-21 ソニー株式会社 符号化装置および方法、並びにプログラム
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
JP2007010779A (ja) * 2005-06-28 2007-01-18 Kyocera Corp 光学モジュール及び携帯端末
JP4886689B2 (ja) * 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
CN101931801A (zh) * 2005-09-20 2010-12-29 三菱电机株式会社 图像编码方法和图像编码装置以及图像编码比特流
WO2007114612A1 (en) * 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
DK2103136T3 (en) 2006-12-21 2017-12-04 Thomson Licensing METHODS AND APPARATUS FOR IMPROVED SIGNALING USING HIGH-LEVEL SYNTHOLOGY FOR MULTIVIEW VIDEO AND DECODING
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
CN102224737B (zh) * 2008-11-24 2014-12-03 皇家飞利浦电子股份有限公司 组合三维视频和辅助数据
EP2362672B1 (en) 2008-12-01 2016-04-20 Sharp Kabushiki Kaisha Contents reproduction device, reproduction method, program and recording medium
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010113454A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
EP2434769B1 (en) * 2009-05-19 2016-08-10 Panasonic Intellectual Property Management Co., Ltd. Recording method and playback method
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750855A (ja) * 1993-08-06 1995-02-21 Sharp Corp 画像伝送装置
WO2003092304A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP2006054500A (ja) * 2004-07-14 2006-02-23 Ntt Docomo Inc 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
JP2007208917A (ja) 2006-02-06 2007-08-16 Toshiba Corp 復号装置
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク

Also Published As

Publication number Publication date
EP2624570B1 (en) 2019-08-14
TW201347555A (zh) 2013-11-16
MY184370A (en) 2021-04-01
US8538181B2 (en) 2013-09-17
EP2618583B1 (en) 2017-05-24
AU2010231805A1 (en) 2010-10-07
US8503804B2 (en) 2013-08-06
RU2573257C2 (ru) 2016-01-20
TW201041402A (en) 2010-11-16
JP4947389B2 (ja) 2012-06-06
TWI517720B (zh) 2016-01-11
CN103237218A (zh) 2013-08-07
EP2416577A1 (en) 2012-02-08
CA2805813C (en) 2013-09-24
KR20120003796A (ko) 2012-01-11
RU2573778C2 (ru) 2016-01-27
PL2416577T3 (pl) 2015-02-27
AU2010231805B2 (en) 2015-05-21
CN102388616B (zh) 2014-04-09
EP2618583A1 (en) 2013-07-24
CN103220531A (zh) 2013-07-24
US9426480B2 (en) 2016-08-23
EP2624570A1 (en) 2013-08-07
US20110064322A1 (en) 2011-03-17
MY176875A (en) 2020-08-25
CA2724872A1 (en) 2010-10-07
JP2010245766A (ja) 2010-10-28
CN102388616A (zh) 2012-03-21
TW201352006A (zh) 2013-12-16
CA2724872C (en) 2013-09-24
CN103281529B (zh) 2016-05-25
EP2615836A1 (en) 2013-07-17
TWI514893B (zh) 2015-12-21
EP2416577A4 (en) 2013-02-27
MY159386A (en) 2016-12-30
US9036930B2 (en) 2015-05-19
RU2010148466A (ru) 2012-06-10
BRPI1001267A2 (pt) 2016-02-16
RU2014101346A (ru) 2015-07-27
US8472731B2 (en) 2013-06-25
KR101610419B1 (ko) 2016-04-07
US20130089155A1 (en) 2013-04-11
KR101610614B1 (ko) 2016-04-07
RU2511595C2 (ru) 2014-04-10
TWI407796B (zh) 2013-09-01
EP2615836B1 (en) 2018-07-04
MX2010012930A (es) 2011-01-25
US20150195550A1 (en) 2015-07-09
RU2014101355A (ru) 2015-07-27
US20130279601A1 (en) 2013-10-24
HK1166906A1 (en) 2012-11-09
CN103237218B (zh) 2016-03-23
CA2805813A1 (en) 2010-10-07
CA2805900A1 (en) 2010-10-07
KR20160013253A (ko) 2016-02-03
US20130089267A1 (en) 2013-04-11
CN103281529A (zh) 2013-09-04
EP2416577B1 (en) 2014-09-17
CA2805900C (en) 2014-09-30
CN103220531B (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
JP4947389B2 (ja) 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8649434B2 (en) Apparatus, method and program enabling improvement of encoding efficiency in encoding images
JP2010110007A (ja) 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
WO2009073077A1 (en) An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video
KR20080055685A (ko) 비디오 신호의 디코딩 방법 및 장치
AU2015202063B2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080001692.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010231805

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2724872

Country of ref document: CA

Ref document number: 12993400

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010758543

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10758543

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20107026436

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010148466

Country of ref document: RU

Ref document number: MX/A/2010/012930

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 7710/CHENP/2010

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2010231805

Country of ref document: AU

Date of ref document: 20100325

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI1001267

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20101126