WO2011046085A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2011046085A1
WO2011046085A1 PCT/JP2010/067757 JP2010067757W WO2011046085A1 WO 2011046085 A1 WO2011046085 A1 WO 2011046085A1 JP 2010067757 W JP2010067757 W JP 2010067757W WO 2011046085 A1 WO2011046085 A1 WO 2011046085A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
picture
unit
decoding
encoding
Prior art date
Application number
PCT/JP2010/067757
Other languages
English (en)
French (fr)
Inventor
鈴木　輝彦
良知 高橋
北村　卓也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/500,374 priority Critical patent/US20120195513A1/en
Priority to CN201080045621.1A priority patent/CN102577402A/zh
Publication of WO2011046085A1 publication Critical patent/WO2011046085A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals

Definitions

  • the present invention relates to an image processing apparatus and an image processing method, and in particular, in the case where a multi-viewpoint image forming a stereoscopic image is multiplexed and encoded, the decoding apparatus decodes the encoded data halfway through
  • the present invention also relates to an image processing apparatus and an image processing method capable of recognizing a set of multi-view images constituting a stereoscopic image.
  • image information is handled as a digital signal, and in that case, it is an MPEG that is compressed by orthogonal transformation such as discrete cosine transformation and motion compensation for the purpose of efficient transmission and storage of information, using redundancy unique to image information.
  • orthogonal transformation such as discrete cosine transformation and motion compensation for the purpose of efficient transmission and storage of information, using redundancy unique to image information.
  • a device conforming to a method such as (Moving Picture Expert Group) is becoming popular in both information distribution such as broadcasting stations and information reception in general homes.
  • orthogonal transformation such as discrete cosine transformation or Karhunen-Loeve transformation such as MPEG, H. 26x, etc. and motion compensation
  • satellite broadcasting cable 2.
  • Encoding devices and decoding devices used in receiving via network media such as TV and the Internet, or when processing on storage media such as optical disks, magnetic disks, and flash memories are in widespread use.
  • MPEG2 ISO / IEC 13818-2
  • MPEG2 ISO / IEC 13818-2
  • ISO / IEC 13818-2 is defined as a general-purpose image coding method, and both an interlaced scan image (an interlace method image) and a progressive scan image (a progressive method image) and a standard resolution image And standards that cover high definition images and are currently widely used in a wide range of applications for professional and consumer applications.
  • the MPEG2 compression method for example, if it is an interlace scan image of standard resolution having 720 ⁇ 480 pixels by 4 ⁇ 8 Mbps, if it is an interlace scan image of 1920 ⁇ 1088 pixels, it is 18 to By allocating a code rate (bit rate) of 22 Mbps, it is possible to realize a high compression rate and a good image quality.
  • bit rate code rate
  • MPEG2 is mainly intended for high image quality coding suitable for broadcasting, it did not correspond to a coding amount (bit rate) lower than that of MPEG1, that is, a coding method with a higher compression rate.
  • bit rate bit rate
  • MPEG4 coding amount
  • AVC MPEG-4 part 10, ISO / IEC 14496-10, ITU-T H.264
  • JVT Joint Video Team
  • AVC is a hybrid coding method including motion compensation and discrete cosine transform, as in MPEG2 and MPEG4.
  • AVC is known to achieve higher coding efficiency although it requires a larger amount of calculation for encoding and decoding as compared to conventional encoding methods such as MPEG2 and MPEG4.
  • the smallest number of viewpoints is a 3D (Dimensional) image (stereo image) having two viewpoints, and the image data of the 3D image is an image observed by the left eye. It consists of image data of a certain left eye image (hereinafter also referred to as L (Left) image) and image data of a right eye image (hereinafter also referred to as R (Right) image) which is an image observed by the right eye.
  • L (Left) image left eye image
  • R (Right) image image data of a right eye image
  • a 3D image of two viewpoints with the smallest number of viewpoints will be described as an example of multi-view images constituting a stereoscopic image.
  • the encoded data of the 3D image is a bit stream obtained as a result of the L image and the R image (hereinafter referred to as LR pair) constituting the 3D image being multiplexed in the time direction and encoded.
  • the decoding device can not recognize which image in the bitstream and the image of which image are encoded data of LR pair. Therefore, the decoding device recognizes two decoded images from the top as the LR pair in display order.
  • the decoding apparatus can recognize all LR pairs.
  • a decoding apparatus when an error generate
  • the LR pair when the decoded image of the R image which is the fourth image from the top in display order is missing due to an error, the LR pair can not be recognized in the decoded images of the R image and thereafter. As a result, once a decoding error occurs, the stereoscopic image can not be displayed.
  • the decoding device may not be able to recognize the LR pair in the decoded image, and thus may not be able to display a stereoscopic image from an arbitrary position.
  • the present invention has been made in view of such a situation, and in the case where a multi-viewpoint image forming a stereoscopic image is multiplexed and encoded, the decoding apparatus decodes the encoded data in the middle of the process. Even if there is a group of multi-view images constituting a stereoscopic image, it is possible to recognize.
  • the image processing apparatus is an encoding unit for encoding a multi-viewpoint image forming a stereoscopic image, and a picture at the head of a random access unit is one of the multi-viewpoint images
  • Control means for controlling the encoding means such that the pictures of one image are arranged and encoded so that the pictures of the remaining images are pictures after the head picture in the encoding order It is a processing device.
  • the image processing method according to the first aspect of the present invention corresponds to the image processing apparatus according to the first aspect of the present invention.
  • multi-view images constituting a stereoscopic image are encoded.
  • This encoding is arranged such that the first picture of the random access unit is the picture of any one of the multi-view images and the pictures of the remaining images are the pictures after the first picture in coding order Is controlled to be encoded.
  • the picture at the top of the random access unit of the multi-view image forming the stereoscopic image is the picture of any one of the multi-view images, and the rest
  • the encoded stream is decoded by the encoded stream obtained by being arranged and encoded so that the pictures of the image in the encoding order will be the pictures after the top picture in the encoding order, and the encoded stream
  • a control unit configured to control the decoding unit to start decoding from the top picture of the random access unit when decoding is performed halfway.
  • the image processing method of the second aspect of the present invention corresponds to the image processing device of the second aspect of the present invention.
  • the picture at the top of the random access unit of the multi-view image forming the stereoscopic image is the picture of any one image of the multi-view images, and the picture of the remaining image
  • a coded stream obtained by being arranged and coded so as to be a picture after the first picture in coding order is decoded.
  • decoding is controlled so as to start decoding from the leading picture of the random access unit.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the image processing apparatus can be realized by causing a computer to execute a program.
  • a stereoscopic image when multi-view images constituting a stereoscopic image are multiplexed and encoded, a stereoscopic image may be decoded even if the decoding device decodes the encoded data in the middle It is possible to recognize a set of multi-view images constituting
  • the stereoscopic image is displayed even when the encoded data is decoded halfway A set of multi-view images can be recognized.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a coding system to which the present invention is applied. It is a block diagram which shows the structural example of the video coding apparatus of FIG. It is a figure explaining the imaging timing in a coding system. It is a figure explaining the other imaging timing in a coding system. It is a figure explaining the multiplexing by a video synthesizing circuit. It is a block diagram which shows the structural example of the encoding circuit of FIG. It is a figure explaining the example of the bit stream output from an encoding circuit.
  • FIG. 3 is a block diagram showing a configuration example of an embodiment of a coding system to which the present invention is applied.
  • the coding system 10 of FIG. 3 is configured of an imaging device 11 for the left eye, an imaging device 12 for the right eye, and a video encoding device 13.
  • the left-eye imaging device 11 is an imaging device that captures an L image
  • the right-eye imaging device 12 is an imaging device that captures an R image.
  • a synchronization signal is input from the left-eye imaging device 11 to the right-eye imaging device 12, and the left-eye imaging device 11 and the right-eye imaging device 12 synchronize with each other.
  • the left-eye imaging device 11 and the right-eye imaging device 12 perform imaging at predetermined imaging timing.
  • An image signal of an L image captured by the left-eye imaging device 11 is input to the video encoding device 13, and an image signal of an R image captured by the right-eye imaging device 12 is input to the video encoding device 13.
  • the video encoding device 13 multiplexes the image signal of the L image and the image signal of the R image in the time direction for each LR pair, and encodes the resulting multiplexed signal according to the AVC encoding method. .
  • the video encoding device 13 outputs the encoded data obtained as a result of encoding as a bit stream.
  • FIG. 4 is a block diagram showing an example of the configuration of the video encoding device 13 of FIG.
  • the video encoding device 13 of FIG. 4 is composed of a video synthesis circuit 21 and an encoding circuit 22.
  • the video synthesis circuit 21 multiplexes in the time direction the image signal of the L image captured by the left-eye imaging device 11 and the image signal of the R image captured by the right-eye imaging device 12 for each LR pair.
  • the resulting multiplexed signal is supplied to the coding circuit 22.
  • the encoding circuit 22 encodes the multiplexed signal input from the video synthesis circuit 21 according to the AVC encoding system. At this time, the encoding circuit 22 continuously generates a GOP (Group of Pictures of encoded data) in which the display order of the LR pair is continuous in a predetermined order and is the head of a random access unit (hereinafter referred to as a random access point). Coding is performed such that the first picture of) becomes one picture of the LR pair and the other picture becomes a picture after the random access point in coding order.
  • the encoding circuit 22 outputs encoded data obtained as a result of encoding as a bit stream.
  • the encoding circuit 22 encodes a picture of a random access point so as to be an L picture.
  • FIG. 5 and 6 are diagrams for explaining imaging timing in the coding system 10.
  • FIG. 5 and 6 are diagrams for explaining imaging timing in the coding system 10.
  • the left-eye imaging device 11 and the right-eye imaging device 12 image the LR pair at the same timing as shown in FIG. 5, or as shown in FIG. Or at different timings.
  • FIG. 7 is a diagram for explaining multiplexing by the video synthesis circuit 21. As shown in FIG.
  • the image signal of the L image and the image signal of the R image captured at the timing described in FIG. 5 and FIG. 6 are supplied to the video synthesis circuit 21 in parallel.
  • the video synthesis circuit 21 multiplexes the image signal of the L image of the LR pair and the image signal of the R image in the time direction. As a result, as shown in FIG. 7, the multiplexed signal output from the video synthesis circuit 21 becomes an image signal in which the image signal of the L image and the image signal of the R image are alternately repeated.
  • FIG. 8 is a block diagram showing a configuration example of the encoding circuit 22 of FIG.
  • the A / D conversion unit 41 of the coding circuit 22 performs A / D conversion on the multiplexed signal which is an analog signal supplied from the video synthesis circuit 21 to obtain image data which is a digital signal. Then, the A / D conversion unit 41 supplies the image data to the image rearrangement buffer 42.
  • the image sorting buffer 42 temporarily stores the image data from the A / D conversion unit 41 and reads it out as necessary. Thereby, according to the GOP structure of the bit stream which is the output of the encoding circuit 22, the image rearrangement buffer 42 continues the display order of the LR pair in the predetermined order, and the picture of the random access point is the L image.
  • the pictures (frames) (fields) of the image data are rearranged in the order of encoding so that the picture of R and the picture of R image forming the LR pair become the pictures after the random access point in the encoding order. Do the replacement. That is, the image rearrangement buffer 42 selects and controls the picture to be encoded.
  • an intra picture to be subjected to intra coding is supplied to the calculation unit 43.
  • the arithmetic unit 43 subtracts the pixel value of the predicted image supplied from the intra prediction unit 53 from the pixel value of the intra picture supplied from the image rearrangement buffer 42 as necessary, and supplies the result to the orthogonal transform unit 44. .
  • the orthogonal transformation unit 44 performs orthogonal transformation such as discrete cosine transformation or Karhunen-Loeve transformation on (the pixel value of the intra picture or the subtraction value obtained by subtracting the predicted image), and the transformation coefficient obtained as a result Are supplied to the quantization unit 45.
  • the discrete cosine transform performed by the orthogonal transform unit 44 may be an integer transform that approximates a discrete cosine transform of a real number. Further, as a transform method of discrete cosine transform, a method of performing integer coefficient transform with 4 ⁇ 4 block size may be used.
  • the quantization unit 45 quantizes the transform coefficient from the orthogonal transform unit 44, and supplies the resulting quantized value to the lossless encoding unit 46.
  • the lossless encoding unit 46 applies lossless encoding such as variable-length encoding or arithmetic encoding to the quantization value from the quantization unit 45, and the encoded data obtained as a result is stored in the accumulation buffer 47. Supply.
  • the accumulation buffer 47 temporarily stores the encoded data from the lossless encoding unit 46, and outputs it as a bit stream at a predetermined rate.
  • the rate control unit 48 monitors the accumulation amount of encoded data in the accumulation buffer 47, and controls the behavior of the quantization unit 45 such as the quantization step of the quantization unit 45 based on the accumulation amount.
  • the quantization value obtained by the quantization unit 45 is supplied to the lossless encoding unit 46 as well as to the inverse quantization unit 49.
  • the inverse quantization unit 49 inversely quantizes the quantization value from the quantization unit 45 into a transform coefficient, and supplies the inverse coefficient to the inverse orthogonal transformation unit 50.
  • the inverse orthogonal transform unit 50 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 49 and supplies the transform coefficient to the operation unit 51.
  • Arithmetic unit 51 obtains a decoded image of an intra picture by adding the pixel values of the predicted image supplied from intra prediction unit 53 to the data supplied from inverse orthogonal transform unit 50 as necessary. To the frame memory 52.
  • the frame memory 52 temporarily stores the decoded image supplied from the calculation unit 51, and the decoded image is used as a reference image used to generate a predicted image as needed, as the intra prediction unit 53 or motion prediction / motion.
  • the data is supplied to the compensation unit 54.
  • the intra prediction unit 53 generates a predicted image from pixels already stored in the frame memory 52 among pixels in the vicinity of a portion (block) to be processed by the operation unit 43 in the intra picture. , And supplies it to the calculation units 43 and 51.
  • the calculation unit 43 performs intra processing from the picture supplied from the image sorting buffer 42.
  • the predicted image supplied from the prediction unit 53 is subtracted.
  • the predicted image subtracted by the calculation unit 43 is added to the data supplied from the inverse orthogonal transformation unit 50.
  • non-intra pictures on which inter coding is performed are supplied from the image rearrangement buffer 42 to the arithmetic unit 43 and the motion prediction / motion compensation unit 54.
  • the motion prediction / motion compensation unit 54 reads, from the frame memory 52, the picture of the decoded image to be referred to in the motion prediction of the non-intra picture from the image rearrangement buffer 42 as a reference image. Furthermore, the motion prediction / motion compensation unit 54 detects a motion vector for the non-intra picture from the image rearrangement buffer 42 using the reference image from the frame memory 52.
  • the motion prediction / motion compensation unit 54 performs motion compensation on the reference image in accordance with the motion vector, thereby generating a predicted image of a non-intra picture and supplies the predicted image to the calculation units 43 and 51.
  • the block size in motion compensation may be fixed or variable.
  • the predicted image supplied from the intra prediction unit 53 is subtracted from the non-intra picture supplied from the image rearrangement buffer 42, and thereafter, encoding is performed in the same manner as in the case of the intra picture.
  • the intra prediction mode which is a mode in which the intra prediction unit 53 generates a predicted image, is supplied from the intra prediction unit 53 to the lossless encoding unit 46. Further, the motion vector obtained by the motion prediction / motion compensation unit 54 and the motion compensation prediction mode which is a mode in which the motion prediction / motion compensation unit 54 performs the motion compensation It is supplied to 46.
  • the lossless encoding unit 46 losslessly encodes information necessary for decoding, such as the intra prediction mode, the motion vector, the motion compensation prediction mode, and the picture type of each picture, and is included in the header of the encoded data.
  • FIG. 9 is a diagram for explaining an example of a bit stream output from the encoding circuit 22.
  • the random access point is the picture of the image data of the L image
  • the picture of the R image forming an LR pair with the L image is a code It becomes pictures after the random access point in the order of transformation.
  • the display order of LR pairs is continuous in a predetermined order.
  • a video decoding apparatus that decodes a bitstream recognizes LR pairs in a decoded image by resuming decoding from a random access point immediately after, even if an error occurs during decoding of a bitstream. Can.
  • the video decoding device when the encoded data of the R image, which is the fourth image from the top in the bit stream encoding order, is dropped due to an error, the video decoding device generates the picture of the R image. It recognizes that the picture of the random access point immediately after the included GOP is a picture of L image. In addition, since the pictures of the R picture constituting the L picture and the LR pair are present in the coding order and after the picture of the L picture, when decoding is resumed from the picture of the random access point, Pictures are also decoded. Furthermore, the display order of each LR pair is continuous in a predetermined order.
  • the video decoding apparatus can recognize the picture of the random access point and the picture that is continuous with the picture in the predetermined order as the LR pair. Also, the video decoding apparatus can recognize two decoded images after the LR pair as LR pairs in order of display. As a result, the display of the stereoscopic image can be resumed from the GOP immediately after the picture in which the decoding error has occurred.
  • Example of GOP structure of bitstream 10 to 13 show examples of the GOP structure of a bit stream.
  • I, P, B and Br respectively represent I picture, P picture, B picture and Br picture, and the numbers after I, P, B and Br indicate display order. It represents.
  • the GOP structure in FIG. 10 is a structure in which I0, P1, P2, P3, P4, P5,... Are arranged in order in both the encoding order and the display order.
  • the L image is assigned to I0, P2, P4...
  • the R image is assigned to P1, P3, P5.
  • the display order of the LR pair continues in the order of the L image and the R image.
  • the GOP structure of FIG. 11 is arranged in the order of coding I0, P1, P4, P5, Br2, B3, P8, P9, Br6, B7,...
  • the structures are arranged in the order of P4, P5, Br6, B7, P8, P9.
  • the L image is assigned to I0, Br2, P4, Br6, P8...
  • the image signal of the R image is assigned to P1, B3, P5, B7, P9.
  • the display order of the LR pair continues in the order of the L image and the R image.
  • the GOP structure in FIG. 12 is I0, P1, P6, P7, Br2, B3, Br4, B5,... In order of encoding, and I0, P1, Br2, B3, Br4, B5, P6, in order of display. It is a structure arranged in order of P7.
  • the L image is assigned to I0, Br2, Br4, P6...
  • the R image is assigned to P1, B3, B5, P7.
  • the display order of the LR pair continues in the order of the L image and the R image.
  • the encoding order of LR pairs is always continuous in the order of L image and R image as in the display order.
  • LR pairs are established, whereby high speed reproduction can be realized.
  • the L image and the R image constituting the same LR pair can be referred to, and the compression efficiency is improved.
  • the GOP structure shown in FIG. 13 is a structure in which I0, P1, P4, Br2, P5, B3... Are arranged in coding order and I0, P1, Br2, B3, P4, P5. It is.
  • the L image is assigned to I0, Br2, P4...
  • the R image is assigned to P1, B3, P5.
  • the display order of the LR pair continues in the order of the L image and the R image.
  • the coding order of the first LR pair is continuous in the order of L image and R image, but the coding order of the other LR pairs is not continuous in order of L image and R image.
  • a DPB Decoded Picture Buffer
  • FIG. 14 is a flowchart for explaining the encoding process by the encoding circuit 22 of the encoding system 10.
  • step S11 of FIG. 14 the A / D conversion unit 41 (FIG. 8) of the encoding circuit 22 performs A / D conversion on the multiplexed signal supplied from the video synthesis circuit 21, and the image is a digital signal. Get data. Then, the A / D conversion unit 41 supplies the image data to the image rearrangement buffer 42.
  • step S12 according to the GOP structure of the bit stream which is the output of the encoding circuit 22, the image rearrangement buffer 42 continues the display order of the LR pair in a predetermined order, and the picture of the random access point is L
  • the pictures of the image data are rearranged in the order of encoding so that the pictures of the image and the pictures of the R image constituting the L image and the LR pair become the pictures after the random access point in the encoding order.
  • step S13 arithmetic unit 43, orthogonal transformation unit 44, quantization unit 45, lossless encoding unit 46, inverse quantization unit 49, inverse orthogonal transformation unit 50, arithmetic unit 51, frame memory 52, intra prediction unit 53, and
  • the motion prediction / motion compensation unit 54 encodes the picture of the image data supplied from the image rearrangement buffer.
  • the encoded data obtained as a result is supplied to the accumulation buffer 47.
  • step S14 the accumulation buffer 47 temporarily stores the encoded data and outputs it as a bit stream at a predetermined rate. The process then ends.
  • the video synthesis circuit 21 is provided in the video coding device 13, but may be provided outside the video coding device 13.
  • the video signal of the L image captured by the left-eye imaging device 11 and the image signal of the R image captured by the right-eye imaging device 12 are multiplexed by the video synthesis circuit 21 and the multiplexed signal is video code Is input to the
  • FIG. 15 is a block diagram showing another configuration example of an embodiment of a coding system to which the present invention is applied.
  • the coding system 10 of FIG. 15 is configured of an imaging device 101 and a video coding device 102.
  • the imaging apparatus 101 includes an imaging unit 111, a branching unit 112, an imaging processing unit 113, an imaging processing unit 114, and a combining unit 115.
  • one imaging device 101 captures an L image and an R image, and the image signal of the L image and the image signal of the R image are multiplexed and serially input to the video encoding device 102.
  • the imaging apparatus 101 includes an imaging unit 111, a branching unit 112, and two imaging processing units 113 and an imaging processing unit 114.
  • the imaging unit 111 performs imaging under control of the imaging processing unit 113, and supplies an image signal obtained as a result to the imaging processing unit 113 via the branching unit 112. Further, the imaging unit 111 performs imaging under the control of the imaging processing unit 114, and supplies an image signal obtained as a result to the imaging processing unit 114 via the branching unit 112.
  • the imaging processing unit 113 controls the imaging unit 111 to perform imaging at the same imaging timing as the imaging timing of the imaging processing unit 114 or at different continuous imaging timings.
  • the imaging processing unit 113 supplies the image signal supplied from the branching unit 112 as a result to the combining unit 115.
  • the imaging processing unit 114 controls the imaging unit 111 to perform imaging at the same imaging timing as the imaging timing of the imaging processing unit 113 or at different continuous imaging timings. As a result, the imaging processing unit 114 supplies the image signal supplied from the branching unit 112 to the combining unit 115 as an image signal of the R image.
  • the combining unit 115 multiplexes the image signal of the L image supplied from the imaging processing unit 113 and the image signal of the R image supplied from the imaging processing unit 114 in the time direction, and outputs the multiplexed signal to the video encoding device 102.
  • the video encoding device 102 is configured by the encoding circuit 22 of FIG. 8 and performs encoding on the multiplexed signal supplied from the combining unit 115.
  • FIG. 16 is a diagram for explaining the multiplexed signal output from the combining unit 115.
  • the image signal of the L image captured by the control of the imaging processing unit 113 and the image signal of the R image captured by the control of the imaging processing unit 114 are multiplexed in the time direction. Be done.
  • the multiplexed signal output from the combining unit 115 is an image signal in which the image signal of the L image and the image signal of the R image are alternately repeated.
  • FIG. 17 is a block diagram showing a configuration example of a decoding system that decodes the bit stream output from the above-described encoding system 10. As shown in FIG.
  • the decoding system 200 in FIG. 17 is configured by a video decoding device 201 and a 3D video display device 202.
  • the video decoding apparatus 201 decodes the bit stream output from the coding system 10 in a system corresponding to the AVC coding system.
  • the video decoding device 201 outputs an image signal, which is an analog signal obtained as a result, to the 3D video display device 202 for each LR pair.
  • the 3D video display device 202 displays a 3D image based on the image signal of the L image and the image signal of the R image input from the video decoding device 201 for each LR pair. This allows the user to view a stereoscopic image.
  • a display device that displays LR pairs at the same timing can be used, or a display device that displays LR pairs at different continuous timings can also be used.
  • a display device for displaying LR pairs at different consecutive timings a display device for alternately interleaving L and R images line by line and alternately displaying on a field basis, L images and R images at a frame rate There is a display device or the like which alternately displays a frame as a high image.
  • FIG. 18 is a block diagram showing a configuration example of the video decoding device 201 in FIG.
  • the video decoding apparatus 201 includes a decoding circuit 211, a frame memory 212, an image size conversion circuit 213, a frame rate conversion circuit 214, a D / A (Digital / Analog) conversion circuit 215, and a controller 216. Be done.
  • the decoding circuit 211 decodes the bit stream output from the coding system 10 according to the control of the controller 216 in a system corresponding to the AVC coding system.
  • the decoding circuit 211 supplies image data, which is a digital signal obtained as a result of decoding, to the frame memory 212. If an error occurs during decoding, the decoding circuit 211 notifies the controller 216 to that effect.
  • the frame memory 212 stores the image data supplied from the decoding circuit 211.
  • the frame memory 212 reads the stored image data of the L image and the image data of the R image for each LR pair according to the control of the controller 216, and outputs the image data to the image size conversion circuit 213.
  • the image size conversion circuit 213 enlarges or reduces the image size of the image data of the LR pair supplied from the frame memory 212 to a predetermined size, and supplies the image size to the frame rate conversion circuit 214.
  • the frame rate conversion circuit 214 controls the output timing of the image data of the LR pair supplied from the image size conversion circuit 213 so that the frame rates of the L image and R image become a predetermined rate according to the control of the controller 216. While outputting the LR pair image data.
  • the D / A conversion circuit 215 performs D / A conversion on the image data of the LR pair output from the frame rate conversion circuit 214, and the image signal which is an analog signal obtained as a result is applied to the 3D video display device 202. Output.
  • the controller 216 controls the decoding circuit 211 to resume decoding from the random access point in response to the notification of the error supplied from the decoding circuit 211.
  • the controller 216 also controls the decoding circuit 211 to start decoding from a random access point closest to the position when reproduction is instructed by the user from a predetermined position of the bit stream.
  • the controller 216 controls the frame memory 212 to read the image data for each LR pair, assuming that the picture at the start position or the restart position of the decoding is the L image picture.
  • the controller 216 also controls the frame rate conversion circuit 214 to convert the frame rates of the image data of the L image and the R image output from the image size conversion circuit 213 into a predetermined frame rate and output the frame rate.
  • FIG. 19 is a block diagram showing a configuration example of the decoding circuit 211 of FIG.
  • the encoded data output from the encoding system 10 as a bit stream is supplied to the accumulation buffer 271.
  • the accumulation buffer 271 temporarily stores the encoded data supplied thereto.
  • the accumulation buffer 271 reads the encoded data according to the control from the controller 216 and supplies the data to the lossless code decoding unit 272.
  • the accumulation buffer 271 reads the encoded data of the random access point according to the control from the controller 216, and supplies the read data to the lossless code decoding unit 272.
  • the lossless code decoding unit 272 performs processing such as variable length decoding or arithmetic decoding on the coded data from the accumulation buffer 271 based on the format of the coded data, thereby encoding the quantization value and coding.
  • Information necessary for decoding an image such as an intra prediction mode, a motion vector, a motion compensation prediction mode, and other picture types of each picture included in a header of data, is decoded.
  • the quantization value obtained by the lossless code decoding unit 272 is supplied to the inverse quantization unit 273, and the intra prediction mode is supplied to the intra prediction unit 277. Also, the motion vector (MV), the motion compensation prediction mode, and the picture type obtained by the lossless code decoding unit 272 are supplied to the motion prediction / motion compensation unit 278.
  • the inverse quantization unit 273, the inverse orthogonal transformation unit 274, the operation unit 275, the frame memory 276, the intra prediction unit 277, and the motion prediction / motion compensation unit 278 are the inverse quantization unit 49 and the inverse orthogonal transformation unit 50 in FIG.
  • the same processing as that of the arithmetic unit 51, the frame memory 52, the intra prediction unit 53, and the motion prediction / motion compensation unit 54 is performed to decode an image (a decoded image is obtained).
  • the inverse quantization unit 273 inversely quantizes the quantization value from the lossless code decoding unit 272 into a transform coefficient, and supplies the transform coefficient to the inverse orthogonal transformation unit 274.
  • the inverse orthogonal transformation unit 274 subjects the transformation coefficient from the inverse quantization unit 273 to inverse orthogonal transformation such as inverse discrete cosine transformation and inverse Karhunen-Loeve transformation based on the format of the encoded data, Supply.
  • inverse orthogonal transformation such as inverse discrete cosine transformation and inverse Karhunen-Loeve transformation based on the format of the encoded data, Supply.
  • the calculation unit 275 adds the pixel values of the predicted image supplied from the intra prediction unit 277 as necessary to the intra picture data of the data supplied from the inverse orthogonal transform unit 274, as necessary. Obtain a decoded image of intra picture. In addition, the calculation unit 275 adds the pixel values of the predicted image supplied from the motion prediction / motion compensation unit 278 for the non-intra picture data among the data supplied from the inverse orthogonal transform unit 274. , Obtain a non-intra picture decoded image.
  • the decoded image obtained by the calculation unit 275 is supplied to the frame memory 276 and to the image rearrangement buffer 279 as necessary.
  • the frame memory 276 temporarily stores the decoded image supplied from the calculation unit 275, and the decoded image is used as a reference image used to generate a predicted image, as necessary, as the intra prediction unit 277 or motion prediction / motion.
  • the signal is supplied to the compensation unit 278.
  • the intra prediction unit 277 uses a predicted image of the intra picture using a decoded image as a reference image from the frame memory 276. , And generates it as necessary, and supplies it to the computing unit 275.
  • intra prediction unit 277 already stores in frame memory 276 among pixels in the vicinity of the portion (block) to be processed by operation unit 275.
  • a predicted image is generated from the current pixel and supplied to the computing unit 275.
  • the motion prediction / motion compensation unit 278 when the data to be processed by the operation unit 275 is non-intra picture data, the motion prediction / motion compensation unit 278 generates a predicted image of the non-intra picture and supplies it to the operation unit 275 Do.
  • the motion prediction / motion compensation unit 278 reads the picture of the decoded image used to generate the predicted image as the reference image from the frame memory 276 according to the picture type and the like from the lossless code decoding unit 272. Furthermore, the motion prediction / motion compensation unit 278 performs motion compensation according to the motion vector from the lossless code decoding unit 272 and the motion compensation prediction mode to the reference image from the frame memory 276 to obtain a predicted image. Are generated and supplied to the calculation unit 275.
  • the computing unit 275 adds the predicted image supplied from the intra prediction unit 277 or the motion prediction / motion compensation unit 278 to the data supplied from the inverse orthogonal transform unit 274, thereby making the picture The (pixel value of) is decoded.
  • the image sorting buffer 279 temporarily stores and reads the picture (decoded image) from the computing unit 275 to rearrange the arrangement of pictures into the original arrangement (display order), and supplies the rearrangement to the frame memory 212.
  • the unit that has detected the occurrence of the error notifies the controller 216 that the error has occurred.
  • FIG. 20 is a flowchart for describing decoding error processing by the video decoding device 201 of the decoding system 200. This decoding error processing is started, for example, when the decoding circuit 211 starts decoding.
  • step S31 of FIG. 20 the controller 216 determines whether an error has occurred during decoding, that is, whether or not the decoding circuit 211 has been notified that an error has occurred. If it is determined in step S31 that an error has occurred during decoding, the controller 216 instructs the decoding circuit 211 to stop decoding, and in step S32, the decoding circuit 211 stops decoding in accordance with the instruction. Specifically, in response to an instruction from the controller 216, the accumulation buffer 271 (FIG. 19) of the decoding circuit 211 stops reading the encoded data.
  • step S33 the accumulation buffer 271 of the decoding circuit 211 searches the stored encoded data for the encoded data of the picture of the random access point immediately after the picture whose reading is stopped, under the control of the controller 216. .
  • step S34 the decoding circuit 211 resumes decoding from the encoded data of the picture of the random access point found in step S33. Specifically, the accumulation buffer 271 of the decoding circuit 211 starts reading from the encoded data of the picture of the random access point searched in step S33. Image data obtained as a result of decoding by the decoding circuit 211 is supplied to the frame memory 212 and stored.
  • step S35 the frame memory 212 sets the image data of the L image and the image data of the R image as the image data of the L image as the image data obtained as a result of decoding the picture of the random access point under the control of the controller 216. Output for each LR pair.
  • the frame memory 212 first uses the image data of the picture of the random access point as the image data of the L image, and the image data and the image data supplied from the decoding circuit 211 successively in a predetermined order with the image data are R image The image data of the L image and the image data of the R image are output as image data of the LR pair. Then, the frame memory 212 sequentially outputs the image data of the two images supplied from the decoding circuit 211 after the image data of the LR pair as the image data of the LR pair. The process then ends.
  • step S31 if it is determined in step S31 that no error has occurred during decoding, the process ends.
  • the display order of the LR pair continues in a predetermined order with respect to the multiplexed signal in which the image signal of the LR pair is multiplexed, and the picture of the random access point is Coding is performed such that the picture of the L image in the LR pair is the picture of the R image and the pictures after the picture of the random access point in the coding order.
  • the decoding system 200 can recognize the LR pair by decoding from the random access point even when decoding the bit stream halfway through the occurrence of an error, an instruction from the user, or the like. As a result, the decoding system 200 can display a 3D image. That is, the decoding system 200 can quickly return the display of the 3D image when an error occurs, or display the 3D image from the user's desired position.
  • the picture of the random access point has been described as being encoded to be the picture of the L image, but the picture of the random access point is encoded to be the picture of the R image May be
  • FIG. 21 illustrates an example configuration of an embodiment of a computer in which a program that executes the series of processes described above is installed.
  • the program can be recorded in advance in a storage unit 608 or a ROM 602 as a recording medium incorporated in the computer.
  • the program can be stored (recorded) on the removable medium 611.
  • removable media 611 can be provided as so-called package software.
  • examples of the removable medium 611 include a flexible disc, a compact disc read only memory (CD-ROM), a magneto optical disc (MO), a digital versatile disc (DVD), a magnetic disc, a semiconductor memory, and the like.
  • the program may be installed in the computer from the removable media 611 via the drive 610 as described above, or may be downloaded to the computer via the communication network or a broadcast network and installed in the built-in storage unit 608. That is, for example, the program is wirelessly transferred from the download site to the computer via an artificial satellite for digital satellite broadcasting, or transferred to the computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 601, and an input / output interface 605 is connected to the CPU 601 via a bus 604.
  • a CPU Central Processing Unit
  • an input / output interface 605 is connected to the CPU 601 via a bus 604.
  • the CPU 601 executes a program stored in a ROM (Read Only Memory) 602 accordingly. .
  • the CPU 601 loads a program stored in the storage unit 608 into a random access memory (RAM) 603 and executes the program.
  • RAM random access memory
  • the CPU 601 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 601 outputs the processing result from the output unit 607, transmits it from the communication unit 609, and stores the result in the storage unit 608, for example, via the input / output interface 605, as necessary.
  • the input unit 606 includes a keyboard, a mouse, a microphone, and the like. Further, the output unit 607 is configured by an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed chronologically in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or separately (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed and processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer for execution.
  • system represents the entire apparatus configured by a plurality of apparatuses.
  • the encoding system 10 and the decoding system 200 described above can be applied to any electronic device.
  • the example will be described below.
  • FIG. 22 is a block diagram showing a main configuration example of a television receiver using a decoding system to which the present invention is applied.
  • the television receiver 700 of FIG. 22 acquires the bit stream obtained by the above-described encoding system 10 as at least a part of a broadcast signal of digital broadcasting and content data, and performs the same processing as the decoding system 200 to obtain a three-dimensional image. Display a visual image.
  • a terrestrial tuner 713 of the television receiver 700 receives a broadcast wave signal of terrestrial analog broadcasting via an antenna, demodulates it, acquires an image signal, and supplies it to a video decoder 715.
  • the video decoder 715 decodes the video signal supplied from the terrestrial tuner 713, and supplies the obtained digital component signal to the video signal processing circuit 718.
  • the video signal processing circuit 718 subjects the video data supplied from the video decoder 715 to predetermined processing such as noise removal, and supplies the obtained video data to the graphic generation circuit 719.
  • the graphic generation circuit 719 generates video data of a program to be displayed on the display panel 721, image data by processing based on an application supplied via a network, and the like, and transmits the generated video data and image data to the panel drive circuit 720. Supply.
  • the graphic generation circuit 719 generates video data (graphic) for displaying a screen used by the user for item selection and the like, and a video obtained by superimposing it on video data of a program.
  • a process of supplying data to the panel drive circuit 720 is also performed as appropriate.
  • the panel drive circuit 720 drives the display panel 721 based on the data supplied from the graphic generation circuit 719, and causes the display panel 721 to display the video of the program and the various screens described above.
  • the display panel 721 displays an image or the like of a program under control of the panel drive circuit 720.
  • the television receiver 700 also includes an audio A / D (Analog / Digital) conversion circuit 314, an audio signal processing circuit 722, an echo cancellation / audio synthesis circuit 723, an audio amplification circuit 724, and a speaker 725.
  • an audio A / D (Analog / Digital) conversion circuit 3144 an audio signal processing circuit 722, an echo cancellation / audio synthesis circuit 723, an audio amplification circuit 724, and a speaker 725.
  • the terrestrial tuner 713 demodulates the received broadcast wave signal to acquire not only a video signal but also an audio signal.
  • the terrestrial tuner 713 supplies the acquired audio signal to the audio A / D conversion circuit 314.
  • the audio A / D conversion circuit 314 subjects the audio signal supplied from the terrestrial tuner 713 to A / D conversion processing, and supplies the obtained digital audio signal to the audio signal processing circuit 722.
  • the audio signal processing circuit 722 performs predetermined processing such as noise removal on the audio data supplied from the audio A / D conversion circuit 714, and supplies the obtained audio data to the echo cancellation / audio synthesis circuit 723.
  • the echo cancellation / voice synthesis circuit 723 supplies the voice data supplied from the voice signal processing circuit 722 to the voice amplification circuit 724.
  • the voice amplification circuit 724 performs D / A conversion processing and amplification processing on voice data supplied from the echo cancellation / voice synthesis circuit 723, adjusts the sound volume to a predetermined volume, and then outputs voice from the speaker 725.
  • the television receiver 700 also has a digital tuner 716 and an MPEG decoder 717.
  • a digital tuner 716 receives a broadcast wave signal of digital broadcast (terrestrial digital broadcast, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcast) via an antenna, and demodulates the signal, and generates an MPEG-TS (Moving Picture Experts Group). -Transport Stream) and supply it to the MPEG decoder 717.
  • digital broadcast terrestrial digital broadcast, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcast
  • MPEG-TS Motion Picture Experts Group
  • the MPEG decoder 717 unscrambles the MPEG-TS supplied from the digital tuner 716, and extracts a stream including data of a program to be reproduced (targeted to be viewed).
  • the MPEG decoder 717 decodes the audio packet forming the extracted stream, supplies the obtained audio data to the audio signal processing circuit 722, decodes the video packet forming the stream, and outputs the obtained video data as video.
  • the signal processing circuit 718 is supplied.
  • the MPEG decoder 717 supplies EPG (Electronic Program Guide) data extracted from the MPEG-TS to the CPU 732 via a path (not shown).
  • EPG Electronic Program Guide
  • the video data supplied from the MPEG decoder 717 is subjected to predetermined processing in the video signal processing circuit 718. Then, the graphic data generation circuit 719 appropriately superimposes the generated video data and the like on the video data subjected to the predetermined processing, and is supplied to the display panel 721 through the panel drive circuit 720, and the image is displayed. .
  • the television receiver 700 performs processing similar to that of the above-described video decoding device 201 as processing for decoding a video packet and displaying an image on the display panel 721 in this manner. As a result, even when the video packet is decoded halfway, the LR pair can be recognized.
  • the audio data supplied from the MPEG decoder 717 is subjected to predetermined processing in the audio signal processing circuit 722 as in the case of the audio data supplied from the audio A / D conversion circuit 714. Then, the voice data subjected to the predetermined processing is supplied to the voice amplification circuit 724 via the echo cancellation / voice synthesis circuit 723 and subjected to D / A conversion processing and amplification processing. As a result, the sound adjusted to a predetermined volume is output from the speaker 725.
  • the television receiver 700 also includes a microphone 726 and an A / D conversion circuit 727.
  • the A / D conversion circuit 727 receives the user's voice signal captured by the microphone 726 provided in the television receiver 700 for voice conversation.
  • the A / D conversion circuit 727 performs A / D conversion processing on the received voice signal, and supplies the obtained digital voice data to the echo cancellation / voice synthesis circuit 723.
  • the echo cancellation / voice synthesis circuit 723 performs echo cancellation on voice data of the user A when voice data of the user (user A) of the television receiver 700 is supplied from the A / D conversion circuit 727. . Then, after the echo cancellation, the echo cancellation / audio synthesis circuit 723 causes the speaker 725 to output the audio data obtained by synthesizing with other audio data or the like.
  • the television receiver 700 also has an audio codec 728, an internal bus 729, a synchronous dynamic random access memory (SDRAM) 730, a flash memory 731, a CPU 732, a universal serial bus (USB) I / F 733, and a network I / F 734.
  • SDRAM synchronous dynamic random access memory
  • USB universal serial bus
  • the A / D conversion circuit 727 receives the user's voice signal captured by the microphone 726 provided in the television receiver 700 for voice conversation.
  • the A / D conversion circuit 727 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the audio codec 728.
  • the voice codec 728 converts voice data supplied from the A / D conversion circuit 727 into data of a predetermined format for transmission via the network, and supplies the data to the network I / F 734 via the internal bus 729.
  • the network I / F 734 is connected to the network via a cable attached to the network terminal 735.
  • the network I / F 734 transmits voice data supplied from the voice codec 728 to, for example, another device connected to the network.
  • the network I / F 734 receives, for example, voice data transmitted from another device connected via the network via the network terminal 735, and transmits it to the voice codec 728 via the internal bus 729. Supply.
  • the voice codec 728 converts voice data supplied from the network I / F 734 into data of a predetermined format and supplies it to the echo cancellation / voice synthesis circuit 723.
  • the echo cancellation / voice synthesis circuit 723 performs echo cancellation on voice data supplied from the voice codec 728, and combines voice data obtained by combining with other voice data, etc., via the voice amplification circuit 724. Output from the speaker 725.
  • the SDRAM 730 stores various data necessary for the CPU 732 to perform processing.
  • the flash memory 731 stores a program executed by the CPU 732.
  • the program stored in the flash memory 731 is read by the CPU 732 at a predetermined timing such as when the television receiver 700 starts up.
  • the flash memory 731 also stores EPG data acquired via digital broadcasting, data acquired from a predetermined server via a network, and the like.
  • the flash memory 731 stores an MPEG-TS including content data acquired from a predetermined server via the network under the control of the CPU 732.
  • the flash memory 731 supplies the MPEG-TS to the MPEG decoder 717 via the internal bus 729 under the control of the CPU 732, for example.
  • the MPEG decoder 717 processes the MPEG-TS as in the case of the MPEG-TS supplied from the digital tuner 716. As described above, the television receiver 700 receives content data including video and audio through a network, decodes the content data using the MPEG decoder 717, and displays the video or outputs audio. Can.
  • the television receiver 700 also includes a light receiving unit 737 that receives an infrared signal transmitted from the remote controller 751.
  • the light receiving unit 737 receives the infrared light from the remote controller 751, and outputs a control code representing the content of the user operation obtained by demodulation to the CPU 732.
  • the CPU 732 executes a program stored in the flash memory 731 and controls the overall operation of the television receiver 700 according to a control code or the like supplied from the light receiving unit 737.
  • the CPU 732 and each part of the television receiver 700 are connected via a path (not shown).
  • the USB I / F 733 transmits and receives data to and from an external device of the television receiver 700, which is connected via a USB cable attached to the USB terminal 736.
  • the network I / F 734 is connected to the network via a cable attached to the network terminal 735, and transmits and receives data other than voice data to and from various devices connected to the network.
  • FIG. 23 is a block diagram showing an example of a main configuration of a mobile phone using the encoding system and the decoding system to which the present invention is applied.
  • the portable telephone 800 of FIG. 23 performs the same processing as the above-described encoding system 10, and obtains a bit stream for displaying a stereoscopic image.
  • the cellular phone 800 receives the bit stream obtained by the above-described encoding system 10, performs the same process as the decoding system 200, and displays a stereoscopic image.
  • the cellular phone 800 shown in FIG. 23 includes a main control unit 850, a power supply circuit unit 851, an operation input control unit 852, an image encoder 853, a camera I / F unit 854, and an LCD control unit 855 that collectively control the respective units.
  • the mobile phone 800 includes an operation key 819, a CCD (Charge Coupled Devices) camera 816, a liquid crystal display 818, a storage portion 823, a transmitting and receiving circuit portion 863, an antenna 814, a microphone (microphone) 821, and a speaker 817.
  • CCD Charge Coupled Devices
  • the power supply circuit unit 851 activates the cellular phone 800 to an operable state by supplying power from the battery pack to each unit.
  • the mobile phone 800 transmits and receives audio signals, transmits and receives e-mails and image data, and images in various modes such as a voice call mode and a data communication mode based on the control of the main control unit 850 including CPU, ROM, RAM, etc. Perform various operations such as shooting or data recording.
  • the portable telephone 800 converts an audio signal collected by the microphone (microphone) 821 into digital audio data by the audio codec 859, spread spectrum processes it by the modulation / demodulation circuit unit 858, and transmits / receives
  • the unit 863 performs digital-to-analog conversion processing and frequency conversion processing.
  • the cellular phone 800 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 814.
  • the transmission signal (voice signal) transmitted to the base station is supplied to the mobile phone of the other party via the public telephone network.
  • the cellular phone 800 amplifies the reception signal received by the antenna 814 by the transmission / reception circuit unit 863, further performs frequency conversion processing and analog-to-digital conversion processing, and the modulation / demodulation circuit unit 858 performs spectrum despreading processing. And converted into an analog voice signal by the voice codec 859.
  • the portable telephone 800 outputs the analog audio signal obtained by the conversion from the speaker 817.
  • the cellular phone 800 when transmitting an e-mail in the data communication mode, receives text data of the e-mail input by the operation of the operation key 819 in the operation input control unit 852.
  • the portable telephone 800 processes the text data in the main control unit 850, and causes the liquid crystal display 818 to display the text data as an image through the LCD control unit 855.
  • the mobile phone 800 generates e-mail data based on the text data accepted by the operation input control unit 852 and the user's instruction.
  • the portable telephone 800 performs spread spectrum processing of the electronic mail data by the modulation / demodulation circuit unit 858, and performs digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 863.
  • the cellular phone 800 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 814.
  • the transmission signal (e-mail) transmitted to the base station is supplied to a predetermined destination via a network, a mail server, and the like.
  • the cellular phone 800 when receiving an e-mail in the data communication mode, receives a signal transmitted from the base station via the antenna 814 by the transmission / reception circuit unit 863, amplifies it, and further performs frequency conversion processing and Perform analog-to-digital conversion processing.
  • the portable telephone 800 despreads the received signal by the modulation / demodulation circuit unit 858 to restore the original electronic mail data.
  • the portable telephone 800 displays the restored electronic mail data on the liquid crystal display 818 via the LCD control unit 855.
  • the portable telephone 800 can also record (store) the received electronic mail data in the storage unit 823 via the recording / reproducing unit 862.
  • the storage unit 823 is an arbitrary rewritable storage medium.
  • the storage unit 823 may be, for example, a semiconductor memory such as a RAM or a built-in flash memory, or may be a hard disk, or a removable such as a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card It may be media. Of course, it may be something other than these.
  • the cellular phone 800 when transmitting image data in the data communication mode, the cellular phone 800 generates image data with the CCD camera 816 by imaging.
  • the CCD camera 816 has an optical device such as a lens or an aperture and a CCD as a photoelectric conversion element, picks up an object, converts the intensity of received light into an electrical signal, and generates image data of the image of the object.
  • the image data is converted into encoded image data by compression encoding through a camera I / F unit 854 by an image encoder 853 according to a predetermined encoding method such as MVC or AVC.
  • the portable telephone 800 performs the same process as the above-described video encoding device 13 (102) as the process of compressing and encoding the image data generated by imaging in this manner. As a result, even when the encoded image data is decoded halfway, LR pairs can be recognized.
  • the cellular phone 800 multiplexes the encoded image data supplied from the image encoder 853 and the digital audio data supplied from the audio codec 859 according to a predetermined scheme in the demultiplexing unit 857.
  • the portable telephone 800 performs spread spectrum processing on the multiplexed data obtained as a result by the modulation / demodulation circuit unit 858, and performs digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 863.
  • the cellular phone 800 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 814.
  • the transmission signal (image data) transmitted to the base station is supplied to the other party of communication via a network or the like.
  • the mobile phone 800 can also display the image data and the like generated by the CCD camera 816 on the liquid crystal display 818 via the LCD control unit 855 without the image encoder 853.
  • the cellular phone 800 transmits the signal transmitted from the base station to the transmission / reception circuit unit 863 via the antenna 814. Receive, amplify, and perform frequency conversion and analog-to-digital conversion.
  • the portable telephone 800 despreads the received signal by the modulation / demodulation circuit unit 858 to restore the original multiplexed data.
  • the portable telephone 800 separates the multiplexed data in the demultiplexing unit 857 and divides the multiplexed data into encoded image data and audio data.
  • the cellular phone 800 decodes the encoded image data in the image decoder 856 by a decoding method corresponding to a predetermined encoding method such as MVC or AVC to generate reproduction moving image data, and performs LCD control thereof.
  • the image is displayed on the liquid crystal display 818 through the portion 855.
  • moving image data included in a moving image file linked to the simple homepage is displayed on the liquid crystal display 818.
  • the portable telephone 800 performs processing similar to that of the above-described video decoding apparatus 201 as processing for decoding the encoded image data and displaying it on the liquid crystal display 818 in this manner. As a result, for example, even when the moving image file is decoded halfway, the LR pair can be recognized.
  • the portable telephone 800 can also record (store) the data linked to the received simple home page or the like in the storage unit 823 via the recording / reproducing unit 862. .
  • the mobile phone 800 can analyze the two-dimensional code obtained by the CCD camera 816 by the main control unit 850 and obtain the information recorded in the two-dimensional code.
  • the cellular phone 800 can communicate with an external device by infrared rays through the infrared communication unit 881.
  • CMOS image sensor CMOS image sensor
  • CMOS complementary metal oxide semiconductor
  • the mobile phone 800 has been described above, for example, an imaging function similar to that of the mobile phone 800, such as a PDA (Personal Digital Assistants), a smartphone, a UMPC (Ultra Mobile Personal Computer), a netbook, a notebook personal computer, etc.
  • a PDA Personal Digital Assistants
  • a smartphone a smartphone
  • UMPC Ultra Mobile Personal Computer
  • netbook a notebook personal computer
  • the encoding system and the decoding system described above can be applied to any device as long as the device has a communication function, as in the case of the portable telephone 800.
  • FIG. 24 is a block diagram showing an example of a main configuration of a hard disk recorder and a monitor using a decoding system to which the present invention is applied.
  • the hard disk recorder (HDD recorder) 900 of FIG. 24 is a broadcast wave signal (television signal) or the like transmitted from a satellite, a ground antenna, or the like, which is received by a tuner and receives a bit stream obtained by the coding system 10 described above Get as part of and save to the built-in hard disk. Then, the hard disk recorder 900 performs processing similar to that of the decoding system 200 using the stored bit stream at timing according to the user's instruction, and causes the monitor 960 to display a stereoscopic image.
  • the hard disk recorder 900 includes a reception unit 921, a demodulation unit 922, a demultiplexer 923, an audio decoder 924, a video decoder 925, and a recorder control unit 926.
  • the hard disk recorder 900 further includes an EPG data memory 927, a program memory 928, a work memory 929, a display converter 930, an OSD (On Screen Display) control unit 931, a display control unit 932, a recording / reproducing unit 933, a D / A converter 934, And a communication unit 935.
  • the display converter 930 also includes a video encoder 941.
  • the recording / reproducing unit 933 includes an encoder 951 and a decoder 952.
  • the receiving unit 921 receives an infrared signal from a remote controller (not shown), converts the signal into an electrical signal, and outputs the signal to the recorder control unit 926.
  • the recorder control unit 926 is formed of, for example, a microprocessor and executes various processes in accordance with a program stored in the program memory 928. At this time, the recorder control unit 926 uses the work memory 929 as necessary.
  • a communication unit 935 is connected to the network and performs communication processing with another device via the network.
  • the communication unit 935 is controlled by the recorder control unit 926, communicates with a tuner (not shown), and mainly outputs a tuning control signal to the tuner.
  • the demodulation unit 922 demodulates the signal supplied from the tuner and outputs the signal to the demultiplexer 923.
  • the demultiplexer 923 separates the data supplied from the demodulation unit 922 into audio data, video data, and EPG data, and outputs the data to the audio decoder 924, the video decoder 925, or the recorder control unit 926, respectively.
  • the audio decoder 924 decodes the input audio data, for example, in accordance with the MPEG method, and outputs the decoded data to the recording / reproducing unit 933.
  • the video decoder 925 decodes the input video data, for example, according to the MPEG system, and outputs the decoded video data to the display converter 930.
  • the recorder control unit 926 supplies the input EPG data to the EPG data memory 927 for storage.
  • the display converter 930 causes the video encoder 941 to encode video data supplied from the video decoder 925 or the recorder control unit 926 into, for example, NTSC (National Television Standards Committee) video data, and outputs the video data to the recording / reproducing unit 933.
  • NTSC National Television Standards Committee
  • the hard disk recorder 900 performs the same process as the above-described video encoding device 13 (102) as the process of encoding video data in this manner. As a result, even when decoding encoded video data in the middle, LR pairs can be recognized.
  • the display converter 930 also converts the screen size of the video data supplied from the video decoder 925 or the recorder control unit 926 into a size corresponding to the size of the monitor 960.
  • the display converter 930 further converts video data whose screen size has been converted into NTSC video data by the video encoder 941, converts it into an analog signal, and outputs the analog signal to the display control unit 932.
  • the display control unit 932 Under the control of the recorder control unit 926, the display control unit 932 superimposes the OSD signal output from the OSD (On Screen Display) control unit 931 on the video signal input from the display converter 930, and displays it on the display of the monitor 960. Output and display.
  • OSD On Screen Display
  • the hard disk recorder 900 performs processing similar to that of the above-described video decoding apparatus 201 as processing for decoding video data and displaying an image on the monitor 960 in this manner. As a result, even when video data is decoded halfway, LR pairs can be recognized.
  • the audio data output from the audio decoder 924 is also converted to an analog signal by the D / A converter 934 and supplied to the monitor 960.
  • the monitor 960 outputs this audio signal from the built-in speaker.
  • the recording and reproducing unit 933 includes a hard disk as a storage medium for recording video data, audio data, and the like.
  • the recording / reproducing unit 933 encodes, for example, audio data supplied from the audio decoder 924 by the encoder 951 according to the MPEG system. Further, the recording / reproducing unit 933 encodes the video data supplied from the video encoder 941 of the display converter 930 by the encoder 951 in the MPEG system. The recording / reproducing unit 933 combines the encoded data of the audio data and the encoded data of the video data by the multiplexer. The recording / reproducing unit 933 channel-codes and amplifies the synthesized data, and writes the data to the hard disk via the recording head.
  • the recording and reproducing unit 933 reproduces and amplifies the data recorded on the hard disk via the reproducing head, and separates the data into audio data and video data by the demultiplexer.
  • the recording / reproducing unit 933 decodes the audio data and the video data by the decoder 952 according to the MPEG system.
  • the recording and reproducing unit 933 D / A converts the decoded audio data, and outputs the converted data to the speaker of the monitor 960. Also, the recording / reproducing unit 933 D / A converts the decoded video data, and outputs it to the display of the monitor 960.
  • the recorder control unit 926 reads the latest EPG data from the EPG data memory 927 based on the user instruction indicated by the infrared signal from the remote controller received via the reception unit 921 and supplies it to the OSD control unit 931. Do.
  • the OSD control unit 931 generates image data corresponding to the input EPG data, and outputs the image data to the display control unit 932.
  • the display control unit 932 outputs the video data input from the OSD control unit 931 to the display of the monitor 960 for display. As a result, an EPG (Electronic Program Guide) is displayed on the display of the monitor 960.
  • EPG Electronic Program Guide
  • the hard disk recorder 900 can also acquire various data such as video data, audio data, or EPG data supplied from another device via a network such as the Internet.
  • the communication unit 935 is controlled by the recorder control unit 926, acquires encoded data such as video data, audio data, and EPG data transmitted from another device via the network, and supplies the encoded data to the recorder control unit 926. Do.
  • the recorder control unit 926 supplies, for example, the acquired encoded data of video data and audio data to the recording and reproducing unit 933, and stores the data in the hard disk. At this time, the recorder control unit 926 and the recording / reproducing unit 933 may perform processing such as re-encoding as needed.
  • the recorder control unit 926 decodes encoded data of the acquired video data and audio data, and supplies the obtained video data to the display converter 930.
  • the display converter 930 processes the video data supplied from the recorder control unit 926 in the same manner as the video data supplied from the video decoder 925, supplies it to the monitor 960 via the display control unit 932, and displays the image. .
  • the recorder control unit 926 may supply the decoded audio data to the monitor 960 via the D / A converter 934 and output the sound from the speaker.
  • the recorder control unit 926 decodes the acquired encoded data of the EPG data, and supplies the decoded EPG data to the EPG data memory 927.
  • the hard disk recorder 900 for recording video data and audio data on a hard disk has been described, but of course, any recording medium may be used.
  • a recording medium other than a hard disk such as a flash memory, an optical disk, or a video tape
  • the above-mentioned encoding system and decoding system can be applied as in the case of the above-described hard disk recorder 900. .
  • FIG. 25 is a block diagram showing a main configuration example of a camera using a coding system and a decoding system to which the present invention is applied.
  • the camera 1000 in FIG. 25 performs the same process as the encoding system 10 to obtain a bit stream. Also, the camera 1000 performs the same processing as that of the decoding system 200, and displays a stereoscopic image using the bit stream.
  • a lens block 1011 of the camera 1000 causes light (that is, an image of an object) to be incident on the CCD / CMOS 1012.
  • the CCD / CMOS 1012 is an image sensor using a CCD or CMOS, converts the intensity of the received light into an electrical signal, and supplies the electrical signal to the camera signal processing unit 1013.
  • the camera signal processing unit 1013 converts the electric signal supplied from the CCD / CMOS 1012 into Y, Cr, Cb color difference signals, and supplies the color difference signals to the image signal processing unit 1014.
  • the image signal processing unit 1014 performs predetermined image processing on the image signal supplied from the camera signal processing unit 1013 under the control of the controller 1021, or the image signal is processed by the encoder 1041 according to a method such as AVC or MVC. Encode.
  • the camera 1000 performs the same process as the above-described video encoding device 13 (102) as the process of encoding the image signal generated by imaging in this manner. As a result, even when the encoded image signal is decoded halfway, the LR pair can be recognized.
  • the image signal processing unit 1014 supplies the encoded data generated by encoding the image signal to the decoder 1015. Further, the image signal processing unit 1014 acquires display data generated in the on-screen display (OSD) 1020 and supplies it to the decoder 1015.
  • OSD on-screen display
  • the camera signal processing unit 1013 appropriately uses a dynamic random access memory (DRAM) 1018 connected via the bus 1017, and as necessary, image data and a code obtained by encoding the image data.
  • DRAM dynamic random access memory
  • the encoded data and the like are held.
  • the decoder 1015 decodes the encoded data supplied from the image signal processing unit 1014, and supplies the obtained image data (decoded image data) to the LCD 1016. Also, the decoder 1015 supplies the display data supplied from the image signal processing unit 1014 to the LCD 1016. The LCD 1016 appropriately combines the image of the decoded image data supplied from the decoder 1015 and the image of the display data, and displays the combined image.
  • the camera 1000 performs the same process as the above-described video decoding apparatus 201 as the process of decoding the encoded data and displaying it on the LCD 1016 as described above. As a result, even when encoded data is decoded halfway, LR pairs can be recognized.
  • the on-screen display 1020 Under the control of the controller 1021, the on-screen display 1020 outputs display data such as a menu screen or icon consisting of symbols, characters, or figures to the image signal processing unit 1014 via the bus 1017.
  • the controller 1021 executes various processing based on a signal indicating the content instructed by the user using the operation unit 1022, and also, through the bus 1017, an image signal processing unit 1014, a DRAM 1018, an external interface 1019, an on-screen display 1020, and controls the media drive 1023 and the like.
  • the FLASH ROM 1024 stores programs, data, and the like necessary for the controller 1021 to execute various processes.
  • the controller 1021 can encode image data stored in the DRAM 1018 or decode encoded data stored in the DRAM 1018 instead of the image signal processing unit 1014 or the decoder 1015.
  • the controller 1021 may perform encoding / decoding processing by the same method as the encoding / decoding method of the image signal processing unit 1014 or the decoder 1015, or the image signal processing unit 1014 or the decoder 1015 is compatible.
  • the encoding / decoding process may be performed by a method that is not performed.
  • the controller 1021 reads image data from the DRAM 1018 and supplies it to the printer 1034 connected to the external interface 1019 via the bus 1017. Print it.
  • the controller 1021 reads encoded data from the DRAM 1018 and supplies it to the recording medium 1033 mounted on the media drive 1023 via the bus 1017.
  • the recording medium 1033 is, for example, any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium 1033 is, of course, optional as a removable medium, and may be a tape device, a disk, or a memory card. Of course, it may be a noncontact IC card or the like.
  • media drive 1023 and the recording medium 1033 may be integrated, and may be configured by a non-portable storage medium, such as a built-in hard disk drive or a solid state drive (SSD).
  • a non-portable storage medium such as a built-in hard disk drive or a solid state drive (SSD).
  • the external interface 1019 includes, for example, a USB input / output terminal, and is connected to the printer 1034 when printing an image.
  • a drive 1031 is connected to the external interface 1019 as necessary, and removable media 1032 such as a magnetic disk, an optical disk, or a magneto-optical disk are appropriately installed, and a computer program read from them is as needed. And installed in the FLASH ROM 1024.
  • the external interface 1019 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the controller 1021 can read encoded data from the DRAM 1018 according to an instruction from the operation unit 1022 and can supply it from the external interface 1019 to another device connected via a network.
  • the controller 1021 acquires encoded data and image data supplied from another device via the network via the external interface 1019, holds the data in the DRAM 618, and supplies the same to the image signal processing unit 1014.
  • the image data captured by the camera 1000 may be a moving image or a still image.
  • the encoding system 10 and the decoding system 200 described above are also applicable to apparatuses and systems other than the above described apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　本発明は、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができる画像処理装置および画像処理方法に関する。　符号化システムは、ランダムアクセスポイントのピクチャが、LRペアのうちのL画像のピクチャとなり、R画像のピクチャが、符号化順でランダムアクセスポイントのピクチャ以降のピクチャとなるように符号化を行う。本発明は、例えば、立体視画像を符号化する装置に適用することができる。

Description

画像処理装置および画像処理方法
　本発明は、画像処理装置および画像処理方法に関し、特に、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができるようにした画像処理装置および画像処理方法に関する。
　近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
　すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。
　例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像（インターレース方式の画像）及び順次走査画像（プログレッシブ方式の画像）の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４～８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８～２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。
　さらに、AVC (MPEG-4 part 10，ISO/IEC 14496-10，ITU-T H.264)符号化方式の標準化も行われている。この標準化は、ITU-TとISO/IECの間で共同で画像符号化方式の標準化を行うためのJVT(Joint Video Team)という団体で進められている。
　AVCは、MPEG2やMPEG4と同様に、動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。AVCは、MPEG2やMPEG4といった従来の符号化方式に比べ、符号化および復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
　ところで、近年、立体視が可能な立体視画像の撮像技術および表示技術が進歩しているため、上述のような符号化の対象となる画像のコンテンツとして、２次元画像のコンテンツだけでなく、立体視画像のコンテンツも考えられている。多視点の画像の符号化と復号の方法については、例えば、特許文献１に記載されている。
　立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点の3D(Dimensional)画像（ステレオ画像）であり、3D画像の画像データは、左眼で観察される画像である左眼画像（以下、L(Left)画像ともいう）の画像データと、右眼で観察される画像である右眼画像（以下、R(Right)画像ともいう）の画像データとからなる。なお、以下では、説明を簡単にするため、立体視画像を構成する多視点の画像の一例として、視点の数が最も少ない２視点の3D画像を用いて説明する。
　図１に示すように、3D画像の符号化データが、3D画像を構成するL画像およびR画像（以下、LRペアという）が時間方向に多重化されて符号化された結果得られるビットストリームである場合、復号装置では、ビットストリーム内のどの画像の符号化データとどの画像の符号化データがLRペアの符号化データであるのかを認識することができない。従って、復号装置は、表示順で先頭から２枚ずつの復号画像をLRペアとして認識する。
　この場合、図２のＡに示すように、ビットストリームの復号中にエラーが発生しないと、復号装置は、全てのLRペアを認識することができる。
特開2008-182669号公報
　しかしながら、図２のＢに示すように、ビットストリームの復号中にエラーが発生した場合、復号装置は、それ以降の復号画像においてLRペアを認識することができない。例えば、図２のＢの例では、表示順で先頭から4番目の画像であるR画像の復号画像がエラーにより欠落すると、そのR画像以降の復号画像においてLRペアを認識することができない。その結果、復号エラーが１度発生すると、立体視画像を表示することができなくなる。
　また、復号装置は、ランダムアクセスを行う場合、復号画像においてLRペアを認識することができないため、立体視画像を任意の位置から表示することができない場合がある。
　本発明は、このような状況に鑑みてなされたものであり、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができるようにするものである。
　本発明の第１の側面の画像処理装置は、立体視画像を構成する多視点の画像を符号化する符号化手段と、ランダムアクセス単位の先頭のピクチャが前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で前記先頭のピクチャ以降のピクチャとなるように配置して符号化するように、前記符号化手段を制御する制御手段とを備える画像処理装置である。
　本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。
　本発明の第１の側面においては、立体視画像を構成する多視点の画像が符号化される。この符号化は、ランダムアクセス単位の先頭のピクチャが多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で先頭のピクチャ以降のピクチャとなるように配置して符号化するように制御される。
　本発明の第２の側面の画像処理装置は、立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で前記先頭のピクチャ以降のピクチャとなるように配置されて符号化されることによって得られる符号化ストリームを復号する復号手段と、前記復号手段により前記符号化ストリームが途中から復号される場合に、前記ランダムアクセス単位の先頭のピクチャから復号を開始するように、前記復号手段を制御する制御手段とを備える画像処理装置である。
　本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理装置に対応する。
　本発明の第２の側面においては、立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で先頭のピクチャ以降のピクチャとなるように配置されて符号化されることによって得られる符号化ストリームが復号される。なお、符号化ストリームが途中から復号される場合には、ランダムアクセス単位の先頭のピクチャから復号を開始するように、復号が制御される。
　なお、第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　本発明の第１の側面によれば、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができる。
　本発明の第２の側面によれば、立体視画像を構成する多視点の画像が多重化されて符号化される場合に、符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができる。
3D画像の画像信号の多重化について説明する図である。 復号中にエラーが発生した状態を説明する図である。 本発明を適用した符号化システムの一実施の形態の構成例を示すブロック図である。 図１のビデオ符号化装置の構成例を示すブロック図である。 符号化システムにおける撮像タイミングについて説明する図である。 符号化システムにおける他の撮像タイミングについて説明する図である。 ビデオ合成回路による多重化を説明する図である。 図４の符号化回路の構成例を示すブロック図である。 符号化回路から出力されるビットストリームの例を説明する図である。 ビットストリームのGOP構造の例を示す図である。 ビットストリームのGOP構造の他の例を示す図である。 ビットストリームのGOP構造のさらに他の例を示す図である。 ビットストリームのGOP構造のさらに他の例を示す図である。 符号化回路による符号化処理を説明するフローチャートである。 本発明を適用した符号化システムの一実施の形態の他の構成例を示すブロック図である。 図１５の合成部から出力される多重化信号を説明する図である。 復号システムの構成例を示すブロック図である。 図１７のビデオ復号装置の構成例を示すブロック図である。 図１８の復号回路の構成例を示すブロック図である。 ビデオ復号装置による復号エラー処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。
＜一実施の形態＞
［符号化システムの一実施の形態の構成例］
　図３は、本発明を適用した符号化システムの一実施の形態の構成例を示すブロック図である。
　図３の符号化システム１０は、左眼用撮像装置１１、右眼用撮像装置１２、およびビデオ符号化装置１３により構成される。
　左眼用撮像装置１１は、L画像を撮像する撮像装置であり、右眼用撮像装置１２は、R画像を撮像する撮像装置である。左眼用撮像装置１１から右眼用撮像装置１２には同期信号が入力され、左眼用撮像装置１１と右眼用撮像装置１２は、互いに同期する。左眼用撮像装置１１と右眼用撮像装置１２は、所定の撮像タイミングで撮像を行う。
　ビデオ符号化装置１３には、左眼用撮像装置１１により撮像されたL画像の画像信号が入力されるとともに、右眼用撮像装置１２により撮像されたR画像の画像信号が入力される。ビデオ符号化装置１３は、LRペアごとにL画像の画像信号とR画像の画像信号を時間方向に多重化し、その結果得られる多重化信号に対してAVC符号化方式に準拠した符号化を行う。ビデオ符号化装置１３は、符号化の結果得られる符号化データをビットストリームとして出力する。
[ビデオ符号化装置の構成例]
　図４は、図１のビデオ符号化装置１３の構成例を示すブロック図である。
　図４のビデオ符号化装置１３は、ビデオ合成回路２１と符号化回路２２により構成される。
　ビデオ合成回路２１は、LRペアごとに、左眼用撮像装置１１により撮像されたL画像の画像信号と、右眼用撮像装置１２により撮像されたR画像の画像信号を、時間方向に多重化し、その結果得られる多重化信号を符号化回路２２に供給する。
　符号化回路２２は、ビデオ合成回路２１から入力される多重化信号を、AVC符号化方式に準拠して符号化する。なお、このとき、符号化回路２２は、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセス単位の先頭（以下、ランダムアクセスポイントという）である符号化データのGOP(Group of Pictures)の先頭のピクチャがLRペアのうちの一方のピクチャとなり、他方のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなるように、符号化を行う。符号化回路２２は、符号化の結果得られる符号化データをビットストリームとして出力する。
　なお、以下では、符号化回路２２において、ランダムアクセスポイントのピクチャがL画像のピクチャとなるように符号化されるものとして説明する。
[撮像タイミングの説明]
　図５および図６は、符号化システム１０における撮像タイミングについて説明する図である。
　符号化システム１０において、左眼用撮像装置１１と右眼用撮像装置１２は、図５に示すように、LRペアを同一のタイミングで撮像したり、図６に示すように、LRペアを連続する異なるタイミングで撮像したりする。
[L画像とR画像の多重化の説明]
　図７は、ビデオ合成回路２１による多重化を説明する図である。
　図５や図６で説明したタイミングで撮像されたL画像の画像信号とR画像の画像信号は、パラレルにビデオ合成回路２１に供給される。ビデオ合成回路２１は、LRペアのL画像の画像信号とR画像の画像信号を時間方向に多重化する。これにより、ビデオ合成回路２１から出力される多重化信号は、図７に示すように、L画像の画像信号とR画像の画像信号が交互に繰り返される画像信号となる。
[符号化回路の構成例]
　図８は、図４の符号化回路２２の構成例を示すブロック図である。
　符号化回路２２のA／D変換部４１は、ビデオ合成回路２１から供給されるアナログ信号である多重化信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部４１は、その画像データを画像並べ替えバッファ４２に供給する。
　画像並べ替えバッファ４２は、A/D変換部４１からの画像データを一時記憶し、必要に応じて読み出す。これにより、画像並べ替えバッファ４２は、符号化回路２２の出力であるビットストリームのGOP構造に応じて、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセスポイントのピクチャがL画像のピクチャとなり、そのL画像とLRペアを構成するR画像のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなるように、画像データのピクチャ（フレーム）（フィールド）を符号化順に並べ替える並べ替えを行う。即ち、画像並べ替えバッファ４２は、符号化するピクチャを選択制御する。
　画像並べ替えバッファ４２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部４３に供給される。
　演算部４３は、画像並べ替えバッファ４２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を減算し、直交変換部４４に供給する。
　直交変換部４４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部４５に供給する。なお、直交変換部４４で行われる離散コサイン変換は、実数の離散コサイン変換を近似した整数変換であってもよい。また、離散コサイン変換の変換方法として、４×４ブロックサイズで整数係数変換を行う方法が用いられてもよい。
　量子化部４５は、直交変換部４４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部４６に供給する。
　可逆符号化部４６は、量子化部４５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ４７に供給する。
　蓄積バッファ４７は、可逆符号化部４６からの符号化データを一時記憶し、所定のレートでビットストリームとして出力する。
　レート制御部４８は、蓄積バッファ４７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部４５の量子化ステップ等の、量子化部４５の挙動を制御する。
　量子化部４５で得られる量子化値は、可逆符号化部４６に供給される他、逆量子化部４９にも供給される。逆量子化部４９は、量子化部４５からの量子化値を、変換係数に逆量子化し、逆直交変換部５０に供給する。
　逆直交変換部５０は、逆量子化部４９からの変換係数を逆直交変換し、演算部５１に供給する。
　演算部５１は、逆直交変換部５０から供給されるデータに対して、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ５２に供給する。
　フレームメモリ５２は、演算部５１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５３や動き予測／動き補償部５４に供給する。
　イントラ予測部５３は、イントラピクチャの中で、演算部４３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５２に記憶されている画素から予測画像を生成し、演算部４３及び５１に供給する。
　イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部５３から演算部４３に予測画像が供給される場合、演算部４３では、画像並べ替えバッファ４２から供給されるピクチャから、イントラ予測部５３から供給される予測画像が減算される。
　また、演算部５１では、演算部４３で減算された予測画像が、逆直交変換部５０から供給されるデータに加算される。
　一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ４２から、演算部４３、及び、動き予測／動き補償部５４に供給される。
　動き予測／動き補償部５４は、フレームメモリ５２から、画像並べ替えバッファ４２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５４は、フレームメモリ５２からの参照画像を用いて、画像並べ替えバッファ４２からのノンイントラピクチャについて、動きベクトルを検出する。
　そして、動き予測／動き補償部５４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部４３及び５１に供給する。なお、動き補償の際のブロックサイズは固定であっても可変であってもよい。
　演算部４３では、画像並べ替えバッファ４２から供給されるノンイントラピクチャから、イントラ予測部５３から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
　なお、イントラ予測部５３が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部５３から可逆符号化部４６に供給される。また、動き予測／動き補償部５４で得られる動きベクトル、及び、動き予測／動き補償部５４が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部５４から可逆符号化部４６に供給される。
　可逆符号化部４６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
[ビットストリームの説明]
　図９は、符号化回路２２から出力されるビットストリームの例を説明する図である。
　図９のＡに示すように、符号化回路２２から出力されるビットストリームでは、ランダムアクセスポイントが、L画像の画像データのピクチャとなり、そのL画像とLRペアを構成するR画像のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなる。また、ビットストリームでは、LRペアの表示順が所定の順で連続する。
　従って、ビットストリームを復号するビデオ復号装置は、ビットストリームの復号途中でエラーが発生した場合であっても、直後のランダムアクセスポイントから復号を再開することにより、復号画像においてLRペアを認識することができる。
　例えば、図９のＢに示すように、ビットストリームの符号化順で先頭から４番目の画像であるR画像の符号化データがエラーにより脱落した場合、ビデオ復号装置は、そのR画像のピクチャを含むGOPの直後のランダムアクセスポイントのピクチャがL画像のピクチャであることを認識する。また、そのL画像とLRペアを構成するR画像のピクチャは、符号化順で、そのL画像のピクチャ以降に存在するので、ランダムアクセスポイントのピクチャから復号が再開されると、そのR画像のピクチャも復号される。さらに、各LRペアの表示順は所定の順で連続している。
　以上により、ビデオ復号装置は、ランダムアクセスポイントのピクチャと、そのピクチャと表示順で所定の順に連続するピクチャをLRペアとして認識することができる。また、ビデオ復号装置は、表示順で、そのLRペア以降の復号画像を２枚ずつ順にLRペアとして認識することができる。その結果、復号エラーが発生したピクチャの直後のGOPから立体視画像の表示を再開することができる。
[ビットストリームのGOP構造の例]
　図１０乃至図１３は、ビットストリームのGOP構造の例を示す図である。
　なお、図１０乃至図１３において、I,P,B,Brは、それぞれ、Iピクチャ、Pピクチャ、Bピクチャ、Brピクチャを表し、I,P,B,Brの後の数字は、表示順を表している。
　図１０のGOP構造は、符号化順と表示順の両方でI0,P1,P2,P3,P4,P5・・・の順に並ぶ構造である。この場合、L画像がI0,P2,P4・・・に割り当てられ、R画像がP1,P3,P5・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。
　また、図１１のGOP構造は、符号化順でI0,P1,P4,P5,Br2,B3,P8,P9,Br6,B7・・・の順に並び、表示順でI0,P1, Br2, B3,P4,P5,Br6,B7,P8,P9・・・の順に並ぶ構造である。この場合、L画像がI0,Br2,P4,Br6,P8・・・に割り当てられ、R画像の画像信号がP1,B3,P5,B7,P9・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。
　図１２のGOP構造は、符号化順でI0,P1,P6,P7,Br2,B3,Br4,B5・・・の順に並び、表示順でI0,P1,Br2,B3,Br4,B5,P6,P7・・・の順に並ぶ構造である。この場合、L画像がI0,Br2,Br4,P6・・・に割り当てられ、R画像がP1,B3,B5,P7・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。
　図１０乃至図１２のGOP構造では、LRペアの符号化順が表示順と同様に、L画像、R画像の順で常に連続する。その結果、復号側で、BピクチャおよびBrピクチャを除いて復号してもLRペアが成立し、これにより高速再生を実現することができる。また、同一のLRペアを構成するL画像とR画像を参照関係にすることができ、圧縮効率が向上する。
　図１３のGOP構造は、符号化順でI0,P1,P4,Br2,P5,B3・・・の順に並び、表示順でI0,P1,Br2,B3,P4,P5・・・の順に並ぶ構造である。この場合、L画像がI0,Br2,P4・・・に割り当てられ、R画像がP1,B3,P5・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。
　図１３のGOP構造では、先頭のLRペアの符号化順は、L画像、R画像の順で連続するが、他のLRペアの符号化順は、L画像、R画像の順で連続しない。しかしながら、図１３のGOP構造を有するビットストリームが復号される場合、DPB（Decoded Picture Buffer）バッファは4ピクチャ分で済む。
[符号化システムの処理の説明]
　図１４は、符号化システム１０の符号化回路２２による符号化処理を説明するフローチャートである。
　図１４のステップＳ１１において、符号化回路２２のA/D変換部４１（図８）は、ビデオ合成回路２１から供給される多重化信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部４１は、その画像データを画像並べ替えバッファ４２に供給する。
　ステップＳ１２において、画像並べ替えバッファ４２は、符号化回路２２の出力であるビットストリームのGOP構造に応じて、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセスポイントのピクチャがL画像のピクチャとなり、そのL画像とLRペアを構成するR画像のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなるように、画像データのピクチャを符号化順に並べ替える。
　ステップＳ１３において、演算部４３、直交変換部４４、量子化部４５、可逆符号化部４６、逆量子化部４９、逆直交変換部５０、演算部５１、フレームメモリ５２、イントラ予測部５３、および動き予測／動き補償部５４は、画像並べ替えバッファから供給される画像データのピクチャを符号化する。その結果得られる符号化データは、蓄積バッファ４７に供給される。
　ステップＳ１４において、蓄積バッファ４７は、符号化データを一時記憶し、所定のレートでビットストリームとして出力する。そして処理は終了する。
　なお、図３の符号化システム１０では、ビデオ合成回路２１がビデオ符号化装置１３に設けられたが、ビデオ符号化装置１３の外部に設けられるようにしてもよい。この場合、左眼用撮像装置１１で撮像されたL画像の画像信号と右眼用撮像装置１２で撮像されたR画像の画像信号がビデオ合成回路２１で多重化され、多重化信号がビデオ符号化装置１３に入力される。
[符号化システムの一実施の形態の他の構成例]
　図１５は、本発明を適用した符号化システムの一実施の形態の他の構成例を示すブロック図である。
　図１５の符号化システム１０は、撮像装置１０１とビデオ符号化装置１０２により構成される。撮像装置１０１は、撮像部１１１、分岐部１１２、撮像処理部１１３および撮像処理部１１４、並びに合成部１１５により構成される。符号化システム１０では、１つの撮像装置１０１でL画像とR画像が撮像され、L画像の画像信号とR画像の画像信号が多重化されてシリアルにビデオ符号化装置１０２に入力される。
　撮像装置１０１は、撮像部１１１、分岐部１１２、並びに、２つの撮像処理部１１３および撮像処理部１１４を備える。撮像部１１１は、撮像処理部１１３の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１３に供給する。また、撮像部１１１は、撮像処理部１１４の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１４に供給する。
　撮像処理部１１３は、撮像部１１１を制御して、撮像処理部１１４の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１３は、その結果分岐部１１２から供給される画像信号を合成部１１５に供給する。
　撮像処理部１１４は、撮像部１１１を制御して、撮像処理部１１３の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１４は、その結果分岐部１１２から供給される画像信号をR画像の画像信号として合成部１１５に供給する。
　合成部１１５は、撮像処理部１１３から供給されるL画像の画像信号と撮像処理部１１４から供給されるR画像の画像信号を時間方向に多重化してビデオ符号化装置１０２に出力する。
　ビデオ符号化装置１０２は、図８の符号化回路２２により構成され、合成部１１５から供給される多重化信号に対して符号化を行う。
　図１６は、合成部１１５から出力される多重化信号を説明する図である。
　図１６に示すように、合成部１１５では、撮像処理部１１３の制御により撮像されたL画像の画像信号と撮像処理部１１４の制御により撮像されたR画像の画像信号が、時間方向に多重化される。その結果、合成部１１５から出力される多重化信号は、図１６に示すように、L画像の画像信号とR画像の画像信号が交互に繰り返される画像信号となる。
[復号システムの構成例]
　図１７は、上述した符号化システム１０から出力されたビットストリームを復号する復号システムの構成例を示すブロック図である。
　図１７の復号システム２００は、ビデオ復号装置２０１と３Ｄビデオ表示装置２０２により構成される。
　ビデオ復号装置２０１は、符号化システム１０から出力されたビットストリームをAVC符号化方式に対応する方式で復号する。ビデオ復号装置２０１は、その結果得られるアナログ信号である画像信号を、LRペアごとに3Dビデオ表示装置２０２に出力する。
　3Dビデオ表示装置２０２は、ビデオ復号装置２０１からLRペアごとに入力されるL画像の画像信号とR画像の画像信号に基づいて、3D画像を表示する。これにより、ユーザは、立体画像を見ることができる。
　なお、3Dビデオ表示装置２０２としては、LRペアを同一のタイミングで表示する表示装置を用いることもできるし、LRペアを連続する異なるタイミングで表示する表示装置を用いることもできる。また、LRペアを連続する異なるタイミングで表示する表示装置としては、L画像とR画像をラインごとに交互にインタリーブし、フィールド単位で交互に表示する表示装置、L画像とR画像をフレームレートの高い画像としてフレーム単位で交互に表示する表示装置などがある。
[ビデオ復号装置の構成例]
　図１８は、図１７のビデオ復号装置２０１の構成例を示すブロック図である。
　図１８に示すように、ビデオ復号装置２０１は、復号回路２１１、フレームメモリ２１２、画像サイズ変換回路２１３、フレームレート変換回路２１４、D/A(Digital/Analog)変換回路２１５、およびコントローラ２１６により構成される。
　復号回路２１１は、コントローラ２１６の制御にしたがって、符号化システム１０から出力されたビットストリームをAVC符号化方式に対応する方式で復号する。復号回路２１１は、復号の結果得られるディジタル信号である画像データを、フレームメモリ２１２に供給する。また、復号回路２１１は、復号中にエラーが発生した場合、その旨をコントローラ２１６に通知する。
　フレームメモリ２１２は、復号回路２１１から供給される画像データを記憶する。フレームメモリ２１２は、コントローラ２１６の制御にしたがって、記憶しているL画像の画像データとR画像の画像データをLRペアごとに読み出し、画像サイズ変換回路２１３に出力する。
　画像サイズ変換回路２１３は、フレームメモリ２１２から供給されるLRペアの画像データの画像サイズを、それぞれ所定のサイズに拡大または縮小し、フレームレート変換回路２１４に供給する。
　フレームレート変換回路２１４は、コントローラ２１６の制御にしたがって、L画像およびR画像のフレームレートが所定のレートになるように、画像サイズ変換回路２１３から供給されるLRペアの画像データの出力タイミングを制御しながら、LRペアの画像データを出力する。
　D/A変換回路２１５は、フレームレート変換回路２１４から出力されたLRペアの画像データに対してそれぞれD/A変換を行い、その結果得られるアナログ信号である画像信号を3Dビデオ表示装置２０２に出力する。
　コントローラ２１６は、復号回路２１１から供給されるエラーの通知に応じて、ランダムアクセスポイントから復号を再開するように復号回路２１１を制御する。また、コントローラ２１６は、ユーザによりビットストリームの所定の位置からの再生が指令されると、その位置の直近のランダムアクセスポイントから復号を開始するように復号回路２１１を制御する。
　さらに、コントローラ２１６は、復号の開始位置または再開位置のピクチャがL画像のピクチャであるとして、フレームメモリ２１２を制御し、LRペアごとに画像データを読み出させる。また、コントローラ２１６は、フレームレート変換回路２１４を制御し、画像サイズ変換回路２１３から出力されるL画像およびR画像の画像データのフレームレートを所定のフレームレートに変換して出力させる。
[復号回路の構成例]
　図１９は、図１８の復号回路２１１の構成例を示すブロック図である。
　符号化システム１０からビットストリームとして出力された符号化データは、蓄積バッファ２７１に供給される。蓄積バッファ２７１は、そこに供給される符号化データを一時記憶する。蓄積バッファ２７１は、コントローラ２１６からの制御にしたがって、符号化データを読み出し、可逆符号復号部２７２に供給する。例えば、蓄積バッファ２７１は、コントローラ２１６からの制御にしたがって、ランダムアクセスポイントの符号化データから読み出しを行い、可逆符号復号部２７２に供給する。
　可逆符号復号部２７２は、蓄積バッファ２７１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。
　可逆符号復号部２７２で得られる量子化値は、逆量子化部２７３に供給され、イントラ予測モードは、イントラ予測部２７７に供給される。また、可逆符号復号部２７２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部２７８に供給される。
　逆量子化部２７３、逆直交変換部２７４、演算部２７５、フレームメモリ２７６、イントラ予測部２７７、及び、動き予測／動き補償部２７８は、図８の逆量子化部４９、逆直交変換部５０、演算部５１、フレームメモリ５２、イントラ予測部５３、及び、動き予測／動き補償部５４とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。
　すなわち、逆量子化部２７３は、可逆符号復号部２７２からの量子化値を、変換係数に逆量子化し、逆直交変換部２７４に供給する。
　逆直交変換部２７４は、符号化データのフォーマットに基づき、逆量子化部２７３からの変換係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、演算部２７５に供給する。
　演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部２７７から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部２７８から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。
　演算部２７５で得られた復号画像は、必要に応じて、フレームメモリ２７６に供給されるとともに、画像並べ替えバッファ２７９に供給される。
　フレームメモリ２７６は、演算部２７５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２７７や動き予測／動き補償部２７８に供給する。
　イントラ予測部２７７は、演算部２７５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ２７６からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部２７５に供給する。
　すなわち、イントラ予測部２７７は、可逆符号復号部２７２からのイントラ予測モードに従い、演算部２７５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ２７６に記憶されている画素から予測画像を生成し、演算部２７５に供給する。
　一方、動き予測／動き補償部２７８は、演算部２７５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部２７５に供給する。
　すなわち、動き予測／動き補償部２７８は、可逆符号復号部２７２からのピクチャタイプ等に従い、フレームメモリ２７６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部２７８は、フレームメモリ２７６からの参照画像に対して、可逆符号復号部２７２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部２７５に供給する。
　演算部２７５では、以上のようにして、イントラ予測部２７７、又は、動き予測／動き補償部２７８から供給される予測画像を、逆直交変換部２７４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。
　画像並べ替えバッファ２７９は、演算部２７５からのピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、フレームメモリ２１２に供給する。
　なお、復号回路２１１において、復号中にエラーが発生した場合には、エラーの発生を検出した部からコントローラ２１６に、エラーが発生した旨が通知される。
[復号システムの処理の説明]
　図２０は、復号システム２００のビデオ復号装置２０１による復号エラー処理を説明するフローチャートである。この復号エラー処理は、例えば、復号回路２１１により復号が開始されたとき、開始される。
　図２０のステップＳ３１において、コントローラ２１６は、復号中にエラーが発生したかどうか、即ち復号回路２１１からエラーが発生した旨が通知されたかどうかを判定する。ステップＳ３１で復号中にエラーが発生したと判定された場合、コントローラ２１６は、復号の停止を復号回路２１１に指示し、ステップＳ３２において、復号回路２１１は、その指示に応じて復号を停止する。具体的には、復号回路２１１の蓄積バッファ２７１（図１９）が、コントローラ２１６からの指示に応じて、符号化データの読み出しを停止する。
　ステップＳ３３において、復号回路２１１の蓄積バッファ２７１は、コントローラ２１６の制御にしたがって、記憶している符号化データから、読み出しが停止されたピクチャの直後のランダムアクセスポイントのピクチャの符号化データを検索する。
　ステップＳ３４において、復号回路２１１は、ステップＳ３３で検索されたランダムアクセスポイントのピクチャの符号化データから復号を再開する。具体的には、復号回路２１１の蓄積バッファ２７１が、ステップＳ３３で検索されたランダムアクセスポイントのピクチャの符号化データからの読み出しを開始する。復号回路２１１による復号の結果得られる画像データは、フレームメモリ２１２に供給され、記憶される。
　ステップＳ３５において、フレームメモリ２１２は、コントローラ２１６からの制御にしたがって、ランダムアクセスポイントのピクチャを復号した結果得られる画像データをL画像の画像データとして、L画像の画像データとR画像の画像データをLRペアごとに出力する。
　具体的には、フレームメモリ２１２は、まず、ランダムアクセスポイントのピクチャの画像データをL画像の画像データとし、その画像データと所定の順に連続して復号回路２１１から供給された画像データをR画像の画像データとし、そのL画像の画像データとR画像の画像データをLRペアの画像データとして出力する。そして、フレームメモリ２１２は、そのLRペアの画像データの後に復号回路２１１から供給される２枚の画像の画像データを順にLRペアの画像データとして出力する。そして処理は終了する。
　一方、ステップＳ３１で復号中にエラーが発生していないと判定された場合、処理は終了する。
　なお、図示は省略するが、復号システム２００において、ユーザによりビットストリームの所定の位置からの再生が指令された場合には、その位置の直近のランダムアクセスポイントのピクチャの符号化データが検索され、ステップＳ３４およびＳ３５と同様の処理が行われる。
　以上のように、符号化システム１０は、LRペアの画像信号が多重化された多重化信号に対して、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセスポイントのピクチャが、LRペアのうちのL画像のピクチャとなり、R画像のピクチャが、符号化順でランダムアクセスポイントのピクチャ以降のピクチャとなるように符号化を行う。
　従って、復号システム２００は、エラーの発生やユーザからの指示などにより、ビットストリームを途中から復号する場合であっても、ランダムアクセスポイントから復号することにより、LRペアを認識することができる。その結果、復号システム２００は、3D画像を表示することができる。即ち、復号システム２００は、エラーが発生した場合に3D画像の表示を素早く復帰したり、ユーザの所望の位置から3D画像を表示したりすることができる。
　なお、上述した説明では、ランダムアクセスポイントのピクチャが、L画像のピクチャとなるように符号化されるものとして説明したが、ランダムアクセスポイントのピクチャは、R画像のピクチャとなるように符号化されてもよい。
[本発明を適用したコンピュータの説明]
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM６０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。
　CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。
　これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。
　なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した符号化システム１０や復号システム２００は、任意の電子機器に適用することができる。以下にその例について説明する。
［テレビジョン受像機の構成例］
　図２２は、本発明を適用した復号システムを用いるテレビジョン受像機の主な構成例を示すブロック図である。
　図２２のテレビジョン受像機７００は、上述した符号化システム１０で得られるビットストリームを、ディジタル放送の放送信号やコンテンツデータの少なくとも一部として取得し、復号システム２００と同様の処理を行って立体視画像を表示する。
　テレビジョン受像機７００の地上波チューナ７１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、画像信号を取得し、それをビデオデコーダ７１５に供給する。ビデオデコーダ７１５は、地上波チューナ７１３から供給された映像信号に対してデコード処理を施し、得られたディジタルのコンポーネント信号を映像信号処理回路７１８に供給する。
　映像信号処理回路７１８は、ビデオデコーダ７１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路７１９に供給する。
　グラフィック生成回路７１９は、表示パネル７２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路７２０に供給する。また、グラフィック生成回路７１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路７２０に供給するといった処理も適宜行う。
　パネル駆動回路７２０は、グラフィック生成回路７１９から供給されたデータに基づいて表示パネル７２１を駆動し、番組の映像や上述した各種の画面を表示パネル７２１に表示させる。
　表示パネル７２１は、パネル駆動回路７２０による制御に従って番組の映像などを表示させる。
　また、テレビジョン受像機７００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路７２２、エコーキャンセル／音声合成回路７２３、音声増幅回路７２４、およびスピーカ７２５も有する。
　地上波チューナ７１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ７１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
　音声A/D変換回路３１４は、地上波チューナ７１３から供給された音声信号に対してA/D変換処理を施し、得られたディジタルの音声信号を音声信号処理回路７２２に供給する。
　音声信号処理回路７２２は、音声A/D変換回路７１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路７２３に供給する。
　エコーキャンセル／音声合成回路７２３は、音声信号処理回路７２２から供給された音声データを音声増幅回路７２４に供給する。
　音声増幅回路７２４は、エコーキャンセル／音声合成回路７２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ７２５から出力させる。
　さらに、テレビジョン受像機７００は、デジタルチューナ７１６およびMPEGデコーダ７１７も有する。
　デジタルチューナ７１６は、ディジタル放送（地上ディジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）ディジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ７１７に供給する。
　MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ７１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路７２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路７１８に供給する。また、MPEGデコーダ７１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU７３２に供給する。
　MPEGデコーダ７１７から供給された映像データは、ビデオデコーダ７１５から供給された映像データの場合と同様に、映像信号処理回路７１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路７１９において、生成された映像データ等が適宜重畳され、パネル駆動回路７２０を介して表示パネル７２１に供給され、その画像が表示される。
　テレビジョン受像機７００は、このように映像パケットをデコードして表示パネル７２１に画像を表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、映像パケットを途中からデコードする場合であっても、LRペアを認識することができる。
　MPEGデコーダ７１７から供給された音声データは、音声A/D変換回路７１４から供給された音声データの場合と同様に、音声信号処理回路７２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路７２３を介して音声増幅回路７２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ７２５から出力される。
　また、テレビジョン受像機７００は、マイクロホン７２６、およびA/D変換回路７２７も有する。
　A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データをエコーキャンセル／音声合成回路７２３に供給する。
　エコーキャンセル／音声合成回路７２３は、テレビジョン受像機７００のユーザ（ユーザＡ）の音声のデータがA/D変換回路７２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路７２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。
　さらに、テレビジョン受像機７００は、音声コーデック７２８、内部バス７２９、SDRAM（Synchronous Dynamic Random Access Memory)７３０、フラッシュメモリ７３１、CPU７３２、USB（Universal Serial Bus) I/F７３３、およびネットワークI/F７３４も有する。
　A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データを音声コーデック７２８に供給する。
　音声コーデック７２８は、A/D変換回路７２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス７２９を介してネットワークI/F７３４に供給する。
　ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F７３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック７２８から供給された音声データを送信する。また、ネットワークI/F７３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子７３５を介して受信し、それを、内部バス７２９を介して音声コーデック７２８に供給する。
　音声コーデック７２８は、ネットワークI/F７３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路７２３に供給する。
　エコーキャンセル／音声合成回路７２３は、音声コーデック７２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。
　SDRAM７３０は、CPU７３２が処理を行う上で必要な各種のデータを記憶する。
　フラッシュメモリ７３１は、CPU７３２により実行されるプログラムを記憶する。フラッシュメモリ７３１に記憶されているプログラムは、テレビジョン受像機７００の起動時などの所定のタイミングでCPU７３２により読み出される。フラッシュメモリ７３１には、ディジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
　例えば、フラッシュメモリ７３１には、CPU７３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ７３１は、例えばCPU７３２の制御により、そのMPEG-TSを、内部バス７２９を介してMPEGデコーダ７１７に供給する。
　MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機７００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ７１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
　また、テレビジョン受像機７００は、リモートコントローラ７５１から送信される赤外線信号を受光する受光部７３７も有する。
　受光部７３７は、リモートコントローラ７５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU７３２に出力する。
　CPU７３２は、フラッシュメモリ７３１に記憶されているプログラムを実行し、受光部７３７から供給される制御コードなどに応じてテレビジョン受像機７００の全体の動作を制御する。CPU７３２とテレビジョン受像機７００の各部は、図示せぬ経路を介して接続されている。
　USB I/F７３３は、USB端子７３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機７００の外部の機器との間でデータの送受信を行う。ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
［携帯電話機の構成例］
　図２３は、本発明を適用した符号化システムおよび復号システムを用いる携帯電話機の主な構成例を示すブロック図である。
　図２３の携帯電話機８００は、上述した符号化システム１０と同様の処理を行い、立体視画像を表示するためのビットストリームを得る。また、携帯電話機８００は、上述した符号化システム１０で得られるビットストリームを受信して、復号システム２００と同様の処理を行い、立体視画像を表示する。
　図２３の携帯電話機８００は、各部を統括的に制御するようになされた主制御部８５０、電源回路部８５１、操作入力制御部８５２、画像エンコーダ８５３、カメラI/F部８５４、LCD制御部８５５、画像デコーダ８５６、多重分離部８５７、記録再生部８６２、変復調回路部８５８、および音声コーデック８５９を有する。これらは、バス８６０を介して互いに接続されている。
　また、携帯電話機８００は、操作キー８１９、CCD（Charge Coupled Devices）カメラ８１６、液晶ディスプレイ８１８、記憶部８２３、送受信回路部８６３、アンテナ８１４、マイクロホン（マイク）８２１、およびスピーカ８１７を有する。
　電源回路部８５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機８００を動作可能な状態に起動する。
　携帯電話機８００は、CPU、ROMおよびRAM等でなる主制御部８５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　例えば、音声通話モードにおいて、携帯電話機８００は、マイクロホン（マイク）８２１で集音した音声信号を、音声コーデック８５９によってディジタル音声データに変換し、これを変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
　また、例えば、音声通話モードにおいて、携帯電話機８００は、アンテナ８１４で受信した受信信号を送受信回路部８６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部８５８でスペクトラム逆拡散処理し、音声コーデック８５９によってアナログ音声信号に変換する。携帯電話機８００は、その変換して得られたアナログ音声信号をスピーカ８１７から出力する。
　更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機８００は、操作キー８１９の操作によって入力された電子メールのテキストデータを、操作入力制御部８５２において受け付ける。携帯電話機８００は、そのテキストデータを主制御部８５０において処理し、LCD制御部８５５を介して、画像として液晶ディスプレイ８１８に表示させる。
　また、携帯電話機８００は、主制御部８５０において、操作入力制御部８５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機８００は、その電子メールデータを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
　また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機８００は、復元された電子メールデータを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示する。
　なお、携帯電話機８００は、受信した電子メールデータを、記録再生部８６２を介して、記憶部８２３に記録する（記憶させる）ことも可能である。
　この記憶部８２３は、書き換え可能な任意の記憶媒体である。記憶部８２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
　さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機８００は、撮像によりCCDカメラ８１６で画像データを生成する。CCDカメラ８１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部８５４を介して、画像エンコーダ８５３で、例えばMVCやAVC等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
　携帯電話機８００は、このように撮像により生成された画像データを圧縮符号化する処理として、上述したビデオ符号化装置１３（１０２）と同様の処理を行う。その結果、符号化画像データを途中から復号する場合であっても、LRペアを認識することができる。
　携帯電話機８００は、多重分離部８５７において、画像エンコーダ８５３から供給された符号化画像データと、音声コーデック８５９から供給されたディジタル音声データとを、所定の方式で多重化する。携帯電話機８００は、その結果得られる多重化データを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
　なお、画像データを送信しない場合、携帯電話機８００は、CCDカメラ８１６で生成した画像データ等を、画像エンコーダ８５３を介さずに、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させることもできる。
　また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機８００は、多重分離部８５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
　携帯電話機８００は、画像デコーダ８５６において、符号化画像データを、MVCやAVC等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ８１８に表示される。
　携帯電話機８００は、このように符号化画像データをデコードして液晶ディスプレイ８１８に表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、例えば、動画ファイルを途中から復号する場合であっても、LRペアを認識することができる。
　なお、電子メールの場合と同様に、携帯電話機８００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部８６２を介して、記憶部８２３に記録する（記憶させる）ことも可能である。
　また、携帯電話機８００は、主制御部８５０において、撮像されてCCDカメラ８１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
　さらに、携帯電話機８００は、赤外線通信部８８１で赤外線により外部の機器と通信することができる。
　なお、以上において、携帯電話機８００が、CCDカメラ８１６を用いるように説明したが、このCCDカメラ８１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機８００は、CCDカメラ８１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
　また、以上においては携帯電話機８００について説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機８００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機８００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。
［ハードディスクレコーダの構成例］
　図２４は、本発明を適用した復号システムを用いるハードディスクレコーダとモニタの主な構成例を示すブロック図である。
　図２４のハードディスクレコーダ（HDDレコーダ）９００は、上述した符号化システム１０で得られるビットストリームを、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）等の一部として取得し、内蔵するハードディスクに保存する。そして、ハードディスクレコーダ９００は、ユーザの指示に応じたタイミングで、保存されているビットストリームを用いて復号システム２００と同様の処理を行い、立体視画像をモニタ９６０に表示させる。
　ハードディスクレコーダ９００は、受信部９２１、復調部９２２、デマルチプレクサ９２３、オーディオデコーダ９２４、ビデオデコーダ９２５、およびレコーダ制御部９２６を有する。ハードディスクレコーダ９００は、さらに、EPGデータメモリ９２７、プログラムメモリ９２８、ワークメモリ９２９、ディスプレイコンバータ９３０、OSD（On Screen Display）制御部９３１、ディスプレイ制御部９３２、記録再生部９３３、D/Aコンバータ９３４、および通信部９３５を有する。
　また、ディスプレイコンバータ９３０は、ビデオエンコーダ９４１を有する。記録再生部９３３は、エンコーダ９５１およびデコーダ９５２を有する。
　受信部９２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部９２６に出力する。レコーダ制御部９２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ９２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部９２６は、このとき、ワークメモリ９２９を必要に応じて使用する。
　通信部９３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部９３５は、レコーダ制御部９２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
　復調部９２２は、チューナより供給された信号を、復調し、デマルチプレクサ９２３に出力する。デマルチプレクサ９２３は、復調部９２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ９２４、ビデオデコーダ９２５、またはレコーダ制御部９２６に出力する。
　オーディオデコーダ９２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部９３３に出力する。ビデオデコーダ９２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ９３０に出力する。レコーダ制御部９２６は、入力されたEPGデータをEPGデータメモリ９２７に供給し、記憶させる。
　ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されたビデオデータを、ビデオエンコーダ９４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部９３３に出力する。
　ハードディスクレコーダ９００は、このようにビデオデータをエンコードする処理として、上述したビデオ符号化装置１３（１０２）と同様の処理を行う。その結果、エンコードされたビデオデータを途中から復号する場合であっても、LRペアを認識することができる。
　また、ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されるビデオデータの画面のサイズを、モニタ９６０のサイズに対応するサイズに変換する。ディスプレイコンバータ９３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ９４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部９３２に出力する。
　ディスプレイ制御部９３２は、レコーダ制御部９２６の制御のもと、OSD（On Screen Display）制御部９３１が出力したOSD信号を、ディスプレイコンバータ９３０より入力されたビデオ信号に重畳し、モニタ９６０のディスプレイに出力し、表示させる。
　ハードディスクレコーダ９００は、このようにビデオデータをデコードしてモニタ９６０に画像を表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、ビデオデータを途中から復号する場合であっても、LRペアを認識することができる。
　モニタ９６０にはまた、オーディオデコーダ９２４が出力したオーディオデータが、D/Aコンバータ９３４によりアナログ信号に変換されて供給されている。モニタ９６０は、このオーディオ信号を内蔵するスピーカから出力する。
　記録再生部９３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
　記録再生部９３３は、例えば、オーディオデコーダ９２４より供給されるオーディオデータを、エンコーダ９５１によりMPEG方式でエンコードする。また、記録再生部９３３は、ディスプレイコンバータ９３０のビデオエンコーダ９４１より供給されるビデオデータを、エンコーダ９５１によりMPEG方式でエンコードする。記録再生部９３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部９３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
　記録再生部９３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部９３３は、デコーダ９５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部９３３は、復号したオーディオデータをD/A変換し、モニタ９６０のスピーカに出力する。また、記録再生部９３３は、復号したビデオデータをD/A変換し、モニタ９６０のディスプレイに出力する。
　レコーダ制御部９２６は、受信部９２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ９２７から最新のEPGデータを読み出し、それをOSD制御部９３１に供給する。OSD制御部９３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部９３２に出力する。ディスプレイ制御部９３２は、OSD制御部９３１より入力されたビデオデータをモニタ９６０のディスプレイに出力し、表示させる。これにより、モニタ９６０のディスプレイには、EPG（電子番組ガイド）が表示される。
　また、ハードディスクレコーダ９００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
　通信部９３５は、レコーダ制御部９２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部９２６に供給する。レコーダ制御部９２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部９３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部９２６および記録再生部９３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
　また、レコーダ制御部９２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ９３０に供給する。ディスプレイコンバータ９３０は、ビデオデコーダ９２５から供給されるビデオデータと同様に、レコーダ制御部９２６から供給されるビデオデータを処理し、ディスプレイ制御部９３２を介してモニタ９６０に供給し、その画像を表示させる。
　また、この画像表示に合わせて、レコーダ制御部９２６が、復号したオーディオデータを、D/Aコンバータ９３４を介してモニタ９６０に供給し、その音声をスピーカから出力させるようにしてもよい。
　さらに、レコーダ制御部９２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ９２７に供給する。
　なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ９００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ９００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。
［カメラの構成例］
　図２５は、本発明を適用した符号化システムおよび復号システムを用いるカメラの主な構成例を示すブロック図である。
　図２５のカメラ１０００は、符号化システム１０と同様の処理を行い、ビットストリームを得る。また、カメラ１０００は、復号システム２００と同様の処理を行い、そのビットストリームを用いて立体視画像を表示させる。
　カメラ１０００のレンズブロック１０１１は、光（すなわち、被写体の映像）を、CCD/CMOS１０１２に入射させる。CCD/CMOS１０１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１０１３に供給する。
　カメラ信号処理部１０１３は、CCD/CMOS１０１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１０１４に供給する。画像信号処理部１０１４は、コントローラ１０２１の制御の下、カメラ信号処理部１０１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１０４１で例えばAVCやMVCといった方式により符号化したりする。
　カメラ１０００は、このように撮像により生成された画像信号を符号化する処理として、上述したビデオ符号化装置１３（１０２）と同様の処理を行う。その結果、符号化された画像信号を途中から復号する場合であっても、LRペアを認識することができる。
　画像信号処理部１０１４は、画像信号を符号化して生成した符号化データを、デコーダ１０１５に供給する。さらに、画像信号処理部１０１４は、オンスクリーンディスプレイ（OSD）１０２０において生成された表示用データを取得し、それをデコーダ１０１５に供給する。
　以上の処理において、カメラ信号処理部１０１３は、バス１０１７を介して接続されるDRAM（Dynamic Random Access Memory）１０１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１０１８に保持させる。
　デコーダ１０１５は、画像信号処理部１０１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１０１６に供給する。また、デコーダ１０１５は、画像信号処理部１０１４から供給された表示用データをLCD１０１６に供給する。LCD１０１６は、デコーダ１０１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
　カメラ１０００は、このように符号化データを復号してLCD１０１６に表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、符号化データを途中から復号する場合であっても、LRペアを認識することができる。
　オンスクリーンディスプレイ１０２０は、コントローラ１０２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１０１７を介して画像信号処理部１０１４に出力する。
　コントローラ１０２１は、ユーザが操作部１０２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１０１７を介して、画像信号処理部１０１４、DRAM１０１８、外部インタフェース１０１９、オンスクリーンディスプレイ１０２０、およびメディアドライブ１０２３等を制御する。FLASH ROM１０２４には、コントローラ１０２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
　例えば、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５に代わって、DRAM１０１８に記憶されている画像データを符号化したり、DRAM１０１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１０１４やデコーダ１０１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
　また、例えば、操作部１０２２から画像印刷の開始が指示された場合、コントローラ１０２１は、DRAM１０１８から画像データを読み出し、それを、バス１０１７を介して外部インタフェース１０１９に接続されるプリンタ１０３４に供給して印刷させる。
　さらに、例えば、操作部１０２２から画像記録が指示された場合、コントローラ１０２１は、DRAM１０１８から符号化データを読み出し、それを、バス１０１７を介してメディアドライブ１０２３に装着される記録メディア１０３３に供給して記憶させる。
　記録メディア１０３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１０３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
　また、メディアドライブ１０２３と記録メディア１０３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　外部インタフェース１０１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１０３４と接続される。また、外部インタフェース１０１９には、必要に応じてドライブ１０３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１０３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１０２４にインストールされる。
　さらに、外部インタフェース１０１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１０２１は、例えば、操作部１０２２からの指示に従って、DRAM１０１８から符号化データを読み出し、それを外部インタフェース１０１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１０２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１０１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部１０１４に供給したりすることができる。
　なお、カメラ１０００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
　もちろん、上述した符号化システム１０および復号システム２００は、上述した装置以外の装置やシステムにも適用可能である。
　１０　符号化システム，　２２　符号化回路

Claims (12)

  1. 　立体視画像を構成する多視点の画像を符号化する符号化手段と、
    　ランダムアクセス単位の先頭のピクチャが前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で前記先頭のピクチャ以降のピクチャとなるように配置して符号化するように、前記符号化手段を制御する制御手段と
    　を備える画像処理装置。
  2. 　前記制御手段は、前記先頭のピクチャとなる画像を含む多視点の画像のピクチャが符号化順で連続するように配置して符号化するように、前記符号化手段を制御する
    　請求項１に記載の画像処理装置。
  3. 　前記制御手段は、前記多視点の画像のピクチャが符号化順で常に連続するように配置して符号化するように、前記符号化手段を制御する
    　請求項１に記載の画像処理装置。
  4. 　前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
    　前記制御手段は、前記ランダムアクセス単位の先頭のピクチャが前記左画像のピクチャとなり、その左画像とステレオ画像を構成する右画像のピクチャが符号化順で前記先頭のピクチャ以降となるように配置して符号化するように、前記符号化手段を制御する
    　請求項１に記載の画像処理装置。
  5. 　前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
    　前記制御手段は、前記ランダムアクセス単位の先頭のピクチャが前記右画像のピクチャとなり、その右画像とともにステレオ画像を構成する左画像のピクチャが符号化順で前記先頭のピクチャ以降となるように配置して符号化するように、前記符号化手段を制御する
    　請求項１に記載の画像処理装置。
  6. 　画像処理装置が、
    　立体視画像を構成する多視点の画像を符号化する符号化ステップと、
    　ランダムアクセス単位の先頭のピクチャが前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で前記先頭のピクチャ以降のピクチャとなるように配置して符号化するように、前記符号化を制御する制御ステップと
    　を含む画像処理方法。
  7. 　立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で前記先頭のピクチャ以降のピクチャとなるように配置されて符号化されることによって得られる符号化ストリームを復号する復号手段と、
    　前記復号手段により前記符号化ストリームが途中から復号される場合に、前記ランダムアクセス単位の先頭のピクチャから復号を開始するように、前記復号手段を制御する制御手段と
    　を備える画像処理装置。
  8. 　前記制御手段は、前記復号中にエラーが発生した場合に、前記復号手段による復号を停止し、復号が停止されたピクチャの直後の前記ランダムアクセス単位の先頭のピクチャから復号を開始するように、前記復号手段を制御する
    　請求項７に記載の画像処理装置。
  9. 　前記制御手段は、前記符号化ストリームの所定の位置からの復号が指令された場合に、その位置の直近の前記ランダムアクセス単位の先頭のピクチャから復号を開始するように、前記復号手段を制御する
    　請求項７に記載の画像処理装置。
  10. 　前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
    　前記符号化ストリームは、前記ランダムアクセス単位の先頭のピクチャが前記左画像のピクチャとなり、その左画像とステレオ画像を構成する右画像のピクチャが符号化順で前記先頭のピクチャ以降となるように配置されて符号化されることによって得られる符号化ストリームであり、
    　前記復号手段は、前記ランダムアクセス単位の先頭のピクチャを復号することによって得られる画像データを、前記左画像の画像データとして出力する
    　請求項７に記載の画像処理装置。
  11. 　前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
    　前記符号化ストリームは、前記ランダムアクセス単位の先頭のピクチャが前記右画像のピクチャとなり、その右画像とステレオ画像を構成する左画像のピクチャが符号化順で前記先頭のピクチャ以降となるように配置されて符号化されることによって得られる符号化ストリームであり、
    　前記復号手段は、前記ランダムアクセス単位の先頭のピクチャを復号することによって得られる画像データを、前記右画像の画像データとして出力する
    　請求項７に記載の画像処理装置。
  12. 　画像処理装置が、
    　立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが符号化順で前記先頭のピクチャ以降のピクチャとなるように配置されて符号化されることによって得られる符号化ストリームを復号する復号ステップと、
    　前記復号ステップの処理により前記符号化ストリームが途中から復号される場合に、前記ランダムアクセス単位の先頭のピクチャから復号を開始するように、前記復号を制御する制御手ステップと
    　を含む画像処理方法。
PCT/JP2010/067757 2009-10-16 2010-10-08 画像処理装置および画像処理方法 WO2011046085A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/500,374 US20120195513A1 (en) 2009-10-16 2010-10-08 Image processing device and image processing method
CN201080045621.1A CN102577402A (zh) 2009-10-16 2010-10-08 图像处理设备和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009239707A JP2011087194A (ja) 2009-10-16 2009-10-16 画像処理装置および画像処理方法
JP2009-239707 2009-10-16

Publications (1)

Publication Number Publication Date
WO2011046085A1 true WO2011046085A1 (ja) 2011-04-21

Family

ID=43876135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/067757 WO2011046085A1 (ja) 2009-10-16 2010-10-08 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20120195513A1 (ja)
JP (1) JP2011087194A (ja)
CN (1) CN102577402A (ja)
WO (1) WO2011046085A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080291A (ja) * 2017-10-27 2019-05-23 ルネサスエレクトロニクス株式会社 データ処理装置及びデータ処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156836A (ja) * 1998-11-18 2000-06-06 Nec Ic Microcomput Syst Ltd 映像再生装置、記憶媒体および映像再生方法
JP2003530038A (ja) * 2000-03-31 2003-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２つの互いに関連したデータ列を符号化する方法
WO2007013194A1 (ja) * 2005-07-26 2007-02-01 National University Corporation Nagoya University 画像情報圧縮方法及び自由視点テレビシステム
JP2008034892A (ja) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP4185014B2 (ja) * 2004-04-14 2008-11-19 日本電信電話株式会社 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2892226B1 (en) * 2004-07-01 2017-01-11 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and recording method, and reproducing device and reproducing method
JP2007013828A (ja) * 2005-07-04 2007-01-18 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置、符号化方法及び復号化方法
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
CA2660278C (en) * 2006-08-17 2016-03-29 Telefonaktiebolaget L M Ericsson (Publ) Error recovery for rich media
KR101503082B1 (ko) * 2006-10-25 2015-03-16 텔레폰악티에볼라겟엘엠에릭슨(펍) 리치 미디어 스트림 관리
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8289374B2 (en) * 2009-08-25 2012-10-16 Disney Enterprises, Inc. Method and system for encoding and transmitting high definition 3-D multimedia content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156836A (ja) * 1998-11-18 2000-06-06 Nec Ic Microcomput Syst Ltd 映像再生装置、記憶媒体および映像再生方法
JP2003530038A (ja) * 2000-03-31 2003-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２つの互いに関連したデータ列を符号化する方法
WO2007013194A1 (ja) * 2005-07-26 2007-02-01 National University Corporation Nagoya University 画像情報圧縮方法及び自由視点テレビシステム
JP2008034892A (ja) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置

Also Published As

Publication number Publication date
US20120195513A1 (en) 2012-08-02
CN102577402A (zh) 2012-07-11
JP2011087194A (ja) 2011-04-28

Similar Documents

Publication Publication Date Title
US10931944B2 (en) Decoding device and method to generate a prediction image
US10721480B2 (en) Image processing apparatus and method
US10491919B2 (en) Image processing apparatus and method
JP5594536B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US8810628B2 (en) Image processing apparatus and image processing method
KR102090344B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
WO2010101064A1 (ja) 画像処理装置および方法
US20110176741A1 (en) Image processing apparatus and image processing method
US8705627B2 (en) Image processing apparatus and method
US20110170605A1 (en) Image processing apparatus and image processing method
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
US20110170793A1 (en) Image processing apparatus and method
US8483495B2 (en) Image processing device and method
US20110229049A1 (en) Image processing apparatus, image processing method, and program
JPWO2010101063A1 (ja) 画像処理装置および方法
US20130058416A1 (en) Image processing apparatus and method
US20110128355A1 (en) Image processing apparatus and image processing method
WO2011046085A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080045621.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10823353

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13500374

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10823353

Country of ref document: EP

Kind code of ref document: A1