WO2013069608A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2013069608A1
WO2013069608A1 PCT/JP2012/078637 JP2012078637W WO2013069608A1 WO 2013069608 A1 WO2013069608 A1 WO 2013069608A1 JP 2012078637 W JP2012078637 W JP 2012078637W WO 2013069608 A1 WO2013069608 A1 WO 2013069608A1
Authority
WO
WIPO (PCT)
Prior art keywords
view
image data
data
video stream
views
Prior art date
Application number
PCT/JP2012/078637
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/997,448 priority Critical patent/US9693033B2/en
Priority to BR112013017322A priority patent/BR112013017322A2/pt
Priority to KR1020137016903A priority patent/KR102009049B1/ko
Priority to EP12847913.6A priority patent/EP2645724A4/en
Publication of WO2013069608A1 publication Critical patent/WO2013069608A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device and the like for satisfactorily viewing a stereoscopic image (three-dimensional image) on the reception side.
  • a left-eye image and a right-eye image having parallax are alternately displayed on a display at a predetermined cycle, and the left-eye image and the right-eye image are synchronized with the display.
  • a method of observing with shutter glasses including a liquid crystal shutter to be driven is known.
  • a method using a multi-view configuration having N views is conceivable as a method for enabling naked-eye viewing of a three-dimensional image (stereoscopic image).
  • image data of all views is transmitted, there is a concern that the transmission band increases. Therefore, instead of transmitting image data of all views, image data of one view or more, for example, two views is transmitted, and image data of views other than the view transmitted on the receiving side is generated by interpolation processing. Is also possible.
  • FIG. 31 shows a configuration example of the image transmission / reception system 50 in that case.
  • images of two views are obtained by the view selector 52 from image data of N views (View 1... View N) obtained by imaging with N cameras 51-1 to 51-N. Data is selected.
  • two video streams (1st video, 2nd video) obtained by encoding the image data of these two views by the encoder 53 are transmitted toward the receiving side.
  • the transmission method (1) when the number of multi-view views increases, the relative parallax between the two views at both ends of the transmission increases. For this reason, it is difficult to interpolate around the occlusion associated with the processing of fine parts when interpolating view image data that is not transmitted, and the quality of the reproduced image may be a problem.
  • FIG. 32 schematically shows a display unit on the receiving side when the number of views is 5 in this transmission method.
  • “View_0” is the center view
  • “View_1” is the view one right from the center
  • “View_2” is the view one left from the center
  • “View_3” is two views right from the center, that is, the rightmost view
  • “View_4” indicates a view that is two left from the center, that is, the leftmost view.
  • FIG. 32 shows a lenticular lens, but a parallax barrier or the like may be used instead. The same applies to FIG. 33 below.
  • image data of a so-called conventional stereo view is transmitted, and image data of a view that is not transmitted is interpolated on the receiving side.
  • the interpolation of the image data of the views inside the two views constituting the stereo view can be synthesized by interpolation processing.
  • the interpolation of the image data of the view outside the stereo view is synthesized by extrapolation processing. In the synthesis by extrapolation processing, it is difficult to maintain high image quality with respect to end point processing such as occlusion, which causes deterioration in image quality.
  • FIG. 33 schematically shows a display unit on the receiving side when the number of views is 5 in this transmission method.
  • “View_0” is the center view
  • “View_1” is the view one right from the center
  • “View_2” is the view one left from the center
  • “View_3” is two views right from the center, that is, the rightmost view
  • “View_4” indicates a view that is two left from the center, that is, the leftmost view.
  • the purpose of this technique is to effectively transmit image data for performing naked-eye viewing of a stereoscopic image with a multi-view configuration.
  • the concept of this technology is An image data acquisition unit that acquires image data of at least a left end view and a right end view among a plurality of views for stereoscopic image display, and image data of an intermediate view located between the left end and the right end;
  • the transmission apparatus includes an image data transmission unit that transmits a container having a predetermined format including a video stream obtained by encoding the acquired image data.
  • the image data acquisition unit at least the left end view and the right end view of the plurality of views for stereoscopic image display, and an intermediate view positioned between the left end and the right end, for example, the center view View image data is acquired.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a storage medium.
  • the image data of the left end view and the right end view may each be encoded as data of one picture.
  • the image data of the left end view and the right end view may be interleaved and encoded as one picture data.
  • the video stream included in the container may include data of one or a plurality of pictures.
  • information indicating a boundary may be arranged between the encoded data of each picture.
  • image data of at least the left end view and the right end view and image data of an intermediate view positioned between the left end and the right end are transmitted. Is done. Therefore, image data transmission for performing naked-eye viewing of a stereoscopic image with a multi-view configuration can be effectively performed.
  • a view configuration information insertion unit that inserts view configuration information related to image data in the video stream may be further included in the layer of the video stream.
  • the receiving side can perform appropriate and efficient processing for performing naked-eye viewing of a three-dimensional image (stereoscopic image) based on image data of a plurality of views.
  • the container layer may further include an identification information insertion unit that inserts identification information for identifying whether or not view configuration information is inserted into the video stream layer.
  • an identification information insertion unit that inserts identification information for identifying whether or not view configuration information is inserted into the video stream layer.
  • image data of a predetermined view is encoded as data of one picture in a video stream included in a container
  • the position of the predetermined view is included in the view configuration information inserted in the layer of the video stream.
  • the information to show may be included.
  • the view configuration information inserted in the layer of this video stream includes: Information indicating the positions of these two views may be included.
  • the view configuration information may further include information indicating the type of interleaving performed on the image data of the two views.
  • the view configuration information inserted in the video stream layer may include information indicating whether or not data of a plurality of pictures is encoded in one access unit of the video stream.
  • the view configuration information inserted in the layer of the video stream may include information indicating whether or not the image data of the view essential for image display is the encoded video stream.
  • the view configuration information inserted in the layer of the video stream may include pixel ratio information for a predetermined horizontal and / or vertical resolution.
  • a parallax data acquisition unit that acquires parallax data between the views is further provided, and the image data transmission unit includes, in addition to the video stream obtained by encoding the acquired image data.
  • a container of a predetermined format including a disparity stream obtained by encoding the obtained disparity data may be transmitted.
  • the reception side easily interpolates and synthesizes the image data of each view that is not transmitted based on the received parallax data without performing the process of generating the parallax data from the received image data of each view. It becomes possible.
  • image data receiving unit for receiving a container of a predetermined format including a video stream;
  • An image data acquisition unit that decodes a video stream included in the container to obtain image data of each view;
  • the reception apparatus includes an interpolation processing unit that acquires image data of a predetermined number of views positioned between the views based on the parallax data of the views by interpolation processing.
  • the image data receiving unit includes at least the left-end view and the right-end view image data, and the intermediate view image data positioned between the left-end and the right-end among the plurality of views for stereoscopic image display.
  • a stream of a predetermined format including a video stream obtained by encoding is received.
  • the video data included in the stream is decoded by the image data acquisition unit, and image data of each view is obtained.
  • the interpolation processing unit acquires image data of a predetermined number of views located between the views by the interpolation processing.
  • the container may include a parallax data acquisition unit that includes a parallax stream obtained by encoding parallax data and decodes the parallax stream included in the container to obtain parallax data.
  • a parallax data generation unit that generates parallax data based on the image data of each view obtained by the image data acquisition unit may be further provided.
  • the image data of the left end view and the right end view and the image data of the intermediate view positioned between the left end and the right end are received.
  • the other views are obtained by interpolation processing based on the parallax data. Therefore, it is possible to satisfactorily perform autostereoscopic viewing of a stereoscopic image with a multiview configuration.
  • FIG. 6 schematically shows a display unit of a receiver when the number of views is 5 in a method of transmitting image data of a left end view and a right end view among N views and a central view located between them.
  • FIG. It is a block diagram which shows the structural example of the transmission data generation part which produces
  • FIG. 4 is a diagram illustrating a structure example of “user_data ()”. It is a figure which shows the structural example in case the three video streams are included in the transport stream TS. It is a figure which shows the structural example in case two video streams are contained in the transport stream TS. It is a figure which shows the structural example in case one video stream is contained in transport stream TS. It is a block diagram which shows the structural example of the receiver which comprises an image transmission / reception system. It is a figure which shows the example of calculation of scaling ratio.
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a broadcasting station 100 and a receiver 200.
  • the broadcasting station 100 transmits a transport stream TS as a container on a broadcast wave.
  • the transport stream TS includes a video stream obtained by encoding image data of at least the center view, the left end view, and the right end view among a plurality of views for displaying a stereoscopic image.
  • the central view constitutes an intermediate view located between the left end view and the right end view.
  • the image data of the center view, the left end view, and the right end view are each encoded as one picture data. Is done.
  • the data of each picture has a 1920 ⁇ 1080 full HD size.
  • the image data of the center (Center) view is encoded as data of one picture, and the left view (Left) view and the right end
  • the image data of the (Right) view is interleaved and encoded as one picture data.
  • the data of each picture has a 1920 ⁇ 1080 full HD size.
  • the image data of the left end view and the right end view are interleaved and encoded as one picture data
  • the image data of each view is thinned by half in the horizontal direction or the vertical direction. It becomes.
  • the type of interleaving is side-by-side, and the size of each view is 960 * 1080.
  • a top-and-bottom may be considered as an interleave type. In this case, the size of each view is 1920 * 540.
  • the receiving side performs scaling processing as shown in FIG.
  • the size of the image data of the right view and the rightmost view is returned to the full HD size of 1920 * 1080.
  • the video stream included in the transport stream TS includes one or more picture data.
  • the transport stream TS includes the following three video streams (video elementary streams). That is, it is a video stream obtained by encoding the image data of the center view, the left end view, and the right end view as one picture.
  • the transport stream TS includes the following two video streams (video elementary streams). That is, the video stream obtained by encoding the image data of the central view as one picture and the image data of the left end view and the right end view are interleaved and encoded as one picture. A video stream.
  • the transport stream TS includes the following one video stream (video elementary stream). That is, this one video stream includes data obtained by encoding the image data of the center view, the left end view, and the right end view as data of one picture.
  • 4 (a) and 4 (b) show examples of video streams including encoded data of a plurality of pictures.
  • the encoded data of each picture is sequentially arranged in each access unit.
  • the encoded data of the first picture is composed of “SPS ⁇ Coded Slice”
  • the encoded data of the second and subsequent pictures is comprised of “Subset SPS ⁇ Coded Slice”.
  • this example is an example in which MPEG4-AVC encoding is performed, but other encoding schemes are also applicable.
  • the hexadecimal numbers in the figure indicate “ ⁇ NAL unit type”.
  • FIGS. 5A and 5B show an example in which encoded data of three pictures coexist in one video stream.
  • the encoded data of each picture is shown as a substream.
  • FIG. 5A shows the top access unit of the GOP (Group Of Pictures), and
  • FIG. 5B shows the access unit other than the top of the GOP.
  • View configuration information related to image data in the video stream is inserted into a layer (picture layer, sequence layer, etc.) of the video stream.
  • This view configuration information indicates information indicating which view image data is included in the video stream, and indicates whether data of a plurality of pictures is encoded in one access unit of the video stream. Information etc. are included.
  • This view configuration information is inserted into, for example, a user data area of a picture header or a sequence header of a video stream.
  • the receiving side can perform appropriate and efficient processing for performing naked-eye viewing of a three-dimensional image (stereoscopic image) based on image data of a plurality of views. Details of this view configuration information will be described later.
  • identification information for identifying whether or not view configuration information is inserted in the video stream layer is inserted in the transport stream TS layer.
  • This identification information is, for example, subordinate to a video elementary loop (Video ESloop) of a program map table (PMT: Program Map Table) included in the transport stream TS, or an event information table (EIT: Event Information). Table).
  • PMT Program Map Table
  • EIT Event Information Table
  • the receiver 200 receives the transport stream TS transmitted from the broadcasting station 100 on a broadcast wave. Further, the receiver 200 decodes the video stream included in the transport stream TS, and acquires, for example, image data of the center view, the left end view, and the right end view. At this time, the receiver 200 can know which view position the image data included in each video stream is based on the view configuration information included in the layer of the video stream.
  • the receiver 200 may determine between the center view and the left end view, between the center view and the left end view, based on the disparity data between the center view and the left end view, and between the center view and the left end view.
  • Image data of a predetermined number of views located between the right end views is acquired by interpolation processing.
  • the receiver 200 can know the number of views based on the view configuration information included in the layer of the video stream, and can easily grasp which position view has not been transmitted.
  • the receiver 200 decodes the parallax data stream sent together with the video stream from the broadcast station 100, and acquires the above-described parallax data. Alternatively, the receiver 200 generates the above-described parallax data based on the acquired image data of the center view, the left end view, and the right end view.
  • the receiver 200 is a three-dimensional image (stereoscopic image) based on the image data of each view at the center, the left end, and the right end sent from the broadcast station 100 and the image data of each view acquired by the above-described interpolation processing.
  • the images of each view are synthesized and displayed on the display unit for viewing with the naked eye.
  • FIG. 6 schematically shows a display unit of the receiver 200 when the number of views is five.
  • “View_0” is the center view
  • “View_1” is the view one right from the center
  • “View_2” is the view one left from the center
  • “View_3” is two views right from the center, that is, the rightmost view
  • “View_4” indicates a view that is two left from the center, that is, the leftmost view.
  • the receiver 200 receives the image data of the views “View_0”, “View_3”, and “View_4”.
  • the image data of the other views “View_1” and “View_2” are obtained by interpolation processing. Then, in the receiver 200, the images of these five views are synthesized and displayed on the display unit for viewing the three-dimensional image (stereoscopic image) with the naked eye.
  • FIG. 6 shows a lenticular lens, a parallax barrier or the like may be used instead.
  • FIG. 7 illustrates a configuration example of the transmission data generation unit 110 that generates the above-described transport stream TS in the broadcast station 100.
  • the transmission data generation unit 110 includes N image data output units 111-1 to 111-N, a view selector 112, scalers 113-1, 113-2, and 113-3, and video encoders 114-1 and 114. -2, 114-3 and a multiplexer 115.
  • the transmission data generation unit 110 includes a parallax data generation unit 116, a parallax encoder 117, a graphics data output unit 118, a graphics encoder 119, an audio data output unit 120, and an audio encoder 121.
  • Image data output units 111-1 to 111-N output image data of N views (View 1 ... View N) for stereoscopic image display.
  • the image data output unit includes, for example, a camera that images a subject and outputs image data, or an image data reading unit that reads and outputs image data from a storage medium. Note that the image data of the view that is not transmitted may not actually be present.
  • the view selector 112 selects at least the image data of the left end view and the right end view from the image data of N views (View 1... View N) and an intermediate view (between the left end and the right end).
  • One or more image data are selectively extracted.
  • the view selector 112 extracts the image data VL of the left end view and the image data VR of the right end view, and extracts the image data VC of the center view.
  • FIG. 8 shows a view selection state in the view selector 112.
  • the scalers 113-1, 113-2, and 113-3 perform scaling processing on the image data VC, VL, and VR, respectively, and, for example, 1920 * 1080 full HD size image data VC ′, VL ′ and VR ′ are obtained.
  • the image data VC, VL, and VR are 1920 * 1080 full HD size, they are output as they are. If the image data VC, VL, VR is larger than the size of 1920 * 1080, the image data is scaled down and output.
  • the video encoder 114-1 performs encoding such as MPEG4-AVC (MVC) or MPEG2 video on the image data VC ′ of the central view to obtain encoded video data. Then, the video encoder 114-1 generates a video stream including the encoded data as a substream (sub stream 1) by a stream formatter (not shown) provided in the subsequent stage.
  • MVC MPEG4-AVC
  • MPEG2 MPEG2 video
  • the video encoder 114-2 performs encoding such as MPEG4-AVC (MVC), MPEG2 video, etc. on the image data VL ′ of the left end view to obtain encoded video data. Then, the video encoder 114-2 generates a video stream including the encoded data as a substream (sub stream 2) by a stream formatter (not shown) provided in the subsequent stage.
  • MVC MPEG4-AVC
  • MPEG2 video etc.
  • the video encoder 114-3 performs encoding such as MPEG4-AVC (MVC) or MPEG2 video on the image data VR ′ of the rightmost view to obtain encoded video data. Then, the video encoder 114-3 generates a video stream including the encoded data as a substream (sub stream) 3) by a stream formatter (not shown) provided in the subsequent stage.
  • MVC MPEG4-AVC
  • MPEG2 MPEG2 video
  • the video encoders 114-1, 114-2, and 114-3 insert the above-described view configuration information into the layer of the video stream.
  • this view configuration information is information indicating which view image data is included in the video stream, and data of a plurality of pictures is encoded in one access unit of the video stream. It includes information indicating whether or not This view configuration information is inserted into, for example, a user data area of a picture header or a sequence header of a video stream.
  • the disparity data generation unit 116 generates disparity data (disparity data) based on the image data of the center, left end, and right end views output from the view selector 112.
  • the disparity data includes, for example, disparity data between the center view and the left end view and disparity data between the center view and the right end view.
  • parallax data is generated in pixel units or block units.
  • FIG. 9 illustrates an example of disparity data (disparity vector) for each block (Block).
  • FIG. 10 shows an example of a method for generating disparity data in units of blocks.
  • parallax data indicating the j-th view from the i-th view is obtained.
  • pixel blocks parllax detection blocks
  • 4 * 4, 8 * 8, or 16 * 16 are set in the picture of the i-th view.
  • the i-th view picture is the detected image
  • the j-th view picture is the reference image
  • the sum of absolute differences between pixels is minimum for each block of the i-th view picture.
  • the block search of the picture of the j-th view is performed so that the disparity data is obtained.
  • the parallax data DPn of the Nth block is obtained by block search so that the sum of absolute differences in the Nth block is minimized, for example, as shown in the following equation (1).
  • Dj represents the pixel value in the picture of the jth view
  • Di represents the pixel value in the picture of the ith view.
  • DPn min ( ⁇ abs (differ (Dj-Di)) (1)
  • the disparity data of each region obtained by dividing the “X” block into four is obtained by the following equation (2).
  • the parallax data X (A, B) of the divided areas adjacent to “A” and “B” is the median value of the parallax data of the blocks “A”, “B”, and “X”. In other divided areas, parallax data is similarly obtained.
  • X (A, C) median (X, A, C)
  • X (B, D) median (X, B, D)
  • X (C, D) median (X, C, D) ...
  • the area occupied by the parallax data is reduced to half the original vertical / horizontal size by the above-described single conversion. By repeating this conversion a predetermined number of times depending on the block size, parallax data in pixel units is obtained. If the texture contains an edge and the complexity of the in-screen object is higher than the other parts, the block size should be reduced as appropriate and the disparity data itself in the initial block unit itself will be textured. It is also possible to improve.
  • the parallax encoder 117 encodes the parallax data generated by the parallax data generation unit 116 to generate a parallax stream (parallax data elementary stream).
  • the disparity stream includes disparity data in units of pixels or blocks. When the parallax data is in units of pixels, it can be compressed and transmitted in the same manner as the pixel data.
  • the reception side can also perform conversion in units of pixels by performing the above-described conversion processing. Further, when there is no transmission of such a parallax stream, on the receiving side, it is possible to obtain parallax data in units of blocks between views as described above, and further convert them into units of pixels.
  • the graphics data output unit 118 outputs data of graphics (including subtitles as subtitles) to be superimposed on the image.
  • the graphics encoder 119 generates a graphics stream (graphics elementary stream) including the graphics data output from the graphics data output unit 118.
  • the graphics constitute superimposition information, and are, for example, a logo, subtitles, and the like.
  • the graphics data output from the graphics data output unit 118 is, for example, graphics data to be superimposed on the central view image.
  • the graphics encoder 119 may generate graphics data to be superimposed on the left end and right end views based on the disparity data generated by the disparity data generation unit 116, and generate a graphics stream including these graphics data. . In this case, it is not necessary to create graphics data to be superimposed on the left end and right end views on the receiving side.
  • the graphics data is mainly bitmap data. Offset information indicating the superimposed position on the image is added to the graphics data. This offset information indicates, for example, offset values in the vertical and horizontal directions from the upper left origin of the image to the upper left pixel of the graphics superimposed position.
  • the standard for transmitting caption data as bitmap data is standardized and operated as “DVB_Subtitling” in DVB, which is a European digital broadcasting standard, for example.
  • the audio data output unit 120 outputs audio data corresponding to the image data.
  • the audio data output unit 120 includes, for example, a microphone or an audio data reading unit that reads out and outputs audio data from a storage medium.
  • the audio encoder 121 performs encoding such as MPEG-2Audio or AAC on the audio data output from the audio data output unit 120 to generate an audio stream (audio elementary stream).
  • the multiplexer 115 packetizes and multiplexes the elementary streams generated by the video encoders 114-1, 114-2, 114-3, the parallax encoder 117, the graphics encoder 119, and the audio encoder 121, and generates a transport stream TS. To do.
  • PTS Presentation Time Time Stamp
  • PES Packetized Elementary Stream
  • the multiplexer 115 inserts the identification information described above into the layer of the transport stream TS.
  • This identification information is information for identifying whether or not view configuration information is inserted in the layer of the video stream.
  • This identification information is, for example, subordinate to a video elementary loop (Video ESloop) of a program map table (PMT: Program Map Table) included in the transport stream TS, or an event information table (EIT: Event Information). Table).
  • Image data of N views (View 1... View N) for stereoscopic image display output from the N image data output units 111-1 to 111-N is supplied to the view selector 112.
  • the view selector 112 extracts the image data VC of the center view, the image data VL of the left end view, and the image data VR of the right end view from the image data of N views.
  • the image data VC of the central view taken out by the view selector 112 is supplied to the scaler 113-1 and scaled to, for example, a full HD size of 1920 * 1080.
  • the image data VC ′ after the scaling process is supplied to the video encoder 114-1.
  • the image data VC ′ is encoded to obtain encoded video data, and a video stream including the encoded data as a substream (sub stream 1) is generated. Also, in this video encoder 114-1, a view configuration having information indicating which image data the image data included in the video stream is in, for example, the user data area of the picture header or sequence header of the video stream Information is inserted. This video stream is supplied to the multiplexer 115.
  • the image data VL ′ is encoded to obtain encoded video data, and a video stream including the encoded data as a substream (sub stream 2) is generated. Also, in this video encoder 114-2, a view configuration having information indicating which image data the image data included in the video stream is in the user data area of the picture header or sequence header of the video stream Information is inserted. This video stream is supplied to the multiplexer 115.
  • the image data VR of the right end view extracted by the view selector 112 is supplied to the scaler 113-3 and is scaled to, for example, a full HD size of 1920 * 1080.
  • the image data VR ′ after the scaling processing is supplied to the video encoder 114-3.
  • the image data VR ′ is encoded to obtain encoded video data, and a video stream including the encoded data as a substream (sub stream 3) is generated. Also, in this video encoder 114-3, a view configuration having information indicating which image data the image data included in the video stream is in, for example, the user data area of the picture header or sequence header of the video stream Information is inserted. This video stream is supplied to the multiplexer 115.
  • the image data of each of the center, left end, and right end views output from the view selector 112 is supplied to the parallax data generation unit 116.
  • the disparity data generation unit 116 generates disparity data (disparity data) based on the image data of each view.
  • the disparity data includes disparity data between the center view and the left end view, and disparity data between the center view and the right end view.
  • parallax data is generated in pixel units or block units.
  • the parallax data generated by the parallax data generation unit 116 is supplied to the parallax encoder 117.
  • the parallax data is encoded, and a parallax stream is generated. This parallax stream is supplied to the multiplexer 115.
  • graphics data (including subtitle data) output from the graphics data output unit 118 is supplied to the graphics encoder 119.
  • the graphics encoder 119 generates a graphics stream including graphics data. This graphics stream is supplied to the multiplexer 115.
  • the audio data output from the audio data output unit 120 is supplied to the audio encoder 121.
  • the audio data is encoded by MPEG-2Audio, AAC or the like, and an audio stream is generated. This audio stream is supplied to the multiplexer 115.
  • the multiplexer 115 the elementary streams supplied from each encoder are packetized and multiplexed to generate a transport stream TS.
  • a PTS is inserted into each PES header for synchronous reproduction on the receiving side.
  • identification information for identifying whether or not view configuration information is inserted in the layer of the video stream is inserted under the PMT or the EIT.
  • the transmission data generation unit 110 illustrated in FIG. 7 illustrates a case where the transport stream TS includes three video streams. That is, the transport stream TS includes three video streams obtained by encoding the image data of each view at the center, the left end, and the right end as one picture.
  • the transport stream TS includes two or one video stream
  • the same configuration can be made.
  • the following video streams are included. That is, the video stream obtained by encoding the image data of the central view as one picture and the image data of the left end view and the right end view are interleaved and encoded as one picture. Video stream is included.
  • one video stream is included in the transport stream TS, for example, the following video streams are included. That is, a video stream including data in which image data of each view at the center, the left end, and the right end is encoded as one picture data is included.
  • FIG. 12 shows a structural example (Syntax) of the multiview stream configuration descriptor (multiview_stream_configuration_descriptor) as the identification information.
  • FIG. 13 shows the contents (Semantics) of main information in the structural example shown in FIG.
  • the 1-bit field of “multiview_stream_check flag” indicates whether or not view configuration information is inserted in the video stream layer. “1” indicates that there is insertion of view configuration information in the layer of the video stream, and “0” indicates that there is no insertion. When it is “1”, the receiving side (decoder) checks the view configuration information existing in the user data area.
  • FIG. 14 shows a structural example (Syntax) of multi-view stream configuration information (multiview_stream_configuration_info ()) as the view configuration information.
  • FIG. 16 and FIG. 17 show the contents (Semantics) of main information in the structural example shown in FIG.
  • the 1-bit field of “3D_flag” indicates whether or not the image data included in the video stream to be encoded is image data of a part of views constituting 3D. “1” indicates that the image data is for some views, and “0” indicates that the image data is not for some views.
  • a 4-bit field of “view_count” indicates the number of views constituting the 3D service. The minimum value is 1 and the maximum value is 15.
  • a 1-bit field of “single_view_es_flag” indicates whether or not data of a plurality of pictures is encoded in one access unit of the video stream. “1” indicates that only data of one picture is encoded, and “0” indicates that data of two or more pictures is encoded.
  • the 1-bit field of “view_interleaving_flag” indicates whether or not image data of two views is interleaved and encoded as data of one picture in the video stream. “1” indicates that the interleave process is performed and the screen is split, and “0” indicates that the interleave process is not performed.
  • view_interleaving_flag 0
  • view_allocation indicates which view image data the image data included in the video stream is, that is, view allocation. For example, “0000” indicates a center view. Further, for example, “0001” indicates a view (1st left view next to center) adjacent to the left side from the center. In addition, for example, “0010” indicates that one view is adjacent to the right side from the center (1st right view ⁇ ⁇ next to center).
  • a 3-bit field of “view_pair_position_id” indicates a relative view position of two views in all views. In this case, for example, an early position in the scan order is left (left), and a late position is right (right). For example, “000” indicates that there are two view pairs at both ends. Further, for example, “001” indicates that two view pairs are located one inside from both ends. Further, for example, “010” indicates that two view pairs are located one inside from both ends.
  • the 1-bit field of “view_interleaving_type” indicates the type of interleaving (type). “1” indicates that the type of interleaving is side-by-side (Side-by-Side), and “0” indicates that the type of interleaving is top-and-bottom.
  • each information of “display_flag”, “indication_of_picture_size_scaling_horizontal”, and “indication_of_picture_size_scaling_vertical” exists.
  • the 1-bit field of “display_flag” indicates whether or not the view is indispensable when image display is performed. “1” indicates that display is mandatory. On the other hand, “0” indicates that display is not essential.
  • the 4-bit field of “indication_of_picture_size_scaling_horizontal” indicates the horizontal pixel ratio of the decoded image with respect to full HD (1920). “0000” is 100%, “0001” is 80%, “0010” is 75%, “0011” is 66%, “0100” is 50%, “0101” is 33%, “0110” is 25%, “ “0111” indicates 20%.
  • the 4-bit field of “indication_of_picture_size_scaling_vertical” indicates the vertical pixel ratio of the decoded image with respect to full HD (1080). “0000” is 100%, “0001” is 80%, “0010” is 75%, “0011” is 66%, “0100” is 50%, “0101” is 33%, “0110” is 25%, “0111” "" Indicates 20%.
  • FIG. 18 shows an example of the relationship between the number of views indicated by “view_count” and the positions of two views indicated by “view_pair_position_id” (here, “View 1” and “View 2”).
  • view pairs inside the both ends can be added to the view pairs at both ends in order to improve the performance of interpolation synthesis when the image quality cannot be satisfied with the two views at both ends.
  • the encoded video data of the view pair additionally transmitted may be encoded so as to share the access unit (Access (Unit) in the stream of the view pair at both ends, or as another stream. It may be encoded.
  • FIG. 19 shows an example of generating disparity data (disparity data) on the transmission side or the reception side when transmitting image data of two view pairs inside both ends together with image data of two view pairs at both ends as described above. Is shown. In the illustrated example, the number of views indicated by “view_count” is nine. Then, a substream (substream1) containing image data of two views (View 1, View 2) at both ends, and a substream containing image data of two views (View 3, View 4) inside it (Substream 2) exists.
  • parallax data is calculated for “View 1” and “View 3”.
  • parallax data is calculated for “View 2” and “View ⁇ 4 ”.
  • parallax data is calculated for “View 3” and “View 4”. If the view resolution differs between substreams, the parallax data is calculated after matching either resolution.
  • multi-view stream configuration information multiview_stream_configuration_info ()
  • view configuration information inserted into a user data area of a video stream (video elementary stream)
  • the multi-view stream configuration information is inserted, for example, in picture units or GOP units using the user data area.
  • the multi-view stream configuration info is inserted as “Multiview stream configuration SEI message” in the “SELs” portion of the access unit.
  • FIG. 21A shows the top access unit of the GOP (Group Of Pictures), and
  • FIG. 21B shows the access unit other than the top of the GOP.
  • “MultiviewMultistream configuration SEI message” is inserted only in the first access unit of the GOP.
  • FIG. 22A shows a structure example (Syntax) of “Multiview stream configuration SEI message”. “Uuid_iso_iec_11578” has a UUID value indicated by “ISO / IEC 11578: 1996 Annex A.”. “Userdata_for_multiview_stream_configuration ()” is inserted into the “user_data_payload_byte” field.
  • FIG. 22B shows a structural example (Syntax) of “userdata_for_multiview_stream _configuration ()”. In this, multiview stream configuration information (multiview_stream_configuration_info ()) is inserted (see FIG. 14). “Userdata_id” is an identifier of multi-view stream configuration information indicated by 16 bits without a sign.
  • the multi-view stream configuration info is inserted as user data “user_data ()” in the user data area of the picture header part.
  • FIG. 23A shows a structural example (Syntax) of “user_data ()”.
  • a 32-bit field of “user_data_start_code” is a start code of user data (user_data), and is a fixed value of “0x000001B2”.
  • the multi-view stream configuration descriptor (multiview_stream_configuration_descriptor) as the identification information shown in FIG. 12 is inserted in the transport stream TS layer, for example, under the PMT or under the EIT. In other words, this descriptor is placed at an optimum position in an event unit or in a static or dynamic use case in time.
  • FIG. 24 shows a configuration example of the transport stream TS.
  • illustration of parallax data, audio, graphics, and the like is omitted for simplification of the drawing.
  • This configuration example shows a case where three video streams are included in the transport stream TS. That is, the transport stream TS includes three video streams obtained by encoding the image data of each view at the center, the left end, and the right end as one picture. Further, this configuration example shows a case where the number of views is five.
  • a PES packet “video PES1” of a video stream in which the image data VC ′ of the central view is encoded as one picture is included.
  • the multi-view stream configuration information inserted in the user data area of this video stream it is indicated that the number of views indicated by “View_count” is five.
  • the PES packet “video ⁇ PES2 ”of the video stream in which the image data VL ′ of the left end view is encoded as one picture is included.
  • the number of views indicated by “View_count” is five.
  • the PES packet “video PES3” of the video stream in which the image data VR ′ of the left end view is encoded as one picture is included.
  • the number of views indicated by “View_count” is five.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the transport stream includes an EIT (Event Information Table) as SI (Serviced Information) for managing each event.
  • the PMT there is an elementary loop having information related to each elementary stream.
  • a video elementary loop (Video ES loop).
  • information such as a packet identifier (PID) is arranged for each stream, and a descriptor describing information related to the elementary stream is also arranged.
  • PID packet identifier
  • a multiview stream configuration descriptor (multiview_stream_configuration_descriptor) is inserted under the PMT video elementary loop (VideoMTES loop) in association with each video stream.
  • PMT video elementary loop VideoMTES loop
  • multiview_stream_checkflag 1” is set, indicating the presence of multi-view stream configuration information as view configuration information in the user area of the video stream. It is also conceivable to insert this descriptor under the EIT as shown by the broken line.
  • FIG. 25 also shows a configuration example of the transport stream TS. Also in this configuration example, illustration of parallax data, audio, graphics, and the like is omitted to simplify the drawing.
  • This configuration example shows a case where two video streams are included in the transport stream TS. That is, the transport stream TS includes a video stream obtained by encoding the image data of the central view as one picture. In addition, the transport stream TS includes a video stream obtained by interleaving the image data of the left end view and the right end view and encoding it as one picture. This configuration example also shows a case where the number of views is five.
  • the PES packet “video PES1” of the video stream in which the image data VC ′ of the central view is encoded as one picture is included.
  • the number of views indicated by “View_count” is five.
  • the PES packet “video ⁇ PES2 ”of the video stream in which the image data VL ′ of the left end view and the image data VR ′ of the right end view are encoded as one picture is included.
  • the number of views indicated by “View_count” is five.
  • a multiview stream configuration descriptor (multiview_stream_configuration_descriptor) is inserted in association with each video stream under the video elementary loop (VideoPES loop) of the PMT.
  • video elementary loop VideoPES loop
  • multiview_stream_checkflag 1” is set, indicating the presence of multi-view stream configuration information as view configuration information in the user area of the video stream. It is also conceivable to insert this descriptor under the EIT as shown by the broken line.
  • a PES packet “video ⁇ PES1 ”of one video stream is included.
  • This video stream includes data in which image data of each view at the center, the left end, and the right end is encoded as data of one picture in one access unit, and a user data area corresponding to each picture Exists.
  • multi-view stream configuration information is inserted.
  • the info corresponding to the picture data in which the image data of the central view is encoded it is indicated that the number of views indicated by “View_count” is five.
  • the number of views indicated by “View_count” is five.
  • the number of views indicated by “View_count” is five.
  • a multiview stream configuration descriptor (multiview_stream_configuration_descriptor) is inserted in association with one video stream under the video elementary loop (Video ES loop) of the PMT.
  • multiview_stream_checkflag 1” is set, indicating the presence of multi-view stream configuration information as view configuration information in the user area of the video stream. It is also conceivable to insert this descriptor under the EIT as shown by the broken line.
  • the transmission data generation unit 110 illustrated in FIG. 7 is located between the left end and the right end of at least the left end view and the right end view among the plurality of views for stereoscopic image display.
  • a transport stream TS including a video stream obtained by encoding image data of an intermediate view is generated. Therefore, image data transmission for performing naked-eye viewing of a stereoscopic image with a multi-view configuration can be effectively performed.
  • multi-view stream configuration information (multiview_stream_configuration_info ()) as the view configuration information is inserted into the video stream layer. Therefore, on the receiving side, appropriate and efficient processing for performing naked-eye viewing of a three-dimensional image (stereoscopic image) using image data of a plurality of views can be performed based on the view configuration information.
  • a multiview stream configuration descriptor (multiview_stream_configuration_descriptor) is inserted into the layer of the transport stream TS.
  • This descriptor constitutes identification information for identifying whether or not view configuration information is inserted in the layer of the video stream. With this identification information, the reception side can easily identify whether or not view configuration information is inserted in the layer of the video stream. Therefore, it is possible to efficiently extract view configuration information from the user data area of the video stream.
  • FIG. 27 illustrates a configuration example of the receiver 200.
  • the receiver 200 includes a CPU 201, a flash ROM 202, a DRAM 203, an internal bus 204, a remote control receiver (RC receiver) 205, and a remote control transmitter (RC transmitter) 206.
  • the receiver 200 also includes an antenna terminal 211, a digital tuner 212, a transport stream buffer (TS buffer) 213, and a demultiplexer 214.
  • the receiver 200 includes coded buffers 215-1, 215-2, and 215-3, video decoders 216-1, 216-2, and 216-3, and decoded buffers 217-1, 217-2, and 217-. 3 and scalers 218-1, 218-2, and 218-3.
  • the receiver 200 also includes a view interpolation unit 219 and a pixel interleave / superimposition unit 220.
  • the receiver 200 includes a coded buffer 221, a parallax decoder 222, a parallax buffer 223, and a parallax data conversion unit 224.
  • the receiver 200 also includes a coded buffer 225, a graphics decoder 226, a pixel buffer 227, a scaler 228, and a graphics shifter 229. Further, the receiver 200 includes a coded buffer 230, an audio decoder 231, and a channel mixing unit 232.
  • the CPU 201 controls the operation of each unit of receiver 200.
  • the flash ROM 202 stores control software and data.
  • the DRAM 203 constitutes a work area for the CPU 201.
  • the CPU 201 develops software and data read from the flash ROM 202 on the DRAM 203 and activates the software to control each unit of the receiver 200.
  • the RC receiving unit 205 receives a remote control signal (remote control code) transmitted from the RC transmitter 206 and supplies it to the CPU 201.
  • CPU201 controls each part of receiver 200 based on this remote control code.
  • the CPU 201, flash ROM 202, and DRAM 203 are connected to the internal bus 204.
  • the antenna terminal 211 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 212 processes the television broadcast signal input to the antenna terminal 211 and outputs a predetermined transport stream (bit stream data) TS corresponding to the user's selected channel.
  • the transport stream buffer (TS buffer) 213 temporarily accumulates the transport stream TS output from the digital tuner 212.
  • the transport stream TS includes at least image data of a left end view and a right end view among a plurality of views for stereoscopic image display, and a central view as an intermediate view positioned between the left end and the right end.
  • a video stream obtained by encoding image data is included.
  • the transport stream TS may include three, two, or one video stream (see FIGS. 24, 25, and 26).
  • the transport stream TS includes three video streams obtained by encoding the image data of the center, left end, and right end views as one picture. An explanation shall be given.
  • a multiview stream configuration descriptor (multiview_stream_configuration_descriptor) is inserted in the transport stream TS under the PMT or the EIT.
  • This descriptor is identification information for identifying whether or not view configuration information, that is, multiview stream configuration information (multiview_stream_configuration_info ()) is inserted in the layer of the video stream.
  • the demultiplexer 214 extracts video, parallax, graphics, and audio elementary streams from the transport stream TS temporarily stored in the TS buffer 213. Further, the demultiplexer 214 extracts the multi-view stream configuration descriptor described above from the transport stream TS, and sends it to the CPU 201. The CPU 201 can easily determine whether or not view configuration information is inserted in the layer of the video stream from the 1-bit field of “multiview_stream_check flag” of the descriptor.
  • the coded buffers 215-1, 215-2, and 215-3 are video streams obtained by encoding the image data of the center, left end, and right end views extracted by the demultiplexer 214 as one picture, respectively. Is temporarily stored. Video decoders 216-1, 216-2, and 216-3 perform decoding processing of video streams stored in coded buffers 215-1, 215-2, and 215-3, respectively, under the control of CPU 201. Then, the image data of each view at the center, the left end, and the right end is acquired.
  • the video decoder 216-1 acquires image data of a center view.
  • the video decoder 216-2 acquires image data of the left end view (left (view).
  • the video decoder 216-3 acquires image data of the right end view (right view).
  • Each video decoder extracts multi-view stream configuration information (multiview_stream_configuration_info ()) as view configuration information inserted in a picture data header or a sequence header user data area or the like, and sends it to the CPU 201.
  • the CPU 201 performs appropriate and efficient processing for performing naked-eye viewing of a three-dimensional image (stereoscopic image) based on the image data of a plurality of views based on the view configuration information.
  • the CPU 201 demultiplexer 214, video decoders 216-1, 216-2, 216-3, scalers 218-1, 218-2, 218-3 in units of pictures or GOPs.
  • the operation of the view interpolation unit 219 and the like is controlled.
  • the CPU 201 can identify whether or not the image data included in the video stream is the image data of a part of the views constituting 3D by using the 1-bit field of “3D_flag”. Further, for example, the CPU 201 can recognize the number of views constituting the 3D service by a 4-bit field of “view_count”.
  • the CPU 201 can identify whether or not data of a plurality of pictures is encoded in one access unit of the video stream by using a 1-bit field of “single_view_es_flag”. Further, for example, the CPU 201 can identify whether or not the image data of two views is interleaved and encoded as data of one picture in the video stream by the 1-bit field of “view_interleaving_flag”.
  • the CPU 201 uses the 4-bit field of “view_allocation” to display the image included in the video stream. It is possible to recognize which view image data the data is.
  • the CPU 201 uses the 3-bit field of “view_pair_position_id” to display two views in all views. The relative view position can be recognized. Further, at this time, the CPU 201 can know the type of interleaving (type) from the 1-bit field of “view_interleaving_type”.
  • the CPU 201 can recognize the horizontal pixel ratio and the vertical pixel ratio of the decoded image with respect to the full HD by the 4-bit field of “indication_of_picture_size_scaling_horizontal” and the 4-bit field of “indication_of_picture_size_scaling _vertical”.
  • the decoded buffers 217-1, 217-2, and 217-3 temporarily store the image data of each view acquired by the video decoders 216-1, 216-2, and 216-3, respectively.
  • Scalers 218-1, 218-2, and 218-3 are configured so that the output resolution of the image data of each view output from decoded buffers 217-1, 217-2, and 217-3 is a predetermined resolution, respectively. Adjust to.
  • the multi-view stream configuration info includes a 4-bit field “indication_of_picture_size_scaling_horizontal” indicating the horizontal pixel ratio of the decoded image and a 4-bit field “indication_of_picture_size_scaling _vertical” indicating the vertical pixel ratio of the decoded image. Based on this pixel ratio information, the CPU 201 controls the scaling ratios in the scalers 218-1, 218-2, and 218-3 so that a predetermined resolution can be obtained.
  • the CPU 201 calculates a scaling ratio for the image data stored in the decoded buffer based on the resolution of the decoded image data, the resolution of the monitor, and the number of views, and scalers 218-1 and 218. Instruct -2 and 218-3.
  • FIG. 28 shows an example of calculating the scaling ratio.
  • the scaling ratio is 1 ⁇ 2.
  • the resolution of the decoded image data is 1920 * 1080
  • the monitor resolution is 1920 * 1080
  • the number of views to be displayed is 4, the scaling ratio is 1/4.
  • the scaling ratio is 1/4.
  • the coded buffer 221 temporarily stores the parallax stream extracted by the demultiplexer 214.
  • the disparity decoder 222 performs processing opposite to that of the disparity encoder 117 (see FIG. 7) of the transmission data generation unit 110 described above. That is, the parallax decoder 222 performs a decoding process on the parallax stream stored in the coded buffer 221 to obtain parallax data.
  • the disparity data includes disparity data between the center view and the left end view and disparity data between the center view and the right end view.
  • the parallax data is parallax data in units of pixels or blocks.
  • the parallax buffer 223 temporarily stores the parallax data acquired by the parallax decoder 222.
  • the parallax data conversion unit 224 generates parallax data in units of pixels suitable for the size of the scaled image data based on the parallax data stored in the parallax buffer 223. For example, when the transmitted parallax data is in units of blocks, it is converted into parallax data in units of pixels (see FIG. 11). Also, for example, when the transmitted parallax data is in units of pixels, but does not match the size of the scaled image data, the data is scaled appropriately.
  • the view interpolation unit 219 generates a predetermined number of views that have not been transmitted based on the parallax data between the views obtained by the parallax data conversion unit 224 from the image data of the center, left end, and right end views after scaling. Interpolate image data. That is, the view interpolation unit 219 interpolates and outputs the image data of each view positioned between the center view and the left end view. The view interpolation unit 219 interpolates and outputs image data of each view located between the center view and the right end view.
  • FIG. 29 schematically shows an example of interpolation synthesis processing in the view interpolation unit 219.
  • the current view corresponds to the above-mentioned center view
  • the target view 1 corresponds to the above-mentioned left end view
  • the target view 2 corresponds to the above-mentioned right end. Corresponds to the view.
  • the pixels of the view to be interpolated and located between the current view and the target view 1 are assigned as follows.
  • disparity data in two directions that is, disparity data indicating the target view 1 from the current view and conversely, disparity data indicating the current view from the target view 1 is used.
  • the current view pixel is allocated by shifting the parallax data as a vector (see solid line arrows and broken line arrows from the current view to the target view 1 and black circles).
  • the view pixel to be interpolated and synthesized can be applied with the pixel from the view that can be regarded as the background. It should be noted that an occlusion area that cannot be handled bidirectionally is assigned a value by a post process.
  • the part that becomes the target overlapped (overlapped) where the tips of the arrows shown in the figure overlap is the part in the target view 1 where the shift due to disparity overlaps.
  • which of the two parallaxes corresponds to the foreground of the current view is determined based on the value of the parallax data and selected. In this case, the smaller value is mainly selected.
  • the coded buffer 225 temporarily stores the graphics stream extracted by the demultiplexer 214.
  • the graphics decoder 226 performs processing opposite to that of the graphics encoder 119 (see FIG. 7) of the transmission data generation unit 110 described above. That is, the graphics decoder 226 performs a decoding process on the graphics stream stored in the coded buffer 225 to obtain decoded graphics data (including subtitle data).
  • the graphics decoder 226 generates graphics bitmap data to be superimposed on the view (image) based on the graphics data.
  • the pixel buffer 227 temporarily stores graphics bitmap data generated by the graphics decoder 226.
  • the scaler 228 adjusts the size of the graphics bitmap data stored in the pixel buffer 227 so as to correspond to the size of the scaled image data.
  • the graphics shifter 229 performs shift processing on the bitmap data of the size-adjusted graphics based on the parallax data obtained by the parallax data conversion unit 224. Then, the graphics shifter 229 generates N graphics bitmap data to be superimposed on the image data of N views (View1, View2,..., ViewN) output from the view interpolation unit 219, respectively.
  • the pixel interleaving / superimposing unit 220 superimposes graphics bitmap data corresponding to the image data of N views (View1, View2,..., ViewN) output from the view interpolation unit 219, respectively. Further, the pixel interleaving / superimposing unit 220 performs pixel interleaving processing on the image data of N views (View1, View2,..., ViewN) to view the 3D image (stereoscopic image) with the naked eye. Display image data is generated.
  • the coded buffer 230 temporarily stores the audio stream extracted by the demultiplexer 214.
  • the audio decoder 231 performs a process reverse to that of the audio encoder 121 (see FIG. 7) of the transmission data generation unit 110 described above. That is, the audio decoder 231 performs a decoding process on the audio stream stored in the coded buffer 230 to obtain decoded audio data.
  • the channel mixing unit 232 generates and outputs audio data of each channel for realizing, for example, 5.1ch surround with respect to the audio data obtained by the audio decoder 231.
  • image data of each view is read from the decoded buffers 217-1, 217-2, and 217-2, parallax data is read from the parallax buffer 223, and graphics bitmap data is read from the pixel buffer 227. Is performed based on PTS, and transfer synchronization is taken.
  • a television broadcast signal input to the antenna terminal 211 is supplied to the digital tuner 212.
  • the television broadcast signal is processed, and a predetermined transport stream TS corresponding to the user's selected channel is output.
  • This transport stream TS is temporarily stored in the TS buffer 213.
  • the demultiplexer 214 extracts elementary streams of video, parallax, graphics, and audio from the transport stream TS temporarily stored in the TS buffer 213. Further, the demultiplexer 214 extracts a multi-view stream configuration descriptor as identification information from the transport stream TS and sends it to the CPU 201.
  • the CPU 201 can easily determine whether or not view configuration information is inserted in the layer of the video stream from the 1-bit field of “multiview_stream_check flag” of the descriptor.
  • the image data of the center, left end, and right end views extracted by the demultiplexer 214 are supplied to the coded buffers 215-1, 215-2, and 215-3, respectively, and temporarily accumulated.
  • the video decoders 216-1, 216-2, and 216-3 decode the video streams stored in the coded buffers 215-1, 215-2, and 215-3, respectively, under the control of the CPU 201. Is performed, and image data of each view at the center, the left end, and the right end is acquired.
  • Each video decoder extracts multi-view stream configuration information (multiview_stream_configuration_info ()) as view configuration information inserted in the user data area of the picture header or sequence header of the video stream and sends it to the CPU 201. Sent. Based on this view configuration information, the CPU 201 demultiplexer 214, video decoders 216-1, 216-2, 216-3, scalers 218-1, 218-2, 218-3, view, in picture units or GOP units. Controls the operation of the interpolation unit 219 and the like.
  • multi-view stream configuration information multiview_stream_configuration_info ()
  • the parallax stream extracted by the demultiplexer 214 is supplied to the coded buffer 221 and temporarily accumulated.
  • the parallax decoder 222 the decoding process of the parallax stream memorize
  • the disparity data includes disparity data between the center view and the left end view and disparity data between the center view and the right end view.
  • the parallax data is parallax data in units of pixels or blocks.
  • the parallax data acquired by the parallax decoder 222 is supplied to the parallax buffer 223 and temporarily accumulated. Based on the parallax data stored in the parallax buffer 223, the parallax data conversion unit 224 generates parallax data in pixel units that matches the size of the scaled image data. In this case, when the transmitted parallax data is in units of blocks, it is converted into parallax data in units of pixels. Also, in this case, the transmitted parallax data is in units of pixels, but if it does not match the size of the image data after scaling, it is appropriately scaled.
  • the view interpolation unit 219 a predetermined number of views that are not transmitted based on the parallax data between the views obtained by the parallax data conversion unit 224 from the image data of the center, left end, and right end views after scaling.
  • Image data is interpolated and synthesized. From the view interpolation unit 219, image data of N views (View1, View2,..., ViewN) for viewing a three-dimensional image (stereoscopic image) with the naked eye is obtained. Note that image data of each view at the center, the left end, and the right end is also included.
  • the graphics stream extracted by the demultiplexer 214 is supplied to the coded buffer 225 and temporarily accumulated.
  • the graphics decoder 226 performs a decoding process on the graphics stream stored in the coded buffer 225 to obtain decoded graphics data (including subtitle data). Also, the graphics decoder 226 generates graphics bitmap data to be superimposed on the view (image) based on the graphics data.
  • the graphics bitmap data generated by the graphics decoder 226 is supplied to the pixel buffer 227 and temporarily accumulated.
  • the size of the graphics bitmap data stored in the pixel buffer 227 is adjusted to correspond to the size of the scaled image data.
  • the pixel interleaving / superimposing unit 220 superimposes graphics bitmap data respectively corresponding to image data of N views (View1, View2,..., ViewN ⁇ ⁇ ⁇ ⁇ ).
  • the pixel interleaving / superimposing unit 220 performs pixel interleaving processing on the image data of N views (View1, View2,..., ViewN) to perform naked-eye viewing of a three-dimensional image (stereoscopic image).
  • Display image data is generated. By supplying the display image data to the display, an image display for viewing the three-dimensional image (stereoscopic image) with the naked eye is performed.
  • the audio stream extracted by the demultiplexer 214 is supplied to the coded buffer 230 and temporarily accumulated.
  • the audio decoder 231 the audio stream stored in the coded buffer 230 is decoded, and decoded audio data is obtained.
  • This audio data is supplied to the channel mixing unit 232.
  • the channel mixing unit 232 generates audio data of each channel for realizing, for example, 5.1ch surround with respect to the audio data.
  • This audio data is supplied to, for example, a speaker, and audio output is performed in accordance with image display.
  • the receiver 200 shown in FIG. 27 among the plurality of views for displaying a stereoscopic image, at least the image data of the left end view and the right end view and the intermediate position located between the left end and the right end. View image data is received.
  • the other views are obtained by interpolation processing based on the parallax data. Therefore, it is possible to satisfactorily perform autostereoscopic viewing of a stereoscopic image with a multiview configuration.
  • the receiver 200 illustrated in FIG. 27 illustrates a configuration example in the case where a disparity stream obtained by encoding disparity data is included in the transport stream TS.
  • the parallax data is generated from the received image data of each view and used.
  • FIG. 30 shows a configuration example of the receiver 200A in that case.
  • This receiver 200 ⁇ / b> A has a parallax data generation unit 233.
  • the parallax data generation unit 233 generates parallax data based on the image data of the center, left end, and right end views that have been subjected to the scaling process.
  • the disparity data generation unit 233 generates and outputs disparity data similar to the disparity data in units of pixels generated by the disparity data conversion unit 224 of the receiver 200 illustrated in FIG.
  • the disparity data generated by the disparity data generation unit 233 is supplied to the view interpolation unit 219 and is also supplied to the flux shifter 229 for use.
  • receiver 200A shown in FIG. 30 the coded buffer 221, the parallax decoder 222, the parallax buffer 223, and the parallax data conversion unit 224 in the receiver 200 shown in FIG. 27 are omitted.
  • the other configuration of receiver 200A shown in FIG. 30 is the same as that of receiver 200 shown in FIG.
  • the image transmission / reception system 10 including the broadcast station 100 and the receiver 200 is shown.
  • the configuration of the image transmission / reception system to which the present technology can be applied is not limited to this.
  • the receiver 200 may have a configuration of a set top box and a monitor connected by a digital interface such as (High-Definition Multimedia Interface (HDMI)).
  • HDMI High-Definition Multimedia Interface
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • the Internet distribution it is often distributed in a container of MP4 or other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.
  • the view configuration information inserted in the layer of the video stream includes the predetermined view
  • the transmission device according to (2) including information indicating a position of a view.
  • the view configuration information inserted in the layer of the video stream includes The transmission device according to (2) or (8), including information indicating positions of the two views.
  • the view configuration information inserted in the layer of the video stream includes information indicating whether or not data of a plurality of pictures is encoded in one access unit of the video stream. 2) The transmission device according to any one of (8) to (10). (12) The view configuration information inserted in the layer of the video stream includes information indicating whether the image data of a view essential for image display is a coded video stream. (2) The transmission device according to any one of (8) to (11). (13) The view configuration information inserted into the layer of the video stream includes pixel ratio information for a predetermined horizontal and / or vertical resolution. (2), (8) to (12) The transmission device according to any one of the above. (14) A parallax data acquisition unit that acquires parallax data between the views is further provided.
  • the image data transmission unit In addition to the video stream obtained by encoding the acquired image data, a container having a predetermined format including the parallax stream obtained by encoding the acquired parallax data is transmitted. (13) The transmission device according to any one of (1). (15) The transmission device according to any one of (1) to (14), wherein the container is a transport stream. (16) Image data acquisition for acquiring image data of at least a left end view and a right end view and an intermediate view image data positioned between the left end and the right end among a plurality of views for stereoscopic image display Steps, A transmission method comprising: an image data transmission step of transmitting a container of a predetermined format including a video stream obtained by encoding the acquired image data.
  • the container includes a disparity stream obtained by encoding the disparity data
  • image data of at least the left end view and the right end view and image data of an intermediate view positioned between the left end and the right end are obtained by encoding.
  • the main feature of the present technology is that the image data of at least the leftmost view and the rightmost view among a plurality of views for autostereoscopic viewing of a three-dimensional image (stereoscopic image) and an intermediate position located between the left end and the right end.
  • DESCRIPTION OF SYMBOLS 10 ... Image transmission / reception system 100 ... Broadcasting station 110 ... Transmission data generation part 111-1 to 111-N ... Image data output part 112 ... View selector 113-1, 113-2, 113 -3: Scaler 114-1, 114-2, 114-3 ... Video encoder 115 ... Multiplexer 116 ... Disparity data generator 117 ... Disparity encoder 118 ... Graphics data output unit 119 ... Graphics encoder 120 ... Audio data output unit 121 ... Audio encoder 200, 200A ... Receiver 201 ... CPU 211 ... Antenna terminal 212 ... Digital tuner 213 ...
  • Transport stream buffer (TS buffer) 214 Demultiplexer 215-1, 215-2, 215-3, 221, 225, 230 ... Coded buffer 216-1, 216-2, 216-3 ... Video decoder 217-1, 217- 2, 217-3: view buffer 218-1, 218-2, 218-3, 228 ... scaler 219 ... view interpolation unit 220 ... pixel interleave / superimposition unit 222 ... disparity decoder 223 ... Parallax buffer 224 ... Parallax data converter 226 ... Graphics decoder 227 ... Pixel buffer 229 ... Graphics shifter 231 ... Audio decoder 232 ... Channel mixing section 233 ... Parallax data Generator

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　マルチビュー構成による立体画像の裸眼観賞を行うための画像データの効果的な伝送（伝送帯域の抑制、再生画像品質の向上）を可能にする。　立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー、例えば中央のビューの画像データを取得する。各ビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する。例えば、ビデオストリームのレイヤに、このビデオストリーム内の画像データに関するビュー構成情報を挿入する。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、受信側で立体画像（３次元画像）の裸眼観賞を良好に行うための送信装置等に関する。
　従来、３次元画像（立体画像）を表示するシステムとして、様々なものが知られている。例えば、特許文献１に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。
特開平９－１３８３８４号公報
　３次元画像（立体画像）の裸眼観賞を可能にする方式に、Ｎ個のビュー（view）を持つマルチビュー構成による方法が考えられる。その場合、全てのビューの画像データを伝送すると、伝送帯域が増大する懸念がある。そこで、全てのビューの画像データを伝送する代わりに、１つのビュー以上、例えば２つのビューの画像データを伝送し、受信側で伝送されたビュー以外のビューの画像データを補間処理で生成することも考えられる。
　図３１は、その場合における画像送受信システム５０の構成例を示している。送信側においては、Ｎ個のカメラ５１-1～５１-Nで撮像されて得られたＮ個のビュー（View 1・・・View N）の画像データからビューセレクタ５２で例えば２つのビューの画像データが選択される。そして、この２つのビューの画像データをエンコーダ５３によって符号化して得られる例えば２つのビデオストリーム（1st video, 2nd video）が受信側に向けて送信される。
　また、受信側において、送信側から送られてくる２つのビデオストリームがデコーダ５４によりデコードされて２つのビューの画像データが得られる。そして、この２つのビューの画像データに基づいて補間処理部５５で補間処理が行われて、伝送されなかったその他のビューの画像データが生成され、結果的にＮ個のビュー（View 1・・・View N）の画像データが得られる。これにより、受信側では、Ｎ個のビューの画像データによる３次元画像（立体画像）の裸眼観賞が可能となる。
　例えば、２つのビューの画像データを伝送する方法として、（１）Ｎ個のビューのうち、両端の２つのビューの画像データを伝送する方法、（２）Ｎ個のビューのうち、内側の２つのビューの画像データを伝送する方法の２つが考えられる。
　（１）の伝送方法については、マルチビューのビュー数が増加すると、伝送される両端の２つのビュー間の相対視差が大きくなる。そのため、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン（occlusion）周辺の補間が困難になり、再生画像の品質が問題となる場合がある。
　図３２は、この伝送方法において、ビュー数を５とした場合の受信側の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、送信側から「View_3」、「View_4」のビューの画像データのみが送信され、受信側では「View_3」、「View_4」のビューの画像データが受信され、その他の「View_0」、「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信側では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。なお、図３２には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。これは、以下の図３３においても同様である。
　（２）の伝送方法については、いわゆる従来のステレオビュー（stereo view）の画像データを伝送し、伝送されないビューの画像データを受信側で補間するものとなる。その際、ステレオビューを構成する２つのビューの内側のビューの画像データの補間は内挿処理によって合成できる。しかし、ステレオビューの外側のビューの画像データの補間は外挿処理によって合成することになる。外挿処理による合成は、オクルージョン（occlusion）などの端点処理に関して高画質を維持することが困難であり、画質劣化の要因になる。
　図３３は、この伝送方法において、ビュー数を５とした場合の受信側の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、送信側から「View_1」、「View_2」のビューの画像データのみが送信され、受信側では「View_1」、「View_2」のビューの画像データが受信され、その他の「View_0」、「View_3」、「View_4」のビューの画像データは補間処理で求められる。そして、受信側では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。
　本技術の目的は、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことにある。
　本技術の概念は、
　立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する画像データ取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部を備える
　送信装置にある。
　本技術において、画像データ取得部により、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー、例えば中央のビューの画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　画像データ送信部により、取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　例えば、コンテナが含むビデオストリームにおいて、左端のビューおよび右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されていてもよい。また、例えば、コンテナが含むビデオストリームにおいて、左端のビューおよび右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されていてもよい。
　また、例えば、コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む、ようにされてもよい。この場合、例えば、コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置されていてもよい。このように境界を示す情報が配置されることで、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。
　このように本技術においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが送信される。そのため、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことができる。
　すなわち、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
　なお、本技術において、例えば、ビデオストリームのレイヤに、このビデオストリーム内の画像データに関するビュー構成情報を挿入するビュー構成情報挿入部をさらに備える、ようにされてもよい。このビュー構成情報により、受信側では、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
　この場合、例えば、コンテナのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。
　例えば、コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、このビデオストリームのレイヤに挿入されるビュー構成情報には、所定のビューの位置を示す情報が含まれていてもよい。
　また、例えば、コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、このビデオストリームのレイヤに挿入されるビュー構成情報には、この２つのビューの位置を示す情報が含まれていてもよい。この場合、例えば、ビュー構成情報には、２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれていてもよい。
　また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、このビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれていてもよい。また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれていてもよい。また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれていてもよい。
　また、本技術において、例えば、各ビューの間の視差データを取得する視差データ取得部をさらに備え、画像データ送信部は、取得された画像データが符号化されて得られたビデオストリームの他に、取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する、ようにされてもよい。この場合、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
　また、本技術の他の概念は、
　立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
　上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
　上記各ビューの視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
　受信装置にある。
　本技術において、画像データ受信部により、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含む所定フォーマットのストリームが受信される。画像データ取得部により、ストリームに含まれるビデオストリームがデコードされて、各ビューの画像データが得られる。そして、補間処理部により、各ビューの間の視差データに基づいて、各ビューの間に位置する所定数のビューの画像データが補間処理で取得される。
　例えば、コンテナは、視差データが符号化されて得られた視差ストリームを含み、コンテナに含まれる視差ストリームをデコードして視差データを得る視差データ取得部をさらに備える、ようにされてもよい。また、例えば、画像データ取得部で得られた各ビューの画像データに基づいて、視差データを生成する視差データ生成部をさらに備える、ようにされてもよい。
　このように本技術においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信され、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
　すなわち、左端のビューおよび右端のビューの画像データだけでなく、それらのビューの中間のビューの画像データも受信されるので、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
　本技術によれば、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化される例を説明するための図である。 中央のビューの画像データは１つのピクチャのデータとして符号化され、左端および右端の２つのビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化される例を説明するための図である。 複数のピクチャの符号化データを含むビデオストリームの一例を示す図である。 ３つのピクチャの符号化データが１つのビデオストリームに共存する場合の例を示す図である。 Ｎ個のビューのうち、左端および右端のビューと、それらの間に位置する中央のビューの画像データを伝送する方法において、ビュー数を５とした場合の受信機の表示部を概略的に示す図である。 トランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。 送信データ生成部内のビューセレクタにおけるビュー選択状態を示す図である。 ブロック（Block）毎の視差データ（視差ベクトル）の一例を示す図である。 ブロック単位の視差データの生成方法の一例を説明するための図である。 ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法を説明するための図である。 識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタの構造例を示す図である。 マルチビュー・ストリーム・コンフィグレーション・デスクリプタの構造例における主要な情報の内容を示す図である。 ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの構造例を示す図である。 マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。 マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。 マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。 「view_count」が示すビュー数と、「view_pair_position_id」が示す２つのビューの位置との関係の一例を示す図である。 両端の２つのビューペアの画像データと共に、両端よりも内側の２つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データの生成例を説明するための図である。 視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を説明するための図である。 マルチビュー・ストリーム・コンフィグレーション・インフォがアクセスユニットの“ＳＥＬｓ”の部分に「Multiview stream configuration SEI message」として挿入されることを説明するための図である。 「Multiview stream configuration SEI message」および「userdata_for_multiview_stream_configuration()」の構造例を示す図である。 「user_data()」の構造例を示す図である。 トランスポートストリームＴＳに３つのビデオストリームが含まれる場合の構成例を示す図である。 トランスポートストリームＴＳに２つのビデオストリームが含まれる場合の構成例を示す図である。 トランスポートストリームＴＳに１つのビデオストリームが含まれる場合の構成例を示す図である。 画像送受信システムを構成する受信機の構成例を示すブロック図である。 スケーリング比の算出例を示す図である。 ビュー補間部における補間合成処理の一例を概略的に示す図である。 画像送受信システムを構成する受信機の他の構成例を示すブロック図である。 ３次元画像（立体画像）の裸眼観賞を可能にする画像送受信システムの構成例を示す図である。 Ｎ個のビューのうち、両端の２つのビューの画像データを伝送する方法において、ビュー数を５とした場合の受信側の表示部を概略的に示す図である。 Ｎ個のビューのうち、内側の２つのビューの画像データを伝送する方法において、ビュー数を５とした場合の受信側の表示部を概略的に示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。
　このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、少なくとも中央のビュー、左端のビューおよび右端のビューの画像データが符号化されて得られたビデオストリームが含まれる。この場合、中央のビューは、左端ビューおよび右端ビューの間に位置する中間ビューを構成している。
　トランスポートストリームＴＳが含むビデオストリームにおいて、図２に示すように、中央（Center）のビュー、左端（Left)のビューおよび右端（Right）のビューの画像データはそれぞれ１つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは１９２０＊１０８０のフルＨＤのサイズとされる。
　あるいは、トランスポートストリームＴＳが含むビデオストリームにおいて、図３（ａ）に示すように、中央（Center）のビューの画像データは１つのピクチャのデータとして符号化され、左端（Left)のビューおよび右端（Right）のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは１９２０＊１０８０のフルＨＤのサイズとされる。
　なお、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化される場合、各ビューの画像データは水平方向あるいは垂直方向に１／２に間引かれた状態となる。図示の例では、インターリーブのタイプがサイド・バイ・サイドであり、各ビューのサイズは９６０＊１０８０とされる。図示していないが、インターリーブのタイプとしてトップ・アンド・ボトムも考えられ、その場合には、各ビューのサイズは１９２０＊５４０とされる。
　このように左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化される場合、受信側においては、図３（ｂ）に示すように、スケーリング処理され、左端のビューおよび右端のビューの画像データのサイズは１９２０＊１０８０のフルＨＤのサイズに戻される。
　トランスポートストリームＴＳが含むビデオストリームは、１つまたは複数のピクチャのデータを含むものとされる。例えば、トランスポートストリームＴＳには、以下の３つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ１つのピクチャとして符号化されて得られたビデオストリームである。
　また、例えば、トランスポートストリームＴＳには、以下の２つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームである。
　また、例えば、トランスポートストリームＴＳには、以下の１つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、この１つのビデオストリームには、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータが含まれる。
　図４（ａ），（ｂ）は、複数のピクチャの符号化データを含むビデオストリームの一例を示している。各アクセスユニットに、各ピクチャの符号化データが順次配置される。この場合、最初のピクチャの符号化データは、“SPS ～ Coded Slice”で構成され、２番目以降のピクチャの符号化データは、“Subset SPS ～ Coded Slice”で構成される。なお、この例は、ＭＰＥＧ４－ＡＶＣの符号化がされている例であるが、他の符号化方式でも適用可能である。なお、図中の１６進数字は「 NAL unit type 」を示している。
　各ピクチャの符号化データが１つのビデオストリームに共存する場合、各ピクチャの境界が瞬時に識別可能なことが要求される。しかし、ＡＵＤ(access unit delimiter)は、一つのアクセスユニットの先頭にのみ付すことが可能である。そこで、図４（ｂ）に示すように、各ピクチャの符号化データの間に、「View Separation Marker」という境界を示す新たな“NAL unit”を定義して配置することが考えられる。これにより、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。なお、図４（ａ）は、２つのビューのデータの間に、「View Separation Marker」が配置されていない例を示している。
　図５（ａ），（ｂ）は、３つのピクチャの符号化データが１つのビデオストリームに共存する場合の例を示している。ここでは、各ピクチャの符号化データをサブストリーム（sub stream）として示している。図５（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図５（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。
　ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤなど）に、このビデオストリーム内の画像データに関するビュー構成情報が挿入される。このビュー構成情報には、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等が含まれている。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。このビュー構成情報により、受信側では、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。このビュー構成情報の詳細については後述する。
　また、トランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下などに挿入される。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
　受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、受信機２００は、このトランスポートストリームＴＳに含まれるビデオストリームをデコードして、例えば、中央のビュー、左端のビューおよび右端のビューの画像データを取得する。この際、受信機２００は、ビデオストリームのレイヤに含まれるビュー構成情報により、各ビデオストリームに含まれる画像データが、どのビュー位置の画像データであるかを知ることができる。
　また、受信機２００は、中央のビューおよび左端ビューの間の視差データと、中央のビューおよび右端ビューの間の視差データとに基づいて、中央のビューおよび左端ビューの間と、中央のビューおよび右端ビューの間とに位置する所定数のビューの画像データを補間処理で取得する。この際、受信機２００は、ビデオストリームのレイヤに含まれるビュー構成情報により、ビュー数を知ることができ、どの位置のビューが伝送されなかったかを容易に把握できる。
　受信機２００は、放送局１００からビデオストリームと共に送られてくる視差データストリームをデコードして、上述の視差データを取得する。あるいは、受信機２００は、取得された中央のビュー、左端のビューおよび右端のビューの画像データに基づいて、上述の視差データを生成する。
　受信機２００は、放送局１００から送られてくる中央、左端および右端の各ビューの画像データと、上述の補間処理で取得される各ビューの画像データとに基づき、３次元画像（立体画像）の裸眼観賞のために、各ビューの画像を表示部に合成表示する。
　図６は、ビュー数を５とした場合の受信機２００の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、放送局１００から「View_0」、「View_3」、「View_4」のビューの画像データのみが送信され、受信機２００では「View_0」、「View_3」、「View_4」のビューの画像データが受信され、その他の「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信機２００では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。なお、図６には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。
　「送信データ生成部の構成例」
　図７は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、Ｎ個の画像データ出力部１１１-1～１１１-Nと、ビューセレクタ１１２と、スケーラ１１３-1，１１３-2，１１３-3と、ビデオエンコーダ１１４-1，１１４-2，１１４-3と、マルチプレクサ１１５を有している。また、この送信データ生成部１１０は、視差データ生成部１１６と、視差エンコーダ１１７と、グラフィクスデータ出力部１１８と、グラフィクスエンコーダ１１９と、音声データ出力部１２０と、オーディオエンコーダ１２１を有している。
　画像データ出力部１１１-1～１１１-Nは、立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データを出力する。この画像データ出力部は、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。なお、伝送されないビューの画像データは、実際にはなくてもよい。
　また、ビューセレクタ１１２は、Ｎ個のビュー（View 1・・・View N）の画像データから、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー（１つまたは２つ以上）の画像データを選択的に取り出す。この実施の形態において、ビューセレクタ１１２は、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲを取り出すと共に、中央のビューの画像データＶＣを取り出す。図８は、ビューセレクタ１１２におけるビュー選択状態を示している。
　また、スケーラ１１３-1，１１３-2，１１３-3は、それぞれ、画像データＶＣ，ＶＬ，ＶＲに対してスケーリング処理を施して、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データＶＣ′，ＶＬ′，ＶＲ′を得る。この場合、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のフルＨＤのサイズであるときは、そのまま出力する。また、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のサイズより大きいときは、スケールダウンして出力する。
　ビデオエンコーダ１１４-1は、中央のビューの画像データＶＣ′に対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-1は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 1）として含むビデオストリームを生成する。
　また、ビデオエンコーダ１１４-2は、左端のビューの画像データＶＬ′に対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-2は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 2）として含むビデオストリームを生成する。
　さらに、ビデオエンコーダ１１４-3は、右端のビューの画像データＶＲ′に対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-3は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 3）として含むビデオストリームを生成する。
　ビデオエンコーダ１１４-1，１１４-2，１１４-3は、ビデオストリームのレイヤに、上述したビュー構成情報を挿入する。このビュー構成情報は、上述したように、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等を含むものである。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。
　視差データ生成部１１６は、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データに基づいて、視差データ（disparity data）を生成する。この視差データには、例えば、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれている。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。図９は、ブロック（Block）毎の視差データ（視差ベクトル）の一例を示している。
　図１０は、ブロック単位の視差データの生成方法の一例を示している。この例は、ｉ番目のビューからｊ番目のビューを指し示す視差データを求める例である。この場合、ｉ番目のビューのピクチャに、例えば４＊４、８＊８あるいは１６＊１６などの画素ブロック（視差検出ブロック）が設定される。
　図示のように、ｉ番目のビューのピクチャが検出画像とされ、ｊ番目のビューのピクチャが参照画像とされて、ｉ番目のビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、ｊ番目のビューのピクチャのブロック探索がされて、視差データが求められる。
　すなわち、Ｎ番目のブロックの視差データＤＰｎは、例えば、以下の（１）式に示すように、当該Ｎ番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この（１）式において、Ｄｊはｊ番目のビューのピクチャにおける画素値、Ｄｉはｉ番目のビューのピクチャにおける画素値を示している。
　ＤＰｎ ＝ min ( Σabs( differ (Dj - Di)))　　・・・（１）
　図１１は、画素単位の視差データの生成方法の一例を示している。この例は、ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法である。図１１（ａ）における“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｘ”は、それぞれ、ブロックの領域を示している。
　これらのブロックの視差データから、図１１（ｂ）に示すように、“Ｘ”のブロックを４分割した各領域の視差データは、以下の（２）式で求められる。例えば、“Ａ”、“Ｂ”に隣接する分割領域の視差データＸ（Ａ，Ｂ）は、“Ａ”、“Ｂ”、“Ｘ”のブロックの視差データの中央値とされる。その他の分割領域においても、同様にして、視差データが求められる。
　Ｘ（Ａ，Ｂ）＝median（Ｘ，Ａ，Ｂ）
　Ｘ（Ａ，Ｃ）＝median（Ｘ，Ａ，Ｃ）
　Ｘ（Ｂ，Ｄ）＝median（Ｘ，Ｂ，Ｄ）
　Ｘ（Ｃ，Ｄ）＝median（Ｘ，Ｃ，Ｄ）
　　　　　　　　　　　　　　　　　　　　　・・・（２）
　上述の一度の変換で、視差データの占める領域は、元の縦横サイズの１／２のサイズに狭まる。ブロックサイズにより、この変換を所定回数繰り返すことによって、画素単位の視差データが求まる。なお、テクスチャにエッジを含んでいたりして画面内オブジェクトの複雑度が他の部分よりも高い場合などには、適宜、ブロックサイズを小さくとって、初期のブロック単位の視差データ自体のテクスチャ追従性を向上することも可能である。
　視差エンコーダ１１７は、視差データ生成部１１６で生成された視差データに符号化を施して視差ストリーム（視差データエレメンタリストリーム）を生成する。この視差ストリームには、画素単位、またはブロック単位の視差データが含まれることとなる。視差データが画素単位である場合には、画素データと同様に、圧縮符号化して伝送できる。
　なお、この視差ストリームにブロック単位の視差データが含まれる場合には、受信側で、上述した変換処理を行うことで、画素単位に変換することも可能である。また、このような視差ストリームの送信がない場合、受信側で、上述したように各ビュー間におけるブロック単位の視差データを求め、さらに画素単位に変換することが可能である。
　グラフィクスデータ出力部１１８は、画像に重畳するグラフィクス（字幕としてのサブタイトルも含む）のデータを出力する。グラフィクスエンコーダ１１９は、グラフィクスデータ出力部１１８から出力されたグラフィクスデータを含むグラフィクスストリーム（グラフィクスエレメンタリストリーム）を生成する。ここで、グラフィクスは、重畳情報を構成し、例えば、ロゴ、字幕などである。
　なお、グラフィクスデータ出力部１１８から出力されるグラフィクスデータは、例えば、中央のビューの画像に重畳するグラフィクスのデータである。グラフィクスエンコーダ１１９は、視差データ生成部１１６で生成された視差データに基づいて、左端および右端のビューに重畳するグラフィクスのデータを作成して、これらのグラフィクスデータを含むグラフィクスストリームを生成してもよい。この場合には、受信側において左端および右端のビューに重畳するグラフィクスのデータを作成することが不要となる。
　グラフィクスデータは、主にはビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すオフセット情報が付加されている。このオフセット情報は、例えば、画像の左上の原点から、グラフィクスの重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、例えば、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
　音声データ出力部１２０は、画像データに対応した音声データを出力する。この音声データ出力部１２０は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１２１は、音声データ出力部１２０から出力される音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
　マルチプレクサ１１５は、ビデオエンコーダ１１４-1，１１４-2，１１４-3、視差エンコーダ１１７、グラフィクスエンコーダ１１９およびオーディオエンコーダ１２１で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
　マルチプレクサ１１５は、トランスポートストリームＴＳのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下などに挿入される。
　図７に示す送信データ生成部１１０の動作を簡単に説明する。Ｎ個の画像データ出力部１１１-1～１１１-Nから出力される立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データは、ビューセレクタ１１２に供給される。ビューセレクタ１１２では、Ｎ個のビューの画像データから、中央のビューの画像データＶＣ、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲが取り出される。
　ビューセレクタ１１２で取り出された中央のビューの画像データＶＣはスケーラ１１３-1に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＣ′は、ビデオエンコーダ１１４-1に供給される。
　ビデオエンコーダ１１４-1では、この画像データＶＣ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 1）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-1では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
　また、ビューセレクタ１１２で取り出された左端のビューの画像データＶＬはスケーラ１１３-2に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＬ′は、ビデオエンコーダ１１４-2に供給される。
　ビデオエンコーダ１１４-2では、この画像データＶＬ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 2）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-2では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
　さらに、ビューセレクタ１１２で取り出された右端のビューの画像データＶＲはスケーラ１１３-3に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＲ′は、ビデオエンコーダ１１４-3に供給される。
　ビデオエンコーダ１１４-3では、この画像データＶＲ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 3）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-3では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
　また、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データは視差データ生成部１１６に供給される。この視差データ生成部１１６では、各ビューの画像データに基づいて、視差データ（disparity data）が生成される。この視差データには、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれる。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。
　視差データ生成部１１６で生成された視差データは、視差エンコーダ１１７に供給される。この視差エンコーダ１１７では、視差データに符号化処理が施されて、視差ストリームが生成される。この視差ストリームは、マルチプレクサ１１５に供給される。
　また、グラフィクスデータ出力部１１８から出力されるグラフィクスデータ（サブタイトルデータも含む）は、グラフィクスエンコーダ１１９に供給される。このグラフィクスエンコーダ１１９では、グラフィクスデータを含むグラフィクスストリームが生成される。このグラフィクスストリームは、マルチプレクサ１１５に供給される。
　また、音声データ出力部１２０から出力される音声データは、オーディオエンコーダ１２１に供給される。このオーディオエンコーダ１２１では、音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。このオーディオストリームは、マルチプレクサ１１５に供給される。
　マルチプレクサ１１５では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１５では、ＰＭＴの配下、あるいはＥＩＴの配下などに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。
　なお、図７に示す送信データ生成部１１０は、トランスポートストリームＴＳに３つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれる。
　詳細説明は省略するが、上述したように、トランスポートストリームＴＳに２つ、あるいは１つのビデオストリームが含まれる場合も、同様に構成できる。トランスポートストリームＴＳに２つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームが含まれる。
　また、トランスポートストリームＴＳに１つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれる。
　［識別情報およびビュー構成情報の構造と、ＴＳ構成］
　上述したように、トランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。図１２は、この識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）の構造例（Syntax）を示している。また、図１３は、図１２に示す構造例における主要な情報の内容（Semantics）を示している。
　「multiview_stream_configuration_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、マルチビュー・ストリーム・コンフィグレーション・デスクリプタであることを示す。「multiview_stream_configuration_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。
　「multiview_stream_check flag」の１ビットフィールドは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを示す。“１”は、ビデオストリームのレイヤにビュー構成情報の挿入があることを示し、“０”はその挿入がないことを示す。“１”であるとき、受信側（デコーダ）では、ユーザデータ領域に存在するビュー構成情報をチェックすることとなる。
　また、上述したように、ビデオストリームのレイヤに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。図１４は、このビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）の構造例（Syntax）を示している。また、図１５、図１６、図１７は、図１４に示す構造例における主要な情報の内容（Semantics）を示している。
　「3D_flag」の１ビットフィールドは、符号化されるビデオストリームに含まれる画像データが３Ｄを構成する一部のビューの画像データであるか否かを示す。“１”は一部のビューの画像データであることを示し、“０”は一部のビューの画像データでないことを示す。
　「3D_flag=1」であるとき、「view_count」、「single_view_es_flag」、「view_interleaving_flag」の各情報が存在する。「view_count」の４ビットフィールドは、３Ｄサービスを構成するビュー数を示す。最小値は１で、最大値は１５である。「single_view_es_flag 」の１ビットフィールドは、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているか否かを示す。“１”は１つのピクチャのデータのみが符号化されていることを示し、“０”は２つ以上のピクチャのデータが符号化されていることを示す。
　「view_interleaving_flag」の１ビットフィールドは、当該ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているか否かを示す。“１”はインターリーブ処理されていて画面スプリットの構成であることを示し、“０”はインターリーブ処理されていないことを示す。
　「view_interleaving_flag= 0」であるとき、「view_allocation」の情報が存在する。「view_allocation」の４ビットフィールドは、当該ビデオストリームに含まれる画像データがどのビューの画像データであるか、つまりビュー割り当てを示す。例えば、“0000”は、中央のビュー（center view）であることを示す。また、例えば、“0001”は、中央から左側に１つ隣りのビュー(1st left view next to center)であることを示す。また、例えば、“0010”は、中央から右側に１つ隣りのビュー(1st right view next to center)であることを示す。
　「view_interleaving_flag= 1」であるとき、「view_pair_position_id」、「view_interleaving_type」の情報が存在する。「view_pair_position_id」の３ビットフィールドは、全ビューにおける２つのビューの相対的なビュー位置を示す。この場合、例えば、スキャン順で早い位置が左（left）、遅い位置が右（right）とする。例えば、“000”は、両端の２つのビューペアであることを示す。また、例えば、“001”は、両端から１つ内側の２つのビューペアであることを示す。また、例えば、“010”は、両端から１つ内側の２つのビューペアであることを示す。
　「view_interleaving_type」の１ビットフィールドは、インターリーブのタイプ（type）を示している。“１”はインターリーブのタイプがサイド・バイ・サイド（Side-by-Side）であることを示し、“０”はインターリーブのタイプがトップ・アンド・ボトム（Top & Bottom）であることを示す。
　また、「3D_flag= 1」であるとき、「display_flag」、「indication_of_picture_size_scaling_horizontal」、「indication_of_picture_size_scaling_vertical」の各情報が存在する。「display_flag」の１ビットフィールドは、当該ビューは画像表示を行わせる際に表示必須か否かを示す。“１”は、表示必須であることを示す。一方、“０”は、表示必須でないことを示す。
　「indication_of_picture_size_scaling_horizontal 」の４ビットフィールドは、フルＨＤ（１９２０）に対してのデコード画の水平画素比率を示している。“0000”は１００％、“0001”は８０％、“0010”は７５％、“0011”は６６％、“0100”は５０％、“0101”は３３％、“0110”は２５％、“0111”は２０％をそれぞれ示す。
　「indication_of_picture_size_scaling_vertical 」の４ビットフィールドは、フルＨＤ（１０８０）に対してのデコード画の垂直画素比率を示している。0000”は１００％、“0001”は８０％、“0010”は７５％、“0011”は６６％、“0100”は５０％、“0101”は３３％、“0110”は２５％、“0111”は２０％をそれぞれ示す。
　図１８は、「view_count」が示すビュー数と、「view_pair_position_id」が示す２つのビュー（ここでは、“View 1”, “View 2”としている）の位置との関係の一例を示している。（１）の例は、「view_count」が示すビュー数が２であって、「view_pair_position_id= 000」であって両端の２つのビューであることを示している場合である。また、（２）の例は、「view_count」が示すビュー数が４であって、「view_pair_position_id = 000」であって両端の２つのビューであることを示している場合である。
　また、（３）の例は、「view_count」が示すビュー数が４であって、「view_pair_position_id= 001」であって両端から１つ内側の２つのビューであることを示している場合である。また、（４）の例は、「view_count」が示すビュー数が５であって、「view_pair_position_id = 000」であって両端の２つのビューであることを示している場合である。
　また、（５）の例は、「view_count」が示すビュー数が９であって、「view_pair_position_id= 000」であって両端の２つのビューであることを示している場合である。さらに、（６）の例は、「view_count」が示すビュー数が９であって、「view_pair_position_id = 010」であって両端から２つ内側の２つのビューであることを示している場合である。
　両端よりも内側のビューペアは、受信側でビュー合成を行う際に両端の２つのビューでは十分に画質が満足できないような場合に、補間合成の性能を向上させるために、両端のビューペアに追加で伝送されることが可能である。その際、追加で伝送されるビューペアの符号化ビデオデータは、両端のビューペアのストリームの中に、アクセスユニット（Access Unit）を共有するように符号化されてもよいし、あるいは、別のストリームとして符号化されてもよい。
　図１９は、上述のように両端の２つのビューペアの画像データと共に、両端よりも内側の２つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データ（disparity data）の生成例を示している。図示の例では、「view_count」が示すビュー数が９とされている。そして、両端の２つのビュー（View 1, View 2）の画像データが含まれるサブストリーム（substream1）と、それよりも内側の２つのビュー（View 3, View 4）の画像データが含まれるサブストリーム（substream 2）とが存在するものとしている。
　この場合、最初に、「View 1」と「View 3」とで視差データを計算する。次に、「View 2」と「View 4」とで視差データを計算する。最後に、「View 3」と「View 4」とで視差データを計算する。なお、サブストリーム間で、ビューの解像度が異なる場合は、どちらかの解像度に合わせた上で、視差データの計算を行う。
　図２０は、上述したように計算された視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を示している。この場合、最初に、「View 1」と「View 3」との間の視差データを用いて、「View 1」と「View 3」の間に位置する「View_A」を補間合成する。
　次に、「View 2」と「View 4」との間の視差データを用いて、「View 2」と「View 4」の間に位置する「View_B」を補間合成する。最後に、「View 3」と「View 4」との間の視差データを用いて、「View 3」と「View 4」の間に位置する「View_C」、「View_D」、「View_Ｅ」を補間合成する。
　次に、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）を、ビデオストリーム（ビデオエレメンタリストリーム）のユーザデータ領域に挿入する場合について説明する。この場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ユーザデータ領域を利用して、例えば、ピクチャ単位あるいはＧＯＰ単位で挿入される。
　例えば、符号化方式がＡＶＣである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、アクセスユニットの“ＳＥＬｓ”の部分に、「Multiview stream configuration SEI message」として、挿入される。図２１（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図２１（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。マルチビュー・ストリーム・コンフィグレーション・インフォがＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「Multiview stream configuration SEI message」が挿入される。
　図２２（ａ）は、「Multiview stream configuration SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_multiview_stream_configuration()」が挿入される。図２２（ｂ）は、「userdata_for_multiview_stream _configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される（図１４参照）。「userdata_id」は、符号なし１６ビットで示されるマルチビュー・ストリーム・コンフィグレーション・インフォの識別子である。
　また、例えば、符号化方式がＭＰＥＧ２ ｖｉｄｅｏである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図２３（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
　この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、マルチビュー・ストリーム・コンフィグレーション・インフォであることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「Multiview_stream_configuration()」が挿入される。図２３（ｂ）は、Multiview_stream_configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される（図１４参照）。
　上述の図１２に示す識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）は、トランスポートストリームＴＳのレイヤ、例えばＰＭＴの配下、あるいはＥＩＴの配下などに挿入される。すなわち、このデスクリプタは、イベント単位あるいは時間的に静的ないし動的なユースケースに置いて最適な位置に配置される。
　図２４は、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに３つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれている。また、この構成例は、ビュー数が５である場合を示している。
　この図２４の構成例では、中央ビューの画像データＶＣ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
　また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
　また、この図２４の構成例では、左端ビューの画像データＶＬ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
　また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0011」とされ、このビデオストリームに含まれる画像データが中央から左側に２つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
　また、この図２４の構成例では、左端ビューの画像データＶＲ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES3」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
　また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0100」とされ、このビデオストリームに含まれる画像データが中央から右側に２つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。
　ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
　この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
　また、図２５も、トランスポートストリームＴＳの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに２つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームとが含まれている。また、このトランスポートストリームＴＳには、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームが含まれている。また、この構成例も、ビュー数が５である場合を示している。
　この図２５の構成例では、中央ビューの画像データＶＣ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
　また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているものではないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
　また、この図２５の構成例では、左端ビューの画像データＶＬ′および右端ビューの画像データＶＲ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
　また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 1」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていることが示されている。さらに、「view_pair_position_id= 000」とされ、両端の２つのビューペアであることが示されている。さらに、「view_interleaving_type= 1」とされ、インターリーブのタイプがサイド・バイ・サイド（Side-by-Side）であることが示されている。
　また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
　また、図２６も、トランスポートストリームＴＳの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに１つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれている。また、この構成例も、ビュー数が５である場合を示している。
　この図２６の構成例では、１つのビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームには、中央、左端および右端の各ビューの画像データがそれぞれ１アクセスユニット内の１つのピクチャのデータとして符号化されたデータが含まれており、各ピクチャに対応してユーザデータ領域が存在する。そして、それぞれに、マルチビュー・ストリーム・コンフィグレーション・インフォが挿入されている。
　中央ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0000」とされ、このピクチャデータに含まれる画像データが中央のビューの画像データであることが示されている。
　また、左端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0011」とされ、このピクチャデータに含まれる画像データが中央から左側に２つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
　また、右端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0100」とされ、このピクチャデータに含まれる画像データが中央から右側に２つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
　また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、１つのビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
　上述したように、図７に示す送信データ生成部１１０においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含むトランスポートストリームＴＳが生成される。そのため、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことができる。
　すなわち、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
　また、図７に示す送信データ生成部１１０においては、ビデオストリームのレイヤに、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される。そのため、受信側では、このビュー構成情報により、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
　また、図７に示す送信データ生成部１１０においては、トランスポートストリームＴＳのレイヤに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入される。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を構成している。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。そのため、ビデオストリームのユーザデータ領域からのビュー構成情報の効率的な抽出が可能となる。
　また、図７に示す送信データ生成部１１０においては、視差データ生成部１１６で各ビュー間の視差データが生成され、この視差データが符号化されて得られた視差ストリームが、ビデオストリームと共に、トランスポートストリームＴＳに含まれる。そのため、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
　「受信機の構成例」
　図２７は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部（ＲＣ受信部）２０５と、リモートコントロール送信機（ＲＣ送信機）２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
　また、受信機２００は、コーデッドバッファ２１５-1，２１５-2，２１５-3と、ビデオデコーダ２１6-1，２１６-2，２１６-3と、デコーデッドバッファ２１７-1，２１７-2，２１７-3と、スケーラ２１８-1，２１８-2，２１８-3を有している。また、受信機２００は、ビュー補間部２１９と、ピクセルインターリーブ／重畳部２２０を有している。また、受信機２００は、コーデッドバッファ２２１と、視差デコーダ２２２と、視差バッファ２２３と、視差データ変換部２２４を有している。
　また、受信機２００は、コーデッドバッファ２２５と、グラフィクスデコーダ２２６と、ピクセルバッファ２２７と、スケーラ２２８と、グラフィクスシフタ２２９を有している。さらに、受信機２００は、コーデッドバッファ２３０と、オーディオデコーダ２３１と、チャネルミキシング部２３２を有している。
　ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。ＲＣ受信部２０５は、ＲＣ送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は、内部バス２０４に接続されている。
　アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
　このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
　この場合、トランスポートストリームＴＳに、３つ、２つ、あるいは１つのビデオストリームが含まれる場合等がある（図２４、図２５、図２６参照）。ここでは、説明を簡単にするために、トランスポートストリームＴＳに、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれるものとして説明を行うものとする。
　このトランスポートストリームＴＳには、上述したように、ＰＭＴの配下、あるいはＥＩＴの配下などに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報、つまりマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）の挿入があるか否かを識別するための識別情報である。
　デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。また、デマルチプレクサ２１４は、このトランスポートストリームＴＳから、上述したマルチビュー・ストリーム・コンフィグレーション・デスクリプタを抽出し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、このデスクリプタの「multiview_stream_check flag」の１ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる。
　コーデッドバッファ２１５-1，２１５-2，２１５-3は、それぞれ、デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られたビデオストリームを一時的に蓄積する。ビデオデコーダ２１６-1，２１６-2，２１６-3は、ＣＰＵ２０１の制御のもと、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビデオストリームの復号化処理を行って、中央、左端および右端の各ビューの画像データを取得する。
　ここで、ビデオデコーダ２１６-1は、中央ビュー（center view）の画像データを取得する。また、ビデオデコーダ２１６-2は、左端ビュー（left view）の画像データを取得する。さらに、ビデオデコーダ２１６-3は、右端ビュー（right view）の画像データを取得する。なお、２つ以上のビューがインターリーブされて符号化されている場合は、ストリーム単位で、コーデッドバッファ、ビデオデコーダ、デコーデッドバッファ、スケ―ラが割り当てられることになる。
　各ビデオデコーダは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）を抽出し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、このビュー構成情報により、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理を行う。
　すなわち、ＣＰＵ２０１は、このビュー構成情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、デマルチプレクサ２１４、ビデオデコーダ２１６-1，２１６-2，２１６-3、スケーラ２１８-1，２１８-2，２１８-3、ビュー補間部２１９等の動作を制御する。例えば、ＣＰＵ２０１は、「3D_flag」の１ビットフィールドにより、ビデオストリームに含まれる画像データが３Ｄを構成する一部のビューの画像データであるか否かを識別できる。また、例えば、ＣＰＵ２０１は、「view_count」の４ビットフィールドにより、３Ｄサービスを構成するビュー数を認識できる。
　また、例えば、ＣＰＵ２０１は、「single_view_es_flag 」の１ビットフィールドにより、ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているか否かを識別できる。また、例えば、ＣＰＵ２０１は、「view_interleaving_flag」の１ビットフィールドにより、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているか否かを識別できる。
　また、例えば、ＣＰＵ２０１は、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないとき、「view_allocation」の４ビットフィールドにより、ビデオストリームに含まれる画像データがどのビューの画像データであるかを認識できる。
　また、例えば、ＣＰＵ２０１は、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、「view_pair_position_id」の３ビットフィールドにより、全ビューにおける２つのビューの相対的なビュー位置を認識できる。さらに、このとき、ＣＰＵ２０１は、「view_interleaving_type」の１ビットフィールドにより、インターリーブのタイプ（type）を知ることができる。
　また、例えば、ＣＰＵ２０１は、「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよび「indication_of_picture_size_scaling _vertical 」の４ビットフィールドにより、フルＨＤに対してのデコード画の水平画素比率および垂直画素比率を認識できる。
　デコーデッドバッファ２１７-1，２１７-2，２１７-3は、それぞれ、ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データを一時的に蓄積する。スケーラ２１８-1，２１８-2，２１８-3は、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。
　マルチビュー・ストリーム・コンフィグレーション・インフォには、デコード画の水平画素比率を示す「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよびデコード画の垂直画素比率を示す「indication_of_picture_size_scaling _vertical 」の４ビットフィールドが存在する。ＣＰＵ２０１は、この画素比率情報に基づいて、スケーラ２１８-1，２１８-2，２１８-3におけるスケーリング比率を制御し、所定の解像度が得られるようにする。
　この場合、ＣＰＵ２０１は、デコードした画像データの解像度、モニタの解像度およびビュー（view）の数に基づいて、デコーデッドバッファに蓄積されている画像データに対するスケーリング比を算出し、スケーラ２１８-1，２１８-2，２１８-3に指示を行う。図２８は、スケーリング比の算出例を示している。
　例えば、デコードした画像データの解像度が９６０＊１０８０で、モニタ解像度が１９２０＊１０８０で、表示するビューの数が４である場合には、スケーリング比は１／２とされる。また、例えば、デコードした画像データの解像度が１９２０＊１０８０で、モニタ解像度が１９２０＊１０８０で、表示するビューの数が４である場合には、スケーリング比は１／４とされる。さらに、例えば、デコードした画像データの解像度が１９２０＊２１６０で、モニタ解像度が３８４０＊２１６０で、表示するビューの数が８である場合には、スケーリング比は１／４とされる。
　コーデッドバッファ２２１は、デマルチプレクサ２１４で抽出される視差ストリームを一時的に蓄積する。視差デコーダ２２２は、上述の送信データ生成部１１０の視差エンコーダ１１７（図７参照）とは逆の処理を行う。すなわち、視差デコーダ２２２は、コーデッドバッファ２２１に記憶されている視差ストリームの復号化処理を行って、視差データを得る。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。視差バッファ２２３は、視差デコーダ２２２で取得された視差データを一時的に蓄積する。
　視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データを生成する。例えば、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換する（図１１参照）。また、例えば、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
　ビュー補間部２１９は、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データを補間合成する。すなわち、ビュー補間部２１９は、中央ビューと左端ビューとの間に位置する各ビューの画像データを補間合成して出力する。また、ビュー補間部２１９は、中央ビューと右端ビューとの間に位置する各ビューの画像データを補間合成して出力する。
　図２９は、ビュー補間部２１９における補間合成処理の一例を概略的に示している。図示の例において、例えば、カレントビュー（Current view）は上述の中央ビューに相当し、ターゲットビュー１（Targetview 1）は上述の左端ビューに相当し、ターゲットビュー２（Target view 2）は上述の右端ビューに相当する。
　カレントビューとターゲットビュー１との間に位置するビューの補間合成と、カレントビューとターゲットビュー２との間に位置するビューの補間合成とは、同様に行われる。以下では、カレントビューとターゲットビュー１との間に位置するビューの補間合成について説明する。
　カレントビューとターゲットビュー１との間に位置する補間合成するビューの画素は、以下のように割り当てられる。この場合、カレントビューからターゲットビュー１を指し示す視差データと、逆に、ターゲットビュー１からカレントビューを指し示す視差データとの、２方向の視差データが用いられる。まず、補間合成するビューの画素として、カレントビューの画素を、視差データをベクターとしてずらすことで、割り当てる（カレントビューからターゲットビュー１に向いた実線矢印および破線矢印と、黒丸を参照）。
　この際に、ターゲットビュー１においてターゲット・オクルーデッド（target occluded）となる部分では、以下の画素割り当てを行う。すなわち、補間合成するビューの画素として、ターゲットビュー１の画素を、視差データをベクターとしてずらすことで、割り当てる（ターゲットビュー１からカレントビューに向いた一点鎖線矢印と、白丸を参照）。
　このように、ターゲット・オクルーデッドとなる部分では、双方向の視差データを持つことで、補間合成されるビューの画素を、バックグランド（background）と見なせるビューからの画素で充当できる。なお、双方向で対応できないオクルージョン（Occlusion）領域は、ポスト（Post）処理で値を充当する。
　また、図示の矢印の先端が重なっているターゲット・オーバーラップド（target overlapped）となる部分は、ターゲットビュー１において、視差（disparity）によるシフトが重なる部分である。この部分においては、２つの視差のうち、どちらがカレントビューのフォグランド（fore ground）に相当するかを、視差データの値で判断し、選択する。この場合には、主には値の小さな方が選択される。
　図２７に戻って、コーデッドバッファ２２５は、デマルチプレクサ２１４で抽出されるグラフィクスストリームを一時的に蓄積する。グラフィクスデコーダ２２６は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１９（図７参照）とは逆の処理を行う。すなわち、グラフィクスデコーダ２２６は、コーデッドバッファ２２５に記憶されているグラフィクスストリームの復号化処理を行って、復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。また、グラフィクスデコーダ２２６は、このグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクスのビットマップデータを発生する。
　ピクセルバッファ２２７は、グラフィクスデコーダ２２６で発生されるグラフィクスのビットマップデータを一時的に蓄積する。スケーラ２２８は、ピクセルバッファ２２７に蓄積されているグラフィクスのビットマップデータのサイズを、スケーリング後の画像データのサイズに対応するように調整する。グラフィクスシフタ２２９は、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部２２４で得られる視差データに基づいてシフト処理を施す。そして、グラフィクスシフタ２２９は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ重畳するＮ個のグラフィクスのビットマップデータを生成する。
　ピクセルインターリーブ／重畳部２２０は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ対応するグラフィクスのビットマップデータを重畳する。さらに、ピクセルインターリーブ／重畳部２２０は、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理を行って、３次元画像（立体画像）の裸眼観賞のための表示用画像データを生成する。
　コーデッドバッファ２３０は、デマルチプレクサ２１４で抽出されるオーディオストリームを一時的に蓄積する。オーディオデコーダ２３１は、上述の送信データ生成部１１０のオーディオエンコーダ１２１（図７参照）とは逆の処理を行う。すなわち、オーディオデコーダ２３１は、コーデッドバッファ２３０に記憶されているオーディオスストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部２３２は、オーディオデコーダ２３１で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
　なお、デコーデッドバッファ２１７-1，２１７-2，２１７-2からの各ビューの画像データの読み出しと、視差バッファ２２３からの視差データの読み出しと、ピクセルバッファ２２７からのグラフィクスのビットマップデータの読み出しとは、ＰＴＳに基づいて行われ、転送同期が取られる。
　受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
　このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
　デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１４では、このトランスポートストリームＴＳから、識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタが抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１では、このデスクリプタの「multiview_stream_check flag」の１ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる
　デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューの画像データは、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に供給されて一時的に蓄積する。そして、ビデオデコーダ２１６-1，２１６-2，２１６-3では、ＣＰＵ２０１の制御のもと、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビデオストリームの復号化処理が行われて、中央、左端および右端の各ビューの画像データが取得される。
　また、各ビデオデコーダでは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１は、このビュー構成情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、デマルチプレクサ２１４、ビデオデコーダ２１６-1，２１６-2，２１６-3、スケーラ２１８-1，２１８-2，２１８-3、ビュー補間部２１９等の動作を制御する。
　ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データは、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3に供給されて一時的に蓄積される。スケーラ２１８-1，２１８-2，２１８-3では、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が所定の解像度となるように調整される。
　また、デマルチプレクサ２１４で抽出される視差ストリームは、コーデッドバッファ２２１に供給されて一時的に蓄積される。視差デコーダ２２２では、コーデッドバッファ２２１に記憶されている視差ストリームの復号化処理が行われて、視差データが得られる。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。
　視差デコーダ２２２で取得された視差データは、視差バッファ２２３に供給されて一時的に蓄積される。視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データが生成される。この場合、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換される。また、この場合、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
　ビュー補間部２１９では、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データが補間合成される。このビュー補間部２１９からは、３次元画像（立体画像）を裸眼観賞するためのＮ個のビュー（View1, View2,・・・,ViewN ）の画像データが得られる。なお、中央、左端および右端の各ビューの画像データも含まれる。
　また、デマルチプレクサ２１４で抽出されるグラフィクスストリームは、コーデッドバッファ２２５に供給されて一時的に蓄積される。グラフィクスデコーダ２２６では、コーデッドバッファ２２５に記憶されているグラフィクスストリームの復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。また、このグラフィクスデコーダ２２６では、このグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクスのビットマップデータが発生される。
　グラフィクスデコーダ２２６で発生されるグラフィクスのビットマップデータは、ピクセルバッファ２２７に供給されて一時的に蓄積される。スケーラ２２８では、ピクセルバッファ２２７に蓄積されているグラフィクスのビットマップデータのサイズが、スケーリング後の画像データのサイズに対応するように調整される。
　グラフィクスシフタ２２９では、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部２２４で得られる視差データに基づいてシフト処理が施される。そして、グラフィクスシフタ２２９では、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ重畳するＮ個のグラフィクスのビットマップデータが生成され、ピクセルインターリーブ／重畳部２２０に供給される。
　ピクセルインターリーブ／重畳部２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ対応するグラフィクスのビットマップデータが重畳される。また、ピクセルインターリーブ／重畳部２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理が行われて、３次元画像（立体画像）の裸眼観賞のための表示用画像データが生成される。この表示用画像データがディスプレイに供給されることで、３次元画像（立体画像）の裸眼観賞のための、画像表示が行われる。
　また、デマルチプレクサ２１４で抽出されるオーディオストリームは、コーデッドバッファ２３０に供給されて一時的に蓄積される。オーディオデコーダ２３１では、コーデッドバッファ２３０に記憶されているオーディオスストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部２３２に供給される。チャネルミキシング部２３２では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。
　上述したように、図２７に示す受信機２００においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信されるものである。そして、この受信機２００において、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
　すなわち、左端のビューおよび右端のビューの画像データだけでなく、中央のビューの画像データも受信される。そのため、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
　なお、図２７に示す受信機２００は、トランスポートストリームＴＳに視差データが符号化されて得られた視差ストリームが含まれる場合の構成例を示している。トランスポートストリームＴＳに視差ストリームが含まれていない場合には、受信された各ビューの画像データから視差データを生成して用いることになる。
　図３０は、その場合における受信機２００Ａの構成例を示している。この図３０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ａは、視差データ生成部２３３を有している。この視差データ生成部２３３は、スケーリング処理された中央、左端および右端の各ビューの画像データに基づいて、視差データを生成する。
　詳細説明は省略するが、この場合における視差データの生成方法は、上述した送信データ生成部１１０における視差データ生成部１１６における視差データ生成方法と同様である。なお、この視差データ生成部２３３は、図２７に示す受信機２００の視差データ変換部２２４で生成される画素単位の視差データと同様の視差データを生成して出力する。視差データ生成部２３３で生成された視差データは、ビュー補間部２１９に供給されると共に、フラフィクスシフタ２２９に供給されて用いられる。
　なお、図３０に示す受信機２００Ａにおいては、図２７に示す受信機２００におけるコーデッドバッファ２２１、視差デコーダ２２２、視差バッファ２２３および視差データ変換部２２４は、省略される。この図３０に示す受信機２００Ａにおけるその他の構成は、図２７に示す受信機２００の構成と同様とされる。
　＜２．変形例＞
　なお、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
　また、本技術は、以下のような構成を取ることもできる。
　（１）立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する画像データ取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部を備える
　送信装置。
　（２）上記ビデオストリームのレイヤに、該ビデオストリーム内の画像データに関するビュー構成情報を挿入するビュー構成情報挿入部をさらに備える
　前記（１）に記載の送信装置。
　（３）上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
　前記（２）に記載の送信装置。
　（４）上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されている
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されている
　前記（１）から（３）のいずれかに記載の送信装置。
　（６）上記コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む
　前記（１）から（５）のいずれかに記載の送信装置。
　（７）上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
　前記（１）から（６）のいずれかに記載の送信装置。
　（８）上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
　前記（２）に記載の送信装置。
　（９）上記コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該２つのビューの位置を示す情報が含まれる
　前記（２）または（８）に記載の送信装置。
　（１０）上記ビュー構成情報には、上記２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
　前記（９）に記載の送信装置。
　（１１）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
　前記（２）、（８）から（１０）のいずれかに記載の送信装置。
　（１２）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
　前記（２）、（８）から（１１）のいずれかに記載の送信装置。
　（１３）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
　前記（２）、（８）から（１２）のいずれかに記載の送信装置。
　（１４）上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
　上記画像データ送信部は、
　上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
　前記（１）から（１３）のいずれかに記載の送信装置。
　（１５）上記コンテナは、トランスポートストリームである
　前記（１）から（１４）のいずれかに記載の送信装置。
　（１６）立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する画像データ取得ステップと、
　上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップを備える
　送信方法。
　（１７）立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
　上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
　上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
　受信装置。
　（１８）上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
　上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
　前記（１７）に記載の受信装置。
　（１９）上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
　前記（１７）に記載の受信装置。
　（２０）立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
　上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
　上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
　受信方法。
　本技術の主な特徴は、３次元画像（立体画像）の裸眼観賞のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとを送信するようにしたことで、伝送帯域を抑制しながら再生画像品質の向上を図ることができるという画像データの効果的な伝送を可能にしたことである（図６参照）
　１０・・・画像送受信システム
　１００・・・放送局
　１１０・・・送信データ生成部
　１１１-1～１１１-N・・・画像データ出力部
　１１２・・・ビューセレクタ
　１１３-1，１１３-2，１１３-3・・・スケーラ
　１１４-1，１１４-2，１１４-3・・・ビデオエンコーダ
　１１５・・・マルチプレクサ
　１１６・・・視差データ生成部
　１１７・・・視差エンコーダ
　１１８・・・グラフィクスデータ出力部
　１１９・・・グラフィクスエンコーダ
　１２０・・・音声データ出力部
　１２１・・・オーディオエンコーダ
　２００，２００Ａ・・・受信機
　２０１・・・ＣＰＵ
　２１１・・・アンテナ端子
　２１２・・・デジタルチューナ
　２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
　２１４・・・デマルチプレクサ
　２１５-1，２１５-2，２１５-3，２２１，２２５，２３０・・・コーデッドバッファ
　２１６-1，２１６-2，２１６-3・・・ビデオデコーダ
　２１７-1，２１７-2，２１７-3・・・ビューバッファ
　２１８-1，２１８-2，２１８-3，２２８・・・スケーラ
　２１９・・・ビュー補間部
　２２０・・・ピクセルインターリーブ／重畳部
　２２２・・・視差デコーダ
　２２３・・・視差バッファ
　２２４・・・視差データ変換部
　２２６・・・グラフィクスデコーダ
　２２７・・・ピクセルバッファ
　２２９・・・グラフィクスシフタ
　２３１・・・オーディオデコーダ
　２３２・・・チャネルミキシング部
　２３３・・・視差データ生成部

Claims (20)

  1. 　立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する画像データ取得部と、
    　上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部を備える
    　送信装置。
  2. 　上記ビデオストリームのレイヤに、該ビデオストリーム内の画像データに関するビュー構成情報を挿入するビュー構成情報挿入部をさらに備える
    　請求項１に記載の送信装置。
  3. 　上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
    　請求項２に記載の送信装置。
  4. 　上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されている
    　請求項１に記載の送信装置。
  5. 　上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されている
    　請求項１に記載の送信装置。
  6. 　上記コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む
    　請求項１に記載の送信装置。
  7. 　上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
    　請求項１に記載の送信装置。
  8. 　上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
    　請求項２に記載の送信装置。
  9. 　上記コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該２つのビューの位置を示す情報が含まれる
    　請求項２に記載の送信装置。
  10. 　上記ビュー構成情報には、上記２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
    　請求項９に記載の送信装置。
  11. 　上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
    　請求項２に記載の送信装置。
  12. 　上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
    　請求項２に記載の送信装置。
  13. 　上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
    　請求項２に記載の送信装置。
  14. 　上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
    　上記画像データ送信部は、
    　上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
    　請求項１に記載の送信装置。
  15. 　上記コンテナは、トランスポートストリームである
    　請求項１に記載の送信装置。
  16. 　立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する画像データ取得ステップと、
    　上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップを備える
    　送信方法。
  17. 　立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
    　上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
    　上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
    　受信装置。
  18. 　上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
    　上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
    　請求項１７に記載の受信装置。
  19. 　上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
    　請求項１７に記載の受信装置。
  20. 　立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
    　上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
    　上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
    　受信方法。
PCT/JP2012/078637 2011-11-11 2012-11-05 送信装置、送信方法、受信装置および受信方法 WO2013069608A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/997,448 US9693033B2 (en) 2011-11-11 2012-11-05 Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
BR112013017322A BR112013017322A2 (pt) 2011-11-11 2012-11-05 dispositivo e método de transmissão, e, método de recepção
KR1020137016903A KR102009049B1 (ko) 2011-11-11 2012-11-05 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP12847913.6A EP2645724A4 (en) 2011-11-11 2012-11-05 SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-248114 2011-11-11
JP2011248114 2011-11-11

Publications (1)

Publication Number Publication Date
WO2013069608A1 true WO2013069608A1 (ja) 2013-05-16

Family

ID=48289982

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/078637 WO2013069608A1 (ja) 2011-11-11 2012-11-05 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (1) US9693033B2 (ja)
EP (1) EP2645724A4 (ja)
KR (1) KR102009049B1 (ja)
BR (1) BR112013017322A2 (ja)
WO (1) WO2013069608A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391448A (zh) * 2013-07-12 2013-11-13 上海环鼎影视科技有限公司 多视区裸眼3d播放系统及其播放方法
JP2019513320A (ja) * 2016-03-24 2019-05-23 ノキア テクノロジーズ オーユー ビデオの符号化・復号装置、方法、およびコンピュータプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN112925109A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、裸眼3d显示终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
WO2010116955A1 (ja) * 2009-04-07 2010-10-14 ソニー株式会社 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
JP2011519209A (ja) * 2008-04-10 2011-06-30 ポステック・アカデミー‐インダストリー・ファウンデーション 眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置及び方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733358B2 (ja) * 1996-04-05 2006-01-11 松下電器産業株式会社 画像伝送装置、送信装置、受信装置、送信方法および受信方法
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
EP1501316A4 (en) 2002-04-25 2009-01-21 Sharp Kk METHOD FOR GENERATING MULTIMEDIA INFORMATION, AND DEVICE FOR REPRODUCING MULTIMEDIA INFORMATION
JP4251907B2 (ja) 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100747550B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
US20080043832A1 (en) 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8274551B2 (en) 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
CN101803394A (zh) 2007-06-19 2010-08-11 韩国电子通信研究院 存储和播放立体数据的元数据结构以及使用该元数据存储立体内容文件的方法
KR100993428B1 (ko) 2007-12-12 2010-11-09 한국전자통신연구원 Ｄｍｂ 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
US8660402B2 (en) 2007-12-14 2014-02-25 Koninklijke Philips N.V. 3D mode selection mechanism for video playback
KR20090100189A (ko) * 2008-03-19 2009-09-23 삼성전자주식회사 스케일링 정보를 포함하는 스테레오스코픽 영상데이터스트림 부호화 방법 및 장치, 그리고 그 복호화 방법및 그 장치
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
AU2008362821A1 (en) * 2008-10-07 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view media data
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
RU2513912C2 (ru) 2008-12-09 2014-04-20 Сони Корпорейшн Устройство и способ обработки изображений
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8982183B2 (en) * 2009-04-17 2015-03-17 Lg Electronics Inc. Method and apparatus for processing a multiview video signal
US20110012993A1 (en) 2009-07-14 2011-01-20 Panasonic Corporation Image reproducing apparatus
JP5663857B2 (ja) 2009-10-08 2015-02-04 株式会社ニコン 画像表示装置および画像表示方法
JP2011010255A (ja) 2009-10-29 2011-01-13 Sony Corp 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP4823349B2 (ja) 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
CN102334339A (zh) 2009-12-28 2012-01-25 松下电器产业株式会社 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
DE102010009291A1 (de) 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
JP5577823B2 (ja) 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
MX2013002135A (es) 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
MX2013008311A (es) * 2011-02-16 2013-09-06 Panasonic Corp Codificador de video, metodo de codificacion de video, programa de codificacion de video, metodo de reproduccion de video y programa de reproduccion de video.
US9525858B2 (en) * 2011-07-06 2016-12-20 Telefonaktiebolaget Lm Ericsson (Publ) Depth or disparity map upscaling
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
JP6192902B2 (ja) 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP2011519209A (ja) * 2008-04-10 2011-06-30 ポステック・アカデミー‐インダストリー・ファウンデーション 眼鏡なし３次元立体テレビのための高速多視点３次元立体映像の合成装置及び方法
WO2010116955A1 (ja) * 2009-04-07 2010-10-14 ソニー株式会社 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2645724A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391448A (zh) * 2013-07-12 2013-11-13 上海环鼎影视科技有限公司 多视区裸眼3d播放系统及其播放方法
CN103391448B (zh) * 2013-07-12 2015-12-23 上海环鼎影视科技有限公司 多视区裸眼3d播放系统及其播放方法
JP2019513320A (ja) * 2016-03-24 2019-05-23 ノキア テクノロジーズ オーユー ビデオの符号化・復号装置、方法、およびコンピュータプログラム
US10863182B2 (en) 2016-03-24 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding of a monoscopic picture

Also Published As

Publication number Publication date
EP2645724A4 (en) 2014-08-06
EP2645724A1 (en) 2013-10-02
KR20140095011A (ko) 2014-07-31
KR102009049B1 (ko) 2019-08-08
BR112013017322A2 (pt) 2017-03-01
US9693033B2 (en) 2017-06-27
US20140055561A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
JP6192902B2 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US20120075421A1 (en) Image data transmission device, image data transmission method, and image data receiving device
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
CA2772927C (en) Cable broadcast receiver and 3d video data processing method thereof
WO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2013089024A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013069608A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101977260B1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13997448

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012847913

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012847913

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137016903

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12847913

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013017322

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013017322

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130704