WO2011136239A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2011136239A1
WO2011136239A1 PCT/JP2011/060196 JP2011060196W WO2011136239A1 WO 2011136239 A1 WO2011136239 A1 WO 2011136239A1 JP 2011060196 W JP2011060196 W JP 2011060196W WO 2011136239 A1 WO2011136239 A1 WO 2011136239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
identification information
video stream
information
data
Prior art date
Application number
PCT/JP2011/060196
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BRPI1105256A priority Critical patent/BRPI1105256A2/pt
Priority to EP11775020.8A priority patent/EP2434767B1/en
Priority to CN2011800025037A priority patent/CN102474643A/zh
Priority to KR20117029346A priority patent/KR20130014313A/ko
Priority to US13/377,237 priority patent/US9030526B2/en
Publication of WO2011136239A1 publication Critical patent/WO2011136239A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to a transmission device, a transmission method, a reception device, and a reception method, and in particular, a transport stream including a video stream in which two-dimensional image data is inserted and a video stream in which three-dimensional image data is inserted in a time division manner.
  • the present invention relates to a transmission device for transmission.
  • the image data may be transmitted while switching between three-dimensional (3D) image data and two-dimensional (2D) image data.
  • 3D image data is transmitted for the main program and 2D image data is transmitted for a commercial message (CM).
  • CM commercial message
  • the broadcast station transmits a video stream in which the two-dimensional image data is inserted and a transport stream including the video stream in which the three-dimensional image data is inserted in a time division manner.
  • the video stream included in the transport stream is a video stream in which two-dimensional image data is inserted or a video stream in which three-dimensional image data is inserted in a television receiver on the user side.
  • An object of the present invention is to perform appropriate and efficient processing at a receiving side that receives a video stream in which two-dimensional image data is inserted and a transport stream in which a video stream in which three-dimensional image data is inserted is included in a time division manner. Is to be able to do.
  • the concept of this invention is A transmission unit for transmitting a container in a predetermined format including the first video stream into which the two-dimensional image data is inserted and the second video stream into which the three-dimensional image data is inserted in a time-division manner; A first identification information insertion unit for inserting first identification information for identifying whether the video stream included in the container is the first video stream or the second video stream; And a second identification information insertion unit that inserts second identification information for identifying whether or not the first identification information is inserted into the container.
  • the transmission unit has a predetermined format including the first video stream into which the two-dimensional (2D) image data is inserted and the second video stream into which the three-dimensional (3D) image data is inserted in a time division manner.
  • a container is sent.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution are applicable.
  • MPEG-2 TS transport stream
  • MP4 used in Internet distribution
  • the video stream in addition to the MPEG2 video encoding method, for example, a video stream based on VC-1, MPEG4-visual, and other encoding methods is applicable.
  • the first identification information for identifying whether the video stream is the first video stream or the second video stream is inserted into the container by the first identification information insertion unit.
  • the first identification information further includes format information of the 3D image data, for example, when indicating that the second video stream into which the 3D image data is inserted is included.
  • the second identification information insertion unit inserts second identification information for identifying whether or not the first identification information is inserted into the container.
  • the first identification information insertion unit inserts the first identification information into the first layer of the container
  • the second identification information insertion unit inserts the second identification information into the first of the container.
  • the second layer higher than the second layer is inserted.
  • the first layer is a video layer
  • the second layer is a higher layer than the video layer.
  • the first layer is a picture layer or a sequence layer
  • the second layer is a transport layer.
  • the first identification information is inserted into the user data area of the picture header or sequence header of the video stream.
  • the second identification information is inserted, for example, into a descriptor under the video elementary loop of the program map table included in the transport stream.
  • the second identification information is inserted into, for example, a descriptor under the service description table or event information table included in the transport stream.
  • the receiving side can easily grasp whether the received image data is two-dimensional image data or three-dimensional image data based on the first identification information. Appropriate processing can always be performed even when the dimensional image data or vice versa.
  • the second identification information for identifying whether or not the first identification information is inserted is inserted into the container. Therefore, on the receiving side, only when the second identification information indicates that the first identification information is inserted, the first identification information is acquired and the process for the received image data is performed. It is possible to switch to an appropriate process based on the identification information. That is, on the receiving side, when the second identification information indicates that the first identification information has not been inserted, the process of acquiring the first identification information and monitoring the content can be omitted, which is efficient. Processing becomes possible.
  • three-dimensional image data is composed of left-eye image data and right-eye image data, and gives parallax to the same superimposition information that is superimposed on an image based on left-eye image data and right-eye image data.
  • a disparity information output unit that outputs the disparity information, and the transmission unit further includes disparity information output from the disparity information output unit in the container when transmitting the container including the second video stream. To be done.
  • the parallax information corresponding to the three-dimensional image data is transmitted together with the three-dimensional image data, the data on the superimposition information superimposed on the left-eye image data and the right-eye image data on the receiving side is respectively The superimposition position is adjusted based on the parallax information. Therefore, in the display of superimposition information, the consistency of perspective with each object in the stereoscopic image can be maintained in an optimal state.
  • the first video stream into which the two-dimensional image data is inserted and the second video stream into which the three-dimensional image data is inserted are included in a time division manner, and whether the video stream is the first video stream or not
  • a container having a predetermined format in which first identification information for identifying whether the video stream is a second video stream and second identification information for identifying whether or not the first identification information is inserted is inserted.
  • a receiving device including an image data processing unit.
  • the receiving unit receives a container in a predetermined format including the first video stream into which the two-dimensional image data is inserted and the second video stream into which the three-dimensional image data is inserted in a time division manner.
  • the container further includes first identification information for identifying whether the video stream is the first video stream or the second video stream, and whether or not the first identification information is inserted. Second identification information for identification is inserted.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution are applicable.
  • MPEG-2 TS transport stream
  • MP4 used in Internet distribution
  • the video stream in addition to the MPEG2 video encoding method, for example, a video stream based on VC-1, MPEG4-visual, and other encoding methods is applicable.
  • the image data acquisition unit acquires the image data from the container received by the reception unit.
  • the acquired image data is two-dimensional image data. Further, when the container includes the second video stream, the acquired image data becomes three-dimensional image data.
  • the second identification information is acquired from the container received by the reception unit by the first identification information acquisition unit.
  • the first identification information acquisition unit acquires the first identification information.
  • the image data processing unit selectively performs two-dimensional image processing or three-dimensional image processing on the image data acquired by the image data acquisition unit based on the first identification information.
  • the first identification information is identification information for identifying whether the video stream included in the container is the first video stream or the second video stream. Therefore, in the image data processing unit, when the first identification information indicates the first video stream, the two-dimensional image processing is performed on the two-dimensional image data acquired by the image data acquisition unit. In the image data processing unit, when the first identification information indicates the second video stream, the 3D image processing is performed on the 3D image data acquired by the image data acquisition unit.
  • the first identification information for identifying whether the video stream is the first video stream or the second video stream is acquired from the container. Then, in the image data processing unit, two-dimensional image processing or three-dimensional image processing is selectively performed on the received image data based on the first information. Therefore, even when the received image data is switched from 2D image data to 3D image data or vice versa, appropriate processing can always be performed.
  • the second identification information for identifying whether or not the first identification information is inserted is acquired from the container, and the second identification information is the insertion of the first identification information. Only when the first identification information is acquired, and the data processing unit performs appropriate processing on the received image data based on the first identification information. That is, when the second identification information indicates that the first identification information is not inserted, the process of acquiring the first identification information and monitoring the contents thereof can be omitted, and an efficient process is possible. .
  • the image data processing unit is received by the reception unit. Two-dimensional image processing is performed on the obtained image data.
  • the superimposition information data output unit that outputs the superimposition information data, and the data that superimposes the superimposition information data output from the superimposition information output unit on the image data output from the image data processing unit
  • the data superimposing unit further includes a superimposing unit, and the data superimposing unit performs left-eye image data when three-dimensional image processing is performed by the image data processing unit and left-eye image data and right-eye image data constituting the three-dimensional image data are output.
  • the superimposition position of the superimposition information data output from the superimposition information data output unit is adjusted, and the superposition position is adjusted.
  • two-dimensional image processing is performed in the image data processing unit, and two-dimensional image data is output.
  • this two-dimensional image data is the data of the superimposition information output from the superimposing information data output unit superimposes it, so.
  • the superimposition information data superimposed on the left-eye image data and the right-eye image data constituting the stereoscopic image data is obtained by adjusting the superimposition position based on the parallax information. Therefore, in the display of superimposition information, the consistency of perspective with each object in the stereoscopic image can be maintained in an optimal state.
  • the parallax is applied to the same superimposition information to be superimposed on the left eye image data and the right eye image data constituting the three-dimensional image data.
  • Disparity information for giving is inserted, and further includes a disparity information acquiring unit that acquires disparity information from the container, and the data superimposing unit performs 3D image processing in the image data processing unit and outputs 3D image data.
  • the superimposition position of the superimposition information data output from the superimposition information data output unit is adjusted based on the parallax information acquired by the parallax information acquisition unit.
  • the superimposition information data with the superimposition position adjusted is superimposed on the left eye image data and the right eye image data.
  • the receiving side for example, it is not necessary to process the left eye image data and the right eye image data to obtain parallax information, and the superimposition position of the superimposition information data can be adjusted easily and appropriately.
  • the first identifying whether the container includes the first video stream into which the two-dimensional image data is inserted or the second video stream into which the three-dimensional image data is inserted is included.
  • the second identification information for identifying whether or not the first identification information is inserted is included. Therefore, appropriate and efficient processing can be performed on the receiving side that receives this container.
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a broadcasting station 100 and a receiver 200.
  • the broadcast station 100 transmits a transport stream (bit stream data) TS including a first video stream (elementary stream) and a second video stream (elementary stream) in a time division manner on a broadcast wave.
  • the transport stream constitutes a container.
  • Two-dimensional (2D) image data is inserted into the first video stream.
  • three-dimensional (3D) image data is inserted into the second video stream.
  • the video stream is an MPEG2 (Moving Picture Experts Group phase 2) video stream.
  • first identification information and second identification information are inserted.
  • the first identification information is identification information for identifying whether the video stream included in the transport stream TS is the first video stream or the second video stream.
  • the second identification information is identification information that identifies whether or not the first identification information is inserted.
  • the first identification information is inserted into the first layer of the transport stream TS
  • the second identification information is inserted into the second layer of the transport stream TS.
  • the second layer is a higher layer than the first layer.
  • the first layer is a picture layer or a sequence layer
  • the second layer is a transport layer.
  • the first identification information is inserted into the user data area of the picture header or sequence header of the video stream.
  • the second identification information is inserted under the video elementary loop (VideoloopESloop) of the program map table (PMT: Program Map Table) included in the transport stream TS.
  • VideoloopESloop VideoloopESloop
  • PMT Program Map Table
  • the receiver 200 receives the transport stream TS transmitted from the broadcasting station 100 on a broadcast wave.
  • the receiver 200 acquires image data from the received transport stream TS. Further, the receiver 200 acquires second identification information from the received transport stream TS. Furthermore, when the second identification information indicates that the first identification information is inserted, the receiver 200 acquires the first identification information from the transport stream TS.
  • the first identification information is identification information for identifying whether the video stream included in the transport stream TS is the first video stream or the second video stream.
  • the receiver 200 selectively performs two-dimensional image processing or three-dimensional image processing on the received image data based on the first identification information.
  • the receiver 200 when the first identification information indicates the first video stream, the receiver 200 performs two-dimensional image processing on the received image data (two-dimensional image data) and converts the two-dimensional image data. obtain. In addition, when the first identification information indicates the second video stream, the receiver 200 performs a three-dimensional image process on the received image data (three-dimensional image data) and displays a stereoscopic image. Left-eye image data and right-eye image data are obtained.
  • the receiver 200 when the second identification information indicates that the first identification information is not inserted, the receiver 200 does not perform the process of acquiring the first identification information from the transport stream TS. At this time, the receiver 200 performs two-dimensional image processing on the received image data (two-dimensional image data) to obtain two-dimensional image data.
  • FIG. 2 shows a configuration example of the transmission data generation unit 110 that generates the above-described transport stream TS in the broadcast station 100.
  • the transmission data generation unit 110 includes a data extraction unit (archive unit) 111, a video encoder 112, a parallax information encoder 113, and an audio encoder 114.
  • the transmission data generation unit 110 includes a graphics generation unit 115, a graphics encoder 116, and a multiplexer 117.
  • a data recording medium 111a is detachably attached to the data extraction unit 111, for example.
  • audio data corresponding to the image data is recorded together with image data of a predetermined program transmitted by the transport stream TS.
  • the image data is switched to three-dimensional (3D) image data or two-dimensional (2D) image data according to the program.
  • the image data is switched to 3D image data or 2D image data in the program according to the contents of the main story and commercials.
  • the 3D image data is composed of left eye image data and right eye image data.
  • the transmission format of the 3D image data is, for example, side-by-side (Side By Side) or top-and-bottom (Top & Bottom).
  • side-by-side transmission format for example, pixel data of left eye image data is transmitted in the first half in the horizontal direction, and pixel data of right eye image data is transmitted in the second half in the horizontal direction.
  • top-and-bottom transmission format for example, the data of each line of the left eye image data is transmitted in the first half in the vertical direction, and the data of each line of the right eye image data is transmitted in the second half in the vertical direction.
  • the disparity information is a disparity vector indicating the disparity between the left eye image and the right eye image, depth data, or the like.
  • the depth data can be handled as a disparity vector by a predetermined conversion.
  • the disparity information is, for example, disparity information of each divided region obtained by dividing a view (image) into a predetermined number.
  • This parallax information is used on the receiving side to adjust the position of the same superimposition information (graphics information or the like) to be superimposed on the left eye image and the right eye image, respectively, to give parallax.
  • the data recording medium 111a is a disk-shaped recording medium, a semiconductor memory, or the like.
  • the data extraction unit 111 extracts and outputs image data, audio data, parallax information, and the like from the data recording medium 111a.
  • the video encoder 112 performs MPEG2 encoding on the image data output from the data extraction unit 111 to obtain encoded video data.
  • the video encoder 112 uses a stream formatter (not shown) provided in the subsequent stage to insert a video elementary stream (first video) into which the two-dimensional image data is inserted.
  • a video elementary stream (second video stream) into which the 3D image data is inserted is generated.
  • the disparity information encoder 113 generates a disparity information elementary stream including disparity information output from the data extraction unit 111.
  • the audio encoder 114 performs encoding such as MPEG-2Audio AAC on the audio data output from the data extraction unit 111 to generate an audio elementary stream.
  • the graphics generation unit 115 generates data (graphics data) of graphics information (including subtitle information) to be superimposed on an image.
  • the graphics encoder 116 generates a graphics elementary stream including the graphics data generated by the graphics generating unit 115.
  • the graphics information constitutes superimposition information.
  • the graphics information is, for example, a logo.
  • the subtitle information is, for example, a caption.
  • This graphics data is bitmap data.
  • the graphics data is added with idling offset information indicating the superimposed position on the image.
  • the idling offset information indicates, for example, offset values in the vertical direction and the horizontal direction from the upper left origin of the image to the upper left pixel of the superimposed position of the graphics information.
  • the standard for transmitting subtitle data as bitmap data is standardized and operated as “DVB_Subtitling” in DVB, which is a European digital broadcasting standard.
  • the multiplexer 117 packetizes and multiplexes the elementary streams generated by the video encoder 112, the disparity information encoder 113, the audio encoder 114, and the graphics encoder 116, and generates a transport stream TS.
  • the transport stream TS is a video elementary stream in which the 2D image data is inserted (the first stream) during a predetermined program period in which the 2D image data is output from the data extracting unit 111 or a predetermined period in the program.
  • Video stream a video elementary stream in which the 3D image data is inserted during a predetermined program period in which the 3D image data is output from the data extracting unit 111 or a predetermined period in the program. 2 video streams).
  • the multiplexer 117 inserts the above-described first identification information and second identification information into the transport stream TS.
  • the transport stream TS has the first and second identification information.
  • the first identification information is identification information for identifying whether the video stream included in the transport stream TS is the first video stream or the second video stream.
  • the second identification information is identification information for identifying whether or not the first identification information is inserted. Details of the insertion of the first and second identification information in the multiplexer 117 will be described later.
  • Image data (3D image data or 2D image data) output from the data extraction unit 111 is supplied to the video encoder 112.
  • the image data is subjected to MPEG2 encoding, and a video elementary stream (MPEG2 video stream) including the encoded video data is generated.
  • MPEG2 video stream a video elementary stream including the encoded video data
  • the image data is 2D image data
  • a video elementary stream (first video stream) into which the 2D image data is inserted is generated.
  • a video elementary stream (second video stream) into which the 3D image data is inserted is generated.
  • the video elementary stream generated by the video encoder 112 is supplied to the multiplexer 117.
  • parallax information corresponding to the 3D image data is also output from the data extracting unit 111.
  • This parallax information is supplied to the parallax information encoder 113.
  • the disparity information encoder 113 performs predetermined encoding on the disparity information, and generates a disparity information elementary stream including the encoded data. This disparity information elementary stream is supplied to the multiplexer 117.
  • audio data corresponding to the image data is also output from the data extracting unit 111.
  • This audio data is supplied to the audio encoder 114.
  • the audio encoder 114 performs encoding such as MPEG-2Audio AAC on the audio data, and generates an audio elementary stream including the encoded audio data. This audio elementary stream is supplied to the multiplexer 117.
  • the graphics generation unit 115 in response to the image data output from the data extraction unit 111, the graphics generation unit 115 generates data (graphics data) of graphics information (including subtitle information) to be superimposed on the image (view).
  • This graphics data is supplied to the graphics encoder 116.
  • the graphics data is subjected to predetermined coding, and a graphics elementary stream including the coded data is generated. This graphics elementary stream is supplied to the multiplexer 117.
  • the elementary streams supplied from the encoders are packetized and multiplexed to generate a transport stream TS.
  • a video elementary stream (first video stream) in which the two-dimensional image data is inserted during a predetermined program period in which the two-dimensional image data is output from the data extraction unit 111 or a predetermined period in the program. ) Is included.
  • a video elementary stream (second stream) in which the 3D image data is inserted during a predetermined program period in which the 3D image data is output from the data extracting unit 111 or a predetermined period in the program.
  • Video stream a video elementary stream in which the 3D image data is inserted during a predetermined program period in which the 3D image data is output from the data extracting unit 111 or a predetermined period in the program.
  • first identification information for identifying whether the video stream is the first video stream or the second video stream is inserted into the transport stream TS. Further, in the multiplexer 117, second identification information for identifying whether or not the first identification information is inserted is inserted into the transport stream TS.
  • the multiplexer 117 inserts the first and second identification information into the transport stream TS.
  • the multiplexer 117 inserts the first identification information into the picture layer or the sequence layer. That is, in this embodiment, the multiplexer 117 inserts the first identification information into the user data area of the picture header or sequence header of the video elementary stream (video stream). Specifically, the multiplexer 117 inserts 3D signaling information (Stereo_Video_Format_Signaling ()) including the first identification information into the user data area.
  • the multiplexer 117 inserts the second identification information into the transport layer. That is, in this embodiment, the multiplexer 117 has the second identification information under the video elementary loop (Video ESloop) of the program map table (PMT: Program Map Table) included in the transport stream TS. Insert. Specifically, the multiplexer 117 inserts a video stream descriptor (Video_stream_descriptor ()) including the second identification information under the video elementary loop.
  • Video ESloop Video ESloop
  • PMT Program Map Table
  • FIG. 3 shows a configuration example of the transport stream TS.
  • the PES packet “Video PES” of the video elementary stream is included.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the transport stream includes an EIT (EventInformation Table) as SI (Serviced Information) for managing each event.
  • the PMT includes a program descriptor (Program Descriptor) that describes information related to the entire program.
  • the PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (Video ES loop). In this elementary loop, information such as a packet identifier (PID) and a stream type (Stream_Type) is arranged for each stream, and a descriptor describing information related to the elementary stream is also arranged. In this configuration example, illustration of parallax information, audio, graphics, and the like is omitted for simplification of the drawing.
  • PID packet identifier
  • Stream_Type stream type
  • 3D signaling information (Stereo_Video_Format_Signaling ()) is inserted in the user data area of the video elementary stream.
  • a video stream descriptor (Video_stream_descriptor) is inserted in the PMT video elementary loop (Video ES loop) as a descriptor describing information related to the video elementary stream.
  • FIG. 4 schematically shows an example of the structure of a video elementary stream (Video Elementary Stream).
  • a sequence header portion including parameters in sequence units (GOP units) is arranged at the head.
  • a picture header including parameters and user data in units of pictures is arranged.
  • a payload portion including picture data is arranged.
  • the picture header part and the payload part are repeatedly arranged.
  • the 3D signaling information (Stereo_Video_Format_Signaling ()) including the first identification information is inserted into the user data area of the picture header or sequence header of the video elementary stream (video stream).
  • FIG. 5 illustrates an example of a structure (syntax) of user data (userdata) including 3D signaling information (Stereo_Video_Format_Signaling ()).
  • the data identifier after the start code (user_data_start_code) is a 3D signaling information identifier (Stereo_Video_Format_Signaling_identifier)
  • 3D signaling information is arranged as the subsequent data body.
  • FIG. 6 shows a structural example (syntax) of 3D signaling information (Stereo_Video_Format_Signaling ()).
  • FIG. 7 shows 3D signaling information and data specification contents (semantics) of user data including the 3D signaling information.
  • Stepreo_Video_Format_Signaling_identifier a unique identifier of 4 bytes (32 bits) is assigned.
  • Stepreo_Video_Format_Signaling_Length is 8-bit data indicating the length (size) of 3D signaling information. This data indicates the number of bytes after this data as the length of the descriptor.
  • “Stereo_Video_Format_Signaling_type” is 7-bit data constituting the first identification information.
  • the 7-bit data is “0000011”
  • the image data inserted in the video stream is three-dimensional (3D) image data
  • the transmission format is side-by-side.
  • the 7-bit data is “0000100”
  • it indicates that the image data inserted in the video stream is three-dimensional image data and the transmission format is top-and-bottom.
  • the 7-bit data is “0001000”
  • the side-by-side refers to a system in which left-eye and right-eye images are reduced by half in the horizontal direction and arranged on the left and right of one screen.
  • the left image is for the left eye
  • the right image is for the right eye as viewed from the viewer.
  • the boundary of the two-screen image is assumed to be a sample position that is 1 ⁇ 2 of the effective sampling number per scanning line.
  • FIG. 8 shows an example of a specific screen dividing method. For example, the sampling position at the time of reduction between the two screens is assumed to be the same, and the operation that is fixed between the scanning lines is the main focus.
  • the top and bottom refers to a method in which the left-eye and right-eye images are reduced in half only in the vertical direction and arranged on the top and bottom of one screen.
  • the upper image is for the left eye and the lower image is for the right eye as viewed from the viewer.
  • the boundary of the two-screen image is assumed to be a position that is 1/2 the number of lines in the vertical direction of one effective screen.
  • FIG. 8 shows an example of a specific screen dividing method.
  • the 7-bit data “Stereo_Video_Format_Signaling_type” can identify whether the image data inserted into the video stream is 3D image data or 2D image data. Therefore, it is possible to identify whether the video stream included in the transport stream TS is the first video stream or the second video stream by the 7-bit data.
  • FIG. 9 shows a structural example (syntax) of a video stream descriptor (Video_stream_descriptor ()).
  • This descriptor itself is already in the MPEG2 standard.
  • 1-bit flag data of “3DFormat_Signaling_existed” is newly defined in this video stream descriptor. This flag data constitutes second identification information. “1” indicates that 3D signaling information is inserted in the user data area of the video stream. “0” indicates that 3D signaling information is not inserted in the user data area of the video stream.
  • FIG. 10 shows an example of a state in which 3D signaling information is inserted in the user data area of the picture header of the video stream, that is, a state in which 3D signaling information is inserted in units of pictures.
  • three-dimensional (3D) image data is transmitted for the main program, and two-dimensional (2D) image data is transmitted for CM (commercial message).
  • CM commercial message
  • the 1-bit flag data of “3DFormat_Signaling_existed” is set to “1”.
  • FIG. 11 shows an example of a state in which 3D signaling information is inserted in the user data area of the sequence header of the video stream, that is, a state in which 3D signaling information is inserted in sequence units.
  • 1-bit flag data of “3DFormat_Signaling_existed” is set to “1” corresponding to the insertion of signaling information into the user data area of the sequence header.
  • FIG. 12 shows a configuration example of the receiver 200.
  • the receiver 200 includes a CPU 201, a flash ROM 202, a DRAM 203, an internal bus 204, a remote control receiver 205, and a remote controller transmitter 206.
  • the receiver 200 also includes an antenna terminal 210, a digital tuner 211, a transport stream buffer (TS buffer) 212, and a demultiplexer 213.
  • TS buffer transport stream buffer
  • the receiver 200 includes a video decoder 214, a 3D signal processing unit 215, view buffers 216L and 216R, and video superimposing units 217L and 217R. Furthermore, the receiver 200 includes a graphics decoder 218, a graphics generation unit 219, a disparity information decoder 220, graphics buffers 221L and 221R, an audio decoder 222, and a channel processing unit 223.
  • the CPU 201 controls the operation of each unit of receiver 200.
  • the flash ROM 202 stores control software and data.
  • the DRAM 203 constitutes a work area for the CPU 201.
  • the CPU 201 develops software and data read from the flash ROM 202 on the DRAM 203 and activates the software to control each unit of the receiver 200.
  • the remote control receiving unit 205 receives a remote control signal (remote control code) transmitted from the remote control transmitter 206 and supplies it to the CPU 201.
  • CPU201 controls each part of receiver 200 based on this remote control code.
  • the CPU 201, flash ROM 202 and DRAM 203 are connected to the internal bus 204.
  • the antenna terminal 210 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 211 processes the television broadcast signal input to the antenna terminal 210 and outputs a predetermined transport stream (bit stream data) TS corresponding to the user's selected channel.
  • the transport stream buffer (TS buffer) 212 temporarily stores the transport stream TS output from the digital tuner 211.
  • the transport stream TS includes a first video stream (elementary stream) into which 2D image data is inserted and a second video stream (elementary stream) into which 3D image data is inserted. Is included in a time-sharing manner.
  • the first identification information and the second identification information are inserted into the transport stream TS (see FIG. 3).
  • the first identification information is identification information for identifying whether the video stream is the first video stream or the second video stream.
  • the second identification information is identification information that identifies whether or not the first identification information is inserted.
  • 3D signaling information (Stereo_Video_Format_Signaling ()) is inserted into the user data area of the picture header or sequence header of the first video stream and the second video stream included in the transport stream TS.
  • This 3D signaling information includes 7-bit data of “Stereo_Video_Format_Signaling_type” as the first identification information (see FIG. 6).
  • Video_stream_descriptor () is inserted under a video elementary loop (Video ESloop) of a program map table (PMT: Program Map Table) included in the transport stream TS.
  • This descriptor includes 1-bit flag data of “3DFormat_Signaling_existed” as second identification information (see FIG. 9).
  • the demultiplexer 213 extracts video, disparity information, graphics, and audio elementary streams from the transport stream TS temporarily stored in the TS buffer 212.
  • the disparity information elementary stream is extracted only when the video stream (video elementary stream) included in the transport stream TS is a second video stream in which three-dimensional (3D) image data is inserted.
  • the demultiplexer 213 extracts a program map table (PMT) from the transport stream TS and supplies information of this table to the CPU 201.
  • this table also includes a video stream descriptor (Video_stream_descriptor ()) having 1-bit flag data of “3DFormat_Signaling_existed” as second identification information.
  • Video_stream_descriptor () having 1-bit flag data of “3DFormat_Signaling_existed” as second identification information.
  • the CPU 201 identifies whether or not 3D signaling information (Stereo_Video_Format_Signaling ()) is inserted in the user data area of the picture header or sequence header of the video stream.
  • the video decoder 214 performs processing opposite to that of the video encoder 112 of the transmission data generation unit 110 described above. That is, the video decoder 214 performs a decoding process on the encoded image data included in the video elementary stream (video stream) extracted by the demultiplexer 213 to obtain decoded image data.
  • the video decoder 214 extracts user data (userdata) included in the user data area of the picture header or sequence header of the video stream, and supplies the user data to the CPU 201. As described above, this user data also includes 3D signaling information (Stereo_Video_Format_Signaling ()) having 7-bit data of “Stereo_Video_Format_Signaling_type” as the first identification information.
  • 3D signaling information Stepo_Video_Format_Signaling () having 7-bit data of “Stereo_Video_Format_Signaling_type” as the first identification information.
  • each unit of the receiver 200 is in a state of performing two-dimensional image processing. To do. Further, when the CPU 101 identifies that the 7-bit data is “0000011” or “0000100” and is the second video stream in which the three-dimensional image data is inserted, each unit of the receiver 200 is three-dimensionally identified. The image processing state is set.
  • the flowchart of FIG. 13 shows the procedure of the control process of the CPU 201.
  • CPU201 starts a process in step ST1, and moves to the process of step ST2 after that.
  • step ST2 the CPU 201 determines whether or not the 1-bit flag data “3DFormat_Signaling_existed” is “1”.
  • step ST3 the CPU 201 proceeds to the process of step ST3.
  • step ST3 the CPU 201 indicates that “Stereo_Video_Format_Signaling_type” indicates that the image data inserted in the video stream is two-dimensional (2D) image data or three-dimensional (3D) image data. Judgment is made.
  • “Stereo_Video_Format_Signaling_type” indicates three-dimensional image data
  • the CPU 201 proceeds to the process of step ST4.
  • step ST4 the CPU 201 sets each unit of the receiver 200 to a state in which three-dimensional image processing is performed, and then returns to the processing in step ST2.
  • the 3D signal processing unit 215 when the output image data of the video decoder 214 is three-dimensional image data, the 3D signal processing unit 215 performs processing corresponding to the transmission format to obtain the left eye image data SL and the right eye image data SR. Generate. Note that when the output image data of the video decoder 214 is two-dimensional image data, the 3D signal processing unit 215 outputs the two-dimensional image data as it is.
  • the view buffer 216L temporarily accumulates the left-eye image data SL generated by the 3D signal processing unit 215 when being in a three-dimensional image processing state under the control of the CPU 201.
  • the view buffer 216L temporarily accumulates the two-dimensional image data SV output from the 3D signal processing unit 215 when the two-dimensional image processing state is set under the control of the CPU 201.
  • the view buffer 216R temporarily accumulates the right-eye image data SR generated by the 3D signal processing unit 215 when the three-dimensional image processing state is set under the control of the CPU 201.
  • the graphics decoder 218 performs processing reverse to that of the graphics encoder 116 of the transmission data generation unit 110 described above. That is, the graphics decoder 218 obtains decoded graphics data (including subtitle data) by performing a decoding process on the encoded graphics data included in the graphics elementary stream extracted by the demultiplexer 213.
  • the disparity information decoder 220 performs processing opposite to that of the disparity information encoder 113 of the transmission data generation unit 110 described above. That is, the disparity information decoder 220 performs decoding processing on the encoded disparity information included in the disparity information elementary stream extracted by the demultiplexer 213 to obtain decoded disparity information.
  • the disparity information is a disparity vector indicating the disparity between the left eye image and the right eye image, depth data, or the like.
  • the depth data can be handled as a disparity vector by a predetermined conversion.
  • the disparity information is, for example, disparity information of each divided region obtained by dividing a view (image) into a predetermined number.
  • the graphics generation unit 219 generates graphics information data to be superimposed on the image based on the graphics data obtained by the graphics decoder 218.
  • the graphics generation unit 219 generates graphics information data to be superimposed on the left-eye image data and the right-eye image data, respectively, when the CPU 201 controls the three-dimensional image processing state.
  • the graphics generation unit 219 adjusts the superimposition position of the graphics information to be superimposed on each image based on the parallax information obtained by the parallax information decoder 220, and gives parallax to each.
  • the graphics generation unit 219 generates graphics information data to be superimposed on the two-dimensional image data when the two-dimensional image processing state is set under the control of the CPU 201.
  • the graphics buffer 221L temporarily accumulates graphics information data to be superimposed on the left-eye image data generated by the graphics generation unit 219 when the CPU 201 controls the 3D image processing state.
  • the graphics buffer 221L temporarily accumulates graphics information data to be superimposed on the two-dimensional image data generated by the graphics generation unit 219 when the CPU 201 controls the two-dimensional image processing state.
  • the graphics buffer 221R temporarily accumulates graphics information data to be superimposed on the right-eye image data when the CPU 201 controls the three-dimensional image processing state.
  • the video superimposing unit 217L outputs image data SL ′ for displaying a left-eye image on which graphics information is superimposed when the CPU 201 controls the three-dimensional image processing state. At this time, the video superimposing unit 217L superimposes the graphics information data accumulated in the graphics buffer 221L on the left eye image data SL accumulated in the view buffer 216L to obtain left eye image data SL ′. In addition, when the video superimposing unit 217L enters the two-dimensional image processing state under the control of the CPU 201, the video superimposing unit 217L outputs two-dimensional image data SV ′ for displaying a two-dimensional image on which graphics information is superimposed. At this time, the video superimposing unit 217L obtains the two-dimensional image data SV ′ by superimposing the graphics information data stored in the graphics buffer 221L on the two-dimensional image data SV stored in the view buffer 216L.
  • the video superimposing unit 217R outputs right-eye image data SR ′ for displaying a right-eye image on which graphics information is superimposed when the three-dimensional image processing state is set under the control of the CPU 201. At this time, the video superimposing unit 217R superimposes the graphics information data accumulated in the graphics buffer 221R on the right eye image data SR accumulated in the view buffer 216R.
  • the audio decoder 222 performs processing opposite to that of the audio encoder 114 of the transmission data generation unit 110 described above. That is, the audio decoder 222 performs a decoding process on the encoded audio data included in the audio elementary stream extracted by the demultiplexer 213 to obtain decoded audio data.
  • the channel processing unit 223 generates and outputs audio data SA of each channel for realizing, for example, 5.1ch surround with respect to the audio data obtained by the audio decoder 222.
  • a television broadcast signal input to the antenna terminal 210 is supplied to the digital tuner 211.
  • the television broadcast signal is processed, and a predetermined transport stream TS corresponding to the user's selected channel is output.
  • This transport stream TS is temporarily stored in the TS buffer 212.
  • the demultiplexer 213 extracts elementary streams of video, disparity information, graphics, and audio from the transport stream TS temporarily stored in the TS buffer 212.
  • the disparity information elementary stream is extracted only when the transport stream TS includes a video stream (second video stream) in which 3D image data is inserted.
  • the demultiplexer 213 extracts a program map table (PMT) from the transport stream TS. Information in this table is supplied to the CPU 201. As described above, this table includes a video stream descriptor (Video_stream_descriptor ()) having 1-bit flag data of “3DFormat_Signaling_existed” as second identification information (see FIG. 9). Based on the 1-bit flag data of “3DFormat_Signaling_existed”, the CPU 201 identifies whether or not 3D signaling information (Stereo_Video_Format_Signaling ()) is inserted in the user data area of the picture header or sequence header of the video stream. .
  • PMT program map table
  • the video elementary stream (video stream) extracted by the demultiplexer 213 is supplied to the video decoder 214.
  • decoding processing is performed on the encoded image data included in the video elementary stream extracted by the demultiplexer 213, and decoded image data is obtained.
  • 3D image data is inserted into the video elementary stream
  • 2D image data is obtained.
  • the video decoder 214 extracts user data included in the user data area of the picture header or sequence header of the video stream. This user data is supplied to the CPU 201. As described above, this user data includes 3D signaling information (Stereo_Video_Format_Signaling ()) having 7-bit data of “Stereo_Video_Format_Signaling_type” as the first identification information (see FIG. 6).
  • 3D signaling information (Stereo_Video_Format_Signaling ()) having 7-bit data of “Stereo_Video_Format_Signaling_type” as the first identification information (see FIG. 6).
  • the video stream is identified based on the 7-bit data of “Stereo_Video_Format_Signaling_type”. In the CPU 201, based on the 7-bit data, whether the video stream is the first video stream into which the two-dimensional image data is inserted or the second video stream into which the three-dimensional image data is inserted. Identified.
  • the CPU 101 causes each part of the receiver 200 to perform the two-dimensional image processing. It is said. Further, when the 7-bit data is “0000011” or “0000100” and is identified as the second video stream into which the three-dimensional image data is inserted, each part of the receiver 200 is set to 3 by the CPU 101. A state in which the dimensional image processing is performed.
  • each unit of the receiver 200 is set to a three-dimensional (3D) image processing state
  • the 3D image data obtained by the video decoder 214 is supplied to the 3D signal processing unit 215.
  • the 3D signal processing unit 215 when the output image data of the video decoder 214 is three-dimensional image data, processing corresponding to the transmission format is performed, and left eye image data SL and right eye image data SR are generated.
  • the left eye image data SL is temporarily stored in the view buffer 216L
  • the right eye image data SR is temporarily stored in the view buffer 216R.
  • the graphics elementary stream extracted by the demultiplexer 213 is supplied to the graphics decoder 218.
  • decoding processing is performed on the encoded graphics data included in the graphics elementary stream, and decoded graphics data (including subtitle data) is obtained.
  • the graphics data is supplied to the graphics generation unit 219.
  • the disparity information elementary stream extracted by the demultiplexer 213 is supplied to the disparity information decoder 220.
  • the disparity information decoder 220 decoding processing is performed on the encoded disparity information included in the disparity information elementary stream, and decoded disparity information is obtained. This disparity information is supplied to the graphics generation unit 219.
  • the graphics generator 219 generates graphics information data to be superimposed on the image based on the graphics data obtained by the graphics decoder 218.
  • the graphics generation unit 219 adjusts the superimposition position of the graphics information to be superimposed on each of the left eye image and the right eye image based on the disparity information obtained by the disparity information decoder 220, and assigns disparity to each. Is done.
  • the graphics information data to be superimposed on the left eye image data generated by the graphics generator 219 is temporarily stored in the graphics buffer 221L. Also, the graphics information data to be superimposed on the right eye image data generated by the graphics generation unit 219 is temporarily stored in the graphics buffer 221R.
  • the video superimposing unit 217L superimposes the graphics information data stored in the graphics buffer 221L on the left eye image data SL stored in the view buffer 216L, thereby obtaining left eye image data SL ′.
  • the left eye image data SL ′ is output as image data for displaying a left eye image on which graphics information is superimposed.
  • the video superimposing unit 217R superimposes the graphics information data accumulated in the graphics buffer 221R on the right eye image data SR accumulated in the view buffer 216R to obtain the right eye image data SR ′.
  • the right eye image data SR ′ is output as image data for displaying a right eye image on which graphics information is superimposed.
  • each unit of the receiver 200 is in a two-dimensional (2D) image processing state.
  • the two-dimensional image data SV obtained by the video decoder 214 is output as it is from the 3D signal processing unit 215.
  • This two-dimensional image data SV is temporarily stored in the view buffer 216L.
  • the graphics elementary stream extracted by the demultiplexer 213 is supplied to the graphics decoder 218.
  • decoding processing is performed on the encoded graphics data included in the graphics elementary stream, and decoded graphics data (including subtitle data) is obtained.
  • the graphics data is supplied to the graphics generation unit 219.
  • the graphics generator 219 generates graphics information data to be superimposed on the image based on the graphics data obtained by the graphics decoder 218.
  • the graphics information data is temporarily stored in the graphics buffer 221L.
  • the video superimposing unit 217L superimposes the graphics information data stored in the graphics buffer 221L on the two-dimensional image data SV stored in the view buffer 216L to obtain two-dimensional image data SV ′.
  • the two-dimensional image data SV ′ is output as image data for displaying a two-dimensional image on which graphics information is superimposed.
  • the audio elementary stream extracted by the demultiplexer 213 is supplied to the audio decoder 222.
  • decoding processing is performed on encoded audio data included in the audio elementary stream, and decoded audio data is obtained.
  • the audio data is supplied to the channel processing unit 223.
  • the channel processing unit 223 generates and outputs audio data SA of each channel for realizing, for example, 5.1ch surround for the audio data.
  • the first identification information is inserted into the transport stream TS transmitted from the broadcast station 100 in the image transmission / reception system 10 shown in FIG.
  • the first identification information is identification information for identifying whether the video stream is the first video stream into which the two-dimensional image data is inserted or the second video stream into which the three-dimensional image data is inserted. It is.
  • 3D signaling information including 7-bit data of “Stereo_Video_Format_Signaling_type” as the first identification information is inserted into the user data area of the picture header or sequence header of the video stream included in the transport stream TS. . Therefore, the receiving side can easily grasp whether the received image data is two-dimensional image data or three-dimensional image data based on the first identification information. Appropriate processing can always be performed even when the dimensional image data or vice versa.
  • second identification information for identifying whether or not the first identification information is inserted is inserted into the transport stream TS transmitted from the broadcasting station 100.
  • a video stream descriptor including 1-bit flag data of “3DFormat_Signaling_existed” as second identification information is inserted under the video elementary loop of the PMT.
  • the receiving side only when the second identification information indicates that the first identification information is inserted, the first identification information is acquired and the process for the received image data is performed. It is possible to switch to an appropriate process based on the identification information. That is, on the receiving side, when the second identification information indicates that the first identification information has not been inserted, the process of acquiring the first identification information and monitoring the content can be omitted, which is efficient. Processing becomes possible.
  • disparity information is further included in the transport stream TS.
  • This disparity information is for giving disparity to the same superimposition information to be superimposed on the image by the left eye image data and the right eye image data constituting the three-dimensional image data.
  • the parallax information corresponding to the 3D image data is transmitted to the receiving side together with the 3D image data. Therefore, on the receiving side, the superimposition information data superimposed on the left-eye image data and the right-eye image data is obtained by adjusting the superimposition position based on the parallax information. Therefore, in the display of superimposition information, perspective consistency with each object in the stereoscopic image can be maintained in an optimum state.
  • the receiver 200 uses the first stream for identifying whether the video stream is the first video stream or the second video stream from the transport stream TS. Identification information is acquired. Then, two-dimensional image processing or three-dimensional image processing is selectively performed on the received image data based on the first information. Therefore, the receiver 200 can always perform appropriate processing even when the received image data is switched from 2D image data to 3D image data or vice versa.
  • the receiver 200 acquires second identification information for identifying whether or not the first identification information is inserted from the transport stream TS. Only when the identification information indicates that there is insertion of the first identification information, a process of acquiring the first identification information and monitoring its contents is performed. Therefore, when the second identification information indicates that the first identification information has not been inserted, the receiver 200 can omit the process of acquiring the first identification information and monitoring the contents thereof, which is an efficient process. Is possible.
  • the receiver 200 receives a transport stream TS1 including a video stream (second video stream) into which three-dimensional (3D) image data is inserted, 3
  • the processing state of the dimensional image data is set.
  • the graphics generation unit 219 based on the disparity information obtained by the disparity information decoder 220, the superimposition position of the graphics information to be superimposed on each image of the left eye image and the right eye image is adjusted, and the disparity is given to each. . Therefore, in the display of graphics information, the perspective consistency with each object in the stereoscopic image can be maintained in an optimum state.
  • the receiver 200 is inserted into the transport stream TS when adjusting the superimposition position of the graphics information to be superimposed on each image of the left eye image and the right eye image. Disparity information is extracted and used. Therefore, in the receiver 200, for example, it is not necessary to process the left eye image data and the right eye image data to obtain parallax information, and the adjustment of the superimposition position of the superimposition information data can be easily and appropriately performed.
  • the first identification information is 7-bit data of “Stereo_Video_Format_Signaling_type” included in the 3D signaling information.
  • the first identification information is not limited to 7-bit data of “Stereo_Video_Format_Signaling_type”. In short, it is possible to identify whether the video stream included in the transport stream TS is the first video stream into which the two-dimensional image data is inserted or the second video stream into which the three-dimensional image data is inserted. Any information is sufficient.
  • the second identification information is inserted into the descriptor under the video elementary loop of the PMT.
  • the place where the second identification information is inserted is not limited to this place. That is, the second identification information may be sent in SI (Service Information) sent in units of programs.
  • SI Service Information
  • the second identification information may be inserted into a descriptor under a service description table (SDT: Service ⁇ ⁇ Description Table) included in the transport stream TS.
  • SDT Service ⁇ ⁇ Description Table
  • EIT event information table
  • the second identification information is 1-bit flag data of “3DFormat_Signaling_existed” included in the video stream descriptor.
  • the second identification information is not limited to 1-bit flag data of “3DFormat_Signaling_existed”. In short, any information that can identify whether or not the first identification information is inserted into the transport stream TS may be used.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present invention can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • the Internet distribution it is often distributed in a container of MP4 or other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.
  • the video stream is an MPEG2 video stream.
  • this video stream is not limited to an MPEG2 video stream, and may be a video stream based on, for example, VC-1, MPEG4-visual, and other encoding methods.
  • the superimposition information is graphics
  • other superimposition information such as closed captions can be considered in the same manner.
  • graphics data is transmitted together with image data from the transmission side.
  • the superimposition information data may be an OSD display generated on the reception side.
  • the present invention can be applied to a stereoscopic image data transmission / reception system that transmits stereoscopic image data on a broadcast wave or distributes stereoscopic image data via a network such as the Internet.
  • DESCRIPTION OF SYMBOLS 10 ... Image transmission / reception system 100 ... Broadcasting station 110 ... Transmission data generation part 111 ... Data extraction part 111a ... Data recording medium 112 ... Video encoder 113 ... Parallax information encoder 114- ..Audio encoder 115 ... Graphics generator 116 ... Graphics encoder 117 ... Multiplexer 200 ... Receiver 201 ... CPU 202 ... Flash ROM 203 ... DRAM 204: Internal bus 205 ... Remote control receiver 206 ... Remote control transmitter 210 ... Antenna terminal 211 ... Digital tuner 212 ... Transport stream buffer (TS buffer) 213 ... Demultiplexer 214 ... Video decoder 215 ...
  • TS buffer Transport stream buffer

Abstract

【課題】２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれるトランスポートストリームＴＳを受信する受信側において、適切かつ効率的な処理を可能とする。 【解決手段】トランスポートストリームＴＳに、第１の識別情報および第２の識別情報を挿入する。第１の識別情報は、ストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。ピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報を含む３Ｄシグナリング情報を挿入する。ＰＭＴのビデオエレメンタリ・ループの配下に挿入されたビデオ・ストリーム・デスクリプタに第２の識別情報を含める。

Description

送信装置、送信方法、受信装置および受信方法
　この発明は、送信装置、送信方法、受信装置および受信方法に関し、特に、２次元画像データが挿入されたビデオストリームおよび３次元画像データが挿入されたビデオストリームを時分割的に含むトランスポートストリームを送信する送信装置等に関する。
　従来、立体映像を表示するシステムとして、様々なものが知られている。例えば、特許文献１～３に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。
特開平９－１３８３８４号公報 特開２０００－３６９６９号公報 特開２００３－４５３４３号公報
　テレビ番組などのコンテンツを放送局からユーザのテレビ受像機に送信することを想定した場合、画像データとして、３次元（３Ｄ）画像データと、２次元（２Ｄ）画像データを切り換えながら送信することが考えられる。例えば、番組本編については３次元画像データを送信し、ＣＭ（commercial message）については２次元画像データを送信するような場合が考えられる。この場合、放送局からは、２次元画像データが挿入されたビデオストリームおよび３次元画像データが挿入されたビデオストリームを時分割的に含むトランスポートストリームが送信されることになる。
　この場合、ユーザ側のテレビ受像機において、トランスポートストリームに含まれているビデオストリームが、２次元画像データが挿入されたビデオストリームであるか、３次元画像データが挿入されたビデオストリームであるかを識別可能とすることが望まれる。すなわち、識別可能であれば、受信画像データに対して常に適切な処理を行うことが可能となる。
　この発明の目的は、２次元画像データが挿入されたビデオストリームおよび３次元画像データが挿入されたビデオストリームが時分割的に含まれるトランスポートストリームを受信する受信側において、適切かつ効率的な処理を行い得るようにすることにある。
　この発明の概念は、
　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナを送信する送信部と、
　上記コンテナに、含まれているビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入部と、
　上記コンテナに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入部と
　を備える送信装置にある。
　この発明において、送信部により、２次元（２Ｄ）画像データが挿入された第１のビデオストリームおよび３次元（３Ｄ）画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナが送信される。コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。ビデオストリームとしては、ＭＰＥＧ２ｖｉｄｅｏの符号化方式の他に、例えば、ＶＣ－１やＭＰＥＧ４－ｖｉｓｕａｌ、その他の符号化方式によるビデオストリームが該当する。
　第１の識別情報挿入部により、コンテナに、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する第１の識別情報が挿入される。なお、第１の識別情報は、例えば、３次元画像データが挿入された第２のビデオストリームが含まれていることを示す場合には、３次元画像データのフォーマット情報をさらに含む、ようにされる。また、第２の識別情報挿入部により、コンテナに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。
　この発明において、例えば、第１の識別情報挿入部は、第１の識別情報をコンテナの第１のレイヤに挿入し、第２の識別情報挿入部は、第２の識別情報をコンテナの第１のレイヤより上位の第２のレイヤに挿入する、ようにされる。例えば、第１のレイヤはビデオのレイヤであり、第２のレイヤはビデオのレイヤよりも上位のレイヤである。
　ここで、例えば、コンテナがトランスポートストリームであるとき、第１のレイヤはピクチャレイヤまたはシーケンスレイヤであり、第２のレイヤはトランスポートレイヤである。この場合、第１の識別情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。また、この場合、第２の識別情報は、例えば、トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入される。あるいは、第２の識別情報は、例えば、トランスポートストリームに含まれるサービス・デスクリプション・テーブルまたはイベント・インフォメーション・テーブルの配下の記述子に挿入される。
　このように、この発明においては、コンテナに、このコンテナに含まれているビデオストリームが、２次元画像データが挿入されたビデオストリームであるか、３次元画像データが挿入されたビデオストリームであるかを識別する第１の識別情報が挿入される。そのため、受信側において、この第１の識別情報に基づいて、受信画像データが２次元画像データであるか３次元画像データであるかを容易に把握でき、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても常に適切な処理を行うことができる。
　また、この発明においては、コンテナに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。そのため、受信側においては、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報を取得して、受信画像データに対する処理を、この第１の識別情報に基づいて適切な処理に切り換えることが可能となる。つまり、受信側においては、第２の識別情報が第１の識別情報の挿入がないことを示す場合には、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。
　また、この発明において、例えば、３次元画像データは左眼画像データおよび右眼画像データにより構成され、左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報を出力する視差情報出力部をさらに備え、送信部は、第２のビデオストリームを含むコンテナを送信する際に、このコンテナに、視差情報出力部から出力される視差情報をさらに含める、ようにされる。
　この場合、３次元画像データと共に、この３次元画像データに対応した視差情報が送信されるので、受信側において、左眼画像データおよび右眼画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。そのため、重畳情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　また、この発明の他の概念は、
　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれ、さらに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報と、該第１の識別情報の挿入があるか否かを識別する第２の識別情報とが挿入されている所定フォーマットのコンテナを受信する受信部と、
　上記受信部で受信されたコンテナから画像データを取得する画像データ取得部と、
　上記受信部で受信されたコンテナから上記第２の識別情報を取得する第１の識別情報取得部と、
　上記第１の識別情報取得部で取得された上記第２の識別情報が上記第１の識別情報の挿入があることを示すとき、上記コンテナから上記第１の情報を取得する第２の識別情報取得部と、
　上記画像データ取得部で取得された画像データに対して、上記第２の識別情報取得部で取得された上記第１の識別情報に基づいて、２次元画像処理または３次元画像処理を選択的に行う画像データ処理部と
　を備える受信装置にある。
　この発明において、受信部により、２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれる所定フォーマットのコンテナが受信される。このコンテナには、さらに、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する第１の識別情報と、この第１の識別情報の挿入があるか否かを識別する第２の識別情報とが挿入されている。コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。ビデオストリームとしては、ＭＰＥＧ２ｖｉｄｅｏの符号化方式の他に、例えば、ＶＣ－１やＭＰＥＧ４－ｖｉｓｕａｌ、その他の符号化方式によるビデオストリームが該当する。
　画像データ取得部により、受信部で受信されたコンテナから画像データが取得される。この場合、コンテナに第１のビデオストリームが含まれているとき、この取得画像データは２次元画像データとなる。また、コンテナに第２のビデオストリームが含まれているとき、この取得画像データは３次元画像データとなる。
　第１の識別情報取得部により、受信部で受信されたコンテナから第２の識別情報が取得される。また、この第２の識別情報が第１の識別情報の挿入があることを示すとき、第１の識別情報取得部により、第１の識別情報が取得される。そして、画像データ処理部により、画像データ取得部で取得された画像データに対して、第１の識別情報に基づいて、２次元画像処理または３次元画像処理が選択的に行われる。
　上述したように、第１の識別情報は、コンテナに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別するための識別情報である。そのため、画像データ処理部では、第１の識別情報が第１のビデオストリームであることを示すとき、画像データ取得部で取得された２次元画像データに対して２次元画像処理が行われる。また、画像データ処理部では、第１の識別情報が第２のビデオストリームであることを示すとき、画像データ取得部で取得された３次元画像データに対して３次元画像処理が行われる。
　このように、この発明においては、コンテナから、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別するための第１の識別情報が取得される。そして、画像データ処理部では、受信画像データに対して、この第１の情報に基づいて、２次元画像処理または３次元画像処理が選択的に行われる。そのため、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても、常に適切な処理を行うことができる。
　また、この発明においては、コンテナから第１の識別情報の挿入があるか否かを識別する第２の識別情報が取得され、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報が取得され、データ処理部では、この第１の識別情報に基づいて、受信画像データに対して適切な処理が行われる。つまり、第２の識別情報が第１の識別情報の挿入がないことを示す場合は、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。
　また、この発明において、例えば、画像データ処理部は、第１の識別情報取得部で取得される第２の識別情報が第１の識別情報の挿入がないことを示すとき、受信部で受信された画像データに対して、２次元画像処理を行う、ようにされる。
　また、この発明において、例えば、重畳情報のデータを出力する重畳情報データ出力部と、画像データ処理部から出力される画像データに、重畳情報出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、データ重畳部は、画像データ処理部で３次元画像処理が行われて３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、左眼画像データによる左眼画像と右眼画像データによる右眼画像との間の視差情報に基づいて、重畳情報データ出力部から出力される重畳情報のデータの重畳位置を調整し、この重畳位置が調整された重畳情報のデータを上記左眼画像データおよび上記右眼画像データに重畳し、画像データ処理部で２次元画像処理が行われて２次元画像データが出力されるとき、この２次元画像データに、重畳情報データ出力部から出力される重畳情報のデータをそのまま重畳する、ようにされる。
　この場合、立体画像データを構成する左眼画像データおよび右眼画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。そのため、重畳情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　そして、この発明において、例えば、コンテナには、第２のビデオストリームが含まれる場合、３次元画像データを構成する左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報が挿入されており、コンテナから視差情報を取得する視差情報取得部をさらに備え、データ重畳部は、画像データ処理部で３次元画像処理が行われて３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、視差情報取得部で取得された視差情報に基づいて、重畳情報データ出力部から出力される重畳情報のデータの重畳位置を調整し、この重畳位置が調整された重畳情報のデータを左眼画像データおよび右眼画像データに重畳する、ようにされる。この場合、受信側で、例えば、左眼画像データおよび右眼画像データを処理して視差情報を得る必要がなく、重畳情報のデータの重畳位置の調整を簡単かつ適切に行うことができる。
　この発明によれば、コンテナに、２次元画像データが挿入された第１のビデオストリームが含まれているか３次元画像データが挿入された第２のビデオストリームが含まれているかを識別する第１の識別情報と、この第１の識別情報の挿入があるか否かを識別する第２の識別情報とが挿入される。そのため、このコンテナを受信する受信側において、適切かつ効率的な処理を行うことができる。
この発明の第１の実施の形態としての画像送受信システムの構成例を示すブロック図である。 画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。 第１の識別情報および第２の識別情報が挿入されたトランスポートストリームＴＳの構成例を示す図である。 ビデオエレメンタリストリーム（ビデオストリーム）の構造を概略的に示した図である。 ３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））を含むユーザデータ（userdata）の構造（syntax）の一例を示す図である。 ３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の構造例（syntax）を示す図である。 ３Ｄシグナリング情報と、この３Ｄシグナリング情報を含むユーザデータのデータ規定内容（semantics）を示す図である。 サイド・バイ・サイド（Side by Side）およびトップ・アンド・ボトム（Top & Bottom）の具体的な画面分割方法の一例を示す図である。 ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor）の構造例（syntax）を示す図である。 ビデオストリームのピクチャヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりピクチャ単位で３Ｄシグナリング情報が挿入されている状態の一例を示す図である。 ビデオストリームのシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりシーケンス単位で３Ｄシグナリング情報が挿入されている状態の一例を示す図である。 画像送受信システムを構成する受信機の構成例を示すブロック図である。 第１の識別情報および第２の識別情報に基づくＣＰＵの制御処理の手順の一例を示すフローチャートである。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、第１のビデオストリーム（エレメンタリストリーム）および第２のビデオストリーム（エレメンタリストリーム）を時分割的に含むトランスポートストリーム（ビットストリームデータ）ＴＳを、放送波に載せて送信する。ここで、トランスポートストリームはコンテナを構成している。第１のビデオストリームには、２次元（２Ｄ）画像データが挿入されている。また、第２のビデオストリームには、３次元（３Ｄ）画像データが挿入されている。ここで、ビデオストリームは、ＭＰＥＧ２（Moving Picture Experts Group phase 2）ビデオストリームである。
　トランスポートストリームＴＳには、第１の識別情報および第２の識別情報が挿入されている。第１の識別情報は、トランスポートストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。ここで、第１の識別情報はトランスポートストリームＴＳの第１のレイヤに挿入され、第２の識別情報はトランスポートストリームＴＳの第２のレイヤに挿入される。
　第２のレイヤは、第１のレイヤより上位のレイヤである。例えば、第１のレイヤはピクチャレイヤまたはシーケンスレイヤとされ、第２のレイヤはトランスポートレイヤとされる。この実施の形態において、第１の識別情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。また、第２の識別情報は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下に挿入される。
　受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００は、受信されたトラスポートストリームＴＳから、画像データを取得する。また、受信機２００は、受信されたトランスポートストリームＴＳから、第２の識別情報を取得する。さらに、受信機２００は、第２の識別情報が第１の識別情報の挿入があることを示すとき、トランスポートストリームＴＳから第１の識別情報を取得する。
　この第１の識別情報は、上述したように、トランスポートストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。受信機２００は、この第１の識別情報に基づいて、受信画像データに対して、２次元画像処理または３次元画像処理を、選択的に行う。
　すなわち、受信機２００は、第１の識別情報が第１のビデオストリームであることを示すとき、受信画像データ（２次元画像データ）に対して２次元画像処理を行って、２次元画像データを得る。また、受信機２００は、第１の識別情報が第２のビデオストリームであることを示すとき、受信画像データ（３次元画像データ）に対して３次元画像処理を行って、立体画像を表示するための左眼画像データおよび右眼画像データを得る。
　なお、受信機２００は、第２の識別情報が第１の識別情報の挿入がないことを示すとき、トランスポートストリームＴＳから第１の識別情報を取得する処理を行わない。このとき、受信機２００は、受信画像データ（２次元画像データ）に対して２次元画像処理を行って、２次元画像データを得る。
　「送信データ生成部の構成例」
　図２は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。
　データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する所定番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、３次元（３Ｄ）画像データあるいは２次元（２Ｄ）画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、３次元画像データあるいは２次元画像データに切り替わる。
　３次元画像データは、左眼画像データおよび右眼画像データにより構成されている。３次元画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side By Side）あるいはトップ・アンド・ボトム（Top &Bottom）とされる。サイド・バイ・サイドの伝送フォーマットでは、例えば、水平方向の前半では左眼画像データのピクセルデータが伝送され、水平方向の後半では右眼画像データのピクセルデータが伝送される。また、トップ・アンド・ボトムの伝送フォーマットでは、例えば、垂直方向の前半では左眼画像データの各ラインのデータが伝送され、垂直方向の後半では右眼画像データの各ラインのデータが伝送される。
　画像データが３次元画像データである場合、このデータ記録媒体１１１ａには、この３次元画像データに対応付けて、視差情報も記録されている。この視差情報は、左眼画像と右眼画像との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。この視差情報は、受信側において、左眼画像および右眼画像にそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、画像データ、音声データ、視差情報等を取り出して出力する。
　ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、ＭＰＥＧ２の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、画像データが２次元画像データであるときは、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）を生成する。また、画像データが３次元画像データであるときは、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）を生成する。
　視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報を含む視差情報エレメンタリストリームを生成する。オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。
　グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。
　グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
　マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。
　このトランスポートストリームＴＳは、データ取り出し部１１１から２次元画像データが出力される所定番組の期間、あるいは番組内の所定期間は、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）を含むものとなる。また、このトランスポートストリームＴＳは、データ取り出し部１１１から３次元画像データが出力される所定番組の期間、あるいは番組内の所定期間は、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）を含むものとなる。
　マルチプレクサ１１７は、このトランスポートストリームＴＳに、上述した、第１の識別情報および第２の識別情報を挿入する。これにより、このトランスポートストリームＴＳは、第１、第２の識別情報を有するものとなる。第１の識別情報は、上述したように、トランスポートストリームＴＳに含まれているビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。また、第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。マルチプレクサ１１７における第１、第２の識別情報の挿入の詳細説明は後述する。
　図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される画像データ（３次元画像データあるいは２次元画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対してＭＰＥＧ２の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリーム（ＭＰＥＧ２ビデオストリーム）が生成される。
　この場合、画像データが２次元画像データであるときは、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）が生成される。また、画像データが３次元画像データであるときは、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）が生成される。このようにビデオエンコーダ１１２で生成されたビデオエレメンタリストリームは、マルチプレクサ１１７に供給される。
　また、データ取り出し部１１１から３次元画像データが出力されるとき、このデータ取り出し部１１１からその３次元画像データに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。
　また、データ取り出し部１１１から画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。
　また、データ取り出し部１１１から出力される画像データに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。
　マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。このストリームＴＳには、データ取り出し部１１１から２次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この２次元画像データが挿入されたビデオエレメンタリストリーム（第１のビデオストリーム）が含まれる。また、このストリームＴＳには、データ取り出し部１１１から３次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この３次元画像データが挿入されたビデオエレメンタリストリーム（第２のビデオストリーム）が含まれる。
　また、マルチプレクサ１１７では、トランスポートストリームＴＳに、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する第１の識別情報が挿入される。また、マルチプレクサ１１７では、トランスポートストリームＴＳに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。
　［第１、第２の識別情報とその挿入］
　上述したように、マルチプレクサ１１７は、トランスポートストリームＴＳに、第１、第２の識別情報を挿入する。マルチプレクサ１１７は、第１の識別情報を、ピクチャレイヤまたはシーケンスレイヤに挿入する。すなわち、この実施の形態において、マルチプレクサ１１７は、ビデオエレメンタリストリーム（ビデオストリーム）のピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報を挿入する。具体的には、マルチプレクサ１１７は、そのユーザデータ領域に、第１の識別情報を含む３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））を挿入する。
　また、マルチプレクサ１１７は、第２の識別情報を、トランスポートレイヤに挿入する。すなわち、この実施の形態において、マルチプレクサ１１７は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下に、第２の識別情報を挿入する。具体的には、マルチプレクサ１１７は、ビデオエレメンタリ・ループの配下に、第２の識別情報を含むビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）を挿入する。
　図３は、トランスポートストリームＴＳの構成例を示している。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」が含まれている。また、トランスポートストリームＴＳには、ＰＳＩ（ProgramSpecific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。
　この構成例では、ビデオエレメンタリストリームのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、ビデオエレメンタリストリームに関連する情報を記述するデスクリプタとして、ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor）が挿入されている。
　図４は、ビデオエレメンタリストリーム（Video Elementary Stream）の構造例を概略的に示している。ビデオエレメンタリストリームには、先頭に、シーケンス単位（ＧＯＰ単位）のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。
　上述したように、第１の識別情報を含む３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））は、ビデオエレメンタリストリーム（ビデオストリーム）のピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。図５は、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））を含むユーザデータ（userdata）の構造（syntax）の一例を示している。開始コード（user_data_start_code）の後のデータ識別子が、３Ｄシグナリング情報識別子（Stereo_Video_Format_Signaling_identifier）であるとき、その後のデータ本体として、３Ｄシグナリング情報が配置される。
　図６は、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の構造例（syntax）を示している。図７は、３Ｄシグナリング情報と、この３Ｄシグナリング情報を含むユーザデータのデータ規定内容（semantics）を示している。「Stereo_Video_Format_Signaling_identifier」として、４バイト（３２ビット）のユニークな識別子が割り当てられる。「Stereo_Video_Format_Signaling_Length」は、３Ｄシグナリング情報の長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、このデータ以降のバイト数を示す。
　「Stereo_Video_Format_Signaling_type」は、第１の識別情報を構成する７ビットのデータである。７ビットのデータが“０００００１１”であるとき、ビデオストリームに挿入されている画像データが３次元（３Ｄ）画像データであり、その伝送フォーマットがサイド・バイ・サイドであることを示す。また、７ビットのデータが“００００１００”であるとき、ビデオストリームに挿入されている画像データが３次元画像データであり、その伝送フォーマットがトップ・アンド・ボトムであることを示す。さらに、７ビットのデータが“０００１０００”であるとき、ビデオストリームに挿入されている画像データが２次元（２Ｄ）画像データであることを示す。
　ここで、サイド・バイ・サイド（Side by Side）とは、左眼用および右眼用の画像を水平方向にのみ１／２に縮小して、１画面の左右に配置した方式のことを指す。この場合、例えば、２画面画像は、視聴者から見て左側の画像が左眼用、右側の画像が右眼用であるとする。また、例えば、２画面画像の境界は、１走査線当たりの有効標本化数の１／２の標本位置であるとする。図８に、具体的な画面分割方法の一例を示している。例えば、２画面間で縮小時の標本化位置は同一のものとし、走査線間で固定とする運用を主眼とする。
　また、トップ・アンド・ボトム（Top & Bottom）とは、左眼用および右眼用の画像を垂直方向にのみ１／２に縮小して、１画面の上下に配置した方式のことを指す。この場合、例えば、２画面画像は、視聴者から見て上側の画像が左眼用、下側の画像が右眼用であるとする。また、例えば、２画面画像の境界は、１有効画面の垂直方向ライン数の１／２の位置であるとする。図８に、具体的な画面分割方法の一例を示している。
　上述したように、「Stereo_Video_Format_Signaling_type」の７ビットのデータにより、ビデオストリームに挿入されている画像データが３次元画像データであるか２次元画像データであるかを識別できる。したがって、この７ビットのデータにより、トランスポートストリームＴＳに含まれるビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別することが可能となる。
　なお、２次元画像と３次元画像との切り換えを行う場合、ピクチャデータ（Picture data()）が切り替わるフレームと、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が切り替わるフレームとを一致させることとする。
　図９は、ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）の構造例（syntax）を示している。このデスクリプタ自体は、既にＭＰＥＧ２の規格に入っている。ここでは、このビデオ・ストリーム・デスクリプタに、「3DFormat_Signaling_existed」の１ビットのフラグデータを新たに定義する。このフラグデータは、第２の識別情報を構成している。“１”は、ビデオストリームのユーザデータ領域に３Ｄシグナリング情報が挿入されていることを示す。また、“０”は、ビデオストリームのユーザデータ領域に３Ｄシグナリング情報が挿入されていないことを示す。
　図１０は、ビデオストリームのピクチャヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりピクチャ単位で３Ｄシグナリング情報が挿入されている状態の一例を示している。この例では、番組本編については３次元（３Ｄ）画像データが送信され、ＣＭ（commercial message）については２次元（２Ｄ）画像データが送信されている。そして、このピクチャヘッダのユーザデータ領域へのシグナリング情報の挿入に対応して、「3DFormat_Signaling_existed」の１ビットのフラグデータは“１”とされている。
　図１１は、ビデオストリームのシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報が挿入されている状態、つまりシーケンス単位で３Ｄシグナリング情報が挿入されている状態の一例を示している。この例では、このシーケンスヘッダのユーザデータ領域へのシグナリング情報の挿入に対応して、「3DFormat_Signaling_existed」の１ビットのフラグデータは“１”とされている。
　「受信機の構成例」
　図１２は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１０と、デジタルチューナ２１１と、トランスポートストリームバッファ（ＴＳバッファ）２１２と、デマルチプレクサ２１３を有している。
　また、受信機２００は、ビデオデコーダ２１４と、３Ｄ信号処理部２１５と、ビューバッファ２１６Ｌ，２１６Ｒと、ビデオ重畳部２１７Ｌ，２１７Ｒを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１Ｌ，２２１Ｒと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
　ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
　アンテナ端子２１０は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１２は、デジタルチューナ２１１から出力されたトランスポートストリームＴＳを一時的に蓄積する。
　このトランスポートストリームＴＳには、上述したように、２次元画像データが挿入された第１のビデオストリーム（エレメンタリストリーム）および３次元画像データが挿入された第２のビデオストリーム（エレメンタリストリーム）が時分割的に含まれている。また、このトランスポートストリームＴＳには、第１の識別情報および第２の識別情報が挿入されている（図３参照）。第１の識別情報は、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別する識別情報である。第２の識別情報は、第１の識別情報の挿入があるか否かを識別する識別情報である。
　トランスポートストリームＴＳに含まれる第１のビデオストリームおよび第２のビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が挿入されている。この３Ｄシグナリング情報には、第１の識別情報としての、「Stereo_Video_Format_Signaling_type」の７ビットのデータが含まれている（図６参照）。
　また、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下に、ビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）が挿入されている。このデスクリプタには、第２の識別情報としての、「3DFormat_Signaling_existed」の１ビットのフラグデータが含まれている（図９参照）。
　デマルチプレクサ２１３は、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳに含まれるビデオストリーム（ビデオエレメンタリストリーム）が、３次元（３Ｄ）画像データが挿入された第２のビデオストリームである場合のみ抽出される。
　また、デマルチプレクサ２１３は、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）を抽出し、このテーブルの情報をＣＰＵ２０１に供給する。上述したように、このテーブルには、第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータを有するビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）も含まれている。ＣＰＵ２０１は、この「3DFormat_Signaling_existed」の１ビットのフラグデータに基づいて、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の挿入があるか否かを識別する。
　ビデオデコーダ２１４は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１４は、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオストリーム）に含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。
　また、このビデオデコーダ２１４は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に含まれているユーザデータ（userdata）を抽出し、このユーザデータをＣＰＵ２０１に供給する。上述したように、このユーザデータには、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータを有する３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））も含まれている。
　第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるとき、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータが存在する。ＣＰＵ２０１は、「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるとき、「Stereo_Video_Format_Signaling_type」の７ビットのデータに基づいて、ビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかを識別する。
　ＣＰＵ１０１は、７ビットのデータが“０００１０００”であって、２次元画像データが挿入された第１のビデオストリームであると識別するとき、受信機２００の各部を、２次元画像処理を行う状態とする。また、ＣＰＵ１０１は、７ビットのデータが“０００００１１”あるいは“００００１００”であって、３次元画像データが挿入された第２のビデオストリームであると識別するとき、受信機２００の各部を、３次元画像処理を行う状態とする。
　図１３のフローチャートは、ＣＰＵ２０１の制御処理の手順を示している。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ２０１は、「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるか否かを判断する。「3DFormat_Signaling_existed=1」であるとき、ＣＰＵ２０１は、ステップＳＴ３の処理に移る。
　このステップＳＴ３において、ＣＰＵ２０１は、「Stereo_Video_Format_Signaling_type」が、ビデオストリームに挿入されている画像データが２次元（２Ｄ）画像データであることを示しているか３次元（３Ｄ）画像データであることを示しているかを判断する。「Stereo_Video_Format_Signaling_type」が３次元画像データであることを示しているとき、ＣＰＵ２０１は、ステップＳＴ４の処理に移る。このステップＳＴ４において、ＣＰＵ２０１は、受信機２００の各部を、３次元画像処理を行う状態とし、その後に、ステップＳＴ２の処理に戻る。
　また、ステップＳＴ２で「3DFormat_Signaling_existed=0」であるとき、ＣＰＵ２０１は、ステップＳＴ５の処理に移る。また、ステップＳＴ３で「Stereo_Video_Format_Signaling_type」が２次元画像データであることを示しているときも、ＣＰＵ２０１は、ステップＳＴ５の処理に移る。このステップＳＴ５において、ＣＰＵ２０１は、受信機２００の各部を、２次元画像処理を行う状態とし、その後に、ステップＳＴ２の処理に戻る。
　図１２に戻って、３Ｄ信号処理部２１５は、ビデオデコーダ２１４の出力画像データが３次元画像データであるとき、伝送フォーマットに対応した処理を行って左眼画像データＳＬおよび右眼画像データＳＲを生成する。なお、３Ｄ信号処理部２１５は、ビデオデコーダ２１４の出力画像データが２次元画像データであるとき、この２次元画像データをそのまま出力する。
　ビューバッファ２１６Ｌは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、３Ｄ信号処理部２１５で生成された左眼画像データＳＬを一時的に蓄積する。また、ビューバッファ２１６Ｌは、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、３Ｄ信号処理部２１５から出力される２次元画像データＳＶを一時的に蓄積する。また、ビューバッファ２１６Ｒは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、３Ｄ信号処理部２１５で生成された右眼画像データＳＲを一時的に蓄積する。
　グラフィクスデコーダ２１８は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６とは逆の処理を行う。すなわち、グラフィクスデコーダ２１８は、デマルチプレクサ２１３で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。
　視差情報デコーダ２２０は、上述の送信データ生成部１１０の視差情報エンコーダ１１３とは逆の処理を行う。すなわち、視差情報デコーダ２２０は、デマルチプレクサ２１３で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、左眼画像と右眼画像との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。
　グラフィクス発生部２１９は、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、左眼画像データおよび右眼画像データにそれぞれ重畳するグラフィクス情報のデータを発生する。この場合、グラフィクス発生部２１９は、視差情報デコーダ２２０で得られる視差情報に基づいて、各画像に重畳するグラフィクス情報の重畳位置を調整し、それぞれに視差を付与する。また、グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、２次元画像データに重畳するグラフィクス情報のデータを発生する。
　グラフィクスバッファ２２１Ｌは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、グラフィクス発生部２１９で発生される、左眼画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１Ｌは、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、グラフィクス発生部２１９で発生される、２次元画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１Ｒは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、右眼画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。
　ビデオ重畳部２１７Ｌは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、グラフィクス情報が重畳された左眼画像を表示するための画像データＳＬ′を出力する。このとき、ビデオ重畳部２１７Ｌは、ビューバッファ２１６Ｌに蓄積された左眼画像データＳＬに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータを重畳して、左眼画像データＳＬ′を得る。また、ビデオ重畳部２１７Ｌは、ＣＰＵ２０１の制御により、２次元画像処理状態とされるとき、グラフィクス情報が重畳された２次元画像を表示するための２次元画像データＳＶ′を出力する。このとき、ビデオ重畳部２１７Ｌは、ビューバッファ２１６Ｌに蓄積された２次元画像データＳＶに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータを重畳して、２次元画像データＳＶ′を得る。
　また、ビデオ重畳部２１７Ｒは、ＣＰＵ２０１の制御により、３次元画像処理状態とされるとき、グラフィクス情報が重畳された右眼画像を表示するための右眼画像データＳＲ′を出力する。このとき、ビデオ重畳部２１７Ｒは、ビューバッファ２１６Ｒに蓄積された右眼画像データＳＲに、グラフィクスバッファ２２１Ｒに蓄積されたグラフィクス情報のデータを重畳する。
　オーディオデコーダ２２２は、上述の送信データ生成部１１０のオーディオエンコーダ１１４とは逆の処理を行う。すなわち、このオーディオデコーダ２２２は、デマルチプレクサ２１３で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２３は、オーディオデコーダ２２２で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。
　受信機２００の動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１２に一時的に蓄積される。
　デマルチプレクサ２１３では、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳに３次元画像データが挿入されたビデオストリーム（第２のビデオストリーム）が含まれている場合のみ抽出される。
　また、デマルチプレクサ２１３では、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）が抽出される。このテーブルの情報はＣＰＵ２０１に供給される。このテーブルには、上述したように、第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータを有するビデオ・ストリーム・デスクリプタ（Video_stream_descriptor()）が含まれている（図９参照）。ＣＰＵ２０１では、この「3DFormat_Signaling_existed」の１ビットのフラグデータに基づいて、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））の挿入があるか否かが識別される。
　デマルチプレクサ２１３で抽出されるビデオエレメンタリストリーム（ビデオストリーム）は、ビデオデコーダ２１４に供給される。このビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された画像データが得られる。この場合、ビデオエレメンタリストリームに３次元画像データが挿入されているとき、３次元画像データが得られる。また、この場合、ビデオエレメンタリストリームに２次元画像データが挿入されているとき、２次元画像データが得られる。
　また、ビデオデコーダ２１４では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に含まれているユーザデータが抽出される。このユーザデータはＣＰＵ２０１に供給される。上述したように、このユーザデータには、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータを有する３Ｄシグナリング情報（Stereo_Video_Format_Signaling（））が含まれている（図６参照）。
　ＣＰＵ２０１では、「3DFormat_Signaling_existed」の１ビットのフラグデータが“１”であるとき、「Stereo_Video_Format_Signaling_type」の７ビットのデータに基づいて、ビデオストリームの識別が行われる。ＣＰＵ２０１では、この７ビットのデータに基づいて、ビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかが識別される。
　７ビットのデータが“０００１０００”であって、２次元画像データが挿入された第１のビデオストリームであると識別されるとき、ＣＰＵ１０１により、受信機２００の各部は、２次元画像処理を行う状態とされる。また、７ビットのデータが“０００００１１”あるいは“００００１００”であって、３次元画像データが挿入された第２のビデオストリームであると識別されるとき、ＣＰＵ１０１により、受信機２００の各部は、３次元画像処理を行う状態とされる。
　以下、最初に、受信機２００の各部が３次元（３Ｄ）画像処理状態とされる場合について説明する。ビデオデコーダ２１４で得られる３次元画像データは、３Ｄ信号処理部２１５に供給される。３Ｄ信号処理部２１５では、ビデオデコーダ２１４の出力画像データが３次元画像データであるとき、伝送フォーマットに対応した処理が行われて、左眼画像データＳＬおよび右眼画像データＳＲが生成される。左眼画像データＳＬはビューバッファ２１６Ｌに一時的に蓄積され、右眼画像データＳＲはビューバッファ２１６Ｒに一時的に蓄積される。
　また、デマルチプレクサ２１３で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。
　また、デマルチプレクサ２１３で抽出された視差情報エレメンタリストリームは、視差情報デコーダ２２０に供給される。この視差情報デコーダ２２０では、視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われて、復号化された視差情報が得られる。この視差情報は、グラフィクス発生部２１９に供給される。
　このグラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。この場合、グラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、左眼画像および右眼画像の各画像に重畳するグラフィクス情報の重畳位置が調整されて、それぞれに視差が付与される。
　このグラフィクス発生部２１９で発生される、左眼画像データに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２１Ｌに一時的に蓄積される。また、グラフィクス発生部２１９で発生される、右眼画像データに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２１Ｒに一時的に蓄積される。
　ビデオ重畳部２１７Ｌでは、ビューバッファ２１６Ｌに蓄積された左眼画像データＳＬに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータが重畳されて、左眼画像データＳＬ′が得られる。この左眼画像データＳＬ′は、グラフィクス情報が重畳された左眼画像を表示するための画像データとして出力される。また、ビデオ重畳部２１７Ｒでは、ビューバッファ２１６Ｒに蓄積された右眼画像データＳＲに、グラフィクスバッファ２２１Ｒに蓄積されたグラフィクス情報のデータが重畳されて、右眼画像データＳＲ′が得られる。この右眼画像データＳＲ′は、グラフィクス情報が重畳された右眼画像を表示するための画像データとして出力される。
　次に、受信機２００の各部が２次元（２Ｄ）画像処理状態とされる場合について説明する。ビデオデコーダ２１４で得られる２次元画像データＳＶは、３Ｄ信号処理部２１５からそのまま出力される。この２次元画像データＳＶはビューバッファ２１６Ｌに一時的に蓄積される。
　また、デマルチプレクサ２１３で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。
　このグラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２２１Ｌに一時的に蓄積される。
　ビデオ重畳部２１７Ｌでは、ビューバッファ２１６Ｌに蓄積された２次元画像データＳＶに、グラフィクスバッファ２２１Ｌに蓄積されたグラフィクス情報のデータが重畳されて、２次元画像データＳＶ′が得られる。この２次元画像データＳＶ′は、グラフィクス情報が重畳された２次元画像を表示するための画像データとして出力される。
　また、デマルチプレクサ２１３で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２２２に供給される。このオーディオデコーダ２２２では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２２３に供給される。チャネル処理部２２３では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。
　以上説明したように、図１に示す画像送受信システム１０において、放送局１００から送信されるトランスポートストリームＴＳに、第１の識別情報が挿入される。この第１の識別情報は、ビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかを識別する識別情報である。
　具体的には、トランスポートストリームＴＳに含まれるビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報としての「Stereo_Video_Format_Signaling_type」の７ビットのデータを含む３Ｄシグナリング情報が挿入される。そのため、受信側において、この第１の識別情報に基づいて、受信画像データが２次元画像データであるか３次元画像データであるかを容易に把握でき、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても常に適切な処理を行うことができる。
　また、図１に示す画像送受信システム１０において、放送局１００から送信されるトランスポートストリームＴＳに、第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入される。具体的には、ＰＭＴのビデオエレメンタリ・ループの配下に、第２の識別情報としての「3DFormat_Signaling_existed」の１ビットのフラグデータを含むビデオ・ストリーム・デスクリプタが挿入される。
　そのため、受信側においては、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報を取得して、受信画像データに対する処理を、この第１の識別情報に基づいて適切な処理に切り換えることが可能となる。つまり、受信側においては、第２の識別情報が第１の識別情報の挿入がないことを示す場合には、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。
　また、図１に示す画像送受信システム１０において、放送局１００から送信されるトランスポートストリームＴＳが３次元画像データを挿入したビデオストリームを含む場合、このトランスポートストリームＴＳにさらに視差情報も含められる。この視差情報は、３次元画像データを構成する左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するためのものである。
　この場合、受信側には、３次元画像データと共に、この３次元画像データに対応した視差情報が送信される。そのため、受信側において、左眼画像データおよび右眼画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。したがって、重畳情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　また、図１に示す画像送受信システム１０において、受信機２００では、トランスポートストリームＴＳから、ビデオストリームが第１のビデオストリームであるか第２のビデオストリームであるかを識別するための第１の識別情報が取得される。そして、受信画像データに対して、この第１の情報に基づいて、２次元画像処理または３次元画像処理が選択的に行われる。そのため、受信機２００では、受信画像データが２次元画像データから３次元画像データ、あるいはこの逆に時分割的に切り替わる場合であっても、常に適切な処理を行うことができる。
　また、図１に示す画像送受信システム１０において、受信機２００では、トランスポートストリームＴＳから第１の識別情報の挿入があるか否かを識別する第２の識別情報が取得され、この第２の識別情報が第１の識別情報の挿入があることを示す場合のみ、第１の識別情報を取得してその内容を監視する処理が行われる。したがって、第２の識別情報が第１の識別情報の挿入がないことを示す場合、受信機２００では、第１の識別情報を取得してその内容を監視する処理を省略でき、効率的な処理が可能となる。
　また、図１に示す画像送受信システム１０において、受信機２００では、３次元（３Ｄ）画像データを挿入したビデオストリーム（第２のビデオストリーム）を含むトランスポートストリームＴＳ１が送られてくるとき、３次元画像データの処理状態とされる。そして、グラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、左眼画像および右眼画像の各画像に重畳するグラフィクス情報の重畳位置が調整され、それぞれに視差が付与される。そのため、グラフィクス情報の表示において、立体画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　また、図１に示す画像送受信システム１０において、受信機２００では、左眼画像および右眼画像の各画像に重畳するグラフィクス情報の重畳位置を調整する際に、トランスポートストリームＴＳに挿入されている視差情報が抽出されて使用される。そのため、受信機２００では、例えば、左眼画像データおよび右眼画像データを処理して視差情報を得る必要がなく、重畳情報のデータの重畳位置の調整を簡単かつ適切に行うことができる。
　＜２．変形例＞
　なお、上述実施の形態においては、トランスポートストリームＴＳに含まれるビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に、第１の識別情報を挿入する例を示した。しかし、この第１の識別情報を挿入する場所は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダに限定されない。
　また、上述実施の形態においては、第１の識別情報が、３Ｄシグナリング情報に含まれる「Stereo_Video_Format_Signaling_type」の７ビットのデータである例を示した。しかし、この第１の識別情報は、「Stereo_Video_Format_Signaling_type」の７ビットのデータに限定されない。要は、トランスポートストリームＴＳに含まれるビデオストリームが、２次元画像データが挿入された第１のビデオストリームであるか、３次元画像データが挿入された第２のビデオストリームであるかを識別可能な情報であればよい。
　また、上述実施の形態においては、ＰＭＴのビデオエレメンタリ・ループの配下の記述子に、第２の識別情報を挿入する例を示した。しかし、この第２の識別情報を挿入する場所は、この場所に限定されない。すなわち、この第２の識別情報は、番組単位で送られるＳＩ（Service　Information）で送られる可能性もある。例えば、第２の識別情報を、トランスポートストリームＴＳに含まれるサービス・デスクリプション・テーブル（SDT：Service Description Table)の配下の記述子に挿入することも考えられる。また、例えば、第２の識別情報を、トランスポートストリームＴＳに含まれるイベント・インフォメーション・テーブル（EIT：Event Information Table)の配下の記述子に挿入することも考えられる。
　また、上述実施の形態においては、第２の識別情報が、ビデオ・ストリーム・デスクリプタに含まれる「3DFormat_Signaling_existed」の１ビットのフラグデータである例を示した。しかし、この第２の識別情報は、「3DFormat_Signaling_existed」の１ビットのフラグデータに限定されない。要は、トランスポートストリームＴＳに第１の識別情報の挿入があるか否かを識別可能な情報であればよい。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、この発明は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
　また、上述実施の形態においては、ビデオストリームがＭＰＥＧ２ビデオストリームである例を示した。しかし、このビデオストリームは、ＭＰＥＧ２ビデオストリームに限定されるものではなく、例えば、ＶＣ－１やＭＰＥＧ４－ｖｉｓｕａｌ、その他の符号化方式によるビデオストリームであることも考えられる。
　また、上述実施の形態においては、重畳情報がグラフィクスである例を示したが、クローズド・キャプションなどのその他の重畳情報の場合も同様に考えることができる。また、上述実施の形態においては、送信側から、画像データと共にグラフィクスのデータを送信する例を示したが、重畳情報のデータは、受信側において発生されるＯＳＤ表示などの場合も考えられる。
　この発明は、立体画像データを放送波に載せて送信する、あるいは立体画像データをインターネット等のネットワークを介して配信する立体画像データ送受信システムに適用できる。
　１０・・・画像送受信システム
　１００・・・放送局
　１１０・・・送信データ生成部
　１１１・・・データ取り出し部
　１１１ａ・・・データ記録媒体
　１１２・・・ビデオエンコーダ
　１１３・・・視差情報エンコーダ
　１１４・・・オーディオエンコーダ
　１１５・・・グラフィクス発生部
　１１６・・・グラフィクスエンコーダ
　１１７・・・マルチプレクサ
　２００・・・受信機
　２０１・・・ＣＰＵ
　２０２・・・フラッシュＲＯＭ
　２０３・・・ＤＲＡＭ
　２０４・・・内部バス
　２０５・・・リモコン受信機
　２０６・・・リモコン送信機
　２１０・・・アンテナ端子
　２１１・・・デジタルチューナ
　２１２・・・トランスポートストリームバッファ（ＴＳバッファ）
　２１３・・・デマルチプレクサ
　２１４・・・ビデオデコーダ
　２１５・・・３Ｄ信号処理部
　２１６Ｌ，２１６Ｒ・・・ビューバッファ
　２１７Ｌ，２１７Ｒ・・・ビデオ重畳部
　２１８・・・グラフィクスデコーダ
　２１９・・・グラフィクス発生部
　２２０・・・視差情報デコーダ
　２２１Ｌ，２２１Ｒ・・・グラフィクスバッファ
　２２２・・・オーディオデコーダ
　２２３・・・チャネル処理部

Claims (18)

  1. 　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナを送信する送信部と、
    　上記コンテナに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入部と、
    　上記コンテナに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入部と
    　を備える送信装置。
  2. 　上記第１の識別情報挿入部は、上記第１の識別情報を、上記コンテナの第１のレイヤに挿入し、
    　上記第２の識別情報挿入部は、上記第２の識別情報を、上記コンテナの上記第１のレイヤより上位の第２のレイヤに挿入する
    　請求項１に記載の送信装置。
  3. 　上記第１のレイヤは、上記ビデオのレイヤであり、
    　上記第２のレイヤは、上記ビデオのレイヤよりも上位のレイヤである
    　請求項２に記載の送信装置。
  4. 　上記コンテナはトランスポートストリームであり、
    　上記第１のレイヤは、ピクチャレイヤまたはシーケンスレイヤであり、
    　上記第２のレイヤは、トランスポートレイヤである
    　請求項３に記載の送信装置。
  5. 　上記第１の識別情報挿入部は、上記第１の識別情報を、上記ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入する
    　請求項４に記載の送信装置。
  6. 　上記ビデオストリームは、ＭＰＥＧ２ビデオストリームである
    　請求項４に記載の送信装置。
  7. 　上記第２の識別情報挿入部は、上記第２の識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下の記述子に挿入する
    　請求項４に記載の送信装置。
  8. 　上記第２の識別情報挿入部は、上記第２の識別情報を、上記トランスポートストリームに含まれるサービス・デスクリプション・テーブルまたはイベント・インフォメーション・テーブルの配下の記述子に挿入する
    　請求項４に記載の送信装置。
  9. 　上記第１の識別情報は、上記３次元画像データが挿入された上記第２のビデオストリームが含まれていることを示す場合には、上記３次元画像データのフォーマット情報をさらに含む
    　請求項１に記載の送信装置。
  10. 　上記３次元画像データは左眼画像データおよび右眼画像データにより構成され、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報を出力する視差情報出力部をさらに備え、
    　上記送信部は、上記第２のビデオストリームを含む上記コンテナを送信する際に、該コンテナに、上記視差情報出力部から出力される視差情報をさらに含める
    　請求項１に記載の送信装置。
  11. 　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含む所定フォーマットのコンテナを送信する送信ステップと、
    　上記コンテナに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入ステップと、
    　上記コンテナに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入ステップと
    　を有する送信方法。
  12. 　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれ、さらに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報と、該第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入されている所定フォーマットのコンテナを受信する受信部と、
    　上記受信部で受信されたコンテナから画像データを取得する画像データ取得部と、
    　上記受信部で受信されたコンテナから上記第２の識別情報を取得する第１の識別情報取得部と、
    　上記第１の識別情報取得部で取得された上記第２の識別情報が上記第１の識別情報の挿入があることを示すとき、上記コンテナから上記第１の識別情報を取得する第２の識別情報取得部と、
    　上記画像データ取得部で取得された画像データに対して、上記第２の識別情報取得部で取得された上記第１の識別情報に基づいて、２次元画像処理または３次元画像処理を選択的に行う画像データ処理部と
    　を備える受信装置。
  13. 　上記画像データ処理部は、上記第１の識別情報取得部で取得される上記第２の識別情報が上記第１の識別情報の挿入がないことを示すとき、上記受信部で受信された画像データに対して、２次元画像処理を行う
    　請求項１２に記載の受信装置。
  14. 　重畳情報のデータを出力する重畳情報データ出力部と、
    　上記画像データ処理部から出力される画像データに、上記重畳情報出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、
    　上記データ重畳部は、
    　上記画像データ処理部で３次元画像処理が行われて上記３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、上記左眼画像データによる左眼画像と上記右眼画像データによる右眼画像との間の視差情報に基づいて、上記重畳情報データ出力部から出力される上記重畳情報のデータの重畳位置を調整し、該重畳位置が調整された重畳情報のデータを上記左眼画像データおよび上記右眼画像データに重畳し、
    　上記画像データ処理部で２次元画像処理が行われて上記２次元画像データが出力されるとき、該２次元画像データに、上記重畳情報データ出力部から出力される上記重畳情報のデータをそのまま重畳する
    　請求項１２に記載の受信装置。
  15. 　上記コンテナには、上記第２のビデオストリームが含まれる場合、上記３次元画像データを構成する左眼画像データおよび右眼画像データによる画像に重畳する同一の重畳情報に視差を付与するための視差情報が挿入されており、
    　上記コンテナから上記視差情報を取得する視差情報取得部をさらに備え、
    　上記データ重畳部は、上記画像データ処理部で３次元画像処理が行われて上記３次元画像データを構成する左眼画像データおよび右眼画像データが出力されるとき、視差情報取得部で取得された視差情報に基づいて、上記重畳情報データ出力部から出力される上記重畳情報のデータの重畳位置を調整し、該重畳位置が調整された重畳情報のデータを上記左眼画像データおよび上記右眼画像データに重畳する
    　請求項１４に記載の受信装置。
  16. 　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームが時分割的に含まれ、さらに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報と、該第１の識別情報の挿入があるか否かを識別する第２の識別情報が挿入されている所定フォーマットのコンテナを受信する受信ステップと、
    　上記受信ステップで受信されたコンテナから画像データを取得する画像データ取得ステップと、
    　上記受信ステップで受信されたコンテナから上記第２の識別情報を取得する第１の識別情報取得ステップと、
    　上記第１の識別情報取得ステップで取得された上記第２の識別情報が上記第１の識別情報の挿入があることを示すとき、上記コンテナから上記第１の識別情報を取得する第２の識別情報取得ステップと、
    　上記画像データ取得ステップで取得された画像データに対して、上記第２の識別情報取得ステップで取得された上記第１の識別情報に基づいて、２次元画像処理または３次元画像処理を選択的に行う画像データ処理ステップと
    　を有する受信方法。
  17. 　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含むトランスポートストリームを送信する送信部と、
    　上記トランスポートストリームのピクチャレイヤに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入する第１の識別情報挿入部と、
    　上記トランスポートストリームのトランスポートレイヤに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する第２の識別情報挿入部と
    　を備える送信装置。
  18. 　２次元画像データが挿入された第１のビデオストリームおよび３次元画像データが挿入された第２のビデオストリームを時分割的に含むトランスポートストリームを送信する際に、
    　上記トランスポートストリームのピクチャレイヤに、ビデオストリームが上記第１のビデオストリームであるか上記第２のビデオストリームであるかを識別する第１の識別情報を挿入し、
    　上記トランスポートストリームのトランスポートレイヤに、上記第１の識別情報の挿入があるか否かを識別する第２の識別情報を挿入する
    　送信方法。
PCT/JP2011/060196 2010-04-27 2011-04-26 送信装置、送信方法、受信装置および受信方法 WO2011136239A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BRPI1105256A BRPI1105256A2 (pt) 2010-04-27 2011-04-26 aparelhos e metodos de transmissao e de recepcao
EP11775020.8A EP2434767B1 (en) 2010-04-27 2011-04-26 Transmission device, transmission method, reception device and reception method
CN2011800025037A CN102474643A (zh) 2010-04-27 2011-04-26 发送设备、发送方法、接收设备以及接收方法
KR20117029346A KR20130014313A (ko) 2010-04-27 2011-04-26 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US13/377,237 US9030526B2 (en) 2010-04-27 2011-04-26 Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010102347A JP5577823B2 (ja) 2010-04-27 2010-04-27 送信装置、送信方法、受信装置および受信方法
JP2010-102347 2010-04-27

Publications (1)

Publication Number Publication Date
WO2011136239A1 true WO2011136239A1 (ja) 2011-11-03

Family

ID=44861537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/060196 WO2011136239A1 (ja) 2010-04-27 2011-04-26 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (1) US9030526B2 (ja)
EP (1) EP2434767B1 (ja)
JP (1) JP5577823B2 (ja)
KR (1) KR20130014313A (ja)
CN (1) CN102474643A (ja)
BR (1) BRPI1105256A2 (ja)
WO (1) WO2011136239A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013518506A (ja) * 2010-01-28 2013-05-20 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオストリームに係わるリンク情報を利用するデジタルデータストリーム伝送方法及びその装置、並びにリンク情報を利用するデジタルデータストリーム伝送方法及びその装置
JP2013106341A (ja) * 2012-04-16 2013-05-30 Sony Corp 送信装置、送信方法、受信装置および受信方法
EP2651138A4 (en) * 2011-11-18 2015-04-29 Sony Corp IMAGE DATA TRANSMISSION DEVICE, IMAGE DATA TRANSMISSION METHOD, IMAGE DATA RECEIVING DEVICE, AND IMAGE DATA RECEIVING METHOD
US9693033B2 (en) 2011-11-11 2017-06-27 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484729B (zh) * 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2012164920A1 (ja) * 2011-06-01 2012-12-06 パナソニック株式会社 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
EP2675174A4 (en) * 2012-01-19 2015-05-06 Sony Corp RECEIVING DEVICE, RECEIVING METHOD AND ELECTRONIC DEVICE
JP5903023B2 (ja) * 2012-10-04 2016-04-13 株式会社ジオ技術研究所 立体視地図表示システム
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
EP3799044B1 (en) * 2014-09-04 2023-12-20 Sony Group Corporation Transmission device, transmission method, reception device and reception method
CN113037768A (zh) * 2014-09-12 2021-06-25 索尼公司 发送设备、发送方法、接收设备和接收方法
CN107343220B (zh) 2016-08-19 2019-12-31 北京市商汤科技开发有限公司 数据处理方法、装置和终端设备
JP2017147749A (ja) * 2017-04-20 2017-08-24 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
CN108881877B (zh) 2017-05-12 2020-07-24 京东方科技集团股份有限公司 显示处理装置及其显示处理方法以及显示装置
US10575018B2 (en) 2017-07-10 2020-02-25 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video in dash
US10659760B2 (en) * 2017-07-10 2020-05-19 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video
JP7119425B2 (ja) * 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
WO2019178850A1 (zh) 2018-03-23 2019-09-26 Oppo广东移动通信有限公司 无线通信方法、用户设备和网络设备
CN111337133B (zh) * 2020-03-02 2021-08-03 浙江大华技术股份有限公司 红外数据的生成方法及装置、解析方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JP2000036969A (ja) 1998-07-21 2000-02-02 Nippon Hoso Kyokai <Nhk> 立体画像表示方法および装置
JP2002218502A (ja) * 2001-01-22 2002-08-02 Nippon Television Network Corp 立体映像信号の伝送方法及び、そのシステム
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005094145A (ja) * 2003-09-12 2005-04-07 Sharp Corp 画像記録装置及び画像再生装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157384B2 (ja) * 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP4602737B2 (ja) * 2004-10-25 2010-12-22 シャープ株式会社 映像表示装置
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JP2000036969A (ja) 1998-07-21 2000-02-02 Nippon Hoso Kyokai <Nhk> 立体画像表示方法および装置
JP2002218502A (ja) * 2001-01-22 2002-08-02 Nippon Television Network Corp 立体映像信号の伝送方法及び、そのシステム
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005094145A (ja) * 2003-09-12 2005-04-07 Sharp Corp 画像記録装置及び画像再生装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013518506A (ja) * 2010-01-28 2013-05-20 サムスン エレクトロニクス カンパニー リミテッド 多視点ビデオストリームに係わるリンク情報を利用するデジタルデータストリーム伝送方法及びその装置、並びにリンク情報を利用するデジタルデータストリーム伝送方法及びその装置
US9055280B2 (en) 2010-01-28 2015-06-09 Samsung Electronics Co., Ltd. Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
US9693033B2 (en) 2011-11-11 2017-06-27 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
EP2651138A4 (en) * 2011-11-18 2015-04-29 Sony Corp IMAGE DATA TRANSMISSION DEVICE, IMAGE DATA TRANSMISSION METHOD, IMAGE DATA RECEIVING DEVICE, AND IMAGE DATA RECEIVING METHOD
JP2013106341A (ja) * 2012-04-16 2013-05-30 Sony Corp 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN102474643A (zh) 2012-05-23
BRPI1105256A2 (pt) 2016-05-03
EP2434767A4 (en) 2015-04-22
US20120081516A1 (en) 2012-04-05
JP5577823B2 (ja) 2014-08-27
JP2011234113A (ja) 2011-11-17
KR20130014313A (ko) 2013-02-07
US9030526B2 (en) 2015-05-12
EP2434767B1 (en) 2019-04-24
EP2434767A1 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
JP5577823B2 (ja) 送信装置、送信方法、受信装置および受信方法
US9019343B2 (en) Image data transmission device, image data transmission method, and image data reception device
US20140071232A1 (en) Image data transmission device, image data transmission method, and image data reception device
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
CA2772927C (en) Cable broadcast receiver and 3d video data processing method thereof
EP2725804A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
WO2012070364A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
WO2014050447A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2012147596A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2014042034A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180002503.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20117029346

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13377237

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 10050/DELNP/2011

Country of ref document: IN

Ref document number: 2011775020

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11775020

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1105256

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1105256

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111220