WO2014042034A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2014042034A1
WO2014042034A1 PCT/JP2013/073583 JP2013073583W WO2014042034A1 WO 2014042034 A1 WO2014042034 A1 WO 2014042034A1 JP 2013073583 W JP2013073583 W JP 2013073583W WO 2014042034 A1 WO2014042034 A1 WO 2014042034A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
image data
transmission mode
unit
identification information
Prior art date
Application number
PCT/JP2013/073583
Other languages
English (en)
French (fr)
Inventor
塚越 郁夫
祥二 市木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2014042034A1 publication Critical patent/WO2014042034A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly, to a transmission device that transmits a two-dimensional image distribution with a stream configuration similar to a stereoscopic image distribution.
  • Patent Document 1 discloses that a receiver can perform correct stream reception when the content delivered from a broadcast station dynamically changes from a two-dimensional image to a three-dimensional image, or from a three-dimensional image to a two-dimensional image.
  • signaling For example, an AVC stream including two-dimensional image data is transmitted when a two-dimensional image is distributed, and an MVC stream including base view and non-base view image data constituting the stereoscopic image is transmitted when a stereoscopic image is distributed.
  • association information between the base view and the non-base view is inserted into the transport stream. Based on this association information, the receiver can recognize a dynamic change in the delivery content and dynamically switch between the decoding process and the display process.
  • the encoder In broadcasting stations, it is conceivable to operate the encoder in the same manner as when delivering a 3D image even when delivering a 2D image. In this case, the MVC stream is also transmitted when the two-dimensional image is distributed. In such a case, the receiving side always performs a decoding process and a display process of the stereoscopic image, and there is a possibility that the full resolution two-dimensional image display is not performed with respect to the display capability when the two-dimensional image is distributed.
  • the purpose of the present technology is to enable full-resolution two-dimensional image display on the receiving side even when two-dimensional image distribution is performed with a stream configuration similar to that of stereoscopic image distribution. It is in.
  • the transmission apparatus includes: an identification information insertion unit that inserts identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is in the subordinate stream.
  • the transmission unit has a stereoscopic image transmission mode and a two-dimensional image transmission mode.
  • a basic stream and a subordinate stream that include image data of a base view and a non-base view that constitute a stereoscopic image are transmitted.
  • a basic stream and a subordinate stream each including the same 2D image data are transmitted.
  • the stream configurations of the stereoscopic image transmission mode and the two-dimensional image transmission mode are the same.
  • the identification information insertion unit inserts the identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is in the subordinate stream.
  • the base stream and the subordinate stream may be encoded with a NAL unit structure, and the identification information insertion unit may insert the identification information into the header portion of the NAL unit that constitutes the subordinate stream.
  • the identification information insertion unit may define a relationship with a basic stream having a high priority as a value of “Priority_id” indicating a priority relationship of a plurality of streams in the header portion.
  • the identification information insertion unit may set the value of Priority_id to a specific value when in the two-dimensional image transmission mode.
  • identification information for identifying whether the subordinate stream is in the stereoscopic image transmission mode or the two-dimensional image transmission mode is inserted. Therefore, on the receiving side, for example, when the stereoscopic image transmission mode is switched to the two-dimensional image transmission mode, it is possible to immediately switch to the two-dimensional image decoding processing and display processing based on this identification information. Full-resolution two-dimensional image display is possible with respect to capability.
  • the transmission unit becomes a stereoscopic image transmission mode or a two-dimensional image transmission mode in units of events, and the user is prompted to perform a specific viewing operation corresponding to the transmission mode of the transmission unit as event information.
  • the information processing apparatus may further include a message transmission unit that transmits the message.
  • the transmission unit may transmit a container of a predetermined format having a basic stream and a subordinate stream, and the message transmission unit may insert a message into the container layer.
  • the container may be a transport stream, and the message transmitting unit may insert the message into a descriptor under the event information table included in the transport stream.
  • An image data transmission unit having a stereoscopic image transmission mode for transmitting a stream including base view and non-base view image data constituting a stereoscopic image, and a two-dimensional image transmission mode for transmitting a stream including two-dimensional image data;
  • the event information includes a message transmission unit that transmits a message that prompts the user to perform a specific viewing operation corresponding to the transmission mode of the transmission unit.
  • the transmission unit has a stereoscopic image transmission mode and a two-dimensional image transmission mode.
  • a stereoscopic image transmission mode a stream including base view and non-base view image data constituting a stereoscopic image is transmitted.
  • a stream including 2D image data is transmitted.
  • the message sending unit sends a message prompting the user to perform a specific viewing operation corresponding to the sending mode of the sending unit as event information. For example, when stereoscopic image display is performed in the stereoscopic image transmission mode, the user is prompted to wear 3D glasses. Conversely, when two-dimensional image display is performed in the two-dimensional image transmission mode, the 3D glasses are required. It is urged to remove.
  • the transmission unit may transmit a container having a predetermined format having a stream, and the message transmission unit may insert a message into the container layer.
  • the container may be a transport stream, and the message transmitting unit may insert the message into a descriptor under the event information table included in the transport stream.
  • the receiving side can prompt the user to perform a specific viewing operation, and the user can view in the correct state.
  • a basic stream and a dependent stream in a stereoscopic image transmission mode each including image data of a base view and a non-base view constituting a stereoscopic image
  • a basic stream and a dependent stream in a two-dimensional image transmission mode each including the same two-dimensional image data
  • a receiving unit for receiving, In the subordinate stream, identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is present is inserted,
  • the receiving apparatus further includes a processing unit that performs processing on the received basic stream and dependent stream based on the identification information to obtain display image data.
  • the reception unit receives the basic stream and the dependent stream in the stereoscopic image transmission mode or the two-dimensional image transmission mode.
  • the base stream and the subordinate stream in the stereoscopic image transmission mode include image data of a base view and a non-base view that constitute a stereoscopic image, respectively.
  • the basic stream and the subordinate stream in the 2D image transmission mode include the same 2D image data.
  • identification information for identifying whether it is in the stereoscopic image transmission mode or the two-dimensional image transmission mode is inserted. Then, the processing unit performs processing on the received basic stream and dependent stream based on the identification information to obtain display image data.
  • the processing unit decodes both the basic stream and the dependent stream to obtain image data of each view for stereoscopic image display, and To display image data for processing to display a stereoscopic image by processing the image data, and to display a two-dimensional image by decoding only the basic stream when the identification information indicates the two-dimensional image transmission mode
  • the display image data may be obtained.
  • the present technology for the received basic stream and dependent stream, based on the identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is inserted into the dependent stream. Processing is performed to obtain display image data. Therefore, for example, when the stereoscopic image transmission mode is switched to the two-dimensional image transmission mode, it is possible to immediately switch to the decoding processing and display processing of the two-dimensional image based on this identification information, and the display capability is fully improved. A resolution two-dimensional image can be displayed.
  • An image data receiving unit for receiving a stream including image data of each view constituting a stereoscopic image or a stream including two-dimensional image data in units of events; As event information, a message receiving unit that receives a message prompting the user to perform a specific viewing operation; A processing unit for processing the received stream to obtain display image data for displaying a stereoscopic image or a two-dimensional image; The receiving apparatus includes a superimposing unit that superimposes the display data of the received message on the display image data.
  • a stream including image data of each view constituting a stereoscopic image or a stream including two-dimensional image data is received by the image data receiving unit in units of events. Further, the message receiving unit receives a message prompting the user to perform a specific viewing operation as event information. The received stream is processed by the processing unit to obtain display image data for displaying a stereoscopic image or a two-dimensional image. Then, the display data of the received message is superimposed on the display image data by the superimposing unit.
  • display data of a message for prompting a user to perform a specific viewing operation is superimposed on display image data for displaying a stereoscopic image or a two-dimensional image obtained by processing a received stream. It is what is done. Therefore, it is possible to prompt the user to perform a specific viewing operation, and the user can view in the correct state. For example, when 3D image display is performed, it is possible to prompt the user to put on 3D glasses, and conversely, when 2D image display is performed, it is possible to prompt the user to remove the 3D glasses.
  • a transmission unit for transmitting a basic stream including first image data and a subordinate stream including second image data includes: an identification information insertion unit that inserts identification information for identifying whether or not the second image data is the same as the first image data into the subordinate stream.
  • the transmission unit transmits the basic stream including the first image data and the subordinate stream including the second image data.
  • identification information for identifying whether or not the second image data is the same as the first image data is inserted into the subordinate stream by the identification information insertion unit.
  • identification information for identifying whether or not the second image data is the same as the first image data is inserted into the subordinate stream. Therefore, on the receiving side, for example, when the stereoscopic image transmission mode is switched to the two-dimensional image transmission mode, it is possible to immediately switch to the two-dimensional image decoding processing and display processing based on this identification information. Full-resolution two-dimensional image display is possible with respect to capability.
  • the present technology even when the distribution of the two-dimensional image is performed with the same stream configuration as the distribution of the three-dimensional image, it is possible to display the two-dimensional image with full resolution with respect to the display capability on the reception side. Further, according to the present technology, it is possible to prompt the user to perform a specific viewing operation corresponding to the transmission mode, and the user can view in a correct state.
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a broadcasting station 100 and a receiver 200.
  • the broadcasting station 100 transmits a transport stream TS as a container on a broadcast wave.
  • the broadcasting station 100 is in a stereoscopic (3D) image transmission mode or a two-dimensional (2D) image transmission mode on an event (program) basis.
  • the transport stream TS includes a base stream (Base stream) and a dependent stream (Dependent stream) each including image data of a base view and a non-base view that form a stereoscopic image.
  • the stereoscopic image is a stereoscopic stereoscopic image
  • the base view is a left-eye view
  • the number of non-base views is one
  • the right-eye view is not limited to this.
  • the transport stream TS includes only the basic stream (Base stream) including the two-dimensional image data, or the basic stream (Base stream) and the subordinate respectively including the same two-dimensional image data.
  • Stream (Dependent stream) is included.
  • first identification information 3D signaling
  • the transport stream TS includes the basic stream and the subordinate stream. Further, as described above, even in the 2D image transmission mode, the transport stream TS may include a basic stream and a dependent stream. Details of this identification information will be described later.
  • the transport stream TS includes a subordinate stream in addition to the basic stream
  • second identification information for identifying whether the subordinate stream is in the stereoscopic image transmission mode or the two-dimensional image transmission mode is inserted. .
  • this identification information identifies whether the image data included in the basic stream is the same as the image data included in the subordinate stream. Details of this identification information will be described later.
  • the third identification information indicating whether the transmission stream TS is in the stereoscopic image transmission mode or the two-dimensional image transmission mode is inserted into the layer of the transport stream TS.
  • this identification information is inserted under an event information table (Event Information Table) included in the transport stream TS.
  • Event Information Table An event information table included in the transport stream TS.
  • a message that prompts the user to perform a specific viewing operation is added to the identification information corresponding to the transmission mode. For example, this message prompts the user to put on the 3D glasses in the stereoscopic image transmission mode, and prompts the user to remove the 3D glasses in the two-dimensional image transmission mode. Details of this identification information will be described later.
  • the receiver 200 receives the transport stream TS transmitted from the broadcasting station 100 on a broadcast wave.
  • the transport stream TS includes a basic stream and a subordinate stream including image data of a base view (left eye view) and a non-base view (right eye view) that form a stereoscopic image, respectively.
  • this transport stream TS includes only a basic stream including 2D image data, or includes a basic stream and a subordinate stream each including the same 2D image data. .
  • the receiver 200 performs processing based on the identification information inserted in the basic stream and the subordinate stream to obtain display image data. That is, when the first identification information is not included in the basic stream, only the basic stream is decoded, and display image data for displaying a two-dimensional image is obtained.
  • both the basic stream and the subordinate stream are decoded to obtain left-eye view and right-eye view image data for stereoscopic image display.
  • the image data of each view is processed to obtain display image data for displaying a stereoscopic image.
  • the basic stream includes the first identification information and the second identification information included in the subordinate stream indicates the two-dimensional image transmission mode
  • only the basic stream is decoded and the two-dimensional image is converted. Display image data for display is obtained.
  • a two-dimensional image decoding process and a display process are performed instead of a stereoscopic image decoding process and a display process.
  • FIG. 2 schematically shows processing from decoding to display on the receiver 200 side in the case where a dependent stream is included in addition to the basic stream.
  • FIG. 2A shows a case where the second identification information indicates the stereoscopic image transmission mode.
  • the image data of the left eye view (Left view) and the right eye view (Right view) corresponding to 3D content is transmitted from the transmission side after being encoded by MVC.
  • the image data of the left eye view (Left view) and the right eye view (Right view) is obtained by decoding with MVC. Then, 3D display processing is performed on these image data, and display image data for displaying a stereoscopic image is generated.
  • the display of the image of each view has a resolution that is 1 ⁇ 2 of the display capability in terms of space or time.
  • FIG. 2C shows a case where the second identification information indicates the two-dimensional image transmission mode.
  • two-dimensional image data corresponding to 2D content is transmitted from the transmission side after being encoded by MVC.
  • two-dimensional image data is obtained by decoding with MVC.
  • only the basic stream is decoded.
  • This 2D image data is subjected to 2D display processing, and display image data for displaying a 2D image is generated.
  • the display of the two-dimensional image has a full resolution with respect to the display capability both spatially and temporally.
  • FIG. 2B shows a case where the second identification information is not inserted in the subordinate stream for comparison with the above-described FIG.
  • two-dimensional image data corresponding to 2D content is transmitted from the transmission side after being encoded by MVC.
  • two-dimensional image data is obtained by decoding with MVC.
  • the second identification information is not inserted, both the basic stream and the dependent stream are decoded, and the same two-dimensional image data can be obtained from each of them.
  • 3D display processing is performed on these image data to generate display image data.
  • This display image data is a series of two identical image frames in the time direction, or two identical lines in the vertical direction in the frame.
  • flat 3D display is performed, and the display of each view image has a resolution that is 1 ⁇ 2 of the display capability in terms of space or time.
  • the receiver 200 can roughly determine whether it is in the stereoscopic image transmission mode or the two-dimensional image transmission mode based on the third identification information inserted in the transport stream TS.
  • the receiver 200 also superimposes and displays on the display image a message that prompts the user for a specific viewing operation added to the third identification information. The user can view the message in the correct state by referring to this message.
  • FIG. 3 shows a configuration example of the transmission data generation unit 110 that generates the above-described transport stream TS in the broadcast station 100.
  • the transmission data generation unit 110 includes a data extraction unit 111, a video encoder 112, an audio encoder 113, and a multiplexer 114.
  • the data extraction unit 111 includes an image capturing medium 111a, an audio input medium 111b, and a data recording medium 111c.
  • the image capturing medium 111a is a camera that captures a subject and outputs left eye image data and right eye image data constituting a stereoscopic image, or two-dimensional image data.
  • the audio input medium 111b is a microphone that outputs audio data. Further, the data recording medium 111c records and reproduces each data described above.
  • the video encoder 112 performs encoding such as MPEG4-AVC (MVC), MPEG2 video, or HEVC on the image data extracted from the data extraction unit 111 to obtain encoded image data. Further, the video encoder 112 generates a video stream (video elementary stream) including the encoded image data by a stream formatter (not shown) provided in the subsequent stage.
  • MVC MPEG4-AVC
  • HEVC High Efficiency Video Coding
  • the video encoder 112 is in a stereoscopic (3D) image transmission mode or a two-dimensional (2D) image transmission mode on an event (program) basis.
  • the video encoder 112 In the stereoscopic image transmission mode in which the 3D content image is transmitted, the video encoder 112 generates a base stream and a dependent stream that include image data of a base view and a non-base view that form the stereoscopic image, respectively.
  • the video encoder 112 In the 2D image transmission mode in which the 2D content image is transmitted, the video encoder 112 generates only the basic stream including the 2D image data, or the basic stream and the dependent stream including the 2D image data, respectively.
  • the video encoder 112 When the transport stream TS includes a basic stream and a dependent stream, the video encoder 112 inserts first identification information (3D signaling) indicating the presence of the dependent stream in addition to the basic stream into the basic stream. Further, when the transport stream TS includes a dependent stream in addition to the basic stream, the video encoder 112 performs second identification for identifying whether the dependent stream is in the stereoscopic image transmission mode or the two-dimensional image transmission mode. Insert information.
  • first identification information (3D signaling) indicating the presence of the dependent stream in addition to the basic stream into the basic stream.
  • the video encoder 112 performs second identification for identifying whether the dependent stream is in the stereoscopic image transmission mode or the two-dimensional image transmission mode. Insert information.
  • the audio encoder 113 performs encoding such as MPEG-2 Audio or AAC on the audio data extracted from the data extraction unit 111 to generate an audio stream (audio elementary stream).
  • the multiplexer 114 multiplexes the streams from the video encoder 112 and the audio encoder 113 to obtain a transport stream TS.
  • PTS Presentation Time Time Stamp
  • PES Packetized Elementary Stream
  • the multiplexer 114 inserts, in the layer of the transport stream TS, third identification information indicating whether it is in the stereoscopic image transmission mode or the two-dimensional image transmission mode. A message that prompts the user to perform a specific viewing operation is added to the identification information corresponding to the transmission mode.
  • Image data extracted from the data extraction unit 111 (left-eye image data and right-eye image data constituting a stereoscopic image, or two-dimensional image data) is supplied to the video encoder 112.
  • the image data is encoded, and a video stream (video elementary stream) including the encoded image data is generated. This video stream is supplied to the multiplexer 114.
  • a base stream and a dependent stream that include image data of a base view and a non-base view that form the stereoscopic image are generated.
  • the two-dimensional image transmission mode for transmitting the 2D content image only the basic stream including the two-dimensional image data, or the basic stream and the subordinate stream including the two-dimensional image data, respectively, are generated.
  • first identification information 3D signaling
  • second identification information for identifying whether the stereoscopic stream is in the stereoscopic image transmission mode or the two-dimensional image transmission mode may be inserted into the dependent stream. Done.
  • the audio data extracted from the data extraction unit 111 is supplied to the audio encoder 113.
  • the audio data is encoded, and an audio stream (audio elementary stream) is generated. This audio stream is supplied to the multiplexer 114.
  • the multiplexer 114 multiplexes the streams from the video encoder 112 and the audio encoder 113 to generate a transport stream TS.
  • a PTS is inserted into each PES header for synchronous reproduction on the receiving side.
  • third identification information indicating whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is set is inserted into the layer of the transport stream TS.
  • the first identification information 3D signaling for identifying the presence of the dependent stream is inserted in the basic stream in addition to the basic stream.
  • the first identification information is an access
  • the SEI message is inserted into the “SEIs” portion of the unit (AU).
  • an existing multiview view position SEI message (multiview_view_position_SEI message) is used as the first identification information.
  • 4A shows the top access unit of a GOP (Group Of Pictures), and
  • FIG. 4B shows an access unit other than the top of the GOP. Since the SEI message is encoded at a position earlier in the bitstream than the slice in which the pixel data is encoded, the receiver determines the decoding process below it by identifying the contents of the SEI. It becomes possible to do.
  • FIG. 5 shows a structure example (Syntax) of the multi-view view position (Multiview position ()) included in this SEI message.
  • a field of “num_views_minus1” indicates a value (0 to 1023) obtained by subtracting 1 from the number of views.
  • a field “view_position [i]” indicates a relative positional relationship when each view is displayed. That is, the relative position from the left view (left view) to the right view (Right view) when each view is displayed is indicated by a value that sequentially increases from zero.
  • the second identification for identifying whether the dependent stream is in the stereoscopic image transmission mode or the two-dimensional image transmission mode Information (2D / 3D signaling) is inserted.
  • the encoding scheme is MPEG4-AVC (MVC)
  • MVC MPEG4-AVC
  • NAL unit such as HEVC
  • the second identification information is subordinate. It is inserted into the header part of the NAL unit constituting the stream.
  • the second identification information is inserted by defining the relationship with the basic stream in the “priority_id” field of “NAL unit header” mvc extension of the NAL unit constituting the subordinate stream.
  • FIG. 6 schematically shows configurations of a basic stream (Base stream) and a dependent stream (Dependent stream) encoded with the NAL unit structure.
  • the basic stream access unit (AU) is composed of NAL units such as “AU delimiter”, “SPS”, “PPS”, “SEI”, and “Slice (base)”.
  • AU delimiter indicates the start of the access unit.
  • SPS indicates a sequence parameter.
  • PPS indicates a picture parameter.
  • SEI provides useful information for display and buffer management.
  • “Slice (base)” includes encoded data of an actual picture.
  • multi-view / view / position / SEI message also exists as one of the plurality.
  • SPS exists only in the top access unit of GOP (Groupe Of Picture).
  • the access unit (AU) of the dependent stream (Dependent stream) is composed of NAL units such as “Dependent delimiter”, “Subset SPS”, “PPS”, “SEI”, and “Slice (dependent)”.
  • “Dependent delimiter” indicates the start of the access unit.
  • “Subset SPS” indicates a sequence parameter.
  • PPS indicates a picture parameter.
  • SEI provides useful information for display and buffer management.
  • “Slice (dependent)” includes encoded data of an actual picture.
  • the NAL unit of the base stream (Base stream) consists of the first “NAL unit unit type” followed by “NAL unit unit Payload”.
  • the NAL unit of the dependent stream (Dependent stream) includes “NAL unit header mvc extension” between “NAL unit Payload” and “NAL unit Payload”.
  • FIG. 7 shows a structural example (Syntax) of “NAL unit header” mvc extension.
  • “priority_id” exists in the “NAL unit header mvc extension”. This “priority_id” means that the smaller the value, the higher the priority, and conversely, the larger the value, the lower the priority.
  • the subordinate stream when this meaning is applied and the same two-dimensional image data is included in both the basic stream and the subordinate stream, the subordinate stream has no data uniqueness, so the priority is the lowest. , Meaning that it is not necessary to display, and signaling intended to be interpreted as a two-dimensional image transmission mode. That is, when the value of “priority_id” is large, that is, “0x3E”, it means that the priority is very low 2D (two-dimensional image transmission mode).
  • the subordinate stream has view data (view data) different from the basic stream. Therefore, in the sense of having uniqueness of data, the priority is higher than that in the case of 2D, that is, a value larger than “0x00” and smaller than “0x3E”.
  • FIG. 8 shows a structural example (Syntax) of a 3D event descriptor (3D_event_descriptor) as the third identification information.
  • FIG. 9 shows the contents (Semantics) of main information in the structural example.
  • the 8-bit field of “descriptor_tag” indicates a descriptor type, and here indicates that it is a 3D event descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the descriptor length.
  • the flag information “3D_flag” indicates whether or not the distribution program (event) is 3D. “1” indicates 3D, and “0” indicates that it is not 3D, that is, 2D.
  • a 1-bit field of “video_stream_delivery_type” indicates whether the video stream of the program is a single stream. “1” indicates a single stream, and “0” indicates a plurality of streams.
  • a message is sent with “Text_char”.
  • This message is, for example, a message that prompts the user to perform a specific viewing operation.
  • the contents of notifying that 3D glasses are attached when “3D_flag” is “1”, and that 3D glasses are removed when “3D_flag” is “0” are described.
  • FIG. 10 shows a structural example (Syntax) of this component descriptor.
  • the 4-bit field of “stream_content” indicates the format type (MPEG-4-AVC, MVC, etc.) to be transmitted.
  • the 8-bit field of “component_type” indicates 2D or 3D (in the case of 3D, frame compatible or service compatible).
  • FIG. 11 shows a configuration example of the transport stream TS.
  • the transport stream TS includes a PES packet “PID1: video PES1” of the video elementary stream and a PES packet “PID2: Audio PES1” of the audio elementary stream.
  • first identification information 3D signaling
  • indicating that there is a dependent stream in addition to the basic stream is included in the basic stream. It is inserted as a position / SEI message.
  • the “priority_id” field of the “NAL ⁇ unit header mvc extension” of the NAL unit of the dependent stream is in the stereoscopic image transmission mode or is a two-dimensional image.
  • Second identification information (2D / 3D signaling) for identifying whether the transmission mode is set is inserted.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the transport stream TS includes an EIT (Event Information Table) as SI (Serviced Information) for managing events (programs).
  • the PMT there is an elementary loop having information related to each elementary stream.
  • a video elementary loop (Video ES loop).
  • information such as a stream type and a packet identifier (PID) is arranged corresponding to the above one video elementary stream, and information related to the video elementary stream is described.
  • a descriptor is also arranged.
  • the third identification information indicating whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is present is inserted as a 3D event descriptor under the EIT.
  • a component descriptor is also inserted under this EIT.
  • FIG. 11 illustrates a case where the base stream (Base stream) and the dependent stream (Dependent stream) are inserted into the same video elementary stream and transmitted. There may be a case where the basic stream and the subordinate stream are transmitted by being inserted into separate video elementary streams. Although detailed description is omitted, FIG. 12 shows a configuration example of the transport stream TS in that case.
  • FIG. 13 shows a configuration example of the receiver 200.
  • the receiver 200 includes a CPU 201, a flash ROM 202, a DRAM 203, an internal bus 204, a remote control receiver (RC receiver) 205, and a remote control transmitter (RC transmitter) 206.
  • RC receiver remote control receiver
  • RC transmitter remote control transmitter
  • the receiver 200 includes an antenna terminal 210, a digital tuner 211, a transport stream buffer (TS buffer) 212, a demultiplexer 213, and a decoding / display processing unit 214.
  • the receiver 200 further includes a message generator 215, a superimposing unit 216, an audio decoder 217, and a channel processing unit 218.
  • the CPU 201 controls the operation of each unit of receiver 200.
  • the flash ROM 202 stores control software and data.
  • the DRAM 203 constitutes a work area for the CPU 201.
  • the CPU 201 develops software and data read from the flash ROM 202 on the DRAM 203 and activates the software to control each unit of the receiver 200.
  • the RC receiving unit 205 receives a remote control signal (remote control code) transmitted from the RC transmitter 206 and supplies it to the CPU 201.
  • CPU201 controls each part of receiver 200 based on this remote control code.
  • the CPU 201, flash ROM 202, and DRAM 203 are connected to each other via an internal bus 204.
  • the antenna terminal 210 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 211 processes the television broadcast signal input to the antenna terminal 210 and outputs a predetermined transport stream TS corresponding to the user's selected channel.
  • the TS buffer 212 temporarily stores the transport stream TS output from the digital tuner 211.
  • the transport stream TS includes a video elementary stream and an audio elementary stream.
  • the transport stream TS includes a base stream and a subordinate stream that respectively include base view and non-base view image data constituting a stereoscopic image.
  • the transport stream TS includes a base stream and a subordinate stream that respectively include base view and non-base view image data constituting a stereoscopic image.
  • the two-dimensional image transmission mode only a basic stream including two-dimensional image data or a basic stream and a subordinate stream including the same two-dimensional image data are included.
  • the demultiplexer 213 extracts video and audio streams (elementary streams) from the transport stream TS temporarily stored in the TS buffer 212. Further, the demultiplexer 213 extracts the 3D event descriptor (3D_event_descriptor) described above from the transport stream TS, and sends it to the CPU 201.
  • 3D_event_descriptor 3D_event_descriptor
  • the CPU 201 can grasp from the 3D / event descriptor whether it is in the stereoscopic image transmission mode or the two-dimensional image transmission mode. Further, the CPU 201 can obtain message information prompting the user to perform a specific viewing operation from the 3D event descriptor. Based on this message information, the CPU 201 controls the message generator 215 to generate message display data (bitmap data).
  • the decoding / display processing unit 214 performs decoding processing and display processing on the video elementary stream extracted by the demultiplexer 213 to obtain display image data.
  • the decoding / display processing unit 214 performs processing based on the first identification information inserted in the basic stream and the second identification information inserted in the subordinate stream.
  • the first identification information is 3D signaling indicating the presence of a dependent stream in addition to the basic stream.
  • the second identification information is 2D / 3D signaling indicating whether in the stereoscopic image transmission mode or the two-dimensional image transmission mode.
  • FIG. 14 shows a detailed configuration example of the decoding / display processing unit 214.
  • the decoding / display processing unit 214 includes a NAL unit analysis unit 214a, a slice decoding unit 214b, a display processing unit 214c, and an SPS / PPS / SEI processing unit 214d.
  • the NAL unit analysis unit 214a analyzes the NAL unit of the base stream (Base stream) and the dependent stream (Dependent stream), and sends the NAL unit of the slice (Slice) to the slice decoding unit 214b, and also the NAL of the SPS / PPS / SEI The unit is sent to the SPS / PPS / SEI processing unit 214d.
  • the slice decoder 214b decodes the encoded data included in the NAL unit of the slice to obtain image data.
  • the display processing unit 214c processes the image data obtained by decoding to obtain display image data.
  • the NAL unit analysis unit 214a checks the content of the second identification information (Priority_id) inserted in the dependent stream (Dependent stream), and sends the check result to the slice decoding unit 214b and the display processing unit 214c.
  • the SPS / PPS / SEI processing unit 214d checks the presence of the first identification information (multi-view / view position / SEI) in the base stream (Base stream), and the check result is displayed in the slice decoding unit 214b and the display process. To the unit 214c.
  • the slice decoding unit 214b and the display processing unit 214c switch processing based on each check result. That is, when the first identification information is not included in the basic stream, the slice decoding unit 214b decodes only the basic stream to obtain two-dimensional image data. Then, the display processing unit 214c processes the two-dimensional image data to obtain display image data for displaying the two-dimensional image.
  • the slice decoding unit 214b determines both the basic stream and the dependent stream. Decoding is performed to obtain image data of a left eye view and a right eye view for stereoscopic image display. The display processing unit 214c then processes the image data of each view to obtain display image data for displaying a stereoscopic image.
  • the slice decoding unit 214b decodes only the basic stream. To obtain two-dimensional image data. Then, the display processing unit 214c processes the two-dimensional image data to obtain display image data for displaying the two-dimensional image.
  • step ST1 the decoding / display processing unit 214 starts processing.
  • step ST2 the decoding / display processing unit 214 determines whether or not the first identification information (multi-view / view / position SEI) is included in the basic stream (Base stream).
  • the decoding / display processing unit 214 uses the same data as the image data included in the base stream (Base stream) and the dependent stream (Dependent stream) in step ST5. It is judged that. In step ST6, the decoding / display processing unit 214 decodes only the basic stream (Base ⁇ stream) by the slice decoding unit 214b to obtain two-dimensional image data.
  • step ST7 the decoding / display processing unit 214 performs two-dimensional display processing in the display processing unit 214c, performs processing in the two-dimensional display mode, and displays display image data for displaying a two-dimensional image. obtain. Thereafter, the decoding / display processing unit 214 ends the process in step ST8.
  • the decoding / display processing unit 214 in step ST9 includes images included in the basic stream (Base stream) and the dependent stream (Dependent stream). Judge that the data is different. Then, in step ST10, the decoding / display processing unit 214 decodes both the basic stream (Base stream) and the dependent stream (Dependent stream) in the slice decoding unit 214b, and converts the image data of the left eye view and the right eye view. obtain.
  • step ST11 the decoding / display processing unit 214 performs a two-dimensional display process in the display processing unit 214c, performs a stereoscopic display mode process, and obtains display image data for displaying a stereoscopic image. Thereafter, the decoding / display processing unit 214 ends the process in step ST8.
  • step ST2 when the first identification information (multi-view / view position / SEI) is not included in the basic stream (Base / stream) in step ST2, the decoding / display processing unit 214 is served with the dependent stream (Dependent / stream) in step ST12. In step ST6, only the basic stream (Base ⁇ ⁇ ⁇ ⁇ stream) is decoded by the slice decoding unit 214b to obtain two-dimensional image data.
  • step ST7 the decoding / display processing unit 214 performs two-dimensional display processing in the display processing unit 214c, performs processing in the two-dimensional display mode, and displays display image data for displaying a two-dimensional image. obtain. Thereafter, the decoding / display processing unit 214 ends the process in step ST8.
  • the superimposing unit 216 superimposes the message display data (bitmap data) generated by the message generating unit 215 on the display image data obtained by the decoding / display processing unit 214.
  • Final display image data is obtained and supplied to the display.
  • the audio decoder 217 performs a decoding process on the audio elementary stream extracted by the demultiplexer 213 to obtain decoded audio data.
  • the channel processing unit 218 obtains audio data of each channel for realizing, for example, 5.1ch surround from the audio data obtained by the audio decoder 217, and supplies the audio data to the speaker.
  • a television broadcast signal input to the antenna terminal 210 is supplied to the digital tuner 211.
  • the television broadcast signal is processed, and a predetermined transport stream TS corresponding to the user's selected channel is output.
  • This transport stream TS is temporarily stored in the TS buffer 212.
  • the transport stream TS includes a video elementary stream and an audio elementary stream.
  • the transport stream TS includes a base stream and a subordinate stream that respectively include base view and non-base view image data constituting a stereoscopic image.
  • the transport stream TS includes a base stream and a subordinate stream that respectively include base view and non-base view image data constituting a stereoscopic image.
  • the two-dimensional image transmission mode only a basic stream including two-dimensional image data, or a basic stream and a subordinate stream including two-dimensional image data, respectively, are included.
  • the demultiplexer 213 extracts video and audio streams (elementary streams) from the transport stream TS temporarily stored in the TS buffer 213.
  • the video elementary stream is supplied to the decoding / display processing unit 214, and the audio elementary stream is supplied to the audio decoder 217.
  • the demultiplexer 213 extracts a 3D event descriptor (3D_event_descriptor) from the transport stream TS and sends it to the CPU 201.
  • the CPU 201 can grasp from this descriptor whether the apparatus is in the stereoscopic image transmission mode or the two-dimensional image transmission mode. Further, the CPU 201 acquires information of a message that prompts the user to perform a specific viewing operation from the descriptor.
  • the CPU 201 controls the message generator 215 based on this message information, and generates message display data (bitmap data).
  • the decoding / display processing unit 214 performs decoding processing and display processing on the video elementary stream extracted by the demultiplexer 213 to obtain display image data.
  • the decoding / display processing unit 214 performs processing based on the first identification information inserted in the basic stream and the second identification information inserted in the subordinate stream. That is, when the first identification information is not included in the basic stream, only the basic stream is decoded, and display processing in the two-dimensional display mode is performed to display image data for displaying a two-dimensional image. can get.
  • both the basic stream and the dependent stream are decoded, and further Display processing for the display mode is performed, and display image data for displaying a stereoscopic image is obtained.
  • the basic stream includes the first identification information and the second identification information included in the subordinate stream indicates the two-dimensional image transmission mode, only the basic stream is decoded, and the two-dimensional display mode Display processing is performed to obtain display image data for displaying a two-dimensional image.
  • the display image data obtained by the decoding / display processing unit 214 is supplied to the superimposing unit 216, and the message display data generated by the message generating unit 215 is superimposed to obtain final display image data SV.
  • the display image data SV is supplied to a display, and a stereoscopic image display or a two-dimensional image display is performed on the display.
  • the audio stream extracted by the demultiplexer 213 is supplied to the audio decoder 217.
  • the audio decoder 217 performs audio stream decoding processing to obtain decoded audio data, and the audio data is supplied to the channel processing unit 218.
  • the channel processing unit 218 generates audio data for each channel for realizing, for example, 5.1ch surround for the audio data. This audio data is supplied to, for example, a speaker, and audio output is performed in accordance with image display.
  • the identification information (3D_flg) is supplied in the transport layer, that is, the 3D event descriptor inserted under the EIT (see FIG. 8).
  • 3D event 2D content may be inserted into 3D content. Only 2D content is distributed within the 2D event.
  • the first identification information (multi-view view position SEI) inserted into the base stream (Base stream) and the dependent stream (Dependent stream) are inserted.
  • the second identification information (Priority_id) corresponds.
  • the first identification information is 3D signaling indicating the presence of a dependent stream in addition to the basic stream, and the second identification information is in a stereoscopic (3D) image transmission mode or a two-dimensional (2D) image. It is 2D / 3D signaling indicating whether or not the transmission mode is set.
  • FIGS. 16B and 16C show the first case in the case A (Case A) where only the basic stream (Base stream) including the two-dimensional image data exists and the subordinate stream does not exist in the two-dimensional image transmission mode. The states of the identification information and the second identification information are shown.
  • the first identification information is inserted into the basic stream.
  • the second identification information is that the image data included in the base stream and the subordinate stream is different (base slice ⁇ Dep. Slice), that is, stereoscopic (3D) image transmission. Indicates that it is in mode. Therefore, in the receiver 200, both the basic stream and the subordinate stream are decoded, and further, display processing for the stereoscopic display mode is performed. As shown in FIG. 16 (f), the stereoscopic (3D) image is displayed. Done.
  • the receiver 200 since only the basic stream exists, the first identification information is not inserted into the basic stream. Therefore, in the receiver 200, only the basic stream is decoded, and further, display processing for the two-dimensional display mode is performed, and a two-dimensional (2D) image is displayed as shown in FIG. .
  • FIGS. 16D and 16E show a case B (Case B) in which a basic stream (Base stream) and a dependent stream (Dependent stream) each containing the same two-dimensional image data exist in the two-dimensional image transmission mode. ) Shows the states of the first identification information and the second identification information.
  • 3D event period 3D image transmission mode
  • both the basic stream and the dependent stream are decoded, and further, display processing for the stereoscopic display mode is performed.
  • FIG. 16F a stereoscopic (3D) image is displayed.
  • the first identification information is inserted into the basic stream.
  • the identification information for identifying whether the dependent stream is in the stereoscopic (3D) image transmission mode or the two-dimensional (2D) image transmission mode ( Second identification information) is inserted. Therefore, in the receiver 200, even when there is a subordinate stream in addition to the basic stream, when the stereoscopic image transmission mode is switched to the two-dimensional image transmission mode, the two-dimensional image is decoded and displayed. You can switch immediately. As a result, a full-resolution two-dimensional image can be displayed with respect to the display capability (see FIG. 2C).
  • a message that prompts the user to perform a specific viewing operation for example, a message about wearing / non-wearing of 3D glasses, is transmitted as event information corresponding to the transmission mode (see FIG. 1). 8). Therefore, the receiver 200 can superimpose the message on an image and present it to the user, and can prompt the user to perform a specific viewing operation. Thereby, the user can view in the correct state.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • the Internet distribution it is often distributed in a container of MP4 or other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.
  • the image transmission / reception system 10 including the broadcast station 100 and the receiver 200 is shown.
  • the configuration of the image transmission / reception system to which the present technology can be applied is not limited thereto.
  • the receiver 200 may have a configuration of a set top box and a monitor connected by a digital interface such as HDMI (High-Definition Multimedia Interface).
  • a stereoscopic image transmission mode for transmitting a basic stream and a dependent stream each including image data of a base view and a non-base view constituting a stereoscopic image, and a basic stream and a dependent stream each including the same two-dimensional image data are transmitted.
  • a transmission apparatus comprising: an identification information insertion unit that inserts identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is in the subordinate stream.
  • the basic stream and the dependent stream are encoded with a NAL unit structure,
  • the identification information insertion unit The transmitting apparatus according to (1), wherein the identification information is inserted into a header portion of a NAL unit constituting the dependent stream.
  • the identification information insertion unit The transmission apparatus according to (2), wherein a relationship with the basic stream having a high priority is defined in a value of Priority_id indicating a priority relationship between the plurality of streams in the header portion.
  • the identification information insertion unit The transmission device according to (3), wherein when in the two-dimensional image transmission mode, the value of Priority_id is set to a specific value.
  • the transmission unit is in the stereoscopic image transmission mode or the two-dimensional image transmission mode in units of events,
  • the transmission device according to any one of (1) to (4), further including a message transmission unit that transmits, as event information, a message that prompts the user to perform a specific viewing operation corresponding to the transmission mode of the transmission unit.
  • the transmission unit transmits a container of a predetermined format having the basic stream and the dependent stream,
  • the transmission device according to (5), wherein the message transmission unit inserts the message into a layer of the container.
  • the container is a transport stream,
  • the message insertion part The transmission device according to (6), wherein the message is inserted into a descriptor under an event information table included in the transport stream.
  • a stereoscopic image transmission mode for transmitting a basic stream and a dependent stream each including image data of a base view and a non-base view constituting a stereoscopic image, and a basic stream and a dependent stream each including the same two-dimensional image data are transmitted.
  • a two-dimensional image transmission mode for transmitting An identification information insertion step of inserting identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is in the subordinate stream.
  • Image data transmission having a stereoscopic image transmission mode for transmitting a stream including base view and non-base view image data constituting a stereoscopic image, and a two-dimensional image transmission mode for transmitting a stream including two-dimensional image data.
  • a transmission device comprising, as event information, a message transmission unit that transmits a message that prompts the user to perform a specific viewing operation corresponding to the transmission mode of the transmission unit.
  • the transmission unit transmits a container of a predetermined format having the stream, The transmission device according to (9), wherein the message transmission unit inserts the message into a layer of the container.
  • the container is a transport stream, The message sending unit The transmitting device according to (10), wherein the message is inserted into a descriptor under an event information table included in the transport stream.
  • a transmission method comprising: a message transmission step of transmitting a message prompting the user to perform a specific viewing operation as event information in correspondence with the transmission mode of the transmission step.
  • a receiving unit for receiving the dependent stream In the subordinate stream, identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is present is inserted,
  • a receiving apparatus further comprising: a processing unit that performs processing on the received basic stream and dependent stream based on the identification information to obtain display image data.
  • the processing unit When the identification information indicates that it is in the stereoscopic image transmission mode, both the basic stream and the dependent stream are decoded to obtain image data of each view for stereoscopic image display, and the image data of each view To obtain display image data for displaying a stereoscopic image,
  • the receiving device wherein when the identification information indicates the two-dimensional image transmission mode, only the basic stream is decoded to obtain display image data for displaying a two-dimensional image.
  • a basic stream and a dependent stream in a stereoscopic image transmission mode each including image data of a base view and a non-base view constituting a stereoscopic image, or a basic stream in a two-dimensional image transmission mode including the same two-dimensional image data
  • Receiving a dependent stream In the subordinate stream, identification information for identifying whether the stereoscopic image transmission mode or the two-dimensional image transmission mode is present is inserted,
  • a receiving method further comprising a processing step of performing processing on the received basic stream and dependent stream based on the identification information to obtain display image data.
  • an image data receiving unit that receives, in units of events, a stream including image data of each view constituting a stereoscopic image or a stream including two-dimensional image data; As event information, a message receiving unit that receives a message prompting the user to perform a specific viewing operation; A processing unit for processing the received stream to obtain display image data for displaying a stereoscopic image or a two-dimensional image; And a superimposing unit that superimposes the display data of the received message on the display image data.
  • An image data receiving step for receiving a stream including image data of each view constituting a stereoscopic image or a stream including two-dimensional image data in units of events;
  • a message receiving step for receiving a message prompting the user to perform a specific viewing operation as event information;
  • a transmission unit that transmits a basic stream including first image data and a subordinate stream including second image data;
  • a transmission apparatus comprising: an identification information insertion unit that inserts identification information for identifying whether or not the second image data is the same as the first image data into the subordinate stream.
  • a main feature of the present technology is that a two-dimensional image is inserted by inserting identification information that identifies whether a dependent stream is in a stereoscopic (3D) image transmission mode or a two-dimensional (2D) image transmission mode. Even when the distribution of the above is performed with the same stream configuration as the distribution of the stereoscopic image, the receiving side can display a full-resolution two-dimensional image with respect to the display capability (FIGS. 15 and 2). c)).
  • DESCRIPTION OF SYMBOLS 10 ... Image transmission / reception system 100 ... Broadcasting station 110 ... Transmission data generation part 111 ... Data extraction part 112 ... Video encoder 113 ... Audio encoder 114 ... Multiplexer 200 ... Reception Machine 201 ... CPU 211 ... Digital tuner 212 ... Transport stream buffer (TS buffer) 213: Demultiplexer 214: Decoding / display processing unit 214a ... NAL unit analysis unit 214b ... Slice decoding unit 214c ... Display processing unit 214d ... SPS / PPS / SEI processing unit 215 ..Message generation unit 216 ... Superimposition unit 217 ... Audio encoder 218 ... Channel processing unit

Abstract

 2次元画像の配信を立体画像の配信と同様のストリーム構成で行う場合にあっても、受信側において、表示能力に対してフル解像度の2次元画像表示を可能とする。 立体画像送信モードおよび2次元画像送信モードを有する。立体画像送信モードでは、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する。2次元画像送信モードでは、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する。立体画像送信モードにあるか2次元画像送信モードにあるかを識別する識別情報を従属ストリームに挿入する。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、2次元画像の配信を立体画像の配信と同様のストリーム構成で送信する送信装置等に関する。
 例えば、特許文献1には、放送局からの配信内容が2次元画像から立体画像に、あるいは立体画像から2次元画像に動的に変化する場合に、受信機が正しいストリーム受信を行い得るためのシグナリングについての記載がある。この場合、例えば、2次元画像の配信時には2次元画像データを含むAVCストリームが送信され、立体画像の配信時には立体画像を構成するベースビューおよびノンベースビューの画像データを含むMVCストリームが送信される。そして、立体画像の配信時には、トランスポートストリームに、ベースビューとノンベースビューの関連付け情報が挿入される。受信機は、この関連付け情報に基づき、配信内容の動的な変化を認識して、デコード処理および表示処理を動的に切り替えることができる。
特開2011-234336号公報
 放送局において、2次元画像の配信時にもエンコーダのモードを立体画像の配信時と同じくする運用が考えられる。この場合、2次元画像の配信時にも、MVCストリームが送信される。その場合、受信側では常に立体画像のデコード処理および表示処理が行われ、2次元画像の配信時に表示能力に対してフル解像度の2次元画像表示が行われるなくなるおそれがある。
 本技術の目的は、2次元画像の配信を立体画像の配信と同様のストリーム構成で行う場合にあっても、受信側において、表示能力に対してフル解像度の2次元画像表示を可能とすることにある。
 本技術の概念は、
 立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する立体画像送信モードと、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する2次元画像送信モードとを有する送信部と、
 上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報を従属ストリームに挿入する識別情報挿入部とを備える
 送信装置にある。
 本技術において、送信部は、立体画像送信モードと、2次元画像送信モードとを有するものである。立体画像送信モードでは、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームが送信される。また、2次元画像送信モードでは、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームが送信される。この場合、立体画像送信モードと2次元画像送信モードのストリーム構成は同じである。
 識別情報挿入部により、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する識別情報が従属ストリームに挿入される。例えば、基本ストリームおよび従属ストリームはNALユニット構造で符号化されており、識別情報挿入部は、従属ストリームを構成するNALユニットのヘッダ部分に識別情報を挿入する、ようにされてもよい。
 この場合、例えば、識別情報挿入部は、ヘッダ部分の複数のストリームの優先関係を示す Priority_id の値に、優先度が高い基本ストリームとの関係を定義する、ようにされてもよい。そして、識別情報挿入部は、2次元画像送信モードにあるとき、 Priority_id の値を特定の値に設定する、ようにされてもよい。
 このように本技術においては、従属ストリームに立体画像送信モードにあるか2次元画像送信モードにあるかを識別する識別情報が挿入されるものである。そのため、受信側においては、例えば、立体画像送信モードから2次元画像送信モードに切り替わった場合に、この識別情報に基づいて、2次元画像のデコード処理および表示処理に直ちに切り替えることが可能となり、表示能力に対してフル解像度の2次元画像表示が可能となる。
 なお、本技術において、例えば、送信部は、イベント単位で、立体画像送信モードあるいは2次元画像送信モードとなり、イベント情報として、送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信部をさらに備える、ようにされてもよい。
 このようなメッセージを送信することで、受信側において、ユーザに特定の視聴動作を促すことが可能となり、ユーザは正しい状態での視聴が可能となる。例えば、立体画像送信モードにあって立体画像表示が行われる場合には3Dメガネを付けることを促し、逆に、2次元画像送信モードにあって2次元画像表示が行われる場合には3Dメガネを外すことを促すものである。
 例えば、送信部は、基本ストリームおよび従属ストリームを有する所定フォーマットのコンテナを送信し、メッセージ送信部は、コンテナのレイヤに、メッセージを挿入する、ようにされてもよい。そして、この場合、コンテナはトランスポートストリームであり、メッセージ送信部は、メッセージを、トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下にある記述子に挿入する、ようにされてもよい。
 また、本技術の概念は、
 立体画像を構成するベースビューおよびノンベースビューの画像データを含むストリームを送信する立体画像送信モードと、2次元画像データを含むストリームを送信する2次元画像送信モードとを有する画像データ送信部と、
 イベント情報として、上記送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信部とを備える
 送信装置にある。
 本技術において、送信部は、立体画像送信モードと、2次元画像送信モードとを有するものである。立体画像送信モードでは、立体画像を構成するベースビューおよびノンベースビューの画像データを含むストリームが送信される。また、2次元画像送信モードでは、2次元画像データを含むストリームが送信される。
 メッセージ送信部により、イベント情報として、送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージが送信される。例えば、立体画像送信モードにあって立体画像表示が行われる場合には3Dメガネを付けることを促し、逆に、2次元画像送信モードにあって2次元画像表示が行われる場合には3Dメガネを外すことを促すものである。
 例えば、送信部は、ストリームを有する所定フォーマットのコンテナを送信し、メッセージ送信部は、コンテナのレイヤに、メッセージを挿入する、ようにされてもよい。そして、この場合、コンテナはトランスポートストリームであり、メッセージ送信部は、メッセージを、トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下にある記述子に挿入する、ようにされてもよい。
 このように本技術においては、イベント情報として、送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するものである。そのため、受信側において、ユーザに特定の視聴動作を促すことが可能となり、ユーザは正しい状態での視聴が可能となる。
 また、本技術の他の概念は、
 立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む立体画像送信モードにおける基本ストリームおよび従属ストリーム、あるいは同一の2次元画像データをそれぞれ含む2次元画像送信モードにおける基本ストリームおよび従属ストリームを受信する受信部を備え、
 上記従属ストリームには、上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報が挿入されており、
 上記受信された基本ストリームおよび従属ストリームに対して、上記識別情報に基づいて処理を行って表示用画像データを得る処理部をさらに備える
 受信装置にある。
 本技術において、受信部により、立体画像送信モードあるいは2次元画像送信モードにおける基本ストリームおよび従属ストリームが受信される。立体画像送信モードにおける基本ストリームおよび従属ストリームには、立体画像を構成するベースビューおよびノンベースビューの画像データがそれぞれ含まれる。また、2次元画像送信モードにおける基本ストリームおよび従属ストリームには、同一の2次元画像データがそれぞれ含まれる。
 従属ストリームには、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する識別情報が挿入されている。そして、処理部により、受信された基本ストリームおよび従属ストリームに対して、識別情報に基づいて処理が行われて、表示用画像データが得られる。
 例えば、処理部は、識別情報が立体画像送信モードにあることを示すとき、基本ストリームおよび従属ストリームの双方をデコードして立体画像表示用の各ビューの画像データを取得して、この各ビューの画像データを処理して立体画像を表示するための表示用画像データを得、識別情報が2次元画像送信モードであることを示すとき、基本ストリームのみをデコードして、2次元画像を表示するための表示用画像データを得る、ようにされてもよい。
 このように本技術においては、従属ストリームに挿入されている立体画像送信モードにあるか2次元画像送信モードにあるかを識別する識別情報に基づいて、受信された基本ストリームおよび従属ストリームに対して処理を行って表示用画像データを得るものである。そのため、例えば、立体画像送信モードから2次元画像送信モードに切り替わった場合に、この識別情報に基づいて、2次元画像のデコード処理および表示処理に直ちに切り替えることが可能となり、表示能力に対してフル解像度の2次元画像表示が可能となる。
 また、本技術の他の概念は、
 イベント単位で、立体画像を構成する各ビューの画像データを含むストリーム、あるいは2次元画像データを含むストリームを受信する画像データ受信部と、
 イベント情報として、ユーザに特定の視聴動作を促すメッセージを受信するメッセージ受信部と、
 上記受信されたストリームを処理して立体画像または2次元画像を表示するための表示用画像データを得る処理部と、
 上記表示用画像データに、上記受信されたメッセージの表示データを重畳する重畳部とを備える
 受信装置にある。
 本技術において、画像データ受信部により、イベント単位で、立体画像を構成する各ビューの画像データを含むストリーム、あるいは2次元画像データを含むストリームが受信される。また、メッセージ受信部により、イベント情報として、ユーザに特定の視聴動作を促すメッセージが受信される。処理部により、受信されたストリームが処理されて、立体画像または2次元画像を表示するための表示用画像データが得られる。そして、重畳部により、表示用画像データに、受信されたメッセージの表示データが重畳される。
 このように本技術においては、受信されたストリームが処理されて得られた立体画像または2次元画像を表示するための表示用画像データに、ユーザに特定の視聴動作を促すメッセージの表示データが重畳されるものである。そのため、ユーザに特定の視聴動作を促すことが可能となり、ユーザは正しい状態での視聴が可能となる。例えば、立体画像表示が行われる場合には3Dメガネを付けることを促すことができ、逆に、2次元画像表示が行われる場合には3Dメガネを外すことを促すことができる。
 また、本技術の他の概念は、
 第1の画像データを含む基本ストリームと第2の画像データを含む従属ストリームとを送信する送信部と、
 上記第2の画像データが上記第1の画像データと同一か否かを識別する識別情報を上記従属ストリームに挿入する識別情報挿入部とを備える
 送信装置にある。
 本技術において、送信部により、第1の画像データを含む基本ストリームと第2の画像データを含む従属ストリームとが送信される。また、識別情報挿入部により、第2の画像データが第1の画像データと同一か否かを識別する識別情報が従属ストリームに挿入される。
 このように本技術においては、従属ストリームに第2の画像データが第1の画像データと同一か否かを識別する識別情報が挿入されるものである。そのため、受信側においては、例えば、立体画像送信モードから2次元画像送信モードに切り替わった場合に、この識別情報に基づいて、2次元画像のデコード処理および表示処理に直ちに切り替えることが可能となり、表示能力に対してフル解像度の2次元画像表示が可能となる。
 本技術によれば、2次元画像の配信を立体画像の配信と同様のストリーム構成で行う場合にあっても、受信側において、表示能力に対してフル解像度の2次元画像表示が可能となる。また、本技術によれば、送信モードに対応して、ユーザに特定の視聴動作を促すことが可能となり、ユーザは正しい状態での視聴が可能となる
画像送受信システムの構成例を示すブロック図である。 基本ストリームの他に従属ストリームが含まれている場合における、受信機側のデコードから表示への処理を概略的に示す図である。 トランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。 マルチビュー・ビュー・ポジション・SEIメッセージ(multiview_view_position SEI message )がアクセスユニットの“SELs”の部分に挿入されることを説明するための図である。 SEIメッセージに含まれるマルチビュー・ビュー・ポジション(Multiview view position())の構造例(Syntax)を示す図である。 NALユニット構造で符号化されている基本ストリーム(Base stream)と従属ストリーム(Dependent stream)の構成を概略的に示す図である。 「NAL unit header mvc extension」の構造例(Syntax)を示す図である。 3D・イベント・デスクリプタ(3D_event_descriptor)の構造例(Syntax)を示す図である。 3D・イベント・デスクリプタ(3D_event_descriptor)の構造例における主要な情報の内容(Semantics)を示す図である。 コンポーネント・デスクリプタの構造例(Syntax)を示す図である。 トランスポートストリームTSの構成例を示す図である。 トランスポートストリームTSの他の構成例を示す図である。 画像送受信システムを構成する受信機の構成例を示すブロック図である。 デコード・表示処理部の詳細構成例を示すブロック図である。 デコード・表示処理部の処理手順の一例を示すフローチャートである。 送信側で3Dイベントと2Dイベントが時分割的にエンコードされて送信される場合の各識別情報などを説明するための図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [画像送受信システム]
 図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100および受信機200により構成されている。放送局100は、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。この放送局100は、イベント(番組)単位で、立体(3D)画像送信モードあるいは2次元(2D)画像送信モードとなる。
 立体画像送信モードでは、トランスポートストリームTSに、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリーム(Base stream)および従属ストリーム(Dependent stream)が含まれる。なお、説明を簡単にするため、この実施の形態において、立体画像はステレオ立体画像であり、ベースビューは左眼ビューであり、ノンベースビューは1つであって、右眼ビューであるとする。実際にはこれに限定されるものではない。
 2次元画像送信モードでは、トランスポートストリームTSに、2次元画像データを含む基本ストリーム(Base stream)のみが含まれるか、あるいは、同一の2次元画像データをそれぞれ含む基本ストリーム(Base stream)および従属ストリーム(Dependent stream)が含まれる。
 トランスポートストリームTSに基本ストリームおよび従属ストリームが含まれる場合、基本ストリームに、基本ストリームの他に従属ストリームの存在を示す第1の識別情報(3Dシグナリング)が挿入される。上述したように、立体画像送信モードの場合には、トランスポートストリームTSに基本ストリームおよび従属ストリームが含まれる。また、上述したように、2次元画像送信モードの場合にも、トランスポートストリームTSに基本ストリームおよび従属ストリームが含まれることがある。この識別情報の詳細については、後述する。
 また、トランスポートストリームTSに基本ストリームの他に従属ストリームが含まれる場合、従属ストリームに、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する第2の識別情報が挿入される。換言すれば、この識別情報は、基本ストリームに含まれる画像データと従属ストリームに含まれる画像データとが同一か否かを識別するものである。この識別情報の詳細については、後述する。
 また、トランスポートストリームTSのレイヤに、立体画像送信モードにあるか2次元画像送信モードにあるかを示す第3の識別情報が挿入される。例えば、この識別情報は、トランスポートストリームTSに含まれるイベント・インフォメーション・テーブル(Event Information Table)の配下に挿入される。この識別情報には、送信モードに対応して、ユーザに特定の視聴動作を促すメッセージが付加される。このメッセージは、例えば、立体画像送信モードにあっては3Dメガネを付けることを促すものであり、2次元画像送信モードにあっては3Dメガネを外すことを促すものである。この識別情報の詳細については、後述する。
 受信機200は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、立体画像送信モードでは、立体画像を構成するベースビュー(左眼ビュー)およびノンベースビュー(右眼ビュー)の画像データをそれぞれ含む基本ストリームおよび従属ストリームが含まれる。また、このトランスポートストリームTSには、2次元画像送信モードでは、2次元画像データを含む基本ストリームのみが含まれるか、あるいは、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームが含まれる。
 受信機200は、上述したように、基本ストリームおよび従属ストリームに挿入されている識別情報に基づいて処理を行って、表示用画像データを得る。すなわち、基本ストリームに第1の識別情報が含まれていない場合、基本ストリームのみがデコードされて、2次元画像を表示するための表示用画像データが得られる。
 また、基本ストリームに第1の識別情報が含まれており、従属ストリームに含まれる第2の識別情報が立体画像送信モードを示している場合、以下の処理が行われる。まず、基本ストリームおよび従属ストリームの双方がデコードされて立体画像表示用の左眼ビューおよび右眼ビューの画像データが得られる。そして、これら各ビューの画像データが処理されて立体画像を表示するための表示用画像データが得られる。
 また、基本ストリームに第1の識別情報が含まれており、従属ストリームに含まれる第2の識別情報が2次元画像送信モードを示している場合、基本ストリームのみがデコードされて、2次元画像を表示するための表示用画像データが得られる。この場合には、基本ストリームの他に従属ストリームが存在するが、立体画像のデコード処理および表示処理ではなく、2次元画像のデコード処理および表示処理が行われる。
 図2は、基本ストリームの他に従属ストリームが含まれている場合における、受信機200側のデコードから表示への処理を概略的に示している。図2(a)は、第2の識別情報が立体画像送信モードを示している場合である。この場合、送信側からは3Dコンテンツに対応した左眼ビュー(Left view)および右眼ビュー(Right view)の画像データがMVCでエンコードされて送られてくる。
 そして、受信側では、MVCでデコードされて、左眼ビュー(Left view)および右眼ビュー(Right view)の画像データが得られる。そして、これらの画像データに対して3D表示処理が施されて、立体画像を表示するための表示用画像データが生成される。この場合、各ビューの画像の表示は、空間的、あるいは時間的に、表示能力の1/2の解像度となる。
 図2(c)は、第2の識別情報が2次元画像送信モードを示している場合である。この場合、送信側からは2Dコンテンツに対応した2次元画像データがMVCでエンコードされて送られてくる。受信側では、MVCでデコードされて、2次元画像データが得られる。この場合、基本ストリームのみがデコードされる。この2次元画像データに2D表示処理が施されて、2次元画像を表示するための表示用画像データが生成される。この場合、2次元画像の表示は、空間的にも時間的にも表示能力に対してフル解像度となる。
 なお、図2(b)は、2次元画像送信モードであるが、従属ストリームに第2の識別情報の挿入がない場合を、上述の図2(c)との比較のために示している。この場合、送信側からは2Dコンテンツに対応した2次元画像データがMVCでエンコードされて送られてくる。
 そして、受信側では、MVCでデコードされて、2次元画像データが得られる。この場合、第2の識別情報の挿入がないことから、基本ストリームおよび従属ストリームの双方がデコードされ、それぞれから同一の2次元画像データが得られる。そして、これらの画像データに対して3D表示処理が施されて、表示用画像データが生成される。
 この表示用画像データは、時間方向の同じ画像フレームが2つずつ連続したもの、あるいはフレーム内において垂直方向に同じラインが2つずつ連続したものとなる。この場合、フラット3D表示となり、各ビューの画像の表示は、空間的、あるいは時間的に、表示能力の1/2の解像度となる。
 また、受信機200は、上述したように、トランスポートストリームTSに挿入されている第3の識別情報により、立体画像送信モードにあるか2次元画像送信モードにあるかを大まかに判断できる。また、受信機200は、この第3の識別情報に付加されているユーザに特定の視聴動作を促すメッセージを、表示画像に重畳して表示する。ユーザは、このメッセージを参照することで、正しい状態での視聴が可能となる。
 「送信データ生成部の構成例」
 図3は、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、データ取り出し部111と、ビデオエンコーダ112と、オーディオエンコーダ113と、マルチプレクサ114を有している。
 データ取り出し部111は、画像撮像媒体111a、音声入力媒体111bおよびデータ記録媒体111cを有している。画像撮像媒体111aは、被写体を撮像して、立体画像を構成する左眼画像および右眼画像のデータ、あるいは2次元画像データを出力するカメラなどである。音声入力媒体111bは、音声データを出力するマイクロホンなどである。また、データ記録媒体111cは、上述した各データを記録し再生する。
 ビデオエンコーダ112は、データ取り出し部111から取り出される画像データに対して、例えば、MPEG4-AVC(MVC)、MPEG2video、あるいはHEVCなどの符号化を施して、符号化画像データを得る。また、このビデオエンコーダ112は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。
 ビデオエンコーダ112は、イベント(番組)単位で、立体(3D)画像送信モードあるいは2次元(2D)画像送信モードとなる。ビデオエンコーダ112は、3Dコンテンツ画像を送信する立体画像送信モードでは、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを生成する。また、ビデオエンコーダ112は、2Dコンテンツ画像を送信する2次元画像送信モードでは、2次元画像データを含む基本ストリームのみ、あるいは2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを生成する。
 ビデオエンコーダ112は、トランスポートストリームTSに基本ストリームおよび従属ストリームが含まれる場合、基本ストリームに、基本ストリームの他に従属ストリームの存在を示す第1の識別情報(3Dシグナリング)を挿入する。また、ビデオエンコーダ112は、トランスポートストリームTSに基本ストリームの他に従属ストリームが含まれる場合、従属ストリームに、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する第2の識別情報を挿入する。
 オーディオエンコーダ113は、データ取り出し部111から取り出される音声データに対して、MPEG-2 Audio、AAC等の符号化を施し、オーディオストリーム(オーディオエレメンタリストリーム)を生成する。
 マルチプレクサ114は、ビデオエンコーダ112およびオーディオエンコーダ113からの各ストリームを多重化し、トランスポートストリームTSを得る。この場合、それぞれのPES(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、PTS(Presentation Time Stamp)が挿入される。
 マルチプレクサ114は、トランスポートストリームTSのレイヤに、立体画像送信モードにあるか2次元画像送信モードにあるかを示す第3の識別情報を挿入する。この識別情報には、送信モードに対応して、ユーザに特定の視聴動作を促すメッセージが付加される。
 図3に示す送信データ生成部110の動作を簡単に説明する。データ取り出し部111から取り出される画像データ(立体画像を構成する左眼画像および右眼画像のデータ、あるいは2次元画像データ)は、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データに対して符号化が施され、符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)が生成される。このビデオストリームは、マルチプレクサ114に供給される。
 この場合、3Dコンテンツ画像を送信する立体画像送信モードでは、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームが生成される。また、この場合、2Dコンテンツ画像を送信する2次元画像送信モードでは、2次元画像データを含む基本ストリームのみ、あるいは2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームが生成される。
 また、ビデオエンコーダ112では、基本ストリームおよび従属ストリームが生成される場合、基本ストリームに、基本ストリームの他に従属ストリームの存在を示す第1の識別情報(3Dシグナリング)を挿入することが行われる。また、ビデオエンコーダ112では、基本ストリームおよび従属ストリームが生成される場合、従属ストリームに、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する第2の識別情報を挿入することが行われる。
 データ取り出し部111から取り出される音声データはオーディオエンコーダ113に供給される。このオーディオエンコーダ113では、音声データに対して符号化が施され、オーディオストリーム(オーディオエレメンタリストリーム)が生成される。このオーディオストリームは、マルチプレクサ114に供給される。
 マルチプレクサ114では、ビデオエンコーダ112およびオーディオエンコーダ113からの各ストリームが多重化され、トランスポートストリームTSが生成される。この場合、それぞれのPESヘッダには、受信側における同期再生のために、PTSが挿入される。また、マルチプレクサ114では、トランスポートストリームTSのレイヤに、立体画像送信モードにあるか2次元画像送信モードにあるかを示す第3の識別情報が挿入される。
 [各種識別情報の構造とTS構成]
 上述したように、トランスポートストリームTSに基本ストリームおよび従属ストリームが含まれる場合、基本ストリームに、基本ストリームの他に従属ストリームの存在を識別する第1の識別情報(3Dシグナリング)が挿入される。例えば、符号化方式がMPEG4-AVC(MVC)である場合、または、HEVCのような、NALユニットなどの符号化構造が似通っている符号化方式である場合、この第1の識別情報は、アクセスユニット(AU)の“SEIs”の部分に、SEIメッセージとして挿入される。
 この場合、第1の識別情報として、例えば、既存のマルチビュー・ビュー・ポジション・SEIメッセージ(multiview_view_position SEI message )が利用される。図4(a)は、GOP(Group Of Pictures)の先頭のアクセスユニットを示しており、図4(b)は、GOPの先頭以外のアクセスユニットを示している。SEIメッセージは、画素データが符号化されているスライス(slices)よりもビットストリーム上、早い位置に符号化されるので、受信機はSEIの内容を識別することで、それ以下のデコード処理を決定することが可能となる。
 図5は、このSEIメッセージに含まれるマルチビュー・ビュー・ポジション(Multiview view position())の構造例(Syntax)を示している。「num_views_minus1」のフィールドは、ビュー数から1引いた値(0~1023)を示す。「view_position[i]」のフィールドは、各ビューの表示の際の相対的な位置関係を示す。つまり、各ビューを表示する際のレフトビュー(left view)からライトビュー(Right view)への順次相対位置を0から順次増加する値で示す。
 また、上述したように、トランスポートストリームTSに基本ストリームの他に従属ストリームが含まれる場合、従属ストリームに、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する第2の識別情報(2D/3Dシグナリング)が挿入される。例えば、符号化方式がMPEG4-AVC(MVC)である場合、または、HEVCのような、NALユニットなどの符号化構造が似通っている符号化方式である場合、この第2の識別情報は、従属ストリームを構成するNALユニットのヘッダ部分に挿入される。
 具体的には、第2の識別情報の挿入は、従属ストリームを構成するNALユニットの「NAL unit header mvc extension」の「priority_id」のフィールドに、基本ストリームとの関係を定義することで行われる。
 図6は、NALユニット構造で符号化されている基本ストリーム(Base stream)と、従属ストリーム(Dependent stream)の構成を概略的に示している。基本ストリームのアクセスユニット(AU)は、“AU delimiter”、“SPS”、“PPS”、“SEI”、“Slice(base)”などのNALユニットで構成されている。“AU delimiter”はアクセスユニットの開始を示す。“SPS”はシーケンスパラメタを示す。“PPS”はピクチャパラメタを示す。“SEI”は表示やバッファ管理上有用な情報を提供する。“Slice(base)”は実際のピクチャの符号化データを含む。
 なお、“SEI”は1個だけ図示されているが、実際には複数個存在する。上述のマルチビュー・ビュー・ポジション・SEIメッセージ(multiview_view_position SEI message )も、その複数個の1つとして存在する。また、“SPS”は、GOP(Groupe Of Picture)の先頭アクセスユニットにのみ存在する。
 従属ストリーム(Dependent stream)のアクセスユニット(AU)は、“Dependent delimiter”、“Subset SPS”、“PPS”、“SEI”、“Slice(dependent)”などのNALユニットで構成されている。“Dependent delimiter”はアクセスユニットの開始を示す。“Subset SPS”はシーケンスパラメタを示す。“PPS”はピクチャパラメタを示す。“SEI”は表示やバッファ管理上有用な情報を提供する。“Slice(dependent)”は実際のピクチャの符号化データを含む。
 基本ストリーム(Base stream)のNALユニットは、先頭の「NAL unit type」と、それに続く「NAL unit Payload」とからなっている。これに対して、従属ストリーム(Dependent stream)のNALユニットは、「NAL unit type」と「NAL unit Payload」との間に、さらに、「NAL unit header mvc extension」が存在する。
 図7は、「NAL unit header mvc extension」の構造例(Syntax)を示している。図示のように、この「NAL unit header mvc extension」の中に「priority_id」が存在する。この「priority_id」は、値が小さいほど優先度が高く、逆に値が大きいほど優先度が低いことを意味する。
 本実施の形態では、この意味づけを応用し、基本ストリームと従属ストリームとの双方に同一の2次元画像データが含まれる場合は、従属ストリームにデータ独自性がなく、よって優先度は最下位で、表示する必要はないという意味とし、2次元画像送信モードと解釈する意のシグナリングとする。すなわち、「priority_id」の値が大きい、つまり“0x3E”の場合は、優先度が非常に低い2D(2次元画像送信モード)であることを意味する。
 一方、3D(立体画像送信モード)の場合は、従属ストリームは基本ストリームとは別のビューデータ(view data)を有する。そのため、データの独自性をもつという意味で、優先度が2Dの場合よりは高い値、すなわち、“0x00”より大きく、“0x3E”よりは小さい値とする。
 「priority_id」の値から、基本ストリームの符号化データ(Baseslice)と従属ストリームの符号化データ(Dependent slice)とが同じか否かを識別でき、従って2D(2次元画像送信モード)であるか3D(立体画像送信モード)であるかを識別できる。本実施の形態では、以下のような識別が可能となる。
 すなわち、「Priority_id = 0x01 ~ 0x3E」のとき、「Dependent slice ≠ Base slice」であり、3D(立体画像送信モード)と識別される。また、「Priority_id = 0x3E」のとき、「Dependent slice = Base slice」であり、2D(2次元画像送信モード)と識別される。
 なお、「priority_id」は、「slice」に同期して切り換えることが可能なので、フレーム・アキュレートに3D/2Dのシグナリングとする。また、受信機(Receiver)がどのタイミングでも検知できるように、全ての「NALunit Header MVC extension」に、シグナリング情報を入れる。
 基本ストリームは、「nal_unit_header_mvc_extension」を持たないが、その「slice(base)」は、「priority_id = 0x00」(最優先)とみなすことが決められている。「Priority_id」は、MPEGの規定としてはデコードのプロセスでは使用されないが、アプリケーション(application)で使用することができる。
 また、上述したように、トランスポートストリームTSに含まれるイベント・インフォメーション・テーブル(Event Information Table)の配下に、立体画像送信モードにあるか2次元画像送信モードにあるかを示す第3の識別情報が挿入される。図8は、この第3の識別情報としての3D・イベント・デスクリプタ(3D_event_descriptor)の構造例(Syntax)を示している。また、図9は、その構造例における主要な情報の内容(Semantics)を示している。
 「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、3D・イベント・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 「3D_flag」のフラグ情報は、配信番組(イベント)が3Dであるか否かを示す。“1”は3Dであることを示し、“0”は3Dでないこと、つまり2Dであることを示す。「video_stream_delivery_type」の1ビットフィールドは、番組のビデオのストリームがシングルストリーム(single stream)か否かを示す。“1”はシングルストリームであることを示し、“0”は複数ストリームであることを示す。
 また、この3D・イベント・デスクリプタでは、「Text_char」でメッセージを送る。このメッセージは、例えば、ユーザに特定の視聴動作を促すメッセージである。この場合、「3D_flag」が“1”のときには3Dメガネを付けること、逆に、「3D_flag」が“0”のときには3Dメガネを外すことを通知する内容を記載する。
 なお、3D・イベント・デスクリプタの代わりに、イベント・インフォメーション・テーブルの配下に挿入される、既存のコンポーネント・デスクリプタ(Component descriptor)に適用することもできる。図10は、このコンポーネント・デスクリプタの構造例(Syntax)を示している。「stream_content」の4ビットフィールドは、伝送するフォーマット種類(MPEG-4-AVC、MVC等)を示す。また、「component_type」の8ビットフィールドは、2Dまたは3D(3Dの場合、frame compatibleかservice compatibleか)を示す。
 図11は、トランスポートストリームTSの構成例を示している。トランスポートストリームTSには、ビデオエレメンタリストリームのPESパケット「PID1:video PES1」と、オーディオエレメンタリストリームのPESパケット「PID2:Audio PES1」が含まれている。
 ビデオエレメンタリストリームに基本ストリームの他に従属ストリームが含まれる場合、基本ストリームに、基本ストリームの他に従属ストリームが存在することを示す第1の識別情報(3Dシグナリング)が、マルチビュー・ビュー・ポジション・SEIメッセージとして挿入される。
 また、ビデオエレメンタリストリームに基本ストリームの他に従属ストリームが含まれる場合、従属ストリームのNALユニットの「NAL unit header mvc extension」の「priority_id」のフィールドに、立体画像送信モードにあるか2次元画像送信モードにあるかを識別する第2の識別情報(2D/3Dシグナリング)が挿入される。
 また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。
 PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、上述の1つのビデオエレメンタリストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
 EITの配下に、立体画像送信モードにあるか2次元画像送信モードにあるかを示す第3の識別情報が、3D・イベント・デスクリプタとして挿入されている。また、このEITの配下には、コンポーネント・デスクリプタも挿入されている。
 なお、図11に示すトランスポートストリームTSの構成例は、基本ストリーム(Base stream)と従属ストリーム(Dependent stream)が同一のビデオエレメンタリストリームに挿入されて送信される場合を示している。これら基本ストリームと従属ストリームが別々のビデオエレメンタリストリームに挿入されて送信される場合も考えられる。詳細説明は省略するが、図12は、その場合におけるトランスポートストリームTSの構成例を示している。
 「受信機の構成例」
 図13は、受信機200の構成例を示している。この受信機200は、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモートコントロール受信部(RC受信部)205と、リモートコントロール送信機(RC送信機)206を有している。
 また、この受信機200は、アンテナ端子210と、デジタルチューナ211と、トランスポートストリームバッファ(TSバッファ)212と、デマルチプレクサ213と、デコード・表示処理部214を有している。さらに、この受信機200は、メッセージ発生部215と、重畳部216と、オーディオデコーダ217と、チャネル処理部218を有している。
 CPU201は、受信機200の各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、受信機200の各部を制御する。RC受信部205は、RC送信機206から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU201に供給する。CPU201は、このリモコンコードに基づいて、受信機200の各部を制御する。CPU201、フラッシュROM202およびDRAM203は、内部バス204により相互に接続されている。
 アンテナ端子210は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ211は、アンテナ端子210に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームTSを出力する。TSバッファ212は、デジタルチューナ211から出力されたトランスポートストリームTSを一時的に蓄積する。このトランスポートストリームTSには、ビデオエレメンタリストリームと、オーディオエレメンタリストリームが含まれている。
 立体(3D)画像送信モードでは、トランスポートストリームTSに、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームが含まれる。また、2次元画像送信モードでは、2次元画像データを含む基本ストリームのみ、あるいは同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームが含まれる。
 デマルチプレクサ213は、TSバッファ212に一時的に蓄積されたトランスポートストリームTSから、ビデオおよびオーディオの各ストリーム(エレメンタリストリーム)を抽出する。また、デマルチプレクサ213は、このトランスポートストリームTSから、上述の3D・イベント・デスクリプタ(3D_event_descriptor)を抽出し、CPU201に送る。
 CPU201は、3D・イベント・デスクリプタから、立体画像送信モードにあるか2次元画像送信モードにあるかを把握できる。また、CPU201は、この3D・イベント・デスクリプタから、ユーザに特定の視聴動作を促すメッセージの情報を得ることができる。CPU201は、このメッセージ情報に基づいて、メッセージ発生部215を制御し、メッセージ表示データ(ビットマップデータ)を発生させる。
 デコード・表示処理部214は、デマルチプレクサ213で抽出されたビデオエレメンタリストリームに対して、デコード処理および表示処理を施して、表示用画像データを得る。この場合、デコード・表示処理部214は、基本ストリームに挿入されている第1の識別情報と従属ストリームに挿入されている第2の識別情報に基づいて、処理を行う。第1の識別情報は、上述したように、基本ストリームの他に従属ストリームの存在を示す3Dシグナリングである。第2の識別情報は、上述したように、立体画像送信モードにあるか2次元画像送信モードにあるかを示す2D/3Dシグナリングである。
 図14は、デコード・表示処理部214の詳細構成例を示している。このデコード・表示処理部214は、NALユニット解析部214aと、スライスデコード部214bと、表示処理部214cと、SPS/PPS/SEI処理部214dを有している。NALユニット解析部214aは、基本ストリーム(Base stream)および従属ストリーム(Dependent stream)のNALユニットを解析し、スライス(Slice)のNALユニットをスライスデコード部214bに送ると共に、SPS/PPS/SEIのNALユニットをSPS/PPS/SEI処理部214dに送る。
 スライスデコード部214bは、スライス(Slice)のNALユニットに含まれる符号化データをデコードして画像データを得る。表示処理部214cは、デコードされて得られた画像データを処理して表示用画像データを得る。NALユニット解析部214aは、従属ストリーム(Dependent stream)に挿入されている第2の識別情報(Priority_id)の内容をチェックし、そのチェック結果をスライスデコード部214bおよび表示処理部214cに送る。また、SPS/PPS/SEI処理部214dは、基本ストリーム(Base stream)における第1の識別情報(マルチビュー・ビュー・ポジション SEI)の存在をチェックし、そのチェック結果をスライスデコード部214bおよび表示処理部214cに送る。
 スライスデコード部214bおよび表示処理部214cは、各チェック結果に基づいて、処理を切り換える。すなわち、基本ストリームに第1の識別情報が含まれていない場合、スライスデコード部214bは基本ストリームのみをデコードして2次元画像データを得る。そして、表示処理部214cは、この2次元画像データを処理して2次元画像を表示するための表示用画像データを得る。
 また、基本ストリームに第1の識別情報が含まれており、従属ストリームに含まれる第2の識別情報が立体画像送信モードを示している場合、スライスデコード部214bは基本ストリームおよび従属ストリームの双方をデコードして、立体画像表示用の左眼ビューおよび右眼ビューの画像データを得る。そして、表示処理部214cは、各ビューの画像データを処理して立体画像を表示するための表示用画像データを得る。
 また、基本ストリームに第1の識別情報が含まれており、従属ストリームに含まれる第2の識別情報が2次元画像送信モードを示している場合、スライスデコード部214bは、基本ストリームのみをデコードして2次元画像データを得る。そして、表示処理部214cは、この2次元画像データを処理して2次元画像を表示するための表示用画像データを得る。
 図15のフローチャートは、デコード・表示処理部214の処理手順の一例を示している。デコード・表示処理部214は、ステップST1において、処理を開始する。そして、デコード・表示処理部214は、ステップST2において、基本ストリーム(Base stream)に第1の識別情報(マルチビュー・ビュー・ポジション SEI)があるか否かを判断する。
 マルチビュー・ビュー・ポジション SEIがあるとき、デコード・表示処理部214は、ステップST3において、基本ストリーム(Base stream)と従属ストリーム(Dependent stream)がサービスされているものとする。そして、デコード・表示処理部214は、ステップST4において、従属ストリームに含まれる第2の識別情報(Priority_id)が2次元画像送信モードを示しているか否か、つまり「Priority_id = 0x3E」であるか否かを判断する。
 第2の識別情報が2次元画像送信モードを示しているとき、デコード・表示処理部214は、ステップST5において、基本ストリーム(Base stream)と従属ストリーム(Dependent stream)に含まれる画像データを同じデータであると判断する。そして、デコード・表示処理部214は、ステップST6において、スライスデコード部214bで基本ストリーム(Base stream)のみをデコードして、2次元画像データを得る。
 そして、デコード・表示処理部214は、ステップST7において、表示処理部214cで2次元表示処理を施して、2次元表示モードの処理を行って、2次元画像を表示するための表示用画像データを得る。その後、デコード・表示処理部214は、ステップST8において、処理を終了する。
 また、ステップST4で第2の識別情報が立体画像送信モードを示しているとき、デコード・表示処理部214は、ステップST9において、基本ストリーム(Base stream)と従属ストリーム(Dependent stream)に含まれる画像データを違うと判断する。そして、デコード・表示処理部214は、ステップST10において、スライスデコード部214bで基本ストリーム(Base stream)および従属ストリーム(Dependent stream)の双方をデコードして、左眼ビューおよび右眼ビューの画像データを得る。
 そして、デコード・表示処理部214は、ステップST11において、表示処理部214cで2次元表示処理を施して、立体表示モードの処理を行って、立体画像を表示するための表示用画像データを得る。その後、デコード・表示処理部214は、ステップST8において、処理を終了する。
 また、デコード・表示処理部214は、ステップST2で基本ストリーム(Base stream)に第1の識別情報(マルチビュー・ビュー・ポジション SEI)ないとき、ステップST12において、従属ストリーム(Dependent stream)がサービスされていないとし、ステップST6に進み、スライスデコード部214bで基本ストリーム(Base stream)のみをデコードして、2次元画像データを得る。
 そして、デコード・表示処理部214は、ステップST7において、表示処理部214cで2次元表示処理を施して、2次元表示モードの処理を行って、2次元画像を表示するための表示用画像データを得る。その後、デコード・表示処理部214は、ステップST8において、処理を終了する。
 また、図13に戻って、重畳部216は、デコード・表示処理部214で得られた表示用の画像データに、メッセージ発生部215で発生されたメッセージ表示データ(ビットマップデータ)を重畳し、最終的な表示用の画像データを得て、ディスプレイに供給する。また、オーディオデコーダ217は、デマルチプレクサ213で抽出されたオーディオエレメンタリストリームに対して復号化処理を行って、復号化された音声データを得る。チャネル処理部218は、オーディオデコーダ217で得られる音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データを得て、スピーカに供給する。
 受信機200の動作を説明する。アンテナ端子210に入力されたテレビ放送信号はデジタルチューナ211に供給される。このデジタルチューナ211では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームTSが出力される。このトランスポートストリームTSは、TSバッファ212に一時的に蓄積される。このトランスポートストリームTSには、ビデオエレメンタリストリームと、オーディオエレメンタリストリームが含まれている。
 立体(3D)画像送信モードでは、トランスポートストリームTSに、立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームが含まれる。また、2次元画像送信モードでは、2次元画像データを含む基本ストリームのみ、あるいは2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームが含まれる。
 デマルチプレクサ213では、TSバッファ213に一時的に蓄積されたトランスポートストリームTSから、ビデオおよびオーディオの各ストリーム(エレメンタリストリーム)が抽出される。ビデオエレメンタリストリームは、デコード・表示処理部214に供給され、オーディオエレメンタリストリームは、オーディオデコーダ217に供給される。
 また、デマルチプレクサ213では、トランスポートストリームTSから、3D・イベント・デスクリプタ(3D_event_descriptor)が抽出され、CPU201に送られる。CPU201では、このデスクリプタから、立体画像送信モードにあるか2次元画像送信モードにあるかを把握できる。また、CPU201では、このデスクリプタから、ユーザに特定の視聴動作を促すメッセージの情報が取得される。CPU201では、このメッセージ情報に基づいて、メッセージ発生部215を制御することが行われ、メッセージ表示データ(ビットマップデータ)が発生される。
 デコード・表示処理部214では、デマルチプレクサ213で抽出されたビデオエレメンタリストリームに対して、デコード処理および表示処理が施されて、表示用画像データが得られる。この場合、デコード・表示処理部214では、基本ストリームに挿入されている第1の識別情報と従属ストリームに挿入されている第2の識別情報に基づいて、処理が行われる。すなわち、基本ストリームに第1の識別情報が含まれていない場合、基本ストリームのみがデコードされ、さらに2次元表示モードの表示処理が行われて、2次元画像を表示するための表示用画像データが得られる。
 また、基本ストリームに第1の識別情報が含まれており、従属ストリームに含まれる第2の識別情報が立体画像送信モードを示している場合、基本ストリームおよび従属ストリームの双方がデコードされ、さらに立体表示モードのための表示処理が行われて、立体画像を表示するための表示用画像データが得られる。さらに、基本ストリームに第1の識別情報が含まれており、従属ストリームに含まれる第2の識別情報が2次元画像送信モードを示している場合、基本ストリームのみがデコードされ、さらに2次元表示モードの表示処理が行われて、2次元画像を表示するための表示用画像データが得られる。
 デコード・表示処理部214で得られた表示用画像データは重畳部216に供給されて、メッセージ発生部215で発生されたメッセージ表示データが重畳され、最終的な表示用画像データSVが得られる。この表示用画像データSVはディスプレイに供給され、ディスプレイには立体画像表示または2次元画像表示が行われる。
 また、デマルチプレクサ213で抽出されるオーディオストリームは、オーディオデコーダ217に供給される。このオーディオデコーダ217では、オーディオストリームの復号化処理が行われて、復号化された音声データが得られ、この音声データはチャネル処理部218に供給される。チャネル処理部218では、音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。
 ここで、図16(a)に示すように、送信側で3Dイベントと2Dイベントが時分割的にエンコードされて送信される場合を考える。イベントの種類(3D/2D)に関しては、上述したように、トランスポートのレイヤ、つまりEITの配下に挿入される3D・イベント・デスクリプタで識別情報(3D_flg)が供給される(図8参照)。3Dイベント内には、3Dのコンテンツ中に2Dのコンテンツが挿入される場合がある。2Dイベント内には、2Dのコンテンツのみが配信される。
 3Dイベントと2Dイベントの切り換わりは、イベント境界でのみ起こるのであるが、トランスポートの3D・イベント・デスクリプタは、実際のビデオの切り換わりのタイミングとは同期しない。ビデオと同期したシグナリングは、ビデオストリーム中に供給され、ビデオが切り換わるフレーム精度で切り換わる。
 このビデオと同期したシグナリングとしては、上述したように、基本ストリーム(Base stream)に挿入される第1の識別情報(マルチビュー・ビュー・ポジション SEI)と、従属ストリーム(Dependent stream)に挿入される第2の識別情報(Priority_id)が該当する。上述したように、第1の識別情報は、基本ストリームの他に従属ストリームの存在を示す3Dシグナリングであり、第2の識別情報は立体(3D)画像送信モードにあるか2次元(2D)画像送信モードにあるかを示す2D/3Dシグナリングである。
 図16(b),(c)は、2次元画像送信モードでは、2次元画像データを含む基本ストリーム(Base stream)のみ存在し、従属ストリームは存在しないケースA(Case A)における、第1の識別情報および第2の識別情報の状態を示している。
 3Dイベント期間(3D画像送信モード)では、基本ストリームの他に従属ストリームが存在するので、基本ストリームには第1の識別情報が挿入される。また、この3Dイベント期間(3D画像送信モード)では、第2の識別情報は、基本ストリームおよび従属ストリームに含まれる画像データが異なること(base slice ≠ Dep. Slice)、つまり立体(3D)画像送信モードにあることを示す。そのため、受信機200においては、基本ストリームおよび従属ストリームの双方がデコードされ、さらに立体表示モードのための表示処理が行われ、図16(f)に示すように、立体(3D)画像の表示が行われる。
 一方、2Dイベント期間(2D画像送信モード)では、基本ストリームのみが存在するので、基本ストリームには第1の識別情報の挿入がない。そのため、受信機200においては、基本ストリームのみがデコードされ、さらに2次元表示モードのための表示処理が行われ、図16(f)に示すように、2次元(2D)画像の表示が行われる。
 また、図16(d),(e)は、2次元画像送信モードでは、同一の2次元画像データをそれぞれ含む基本ストリーム(Base stream)および従属ストリーム(Dependent stream)が存在するケースB(Case B)における、第1の識別情報および第2の識別情報の状態を示している。
 3Dイベント期間(3D画像送信モード)では、上述のケースAと同様であり、受信機200においては、基本ストリームおよび従属ストリームの双方がデコードされ、さらに立体表示モードのための表示処理が行われ、図16(f)に示すように、立体(3D)画像の表示が行われる。
 一方、2Dイベント期間(2D画像送信モード)では、基本ストリームの他に従属ストリームが存在するので、基本ストリームには第1の識別情報が挿入される。また、この2Dイベント期間(2D画像送信モード)では、第2の識別情報は、基本ストリームおよび従属ストリームに含まれる画像データが同じであること(base slice = Dep. Slice)、つまり2次元(2D)画像送信モードにあることを示す。そのため、受信機200においては、基本ストリームのみがデコードされ、さらに2次元表示モードのための表示処理が行われ、図16(f)に示すように、2次元(2D)画像の表示が行われる。
 上述したように、図1に示す画像送受信システム10においては、従属ストリーム(Dependent stream)に立体(3D)画像送信モードにあるか2次元(2D)画像送信モードにあるかを識別する識別情報(第2の識別情報)が挿入されるものである。そのため、受信機200においては、基本ストリームの他に従属ストリームが存在する場合にあっても、立体画像送信モードから2次元画像送信モードに切り替わった場合に、2次元画像のデコード処理および表示処理に直ちに切り替えることができる。これにより、表示能力に対してフル解像度の2次元画像表示が可能となる(図2(c)参照)。
 また、図1に示す画像送受信システム10においては、イベント情報として、送信モードに対応して、ユーザに特定の視聴動作を促すメッセージ、例えば3Dメガネの装着、非装着に関するメッセージが送信される(図8参照)。そのため、受信機200においては、そのメッセージを画像に重畳してユーザに提示でき、ユーザに特定の視聴動作を促すことが可能となる。これにより、ユーザは正しい状態での視聴が可能となる。
 <2.変形例>
 なお、上述実施の形態においては、立体(3D)画像送信モードでは、左眼ビューおよび右眼ビューの画像データを送信する例を示した。しかし、本技術は、立体(3D)画像送信モードにさらに多くのビューの画像データを送信する場合、つまり従属ストリーム(Dependent stream)が複数となる場合にも、同様に適用できる。
 また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
 また、上述実施の形態においては、放送局100と受信機200からなる画像送受信システム10を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機200の部分が、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
 また、本技術は、以下のような構成を取ることもできる。
 (1)立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する立体画像送信モードと、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する2次元画像送信モードとを有する送信部と、
 上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報を上記従属ストリームに挿入する識別情報挿入部とを備える
 送信装置。
 (2)上記基本ストリームおよび上記従属ストリームはNALユニット構造で符号化されており、
 上記識別情報挿入部は、
 上記従属ストリームを構成するNALユニットのヘッダ部分に上記識別情報を挿入する
 前記(1)に記載の送信装置。
 (3)上記識別情報挿入部は、
 上記ヘッダ部分の複数のストリームの優先関係を示す Priority_id の値に、優先度が高い上記基本ストリームとの関係を定義する
 前記(2)に記載の送信装置。
 (4)上記識別情報挿入部は、
 上記2次元画像送信モードにあるとき、上記 Priority_id の値を特定の値に設定する
 前記(3)に記載の送信装置。
 (5)上記送信部は、イベント単位で、上記立体画像送信モードあるいは上記2次元画像送信モードとなり、
 イベント情報として、上記送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信部をさらに備える
 前記(1)から(4)のいずれかに記載の送信装置。
 (6)上記送信部は、上記基本ストリームおよび上記従属ストリームを有する所定フォーマットのコンテナを送信し、
 上記メッセージ送信部は、上記コンテナのレイヤに、上記メッセージを挿入する
 前記(5)に記載の送信装置。
 (7)上記コンテナはトランスポートストリームであり、
 上記メッセージ挿入部は、
 上記メッセージを、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下にある記述子に挿入する
 前記(6)に記載の送信装置。
 (8)立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する立体画像送信モードと、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する2次元画像送信モードとを有する送信ステップと、
 上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報を上記従属ストリームに挿入する識別情報挿入ステップとを備える
 送信方法。
 (9)立体画像を構成するベースビューおよびノンベースビューの画像データを含むストリームを送信する立体画像送信モードと、2次元画像データを含むストリームを送信する2次元画像送信モードとを有する画像データ送信部と、
 イベント情報として、上記送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信部とを備える
 送信装置。
 (10)上記送信部は、上記ストリームを有する所定フォーマットのコンテナを送信し、
 上記メッセージ送信部は、上記コンテナのレイヤに、上記メッセージを挿入する
 前記(9)に記載の送信装置。
 (11)上記コンテナはトランスポートストリームであり、
 上記メッセージ送信部は、
 上記メッセージを、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下にある記述子に挿入する
 前記(10)に記載の送信装置。
 (12)立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含むストリームを送信する立体画像送信モードと、2次元画像データを含むストリームを送信する2次元画像送信モードとを有する送信ステップと、
 イベント情報として、上記送信ステップの送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信ステップとを備える
 送信方法。
 (13)立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む立体画像送信モードにおける基本ストリームおよび従属ストリーム、あるいは同一の2次元画像データをそれぞれ含む2次元画像送信モードにおける基本ストリームおよび従属ストリームを受信する受信部を備え、
 上記従属ストリームには、上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報が挿入されており、
 上記受信された基本ストリームおよび従属ストリームに対して、上記識別情報に基づいて処理を行って表示用画像データを得る処理部をさらに備える
 受信装置。
 (14)上記処理部は、
 上記識別情報が上記立体画像送信モードにあることを示すとき、上記基本ストリームおよび上記従属ストリームの双方をデコードして立体画像表示用の各ビューの画像データを取得して、該各ビューの画像データを処理して立体画像を表示するための表示用画像データを得、
 上記識別情報が上記2次元画像送信モードであることを示すとき、上記基本ストリームのみをデコードして、2次元画像を表示するための表示用画像データを得る
 前記(13)に記載の受信装置。
 (15)立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む立体画像送信モードにおける基本ストリームおよび従属ストリーム、あるいは同一の2次元画像データをそれぞれ含む2次元画像送信モードにおける基本ストリームおよび従属ストリームを受信する受信ステップを備え、
 上記従属ストリームには、上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報が挿入されており、
 上記受信された基本ストリームおよび従属ストリームに対して、上記識別情報に基づいて処理を行って表示用画像データを得る処理ステップをさらに備える
 受信方法。
 (16)イベント単位で、立体画像を構成する各ビューの画像データを含むストリーム、あるいは2次元画像データを含むストリームを受信する画像データ受信部と、
 イベント情報として、ユーザに特定の視聴動作を促すメッセージを受信するメッセージ受信部と、
 上記受信されたストリームを処理して立体画像または2次元画像を表示するための表示用画像データを得る処理部と、
 上記表示用画像データに、上記受信されたメッセージの表示データを重畳する重畳部とを備える
 受信装置。
 (17)イベント単位で、立体画像を構成する各ビューの画像データを含むストリーム、あるいは2次元画像データを含むそれぞれ含むストリームを受信する画像データ受信ステップと、
 イベント情報として、ユーザに特定の視聴動作を促すメッセージを受信するメッセージ受信ステップと、
 上記受信されたストリームを処理して立体画像または2次元画像を表示するための表示用画像データを得る処理ステップと、
 上記表示用画像データに、上記受信されたメッセージの表示データを重畳する重畳ステップとを備える
 受信方法。
 (18)第1の画像データを含む基本ストリームと第2の画像データを含む従属ストリームとを送信する送信部と、
 上記第2の画像データが上記第1の画像データと同一か否かを識別する識別情報を上記従属ストリームに挿入する識別情報挿入部とを備える
 送信装置。
 本技術の主な特徴は、従属ストリーム(Dependent stream)に立体(3D)画像送信モードにあるか2次元(2D)画像送信モードにあるかを識別する識別情報を挿入することで、2次元画像の配信を立体画像の配信と同様のストリーム構成で行う場合にあっても、受信側において、表示能力に対してフル解像度の2次元画像表示を可能にしたことである(図15、図2(c)参照)。
 10・・・画像送受信システム
 100・・・放送局
 110・・・送信データ生成部
 111・・・データ取り出し部
 112・・・ビデオエンコーダ
 113・・・オーディオエンコーダ
 114・・・マルチプレクサ
 200・・・受信機
 201・・・CPU
 211・・・デジタルチューナ
 212・・・トランスポートストリームバッファ(TSバッファ)
 213・・・デマルチプレクサ
 214・・・デコード・表示処理部
 214a・・・NALユニット解析部
 214b・・・スライスデコード部
 214c・・・表示処理部
 214d・・・SPS/PPS/SEI処理部
 215・・・メッセージ発生部
 216・・・重畳部
 217・・・オーディオエンコーダ
 218・・・チャネル処理部

Claims (18)

  1.  立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する立体画像送信モードと、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する2次元画像送信モードとを有する送信部と、
     上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報を上記従属ストリームに挿入する識別情報挿入部とを備える
     送信装置。
  2.  上記基本ストリームおよび上記従属ストリームはNALユニット構造で符号化されており、
     上記識別情報挿入部は、
     上記従属ストリームを構成するNALユニットのヘッダ部分に上記識別情報を挿入する
     請求項1に記載の送信装置。
  3.  上記識別情報挿入部は、
     上記ヘッダ部分の複数のストリームの優先関係を示す Priority_id の値に、優先度が高い上記基本ストリームとの関係を定義する
     請求項2に記載の送信装置。
  4.  上記識別情報挿入部は、
     上記2次元画像送信モードにあるとき、上記 Priority_id の値を特定の値に設定する
     請求項3に記載の送信装置。
  5.  上記送信部は、イベント単位で、上記立体画像送信モードあるいは上記2次元画像送信モードとなり、
     イベント情報として、上記送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信部をさらに備える
     請求項1に記載の送信装置。
  6.  上記送信部は、上記基本ストリームおよび上記従属ストリームを有する所定フォーマットのコンテナを送信し、
     上記メッセージ送信部は、上記コンテナのレイヤに、上記メッセージを挿入する
     請求項5に記載の送信装置。
  7.  上記コンテナはトランスポートストリームであり、
     上記メッセージ挿入部は、
     上記メッセージを、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下にある記述子に挿入する
     請求項6に記載の送信装置。
  8.  立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する立体画像送信モードと、同一の2次元画像データをそれぞれ含む基本ストリームおよび従属ストリームを送信する2次元画像送信モードとを有する送信ステップと、
     上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報を上記従属ストリームに挿入する識別情報挿入ステップとを備える
     送信方法。
  9.  立体画像を構成するベースビューおよびノンベースビューの画像データを含むストリームを送信する立体画像送信モードと、2次元画像データを含むストリームを送信する2次元画像送信モードとを有する画像データ送信部と、
     イベント情報として、上記送信部の送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信部とを備える
     送信装置。
  10.  上記送信部は、上記ストリームを有する所定フォーマットのコンテナを送信し、
     上記メッセージ送信部は、上記コンテナのレイヤに、上記メッセージを挿入する
     請求項9に記載の送信装置。
  11.  上記コンテナはトランスポートストリームであり、
     上記メッセージ送信部は、
     上記メッセージを、上記トランスポートストリームに含まれるイベント・インフォメーション・テーブルの配下にある記述子に挿入する
     請求項10に記載の送信装置。
  12.  立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含むストリームを送信する立体画像送信モードと、2次元画像データを含むストリームを送信する2次元画像送信モードとを有する送信ステップと、
     イベント情報として、上記送信ステップの送信モードに対応して、ユーザに特定の視聴動作を促すメッセージを送信するメッセージ送信ステップとを備える
     送信方法。
  13.  立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む立体画像送信モードにおける基本ストリームおよび従属ストリーム、あるいは同一の2次元画像データをそれぞれ含む2次元画像送信モードにおける基本ストリームおよび従属ストリームを受信する受信部を備え、
     上記従属ストリームには、上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報が挿入されており、
     上記受信された基本ストリームおよび従属ストリームに対して、上記識別情報に基づいて処理を行って表示用画像データを得る処理部をさらに備える
     受信装置。
  14.  上記処理部は、
     上記識別情報が上記立体画像送信モードにあることを示すとき、上記基本ストリームおよび上記従属ストリームの双方をデコードして立体画像表示用の各ビューの画像データを取得して、該各ビューの画像データを処理して立体画像を表示するための表示用画像データを得、
     上記識別情報が上記2次元画像送信モードであることを示すとき、上記基本ストリームのみをデコードして、2次元画像を表示するための表示用画像データを得る
     請求項13に記載の受信装置。
  15.  立体画像を構成するベースビューおよびノンベースビューの画像データをそれぞれ含む立体画像送信モードにおける基本ストリームおよび従属ストリーム、あるいは同一の2次元画像データをそれぞれ含む2次元画像送信モードにおける基本ストリームおよび従属ストリームを受信する受信ステップを備え、
     上記従属ストリームには、上記立体画像送信モードにあるか上記2次元画像送信モードにあるかを識別する識別情報が挿入されており、
     上記受信された基本ストリームおよび従属ストリームに対して、上記識別情報に基づいて処理を行って表示用画像データを得る処理ステップをさらに備える
     受信方法。
  16.  イベント単位で、立体画像を構成する各ビューの画像データを含むストリーム、あるいは2次元画像データを含むストリームを受信する画像データ受信部と、
     イベント情報として、ユーザに特定の視聴動作を促すメッセージを受信するメッセージ受信部と、
     上記受信されたストリームを処理して立体画像または2次元画像を表示するための表示用画像データを得る処理部と、
     上記表示用画像データに、上記受信されたメッセージの表示データを重畳する重畳部とを備える
     受信装置。
  17.  イベント単位で、立体画像を構成する各ビューの画像データを含むストリーム、あるいは2次元画像データを含むそれぞれ含むストリームを受信する画像データ受信ステップと、
     イベント情報として、ユーザに特定の視聴動作を促すメッセージを受信するメッセージ受信ステップと、
     上記受信されたストリームを処理して立体画像または2次元画像を表示するための表示用画像データを得る処理ステップと、
     上記表示用画像データに、上記受信されたメッセージの表示データを重畳する重畳ステップとを備える
     受信方法。
  18.  第1の画像データを含む基本ストリームと第2の画像データを含む従属ストリームとを送信する送信部と、
     上記第2の画像データが上記第1の画像データと同一か否かを識別する識別情報を上記従属ストリームに挿入する識別情報挿入部とを備える
     送信装置。
PCT/JP2013/073583 2012-09-12 2013-09-02 送信装置、送信方法、受信装置および受信方法 WO2014042034A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012201012 2012-09-12
JP2012-201012 2012-09-12

Publications (1)

Publication Number Publication Date
WO2014042034A1 true WO2014042034A1 (ja) 2014-03-20

Family

ID=50278150

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/073583 WO2014042034A1 (ja) 2012-09-12 2013-09-02 送信装置、送信方法、受信装置および受信方法

Country Status (1)

Country Link
WO (1) WO2014042034A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263614A (ja) * 2009-04-08 2010-11-18 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録媒体
JP2011066597A (ja) * 2009-09-16 2011-03-31 Sony Corp 受信装置、受信方法、送信装置およびコンピュータプログラム
WO2011036888A1 (ja) * 2009-09-25 2011-03-31 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP2011077785A (ja) * 2009-09-30 2011-04-14 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP2012044491A (ja) * 2010-08-20 2012-03-01 Hitachi Consumer Electronics Co Ltd 受信装置
WO2012057164A1 (ja) * 2010-10-25 2012-05-03 パナソニック株式会社 符号化方法、表示装置、復号方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263614A (ja) * 2009-04-08 2010-11-18 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録媒体
JP2011066597A (ja) * 2009-09-16 2011-03-31 Sony Corp 受信装置、受信方法、送信装置およびコンピュータプログラム
WO2011036888A1 (ja) * 2009-09-25 2011-03-31 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP2011077785A (ja) * 2009-09-30 2011-04-14 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP2012044491A (ja) * 2010-08-20 2012-03-01 Hitachi Consumer Electronics Co Ltd 受信装置
WO2012057164A1 (ja) * 2010-10-25 2012-05-03 パナソニック株式会社 符号化方法、表示装置、復号方法

Similar Documents

Publication Publication Date Title
US9712803B2 (en) Receiving system and method of processing data
JP5577823B2 (ja) 送信装置、送信方法、受信装置および受信方法
US9019343B2 (en) Image data transmission device, image data transmission method, and image data reception device
US20130002819A1 (en) Receiving system and method of processing data
US9525895B2 (en) Transmission device, transmission method, reception device, and reception method
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20140071232A1 (en) Image data transmission device, image data transmission method, and image data reception device
US9357196B2 (en) Method and device for transmitting/receiving digital broadcast signal
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2014050447A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
WO2012105376A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2014042034A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2012147596A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13837781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13837781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP