WO2013011696A1 - 送信装置、受信再生装置、送信方法及び受信再生方法 - Google Patents

送信装置、受信再生装置、送信方法及び受信再生方法 Download PDF

Info

Publication number
WO2013011696A1
WO2013011696A1 PCT/JP2012/004616 JP2012004616W WO2013011696A1 WO 2013011696 A1 WO2013011696 A1 WO 2013011696A1 JP 2012004616 W JP2012004616 W JP 2012004616W WO 2013011696 A1 WO2013011696 A1 WO 2013011696A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
transmission
information
substream
pcr
Prior art date
Application number
PCT/JP2012/004616
Other languages
English (en)
French (fr)
Inventor
川口 透
洋 矢羽田
智輝 小川
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to MX2014000673A priority Critical patent/MX2014000673A/es
Priority to KR1020137035118A priority patent/KR20140038482A/ko
Priority to CA2841197A priority patent/CA2841197A1/en
Priority to US14/233,515 priority patent/US20140147088A1/en
Publication of WO2013011696A1 publication Critical patent/WO2013011696A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components

Definitions

  • the present invention relates to a technique for transmitting and receiving information displayed together with video of one program.
  • Patent Document 1 discloses a technique for transmitting a 2D video stream and 3D video additional data such as video of other viewpoints, disparity information, and depth information as one transport stream.
  • audio and subtitles in Japanese but also various information such as audio and subtitles in other languages such as English, video from one viewpoint as well as video from another viewpoint, such as 3D video. Is requested by viewers.
  • the radio wave band for transmitting one transport stream is limited, and even when trying to transmit a wide variety of information as described above, depending on the data amount of various information, all information can be transmitted. There is a problem that it cannot be included in one transport stream.
  • an object of the present invention is to provide a transmission apparatus, a reception reproduction apparatus, a transmission method, and a reception reproduction method that can transmit, receive, and reproduce a wide variety of information to be reproduced simultaneously.
  • a transmission apparatus is associated with one transmission stream among a plurality of transmission streams each including information to be reproduced simultaneously by one reception / reproduction apparatus, and It is characterized by comprising holding means for holding stream specifying information for specifying at least one transmission stream different from the transmission stream, and transmitting means for transmitting the stream specifying information.
  • the transmission apparatus since the transmission apparatus transmits stream identification information, the reception side uses the stream identification information, so that even if various pieces of information are individually transmitted in the transmission stream, the transmission apparatus should be reproduced at the same time.
  • Stream can be specified.
  • FIG. 1 is a diagram illustrating a configuration of a program distribution system 10.
  • FIG. 2 is a block diagram showing a configuration of a transmission device 100.
  • FIG. It is a figure which shows an example of the data structure of PMT. It is a figure which shows an example of the data structure of external_ES_link_descriptor (). It is a figure which shows an example of the data structure of view_selection_information (). It is a figure which shows an example of the data structure of object_information ().
  • 3 is a block diagram illustrating a configuration of a transmission device 200.
  • FIG. It is a figure which shows an example of the data structure of service_subset_ES_descriptor ().
  • FIG. 1 is a block diagram showing a configuration of a digital television (reception / reproduction device) 300.
  • FIG. 3 is a flowchart showing the operation of the transmission device 100.
  • 5 is a flowchart showing the operation of the reception / playback apparatus 300.
  • 2 is a block diagram showing a configuration of a transmission apparatus 1100.
  • FIG. 2 is a block diagram illustrating a configuration of a transmission device 1200.
  • FIG. It is a figure which shows an example of the data structure of subset_service_ES_info.
  • FIG. It is a figure which shows the example of description of subset_service_ES_info.
  • 2 is a block diagram showing a configuration of a reception / playback apparatus 1300.
  • FIG. It is a flowchart which shows the operation
  • FIG. It is a figure which shows an example of the data structure of hyperlink_descriptor (). It is a figure which shows an example of the data structure of link_external_component_info ().
  • A) is a figure which shows the extended attribute for designating a substream with respect to the object element which shows a main stream
  • (b) is a description example of the data broadcast content which designates a substream using an extended attribute.
  • FIG. It is a figure which shows an example of the structure which defines ExternalES element.
  • FIG. It is a figure which shows an example of the structure which defines ExternalES element.
  • FIG. It continues from FIG. It is a figure which shows the example of description of ERI which designates a substream using an ExternalES element.
  • the inventors have intensively studied and have arrived at the present invention that can transmit, receive, and reproduce a wide variety of information to be reproduced simultaneously using a plurality of transport streams.
  • a transmission device is associated with one transmission stream among a plurality of transmission streams each including information to be reproduced simultaneously by one reception / reproduction device, and Comprising: holding means for holding stream specifying information for specifying at least one transmission stream different from the transmission stream; and transmitting means for transmitting the stream specifying information.
  • the program distribution system 10 includes transmission devices 100 and 200 and a digital television (reception / reproduction device) 300.
  • broadcast signals from the transmission devices 100 and 200 are transmitted by multiplexing a video / audio stream and program arrangement information in a transport stream (TS) format defined by the MPEG system standard.
  • the program arrangement information is SI (Service Information) / PSI (Program Specific Information) in which TS transmission network information, broadcast station, channel (service) detailed information, and program detailed information are described. is there.
  • the transmission devices 100 and 200 transmit a transport stream (TS) in which a video stream, an audio stream, and the like are multiplexed.
  • TS transport stream
  • each TS transmitted from the transmission devices 100 and 200 is transport stream compliant with MPEG2-TS (Moving Picture Experts 2-Transport Stream) as operated by conventional 2D digital broadcasting. It is.
  • the MPEG2-TS compliant transport stream includes one or more video / audio streams and a PSI that indicates which program (program) each video / audio stream stream belongs to.
  • the PSI includes a PAT (Program Association Table) indicating a list of programs included in the TS, a PMT (Program Map Table) storing a PID (packet ID) of a video / audio stream belonging to a certain program, and the like.
  • the transport stream compliant with MPEG2-TS includes SI described for network information, organization channel information / program information.
  • SI includes tables such as NIT (Network Information Table: Network Information Table), SDT (Service Description Table: Service Description Table) and EIT (Event Information Table: Event Information Table).
  • NIT Network Information Table: Network Information Table
  • SDT Service Description Table: Service Description Table
  • EIT Event Information Table: Event Information Table
  • NIT information (channel number, modulation method, etc.) related to the network through which the transmitted TS passes is described.
  • the SDT describes information related to the organization channels existing in the transmitted TS (channel name, type of program information, digital copy control information, etc.).
  • the digital television (reception / reproduction device) 300 can create an electronic program guide (EPG) by using the information described in the SI.
  • EPG electronic program guide
  • Each TS transmitted from the transmission devices 100 and 200 includes information to be reproduced simultaneously for one program.
  • the TS transmitted from the transmission device 100 includes video and audio for the left eye in the 3D program
  • the TS transmitted from the transmission device 200 includes video for the right eye in the 3D program.
  • the TS transmitted from the transmission apparatus 100 is reproduced independently, and the TS transmitted from the transmission apparatus 200 cannot be reproduced in principle.
  • the left-eye video stream included in the TS transmitted from the transmission apparatus 100 is described as a main stream
  • the right-eye video stream included in the TS transmitted from the transmission apparatus 200 is described as a substream.
  • the reception / playback apparatus 300 When receiving and receiving the TS including the main stream from the broadcast wave transmitted from the transmission apparatus 100 before receiving the TS including the substream transmitted from the transmission apparatus 200, the reception / playback apparatus 300 is multiplexed with the received TS.
  • the video / audio stream and the SI including the program arrangement information are separated.
  • the reception / playback apparatus 300 determines whether or not a substream exists from each piece of SI / PSI information such as the separated SI, and if so, receives the TS including the substream, and receives the main stream. And the substream are played back simultaneously. Specifically, a left-eye video is generated from the main stream, and a right-eye video is generated from the substream, and playback related to 3D display is performed.
  • the reception / reproduction apparatus 300 When receiving and receiving a TS including a substream from a broadcast wave transmitted from the transmission apparatus 200 before receiving the TS including the main stream transmitted from the transmission apparatus 100, the reception / reproduction apparatus 300 performs independent reproduction in the substream. Whether or not it is possible is determined, and only the substream is reproduced according to the determination result, and the main stream and the substream are simultaneously reproduced in the same manner as described above.
  • the transmitting device 100 generates and distributes a TS including a main stream for one program.
  • the transmission apparatus 100 includes a left-eye video encoder 101, an audio encoder 102, a left-eye video stream storage unit 103, an audio stream storage unit 104, an information holding unit 105, a multiplexing unit 106, and a transmission unit 107. It is configured.
  • the left-eye video encoder 101 encodes a left-eye video (picture) for 3D display of one program using a method such as MPEG-2 or MPEG-4, and a left-eye video stream (that is, a main stream) ) And is written to the left-eye video stream storage unit 103.
  • Audio encoder 102 compresses and encodes the audio data by a method such as linear PCM, generates an audio stream, and writes the audio stream in the audio stream storage unit 104.
  • the left-eye video stream storage unit 103 is a storage area for storing the left-eye video stream generated by the left-eye video encoder 101.
  • Audio stream storage unit 104 is a storage area for storing the audio stream generated by the audio encoder 102.
  • the information holding unit 105 is a storage area for storing SI / PSI transmitted together with the main stream.
  • SI / PSI may be created by an external device or may be created by the transmission device 100.
  • FIG. 3 is a diagram showing the data structure of the PMT.
  • the meanings of the individual parameters are defined in ISO / IEC13818-1 (MPEG-2) and will not be described. There are two places in the PMT where descriptors can be placed.
  • the first part is called the first loop D100.
  • a descriptor can be arranged in “descriptor ()” of the first loop D100.
  • a plurality of descriptors can be inserted.
  • descriptors related to the entire program are arranged.
  • the second part is a part called a second loop D102 included in the ES information description part D101.
  • a for sentence starts immediately after the first loop D100, and this for sentence is repeated by the number of ESs included in the program.
  • Parameters in this for sentence such as stream_type and elementary_PID, are parameters related to the ES.
  • the second loop D102 is included in the ES information description location D101.
  • a descriptor can be arranged in “descriptor ()” of the second loop D102.
  • a plurality of descriptors can be inserted.
  • descriptors related to the ES are arranged.
  • external_ES_link_descriptor () describing the reference information of the substream is defined and arranged in the second loop D102 described above.
  • Multiplexer 106 receives the left-eye video stream stored in the left-eye video stream storage unit 103, the audio stream stored in the audio stream storage unit 104, the SI / PSI stored in the information holding unit 105, and the like. Multiplexing is performed to generate a TS in the MPEG2-TS format, and the TS is transmitted via the transmission unit 107.
  • video and audio may not be compressed and encoded and stored in advance, but uncompressed video and audio may be encoded in real time and multiplexed at the same time.
  • Transmitter 107 The transmitting unit 107 transmits the MPEG2-TS format TS generated by the multiplexing unit 106.
  • FIG. 4 shows an example of the structure of external_ES_link_descriptor ().
  • Descriptor_tag describes a unique value for distinguishing this descriptor from other descriptors.
  • Descriptor_length describes the number of bytes from the next field to the end of this descriptor.
  • “Reserved” is an area for future expansion, and binary “1” is described for the number of bits.
  • TS_location_type indicates the type of network in which the substream is transmitted. Specifically, the value “00” indicates that the secondary stream is transmitted on the same broadcast network as the main stream. The value “01” indicates that the secondary stream is transmitted in a broadcast network different from the main stream indicated by the subsequent transport_stream_location. The value “10” indicates that the secondary stream can be accessed by a medium other than the broadcast that can be accessed by the URI indicated by the subsequent uri_char. Thereby, the digital television 300 that has received the main ST can know how the substream can be accessed.
  • Stream_type_flag is a flag indicating the presence / absence of a description of the subsequent stream_type.
  • Sync_reference_type indicates the presence and method of the synchronization means of the main stream and the substream.
  • the value “00” means that the receiver does not synchronize the main stream and the substream, and when decoding / displaying the main stream, when decoding / displaying the substream according to PCR (Program_Clock_Reference) in the main stream.
  • PCR Program_Clock_Reference
  • the value “01” performs synchronization using PCR using PCR reference information starting with the subsequent PCR_location_flag.
  • the value “10” performs synchronization using an independent synchronization track using the synchronization track reference information starting with the subsequent main_sync_PID.
  • the digital television 300 can know the presence and method of clock synchronization between the main stream and the substream.
  • Transport_stream_id indicates transport_stream_id to which the substream to be referred is transmitted.
  • Program_number indicates a program_number of a program including a substream to be referred to.
  • ES_PID indicates the PID of the substream to be referred to.
  • Transport_stream_location indicates a network through which the substream is transmitted when the substream to be referenced is transmitted in another broadcast network (eg, satellite broadcast for terrestrial broadcast).
  • network_id eg, 0x40f1
  • transport_stream_location a network through which the substream is transmitted when the substream to be referenced is transmitted in another broadcast network (eg, satellite broadcast for terrestrial broadcast).
  • Uri_length indicates the number of bytes of the following uri_char.
  • Uri_char describes a URI for accessing the substream when the substream to be referenced is accessible by a medium other than broadcast. A description example of the URI will be described later.
  • Stream_type indicates the stream_type of the substream, and is expressed in a format defined by “ISO / IEC 13818-1”.
  • the substream is H.264.
  • “0x1B” is described in stream_type.
  • the digital television 300 can know whether or not the substream is available before accessing the substream.
  • the usage of the substream may be specified using stream_type. A specific example of stream_type will be described later.
  • PCR_location_flag indicates which PCR (Program Clock Reference) of the main stream and the substream should be referred to when the main stream and the substream are decoded and displayed in synchronization according to the common PCR. “0” indicates that PCR of a program including the main stream is used. “1” indicates that the PCR of the program including the substream is used. Thereby, it is possible to designate which PCR of the main stream or the substream should be referred to according to the reliability of the transmission path. Also, the digital television can know which PCR should be referred to when the main stream and the substream are synchronized using the PCR.
  • “Explicit_PCR_flag” indicates whether or not PCR_PID is described in this descriptor. In the case of “0”, it is not described by this descriptor, and PCR described by PCR_PID in the PMT of the main stream or substream program is used. In the case of “1”, the PCR described by the subsequent PCR_PID is used. Thereby, it is possible to specify whether to use an existing PCR or to use a unique PCR at the time of synchronous reproduction of the main stream and the substream.
  • PCR_offset_flag specifies the presence or absence of an offset when the main stream and the substream are synchronously reproduced using the designated PCR. “0” indicates that no offset value is specified. “1” indicates that an offset value is designated.
  • PCR_PID specifies the PID of the PCR to be referred to in the main stream or the substream when the main stream and the substream are synchronously reproduced. As a result, the receiver can know the PID of the PCR when using a unique PCR during synchronous reproduction.
  • PCR_polarity indicates the polarity of the offset value.
  • the subsequent PCR_offset value is added to the PCR value in the stream on the side specified by PCR_location, and the stream on the side not specified by PCR_location is used as the PCR for decoding / displaying. To do. If “1”, the subsequent PCR_offset value is subtracted from the PCR value in the stream on the side specified by PCR_location, and the stream on the side not specified by PCR_location is used as the PCR when decoding / displaying To do.
  • PCR_offset indicates the absolute value of the offset value. For example, when PCR_location_flag is “0” and PCR in the main stream is used, a value obtained by offsetting the PCR in the main stream according to PCR_polarity and PCR_offset is used when decoding / displaying the substream. When PCR_location_flag is “1” and the PCR in the substream is used, a value obtained by offsetting the PCR in the substream according to PCR_polarity and PCR_offset is used when decoding / displaying the main stream. As described above, by specifying PCR_polarity and PCR_offset, synchronized playback can be realized even when the start value of the PCR referred to between the main stream and the substream cannot be matched.
  • Main_sync_PID indicates the PID of the synchronization track of the main stream.
  • Sub_sync_PID indicates the PID of the synchronization track of the substream.
  • the synchronized track is a synchronized stream that is defined by ETSI TS 102 823 (Specification for the carriage of syncronized auxiliary data in DVB transport stream and substream of the main stream). A relationship with a correct time code may be described, or another method may be used.
  • bbb. ts is a TS file entity storing the substream.
  • rtsp //aaa.sample.com/ddd.ts” refers to aaa. sample. com site ddd. This indicates that the ts file is accessed using the rtsp protocol via communication.
  • ddd. ts is a TS file entity storing the substream.
  • arib-file: //DirA/DirB/eeee.ts” refers to the fff.in the DirA / DirB folder stored in advance on the local storage medium. Indicates access to a ts file.
  • fff. ts is a TS file entity storing the substream.
  • the description "crid: //aaa.sample.com/zzzz" refers to aaa. sample. This indicates that a video having a CRID (Content Reference Identifier) indicated by com / zzzz is accessed.
  • the receiving side device uses CRID to perform location resolution by the description method defined in “ETSI TS 102 822 Part 4” or “ARIB STD-B38 4.1.3”.
  • ETSI TS 102 822 Part 4 or “ARIB STD-B38 4.1.3”.
  • stream_type a value assigned to stream_type described in a new descriptor “external_ES_link_descriptor ()” will be described. The following values may be described by providing a field different from the stream_type.
  • any value from “0x80” to “0x8A” is assigned to stream_type.
  • each value will be described.
  • the value “0x80” indicates that the secondary stream is composed of a view on the opposite side of the main stream in the binocular stereoscopic video (eg, the right eye viewpoint with respect to the left eye viewpoint).
  • the stream_type is “0x80”.
  • the value “0x81” indicates that the sub-stream is the same content as 0x80 encoded with the difference from the main stream.
  • the value “0x82” is a differential component that makes the video of the main stream a one-dimensional direction of the substream (eg, 960 ⁇ 1080 pixels Side-by-Side format binocular stereoscopic video per eye, 1920 ⁇ 1080 pixels).
  • the value “0x83” indicates that the sub stream is a differential component (for example, an image of 1920 ⁇ 1080 pixels is refined to 3840 ⁇ 2160 pixels) that enhances the video of the main stream in a two-dimensional direction.
  • the value “0x84” indicates that the substream is a differential component that adds color depth information of the video of the main stream (eg, each 8-bit information in RGB is expanded to 12 bits).
  • the value “0x85” indicates that the sub-stream is a depth map (Depth Map) used when generating a stereoscopic video from the main stream video.
  • the value “0x86” indicates that the substream is occlusion information (Occlusion) used when generating a stereoscopic video from the main stream video.
  • Value “0x87” indicates that the sub-stream is transparency information (Transparency) used when generating a stereoscopic video from the main stream video.
  • Value “0x88” indicates that the sub-stream is video information of a different viewpoint from the main stream video (eg, MPEG-4MPEGMVC non-base view).
  • the camera name when there are a plurality of viewpoint videos, the camera name, position information (GPS), and optical parameters such as the camera orientation and zoom, which are easy to understand when the user selects the viewpoint, are described for each viewpoint.
  • Information such as the camera name may be described in a new descriptor or private stream format in the system stream storing the main / substream video, or in the main / substream video as metadata of the user extension area. Alternatively, it may be transmitted through a different path from the main / sub stream (HTML5 format linked with the stream).
  • number_of_views indicates the number of different viewpoints. The following elements are defined by the number of different viewpoints.
  • view_id is for identifying the corresponding viewpoint.
  • view_name_length describes the number of bytes of view_name defined next.
  • GPS_information_length describes the number of bytes of GPS_information () defined next.
  • GPS_information () describes GPS information.
  • camera_information_length the number of bytes of camera_information () defined next is described.
  • camera_information () information on optical parameters such as camera orientation and zoom is described.
  • viewpoint video from the first bench can be viewed by designating a camera with a name such as “first side” among a plurality of viewpoints.
  • position information and camera direction / zoom information it is possible to allow the user to view video from multiple viewpoints while graphically displaying the camera placed on the baseball field sketch rather than specifying by camera name.
  • the value “0x89” indicates that the sub-stream is free view video information used when generating an arbitrary viewpoint video.
  • a specific area is extracted according to the user's interests and preferences Functions that can be played back and displayed are considered to be very useful. Therefore, the name and position information (GPS information and position information in the encoded image) and the camera position information and optical parameter information for each object photographed for huge image information are encoded and transmitted as metadata. By doing this, it is possible to cut out and reproduce / display a specific area based on this.
  • Such information may be described in a new descriptor or private stream format in the system stream storing the main / sub stream video, or may be described in the main / sub stream video as metadata of the user extension area. Alternatively, it may be transmitted via a different path (HTML5 format linked with the stream) from the main / sub stream.
  • FIG. 6 shows an example of the metadata structure (object_information ()) of the user extension area. The number of objects that associate the name with the position information is described by “number_of_objects”. Information for identifying each object is described in object_id, and the name of the object is described in object_name.
  • the GPS position information of the object to be imaged identified by object_id and object_name is described by GPS_information (), and the position information in the encoded video is described by its display rectangular area by object_upper_left_x / y and object_lower_right_x / y.
  • the value “0x8A” indicates that the substream is a video in which additional information is superimposed on the video of the main stream. For example, it is possible to transmit a video in which additional information is superimposed on the main stream video using MPEG-4 MVC.
  • the main stream is an MVC base view and the sub stream is encoded as an MVC non-base view, so that the sub stream efficiently transmits only video information (superimposed additional video) that is different from the video of the main stream. it can.
  • the video of the main stream is a soccer broadcast
  • the video for superimposing the attribute information such as the name and mileage of the player in the main stream video around the player (difference from the main stream video)
  • the main stream that is, decoding and playing back the non-base view
  • the receiving apparatus can know how the substream can be used before accessing the substream.
  • the transmitting device 200 transmits a substream corresponding to the main stream transmitted by the transmitting device 100.
  • the transmission device 200 includes a right-eye video encoder 201, a right-eye video stream storage unit 203, an information holding unit 205, a multiplexing unit 206, and a transmission unit 207.
  • the right-eye video encoder 201 encodes a right-eye video (picture) corresponding to the left-eye video transmitted from the transmission apparatus 100 using a method such as MPEG-2 or MPEG-4, and a right-eye video stream ( That is, a substream) is generated and written to the right-eye video stream storage unit 203.
  • the right-eye video stream storage unit 203 is a storage area for storing the right-eye video stream generated by the right-eye video encoder 201.
  • the information holding unit 205 is a storage area for storing SI / PSI transmitted together with the substream.
  • SI / PSI may be created by an external device or may be created by the transmission device 200.
  • the SI / PSI data structure stored in the information holding unit 205 is the same as the SI / SPI stored in the information holding unit 105. However, in the apparatus that transmits the secondary stream, service_subset_ES_descriptor () describing the reference information of the main stream is defined and arranged in the second loop of the PMT.
  • the multiplexing unit 206 multiplexes the right-eye video stream (substream) stored in the right-eye video stream storage unit 203, the SI / PSI stored in the information holding unit 205, and the like in the MPEG2-TS format.
  • a TS is generated and transmitted via the transmission unit 207.
  • the transmission unit 207 transmits the MPEG2-TS format TS generated by the multiplexing unit 206.
  • Descriptor_tag describes a unique value for distinguishing this descriptor from other descriptors.
  • Descriptor_length describes the number of bytes from the next field to the end of this descriptor.
  • “Reserved” is an area for future expansion, and binary “1” is described for the number of bits.
  • TS_location_type indicates the type of network in which the main stream is transmitted.
  • a value “00” indicates that the main stream is transmitted on the same broadcast network as the substream.
  • a value of “01” indicates that the main stream is transmitted in a broadcast network different from the sub stream indicated by the subsequent transport_stream_location.
  • a value of “10” indicates that the main stream can be accessed by a medium other than broadcast that can be accessed by the URI indicated by the subsequent uri_char.
  • Stream_type_flag is a flag indicating the presence / absence of a description of the subsequent stream_type.
  • Dependency_flag indicates whether the substream can be played back without depending on the main stream.
  • a value “0” indicates that the substream can be reproduced independently.
  • a value of “1” indicates that the substream can be played back only when used at the same time as the main stream.
  • sync_reference_type is the same as that shown in FIG. 3, the description thereof is omitted here.
  • Transport_stream_id indicates transport_stream_id to which the main stream serving as a parent is transmitted.
  • program_number indicates the program_number of the program including the main stream that is the parent.
  • ES_PID indicates the PID of the main stream as a parent.
  • Transport_stream_location indicates a network through which the main stream is transmitted when the parent main stream is transmitted through another broadcast network (eg, satellite broadcast for terrestrial broadcasting).
  • network_id eg, 0x40f1
  • transport_stream_location a network through which the main stream is transmitted when the parent main stream is transmitted through another broadcast network (eg, satellite broadcast for terrestrial broadcasting).
  • Uri_length indicates the number of bytes of the following uri_char.
  • Uri_char describes a URI for accessing a TS including the main stream when the parent main stream is accessible by a medium other than broadcast. Since the URI description example is the same as the specific example described above, detailed description using the specific example is omitted here.
  • Stream_type indicates the stream_type of the main stream in a format defined by ISO / IEC 13818-1. For example, if the main stream is H.264. For H.264 AVC, 0x1B is described. As a result, it is possible to know whether the main stream is available on the digital television before accessing the main stream.
  • Parent_CA_flag indicates whether or not decoding should be performed in the ECM of the parent main stream when the substream cannot be reproduced independently.
  • the value “0” indicates that the substream is not encrypted or is decrypted according to the information of CA_descriptor () arranged in the second loop of the PMT describing the substream information.
  • a value of “1” indicates that the substream is decoded using the ECM of the main stream. This prevents the complexity and processing load caused by scrambling the main stream and substream with separate keys, and at the same time plays back the unintended form on the transmitting side when the substream is received on the digital TV regardless of the main stream. Can be prevented.
  • “Explicit_CA_flag” indicates whether or not ECM_PID is described in this descriptor when the ECM of the main stream serving as a parent is used for decoding the substream.
  • the value “0” indicates that decoding is performed according to the information of CA_descriptor () arranged in the second loop of the PMT describing the same ECM as the main stream, that is, the information of the main stream.
  • the value “1” indicates that decoding is performed using the ECM described by the subsequent ECM_PID in the TS including the main stream.
  • the ECM_PID is described when the ECM of the main stream that is a parent in the decoding of the substream is explicitly specified.
  • the digital television 300 can specify the main stream that can use the received substream when the substream is received. .
  • the reception / playback apparatus 300 includes a control unit 301, a reception processing unit 302, a playback processing unit 303, and an output unit 304.
  • Control unit 301 performs overall control of the reception / playback apparatus 300.
  • control unit 301 receives a channel selection instruction for a specific stream (broadcast channel) from the user via a UI, a browser, and the like, and based on the received channel selection instruction, the reception processing unit 302 receives the channel selection / Instructs demodulation. Thereafter, the control unit 301 receives the PMT included in the TS received by the reception processing unit 302 from the reproduction processing unit 303. The control unit 301 analyzes the PMT, specifies the PID of video to be played back, the PID of audio, and the like, and notifies the playback processing unit 303 of each specified PID.
  • control unit 301 determines the presence / absence of another TS including information to be reproduced simultaneously with the received TS by determining the presence / absence of the new descriptor in the received PMT. For example, the presence or absence of the substream is determined based on the presence or absence of the new descriptor “external_ES_link_descriptor ()” in the PMT included in the received TS.
  • the control unit 301 specifies a substream, and instructs the reception processing unit 302 to receive and demodulate a TS including the specified substream.
  • the control unit 301 acquires information about synchronization from external_ES_link_descriptor (), specifies a synchronization method based on the acquired information, and notifies the reproduction processing unit 303 of the result.
  • control unit 301 determines whether or not reproduction with only the substream is possible. When it is determined that reproduction with only the substream is impossible, the main stream is identified and the synchronization information is acquired.
  • the reception processing unit 302 includes a first reception unit 310 and a second reception unit 311.
  • the first receiving unit 310 receives and demodulates a transport stream (here, including the main stream) designated in accordance with an instruction from the control unit 301, and demodulates the transport stream in the MPEG2 format obtained by demodulation.
  • the data is output to the reproduction processing unit 303.
  • the second receiving unit 311 receives and demodulates the transport stream including the substream according to the instruction from the control unit 301, and outputs the transport stream in the MPEG2 format obtained by the demodulation to the reproduction processing unit 303.
  • the reproduction processing unit 303 includes a first demultiplexing unit 320, a second demultiplexing unit 321, a synchronization control unit 322, a first video decoding unit 323, a second video decoding unit 324, an audio decoding unit. Unit 325 and video processing unit 326.
  • the first demultiplexing unit 320 demultiplexes the transport stream received from the first receiving unit 310, extracts the PMT related to the program of the channel specified by the user, and outputs the PMT to the control unit 301.
  • the first demultiplexing unit 320 Upon receiving the video PID and audio PID specified from the control unit 301, the first demultiplexing unit 320 receives a video ES that matches each PID (here, the left-eye video stream that is the main stream), and The audio ES is extracted from the transport stream received from the first receiving unit 310. The first demultiplexing unit 320 sequentially outputs the extracted main stream to the first video decoding unit 323 and the audio ES to the audio decoding unit 325, respectively.
  • the PCR is extracted from the main stream in accordance with an instruction from the control unit 301 and sequentially output to the synchronization control unit 322. To do.
  • (3-2) Second demultiplexing unit 321 When the second demultiplexing unit 321 receives the specified video PID, audio PID, and the like from the control unit 301, the second demultiplexing unit 321 outputs the video ES (in this case, the right-eye video stream that is a substream) that matches each PID. 2 Extracted from the transport stream received from the receiving unit 311. The second demultiplexing unit 321 sequentially outputs the extracted video ES to the second video decoding unit 324.
  • the video ES in this case, the right-eye video stream that is a substream
  • the PCR is extracted from the sub stream in accordance with the instruction from the control unit 301 and sequentially output to the synchronization control unit 322. To do.
  • the second demultiplexing unit 321 When the second demultiplexing unit 321 receives the transport stream received from the second receiving unit 311 before receiving the video PID from the control unit 301, the second demultiplexing unit 321 demultiplexes the received transport stream.
  • the PMT related to the program of the channel specified by the user is extracted and output to the control unit 301.
  • Synchronization control unit 322 receives the specified synchronization method from the control unit 301.
  • the synchronization control unit 322 acquires the PCR from the first demultiplexing unit 320.
  • the synchronization control unit 322 generates a system clock for the main stream from the acquired PCR and sequentially outputs it to the first video decoding unit 323.
  • the synchronization control unit 322 generates a sub-stream system clock using the PCR of the main stream in accordance with an instruction from the control unit 301 and sequentially outputs it to the second video decoding unit 324. For example, when the PCR of the main stream is also applied to the substream using the offset value, the synchronization control unit 322 adds or subtracts the offset value specified in the main stream system clock to Generate a system clock.
  • the synchronization control unit 322 acquires the PCR from the second demultiplexing unit 321.
  • the synchronization control unit 322 generates a system clock for the substream from the acquired PCR, and sequentially outputs it to the second video decoding unit 324.
  • the synchronization control unit 322 generates a main stream system clock using the PCR of the substream in accordance with an instruction from the control unit 301, and sequentially outputs it to the first video decoding unit 323.
  • the synchronization control unit 322 follows the instruction from the control unit 301 and uses the system clock for the main stream and the substream. A system clock is generated, and the main stream system clock is sequentially output to the first video decoding unit 323 and the sub-stream system clock is output to the second video decoding unit 324, respectively.
  • the first video decoding unit 323 refers to the main stream system clock sequentially output from the synchronization control unit 322 and converts the video ES (main stream) sequentially output from the first demultiplexing unit 320 into the main stream.
  • the video data is decoded at the decoding timing described therein and output to the video processing unit 326 at the output timing described in the main stream.
  • the second video decoding unit 324 refers to the substream system clock sequentially output from the synchronization control unit 322, and converts the video ES (substream) sequentially output from the second demultiplexing unit 321 into the substream.
  • the video data is decoded at the decoding timing described therein and output to the video processing unit 326 at the output timing described in the substream.
  • Speech decoding unit 325 The audio decoding unit 325 decodes the audio ES sequentially received from the first demultiplexing unit 320 to generate audio data. Then, the voice decoding unit 325 outputs the generated voice data as voice.
  • Video processing unit 326 When the video processing unit 326 receives an instruction according to the usage of the substream from the control unit 301, the video processing unit 326 processes the video output from the first video decoding unit 323 and the second video decoding unit 324 according to the received instruction. , Output to the output unit 304.
  • the video output from each of the first video decoding unit 323 and the second video decoding unit 324 is synthesized.
  • the composition method is to display both input images alternately and alternately open and close the liquid crystal shutters corresponding to the left and right eyes of the 3D glasses in synchronization with the display.
  • the input images are alternately overlapped for each line in accordance with the polarization directions alternately set corresponding to the left and right eyes for each line on the display.
  • synthesis is performed in accordance with the 3D format accepted by the display of the output destination (example: Frame Packing that outputs left and right alternately at full resolution, Side-by- that is compressed and synthesized horizontally) Side etc.).
  • Output unit 304 The output unit 304 outputs the video received from the video processing unit 326 to a display (not shown).
  • the left-eye video encoder 101 encodes a plurality of left-eye videos (pictures) for one program using a method such as MPEG-2, MPEG-4, and the like, generates a left-eye video stream, and generates a left-eye video. Write to the stream storage unit 103 (step S5).
  • the audio encoder 102 compresses and encodes the audio data, generates an audio stream, and writes the audio stream in the audio stream storage unit 104 (step S10).
  • the multiplexing unit 106 multiplexes the left-eye video stream, the audio stream, the SI / PSI stored in the information holding unit 105, and the like to generate a transport stream in the MPEG2-TS format (step S15) and transmit Transmission is performed via the unit 107 (step S20).
  • step S5 the right-eye video encoder 201 is changed so as to generate the right-eye video stream.
  • Step S10 is not executed, and when the ramp stream is generated in step S10, the multiplexing unit 206 multiplexes the right-eye video stream, the SI / PSI stored in the information holding unit 205, and the like. change.
  • the reception processing unit 302 receives a transport stream (TS) for which a channel selection instruction has been received from the user (step S100).
  • TS transport stream
  • the control unit 301 uses the PMT included in the received TS to determine whether the TS includes the main stream, the substream, or neither (step S105). Specifically, when the new descriptor “external_ES_link_descriptor ()” is described in the PMT included in the received TS, the control unit 301 determines that the new descriptor “ When “service_subset_ES_descriptor ()” is described, it is determined that the TS includes a substream. When none of the new descriptors is described, it is determined that the TS is a normal TS.
  • the control unit 301 When determining that the received TS includes the main stream (“main stream” in step S105), the control unit 301 refers to the description content of external_ES_link_descriptor () to identify the substream, and the second receiving unit 311 The second receiving unit 311 receives the TS including the substream based on the instruction from the control unit 301 (step S110). Specifically, the control unit 301 refers to TS_location_type, transport_staram_id, program_number, ES_PID, transport_stream_location, and uri_char to obtain a substream acquisition method.
  • TS_location_type when the value indicated by TS_location_type is “00” or “01”, it is interpreted that the substream is transmitted by broadcasting, and transport_stream_id and transport_stream_location are specified in the second receiving unit 311 and the substream is specified. Instructing the second demultiplexing unit 321 to specify program_number and ES_PID to separate / extract the substream (the right-eye video ES) from the demodulated transport stream To instruct. Also, for example, when the value indicated by TS_location_type is “10”, it is interpreted that the secondary stream is obtained via the communication network, the uri_char is specified to the second reception unit 311, and the secondary stream is transmitted from the communication network.
  • the second demultiplexing unit 321 is designated with program_number and ES_PID, and instructed to separate and extract the substream from the acquired transport stream.
  • the second receiving unit 311 receives and demodulates the substream, and the second demultiplexing unit 321 performs demultiplexing to extract an ES (substream) of the video to extract the second video.
  • the data is sequentially output to the decoding unit 324. Note that the main stream alone may be played until the substream can be acquired. Further, whether to acquire the substream and use it at the same time as the main stream or use the main stream alone may be selected in advance or by a result of inquiring the user.
  • the synchronization control unit 322 extracts the PCR included in the main stream with reference to the PCR_PID, and generates the main stream system clock and the substream system clock using the extracted PCR.
  • the main stream system clock is sequentially output to the first video decoding unit 323, and the sub-stream system clock is sequentially output to the second video decoding unit 324, respectively.
  • the control unit 301 instructs the first demultiplexing unit 320 to extract the main stream video from the TS received by the first receiving unit 310.
  • the control unit 301 refers to the stream_type_flag and the stream_type, obtains information regarding the usage of the substream, and instructs the reproduction processing unit 303 to perform corresponding processing.
  • the main stream and the substream are interpreted as corresponding to each view of the binocular stereo, and the playback processing unit 303 is instructed to perform processing.
  • the first video decoding unit 323 of the reproduction processing unit 303 generates a left-eye video from the main stream
  • the second video decoding unit 324 generates a right-eye video from the substream
  • the video processing unit 326 Performs processing for displaying the generated left-eye video and right-eye video in 3D.
  • control unit 301 When it is determined that the received TS includes a substream (“substream” in step S105, the control unit 301 refers to service_subset_ES_descriptor () to determine whether or not playback is possible with only the substream ( Step S120) Specifically, the control unit 301 can make the above determination by referring to dependency_flag of service_subset_ES_descriptor ().
  • control unit 301 When determining that it cannot be reproduced independently (“No” in step S120), the control unit 301 refers to service_subset_ES_descriptor () to identify the main stream, and identifies the identified main stream to the first receiving unit 310.
  • the first receiving unit 310 receives the TS including the main stream based on the instruction from the control unit 301 (Step S125). Thereafter, the process proceeds to step S115.
  • step S130 If it is determined that it can be reproduced independently (“Yes” in step S120), the reproduction processing unit 303 reproduces only the substream (step S130). Note that whether the main stream is acquired and used simultaneously with the substream or whether the substream is used alone may be selected in advance or by a result of an inquiry to the user.
  • the reproduction processing unit 303 When it is determined that neither the main stream nor the substream is included in the received TS (“other” in step S105), the reproduction processing unit 303 generates video and audio from the received TS, and outputs them to the output unit 304. Output, that is, playback of the received TS is performed (step S135).
  • Second Embodiment In the first embodiment, a program is transmitted by broadcast waves. Here, a case of transmission by IP (Internet Protocol) broadcast will be described.
  • IP Internet Protocol
  • the program distribution system includes a transmission device 1100 that transmits a main stream, a transmission device 1200 that transmits a substream, and a reception / playback device 1300. .
  • the main stream is a left-eye video stream
  • the sub-stream is a right-eye video stream.
  • the transmission apparatus 1100 includes a left-eye video encoder 101, an audio encoder 102, a left-eye video stream storage unit 103, an audio stream storage unit 104, a file holding unit 1105, a multiplexing unit 1106, and a transmission unit 1107. It is configured.
  • the file holding unit 1105 holds a playback control metafile that is transmitted prior to transmission of a video stream or the like in a video-on-demand service over IP.
  • the playback control metafile is defined in “Digital TV Information Technology Study Group Digital TV Network Function Specification Streaming Function Specification Codec”.
  • the reproduction control metafile may be created by an external device or the transmission device 1100.
  • the multiplexing unit 1106 multiplexes the left-eye video stream (main stream) stored in the left-eye video stream storage unit 103, the audio stream stored in the audio stream storage unit 104, and the like in the MPEG2-TS format.
  • a TS is generated and transmitted via the transmission unit 1107.
  • the transmission unit 1107 transmits the reproduction control metafile held by the file holding unit 1105, and transmits the MPEG2-TS format TS generated by the multiplexing unit 1106.
  • FIG. 16 shows items of external_ES_link_info.
  • the external_ES_link_info element indicates information regarding one or a plurality of substreams.
  • the location element indicates the position of the substream on the broadcast, communication, or storage medium.
  • the position of the substream is described in the URI format in the uri attribute.
  • the receiving apparatus can know how the secondary stream is accessible. For example, when the substream is transmitted by broadcasting, the value is “arib: //0001.0002.0003.0004/05” according to the notation defined in “ARIB : STD-B24”, for example.
  • the stream element indicates the characteristics of the substream.
  • the stream_type of the secondary stream is described with a value specified by “ISO / IEC 38 13818-1”. For example, H.M. In the case of H.264 AVC, “1b” is described. As a result, it is possible to know whether or not the secondary stream is available in the receiving apparatus before accessing the secondary stream.
  • the value of the type attribute may be described according to the usage of the substream, similarly to the stream_type shown in the first embodiment.
  • the sync element indicates information related to the synchronization between the main stream and the substream, and includes a type attribute, a pcr_pid attribute, a pcr_offset attribute, a main_sync_tag attribute, and a sub_sync_tag attribute.
  • the type attribute in the sync element indicates the presence / absence and method of synchronization between the main stream and the substream.
  • the value is “pcr_main”, it indicates that the PCR of the program including the main stream is used.
  • the value is “pcr_sub”, it indicates that the PCR of the program including the substream is used.
  • a value of “independent” indicates that synchronization is performed using an independent synchronization track.
  • the pcr_pid attribute explicitly specifies PCR_PID when the type attribute is “pcr_main” or “pcr_sub”. For example, if the value is “1db”, the PCR whose PID is 0x01DB is referred to. If no value is described, PCR_PID described in the PMT of the stream is used. As a result, the receiving apparatus can know whether or not to use a unique PCR at the time of synchronous reproduction, and if so, can know the PID of the PCR.
  • the offset value is described.
  • One value (hexadecimal integer value) between “ ⁇ 200000000” and “200000000” is described as the offset value.
  • the receiving-side apparatus determines that the value in the main stream is the same as that in the main stream. The value obtained by offsetting the PCR is used.
  • the type attribute of the sync element is “pcr_sub” and the PCR in the substream is used
  • the value obtained by offsetting the PCR in the substream according to the value of the pcr_offset attribute is used when decoding and displaying the main stream. To do.
  • the pcr_offset attribute By specifying the pcr_offset attribute, synchronized playback can be realized even when the start value of PCR cannot be matched between the main stream and the substream.
  • the main_sync_tag attribute indicates the value of component_tag of the synchronization track of the main stream when the type attribute is “independent”.
  • the sub_sync_tag attribute indicates the value of component_tag of the synchronization track of the secondary stream when the type attribute is “independent”.
  • main_sync_tag attribute and the sub_sync_tag attribute it becomes possible to synchronize the main stream and the substream regardless of the PCR value.
  • FIG. 17 shows a description example of the external_ES_link_info element.
  • the substream exists at the position indicated by “arib: //0001.0002.0003.0004/05” by the location element.
  • the substream is H.264. It can be seen that it is H.264 AVC format.
  • the sync element uses the main stream PCR to synchronize the main stream and the substream, that the PID is 0x01DB, and that the substream has an offset value “ ⁇ 100” for the main stream PCR. You can see that they add.
  • the transmission apparatus 1200 includes a right-eye video encoder 201, a right-eye video stream storage unit 203, a file holding unit 1205, a multiplexing unit 1206, and a transmission unit 1207.
  • the file holding unit 1205 holds a reproduction control metafile that is transmitted prior to transmission of a video stream or the like in a video-on-demand service over IP.
  • the playback control metafile is defined in “Digital TV Information Technology Study Group Digital TV Network Function Specification Streaming Function Specification Codec”.
  • a new element in which reference information of a main stream transmitted in a TS other than the stream is described is added to the ERI in the playback control metafile describing the information of the substream. ing.
  • the new element (subset_service_ES_info) will be described later.
  • the multiplexing unit 1206 multiplexes the right-eye video stream (substream) stored in the right-eye video stream storage unit 203 to generate an MPEG2-TS format TS, and transmits the TS via the transmission unit 1207. .
  • the transmission unit 1207 transmits the reproduction control metafile stored in the file storage unit 1205 and transmits the MPEG2-TS format TS generated by the multiplexing unit 1206.
  • FIG. 19 shows the items of subset_service_ES_info.
  • the subset_service_ES_info element indicates the relationship between the secondary stream and the main stream.
  • the location element indicates the position of the main stream on the broadcast, communication or storage medium.
  • the position of the substream is described in the URI format in the uri attribute.
  • the description method of the uri attribute is the same as the uri attribute of the location element in FIG. Thereby, the receiving apparatus can know how the main stream is accessible.
  • the stream element indicates the characteristics of the main stream and includes a type attribute, a dependency attribute, and a parent_lli attribute.
  • the stream_type of the main stream is described with a value specified in ISO / IEC 38 13818-1. For example, H.M. In the case of H.264 AVC, “1b” is described. Thereby, it is possible to know whether or not the main stream can be used in the receiving apparatus before accessing the main stream.
  • the dependency attribute indicates whether the secondary stream can be played back without depending on the main stream.
  • the value indicates “false”, it indicates that the substream can be reproduced independently. “True” indicates that the substream can be played back only when the substream is used simultaneously with the main stream.
  • the parent_lli attribute indicates information related to LLI (License Link Information) describing a reference to the DRM.
  • LLI Light Link Information
  • sync element is the same as the sync element shown in FIG. 16, a description thereof is omitted here.
  • FIG. 20 shows a description example of the subset_service_ES_info element.
  • the main stream exists at the position indicated by “arib: //0001.0002.0003.0004/05” by the location element.
  • the main stream is H.264 according to the type attribute of the stream element.
  • the H.264 AVC format, the dependency attribute allows the substream to be played back only when used at the same time as the main stream, and the parent_lli attribute references the DRM using the LLI in the main stream playback control metafile.
  • the sync element uses the main stream PCR to synchronize the main stream and the substream, that the PID is 0x01DB, and that the substream has an offset value “ ⁇ 100” for the main stream PCR. You can see that they add.
  • the reception / playback apparatus 1300 includes a control unit 1301, a reception processing unit 1302, a playback processing unit 303, an output unit 304, and a transmission unit 1305.
  • Control unit 1301 The control unit 1301 performs overall control of the reception / playback apparatus 1300.
  • control unit 1301 specifies a reproduction control metafile URL that identifies the content requested to be transmitted by the operation of the user (viewer).
  • the control unit 1301 generates file request information including the specified reproduction control metafile URL, and transmits the generated file request information to the transmission device 1100 or the transmission device 1200 via the transmission unit 1305.
  • the transmission destination of the file request information is determined by the operation of the user (viewer).
  • the reproduction control metafile URL is specified as follows, for example.
  • control unit 1301 When the control unit 1301 requests transmission of content (program) from the transmission device 1100 or the transmission device 1200, first, the reproduction control metafile URL of each content (stream) managed on the content transmission side and the content
  • the reproduction control metafile URL of each content (stream) managed on the content transmission side When the name is received from the transmission device, a list of content names is displayed on a display (not shown) of the reception / playback device 1300.
  • the control unit 1301 specifies a reproduction control metafile URL corresponding to the selected content name.
  • control unit 1301 receives the playback control metafile from the reception processing unit 1302.
  • the control unit 1301 analyzes the reproduction control metafile, identifies the video PID and audio PID to be reproduced, and notifies the reproduction processing unit 303 of each identified PID.
  • control unit 301 determines the presence or absence of the new descriptor in the received playback control metafile, so that there is another TS including information to be played back simultaneously with the TS corresponding to the received playback control metafile. Determine the presence or absence. For example, the presence / absence of a substream is determined based on the presence / absence of a new element “external_ES_link_info” in the received playback control metafile.
  • the control unit 1301 When determining that the external_ES_link_info element is present, the control unit 1301 identifies the substream. The control unit 1301 transmits a transmission request for the TS including the main stream to the transmission device 1200 via the transmission unit 1305, and transmits a transmission request for the TS including the identified substream via the transmission unit 1305. The data is transmitted to the transmission device 1200. Further, the reception processing unit 302 is instructed to receive and demodulate the TS including the substream. Further, the control unit 1301 acquires information related to synchronization from the external_ES_link_info element, specifies a synchronization method based on the acquired information, and notifies the reproduction processing unit 303 of the result.
  • control unit 1301 determines whether reproduction is possible only with the substream. When it is determined that reproduction with only the substream is impossible, the main stream is identified and the synchronization information is acquired.
  • the transmission unit 1305 Upon receiving the file request information from the control unit 1301, the transmission unit 1305 transmits the file request information to the designated transmission destination (the transmission device 1100 or the transmission device 1200).
  • the reception processing unit 1302 includes a first reception unit 1310 and a second reception unit 1311.
  • the first reception unit 1310 receives the reproduction control metafile transmitted from the transmission device 1100.
  • the first receiving unit 1310 receives and demodulates the TS including the main stream, and outputs the transport stream in the MPEG2 format obtained by the demodulation to the reproduction processing unit 303.
  • the second reception unit 1311 receives the reproduction control metafile transmitted from the transmission device 1200. Also, the second receiving unit 1311 receives and demodulates the TS including the substream, and outputs the MPEG2 format transport stream obtained by the demodulation to the reproduction processing unit 303.
  • the control unit 1301 of the reception / playback apparatus 1300 generates file request information including a playback control metafile URL that identifies a program (content) requested to be transmitted (step S200), and the generated file request information is generated by a user operation. It transmits to the determined transmission apparatus (transmission apparatus 1100 or transmission apparatus 1200) (step S205).
  • the transmission device (for example, the transmission device 1100) identifies the reproduction control metafile corresponding to the reproduction control metafile URL received from the reception reproduction device 1300 (step S210), and the identified reproduction control metafile to the reception reproduction device 1300. Transmit (step S215).
  • the reception / playback apparatus 1300 interprets the content of the received reproduction control metafile and performs a reproduction process according to the interpretation result (step S220).
  • the reception processing unit 1302 of the reception / playback device 1300 receives the playback control metafile from the transmission device (for example, the transmission device 1100) determined by the user operation (step S300).
  • the control unit 1301 determines whether the TS corresponding to the playback control metafile includes a main stream, a substream, or neither. (Step S305). Specifically, when a new element “external_ES_link_info” is described in the received playback control metafile, the control unit 301 sets the new element “subset_service_ES_info” when the main stream is included in the corresponding TS. If it is described, it is determined that the corresponding TS includes a substream. If none of the new elements is described, it is determined that the TS is a normal TS.
  • control unit 1301 When it is determined that the TS includes the main stream (“main stream” in step S305), the control unit 1301 refers to the description content of external_ES_link_info to identify the substream (step S310). Specifically, the control unit 301 refers to the ur attribute of the location element and specifies the acquisition method of the substream.
  • the control unit 1301 sends a transmission request for each of the main stream and the substream to the transmission device 1100 and the transmission device 1200 (step S315).
  • the reproduction processing unit 303 performs simultaneous reproduction of the received main stream and substream based on an instruction from the control unit 1301 (step S320). Specifically, first, when acquiring external_ES_link_info, the control unit 301 refers to the sync element and specifies the synchronization method.
  • the synchronization control unit 322 refers to the PCR_PID attribute based on the identified synchronization method, and extracts, for example, the PCR included in the main stream, and uses the extracted PCR for the main stream system clock and the substream system clock.
  • the main stream system clock is sequentially output to the first video decoding unit 323 and the sub-stream system clock is sequentially output to the second video decoding unit 324, respectively.
  • control unit 1301 instructs the first demultiplexing unit 320 to extract the main stream video from the TS received by the first receiving unit 1310, and the substream video from the TS received by the second receiving unit 1311.
  • the second demultiplexing unit 321 is instructed to extract.
  • the first video decoding unit 323 of the reproduction processing unit 303 generates a left-eye video from the main stream
  • the second video decoding unit 324 generates a right-eye video from the substream
  • the video processing unit 326 Performs processing for displaying the generated left-eye video and right-eye video in 3D.
  • the control unit 1301 When it is determined that the received TS includes a substream (“substream” in step S305), the control unit 1301 refers to the subset_service_ES_info element to determine whether or not playback is possible using only the substream ( Step S325). Specifically, the control unit 301 can make the above determination by referring to the dependency attribute in the stream element of the subset_service_ES_info.
  • step S325 If it is determined that it cannot be reproduced independently (“No” in step S325), the control unit 1301 refers to the subset_service_ES_info element to identify the main stream (step S330). Thereafter, the process proceeds to step S315.
  • control unit 1301 makes a transmission request for the substream to the transmission device 1200 (step S335).
  • the second receiving unit 1311 receives the substream, and the reproduction processing unit 303 reproduces only the substream (step S340).
  • the control unit 1301 sends a transmission request for the substream to the transmission apparatus (specified by the user operation). (Step S345).
  • the first receiving unit 1310 receives the stream, and the reproduction processing unit 303 reproduces only the received stream (step S350).
  • the main stream describes the information for specifying the substream in SI (Service Information) defined in “ARIB STD-B10”, not in the PMT.
  • SI Service Information
  • reference information of a substream transmitted in a TS other than the stream is described in a descriptor loop of SDT (Service Description Table) or EIT (Event Information Table) included in SI.
  • the hyperlink_descriptor () specified in “ARIB STD-B10” is arranged.
  • FIG. 24 shows an example of the structure of hyperlink_descriptor ().
  • Descriptor_tag describes a unique value for distinguishing this descriptor from other descriptors.
  • Descriptor_length describes the number of bytes from the next field to the end of this descriptor.
  • Hyper_linkage_type indicates the form of the link.
  • a newly defined synchronized_stream (0x0B) is defined and used.
  • Link_destination_type indicates a link destination type.
  • link_to_external_component (0x08) is newly defined and used.
  • “Selector_length” indicates the byte length of the subsequent selector area.
  • link_external_component_info () is newly defined and used corresponding to link_to_external_component (0x08). The meaning of each field of link_external_component_info () will be described later.
  • Private_data is used for future expansion.
  • FIG. 25 shows an example of the structure of link_external_component_info ().
  • “Reserved” is an area for future expansion, and binary “1” is described for the number of bits.
  • TS_location_type indicates the type of network in which the substream is transmitted.
  • a value “00” indicates that the secondary stream is transmitted on the same broadcast network as the main stream.
  • a value of “01” indicates that the secondary stream is transmitted on a broadcast network different from the main stream indicated by the subsequent transport_stream_location.
  • the value “10” indicates that the substream can be accessed by a medium other than the broadcast that can be accessed by the URI indicated by the subsequent uri_char. As a result, the receiving apparatus can know how the secondary stream is accessible.
  • Component_type_flag is a flag indicating whether or not there is a description of subsequent stream_content and component_type.
  • Sync_reference_type is the same as in FIG.
  • Transport_stream_id indicates transport_stream_id to which the substream to be referred is transmitted.
  • Service_id indicates the service_id of the program including the substream to be referred to. Note that service_id has the same meaning as program_number.
  • the event_id indicates the event_id of the event including the substream to be referenced. When an event including a substream to be referenced is not specified, an invalid value (0xffff) is stored in event_id.
  • Component_tag indicates the component_tag of the substream to be referred to.
  • transport_stream_id, service_id, and component_tag it is possible to specify the ES of the substream that can be used simultaneously when the main stream is used.
  • event_id it is possible to specify an event including a secondary stream that is broadcast at a different time from an event including the main stream. In this case, the receiving apparatus performs synchronized playback using the accumulated main stream or substream after recording one of the earlier broadcast times (or both).
  • the original_network_id can indicate a network through which the substream is transmitted when the substream to be referenced is transmitted in another broadcast network (eg, satellite broadcast for terrestrial broadcast). Thereby, even when the substream is transmitted through a broadcast network different from the main stream, the receiver can know the transmission position.
  • another broadcast network eg, satellite broadcast for terrestrial broadcast
  • Uri_length indicates the number of bytes of the following uri_char.
  • Uri_char describes a URI for accessing a TS including a substream when the substream to be referenced is accessible by a medium other than broadcast. Since the description example of the URI is the same as that of the first embodiment, description thereof is omitted here.
  • Stream_content indicates the type (video, audio, data) of the designated substream.
  • Component_type indicates the detailed type of the component of the designated substream. By stream_content and component_type, it is possible to know whether or not the secondary stream is available in the receiver before accessing the secondary stream. It should be noted that stream_content and component_type may be described according to the usage of the substream, similarly to stream_type in FIG.
  • PCR_location_flag Since the description after the PCR_location_flag is the same as that in FIG. 4, the description thereof is omitted here.
  • main_sync_tag instead of main_sync_PID.
  • sub_sync_tag instead of sub_sync_PID.
  • Modification 2 a description is given of a case where reference information of a substream transmitted in a TS other than the stream is described using an object element in data broadcasting specified in “ARIB STD-B24” linked with the main stream. To do.
  • FIG. 26 shows a list of extended attributes used in this modified example, and a description example of data broadcast contents that specify a substream using them.
  • FIG. 26 (a) shows extended attributes for designating a substream for an object element indicating a main stream.
  • Substream_type indicates the mime-type of the substream. For example, in the case of MPEG-4 transmitted by broadcast waves, “video / X-arib-mpeg4” is designated. As a result, it is possible to know whether or not the secondary stream is available in the receiving apparatus before accessing the secondary stream. Note that the substream_type attribute may describe a value for each usage of the substream, similarly to the stream_type in FIG.
  • Substream_data indicates the URL of the substream.
  • the description method of the uri attribute is the same as the uri attribute of the location element in FIG. Thereby, the receiving apparatus can know the position of the substream.
  • Substream_sync_type indicates the presence / absence and method of synchronization between the main stream and the substream.
  • the value indicates “pcr_main”, it indicates that the PCR of the program including the main stream is used.
  • pcr_sub indicates that the PCR of the program including the substream is used.
  • the value indicates “independent”, synchronization using an independent synchronization track is performed.
  • the main stream and the substream are not synchronized in the receiving device, and when decoding / displaying the main stream, when decoding / displaying the substream according to the PCR in the main stream follow the PCR in the substream.
  • the receiving device can know the presence and method of clock synchronization between the main stream and the substream.
  • Substream_sync_pcr_pid explicitly specifies PCR_PID when the substream_sync_type attribute is “pcr_main” or “pcr_sub”. For example, if the value is “1db”, the PCR whose PID is 0x01DB is referred to. If no value is described, PCR_PID described in the PMT of the stream is used. As a result, the receiving apparatus can know whether or not to use a unique PCR at the time of synchronous reproduction, and if so, can know the PID of the PCR.
  • substream_sync_pcr_offset the substream_sync_type attribute is “pcr_main” or “pcr_sub”, and the offset value is described when the offset value is added at the time of PCR reference.
  • the offset value one value (hexadecimal integer value) between “ ⁇ 200000000” and “200000000” is described. For example, when substream_sync_type is “pcr_main” and the PCR in the main stream is used, a value obtained by offsetting the PCR in the main stream according to the value of substream_sync_pcr_offset is used when decoding and displaying the substream.
  • substream_sync_type is “pcr_sub” and PCR in the substream is used
  • a value obtained by offsetting the PCR in the substream according to the value of substream_sync_pcr_offset is used when decoding and displaying the main stream.
  • substream_sync_main_tag component_tag indicating the synchronization track of the main stream is described when the substream_sync_type attribute is “independent”.
  • substream_sync_sub_tag component_tag indicating the synchronization track of the sub-stream is described when the substream_sync_type attribute is “independent”.
  • FIG. 26 (b) shows a description example of data broadcast content that designates a substream using the extended attribute.
  • substream_type It can be seen from the description content of substream_type that the substream is transmitted in the broadcast wave in the MPEG-4 format.
  • substream_data It can be seen from the description content of substream_data that the substream exists at a position indicated by “arib: //0001.0002.0003.0004/05”.
  • substream_sync_type and substream_sync_pcr_pid From the descriptions of substream_sync_type and substream_sync_pcr_pid, it can be seen that when the main stream and the substream are synchronized, the PCR of the program including the main stream is used, and the PCR used has a PID of 0x01DB.
  • 27 and 28 show an example of a structure (schema) that defines the ExternalES element in the VideoAttributes element.
  • the description of the block B500 in FIG. 27 is referred to as a LocationType type, and describes the position of the substream on the broadcast, communication, or storage medium.
  • the position of the substream is described in the URI format in the uri attribute included in the LocationType type.
  • the description method of the uri attribute is the same as the uri attribute of the location element in FIG. As a result, the receiving apparatus can know how the secondary stream is accessible.
  • the description of the block B501 is called a StreamType type and describes the characteristics of the substream.
  • the attribute of the substream is described by a character string, and specifically, the value of stream_type defined by “ISO / IEC 13818-1” is described. For example, H.M. In the case of H.264 AVC, “1b” is described. As a result, it is possible to know whether or not the secondary stream is available in the receiving apparatus before accessing the secondary stream. Note that the value of the type attribute may be described according to the usage of the substream, similarly to the stream_type in FIG.
  • the description of the block B502 is called a SyncType type, and describes information related to synchronization between the main stream and the substream.
  • the type attribute in the SyncType type indicates the presence / absence and method of synchronization between the main stream and the substream.
  • the value indicates “pcr_main”, it indicates that the PCR of the program including the main stream is used.
  • pcr_sub indicates that the PCR of the program including the substream is used.
  • the value indicates “independent”, it indicates that synchronization is performed using an independent synchronization track.
  • the receiver does not synchronize the main stream and the substream.
  • the substream is used when decoding / displaying the substream according to the PCR in the main stream. The following is shown in accordance with PCR. As a result, the receiving device can know the presence and method of clock synchronization between the main stream and the substream.
  • the pcr_pid attribute explicitly specifies PCR_PID when the type attribute indicates “pcr_main” or “pcr_sub”. For example, if the value is “1db”, the PCR whose PID is 0x01DB is referred to. If no value is described, PCR_PID described in the PMT of the stream is used. As a result, the receiving apparatus can know whether or not to use a unique PCR at the time of synchronous reproduction, and if so, can know the PID of the PCR.
  • the offset value is described.
  • the offset value one value (hexadecimal integer value) between “ ⁇ 200000000” and “200000000” is described.
  • the receiving-side apparatus offsets the PCR in the main stream according to the value of the offset attribute. Use the value.
  • the receiving side device offsets the PCR in the substream according to the value of the pcr_offset attribute. Use the value.
  • synchronized playback can be realized even when the start value of PCR cannot be matched between the main stream and the substream.
  • the main_sync_tag attribute indicates the value of component_tag of the synchronization track of the main stream when the type attribute is “independent”.
  • the sub_sync_tag attribute indicates the value of component_tag of the synchronization track of the secondary stream when the type attribute is “independent”.
  • ExternalEsType type indicates information about the substream, and includes a Location element of the LocationType type, a Stream element of the StreamType type, and a Sync element of the SyncType type. Since these elements have been described above, description thereof is omitted here.
  • Block B504 is called a VideoAttributesType type, and an ExternalEs element of ExternalEsType type, which is a new element, is added.
  • FIG. 29 shows a description example of the ERI that designates a substream using the new element “ExternalEs” shown above.
  • the stream type is H. It can be seen that it is H.264 AVC.
  • the PCR of the program including the main stream is used when synchronizing the main stream and the substream, and the PCR used has a PID of 0x01DB. It can be seen that the offset value “ ⁇ 100” is used.
  • the new descriptor “external_ES_link_descriptor ()” is described in the second loop D102 of the PMT.
  • the present invention is not limited to this.
  • external_ES_link_descriptor () is set as the first loop of the PMT. It may be described in D100.
  • one or more existing descriptors may be extended to add each piece of information described in “external_ES_link_descriptor ()”, or user extension Data may be added in the main stream ES and / or the substream ES.
  • the new descriptor “subset_service_ES_ info” is not only added to the playback control metafile defined in “Digital TV Information Society, Digital TV Network Functional Specification, Streaming Functional Specification, Codec”, Content Access Descriptor specified in Open IPTV Forum Specification Volume 5-c Declarative Application ⁇ Environment, and meta attribute of ⁇ ISO / IEC 14496-12 ”(such as ISO Base Stream) May be added to
  • substream information may not be described in hyperlink_descriptor (), but a new descriptor may be defined to describe equivalent information.
  • the data broadcasting defined by “ARIB STD-B24” has been described as an example, but “ETSI ES 202 184” (MHEG-5 Broadcast Profile), “ETSI TS 101 812” is also described. (Multimedia Home Platform), “CEA-2014” (Web4CE), “HTML-5”, and other multimedia methods that can access video objects from within a document may be used.
  • the new descriptor “service_subset_ES_descriptor ()” is described in the second loop of the PMT.
  • the present invention is not limited to this.
  • ⁇ Service_subset_ES_ descriptor ()> may be described in the first loop of the PMT when the ES constituting the program including the substream is only the substream. Also, instead of newly defining service_subset_ES_ descriptort (), one or more existing descriptors may be extended to add each piece of information described in service_subset_ES_ descriptor ().
  • a plurality of these pieces of information may be arranged.
  • the main stream is described as the left-eye video stream, and the sub-stream is the right-eye video stream.
  • the combination of the main stream and the sub-stream is not limited thereto.
  • the combination of the main stream and the substream is 3D video control (stream_type values “0x80”, “0x81”, “0x85” to “0x87”), main The stream video is highly detailed (stream_type value is “0x82” to “0x84”), and free viewpoint switching (stream_type value is “0x88” to “0x8A”).
  • the video processing unit when the substream is a differential component for increasing the definition of the video of the main stream, the video processing unit generates the differential component generated by the second video decoding unit by the first video decoding unit. To the video.
  • the reception / playback apparatus includes a caption data decoding unit that decodes the caption data, and an audio decoding unit that decodes the audio data of the substream.
  • the video processing unit superimposes the caption data generated by the caption data decoding unit on the video generated by the first video decoding unit.
  • the reception / playback apparatus decodes and outputs the audio data included in the substream.
  • both sounds may be output by user operation, or only one sound may be output.
  • the transmission form of the main stream and the transmission form of the substream are the same, but the present invention is not limited to this.
  • the transmission form of the main stream and the transmission form of the sub stream may be different from each other.
  • the main stream is included in a transport stream including SI / PSI such as PMT, and the sub stream may be a transport stream transmitted by IP broadcasting, or vice versa.
  • PMT playback control file generation
  • new descriptors and new elements “external_ES_descriptor ()”, “service_subset_ES_descriptor ()”, “external_ES_link_info”, “subset_sver_inset” ) ”, Link_external_component_info (), object element, and“ ExternalES element ”are generated in advance, for example, by storing a description element such as a descriptor as a parameter variable in the transmission apparatus 100 or an external apparatus as a parameter variable. Accept information about parameter variables from users It may be carried out in Rukoto. Further, the above generation method is an example and may be another method.
  • a digital television is used as an example of a reception / playback apparatus, but the present invention is not limited to this.
  • the reception / playback apparatus may be applied to a DVD recorder, a BD (Blu-ray Disc) recorder, or a set top box.
  • Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • Part or all of the constituent elements constituting each of the above-described devices may be constituted by one integrated circuit.
  • Part or all of the constituent elements constituting each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program.
  • a program describing the procedure of the method described in the above embodiments and modifications is stored in a memory, and a CPU (Central Processing Unit) or the like reads the program from the memory and executes the read program
  • a CPU Central Processing Unit
  • a program describing the procedure of the method may be stored in a recording medium and distributed.
  • Examples of the medium for storing the program include an IC card, a hard disk, an optical disk, a flexible disk, a ROM, and a flash memory.
  • the information for specifying the substream on the transmission path (TS) different from the main stream is described in addition to the access information to the main stream so that the reception / playback apparatus can receive the substream. Recognizing and acquiring the presence of a stream, synchronized playback and recording with the main stream can be realized.
  • One aspect of the present invention is a transmission apparatus, which is associated with one transmission stream among a plurality of transmission streams each including information to be simultaneously reproduced by one reception reproduction apparatus,
  • the apparatus includes a holding unit that holds stream specifying information that specifies at least one transmission stream different from the one transmission stream, and a transmission unit that transmits the stream specifying information.
  • the transmission device transmits the stream identification information
  • the reception side uses the stream identification information, so that various information can be reproduced at the same time even if various pieces of information are individually transmitted in the transmission stream.
  • Stream can be specified.
  • the stream identification information includes “external_ES_descriptor ()”, “service_subset_ES_descriptor ()”, “external_ES_link_info”, “subset_ES_describer”, and “subset_ES_describer”. ", Link_external_component_info (), object element and” ExternalES element ".
  • the one transmission stream is a stream in MPEG2-TS (Moving Picture Experts Group 2-Transport Stream) format and is associated with PMT (Program Map Table), and the transmission means May be transmitted by multiplexing the one transmission stream and the PMT in which the stream specifying information is described.
  • MPEG2-TS Motion Picture Experts Group 2-Transport Stream
  • PMT Program Map Table
  • the transmission apparatus since the transmission apparatus multiplexes and transmits the PMT in which the stream specifying information is described and the other transmission stream, the reception side uses the PMT and transmits the other transmission stream.
  • the transmission stream including information to be reproduced at the same time can be identified before decoding the other transmission stream.
  • the stream specifying information may further include synchronization information for synchronizing when the plurality of transmission streams are reproduced simultaneously.
  • the transmission apparatus transmits the stream specifying information including the synchronization information. Therefore, when the reception side reproduces the plurality of transmission streams at the same time, each transmission is performed by using the synchronization information. Each piece of information included in the video stream can be reproduced while being synchronized.
  • the synchronization information may specify one of PCRs (Program_Clock_Reference) included in each of the plurality of transmission streams as a reference for reproduction synchronization.
  • the transmission device since the transmission device transmits the synchronization information indicating that one PCR is used among the PCRs included in each of the plurality of transmission streams, the reception side transmits the designated PCR, that is, the PCR. Other transmission streams can be reproduced based on the reproduction timing of information included in the included transmission stream.
  • the synchronization information may indicate that each of the plurality of transmission streams uses the same time stamp.
  • the transmission apparatus transmits the same information indicating that the time stamp is used, the reception side can reproduce the plurality of transmission streams based on the time stamp.
  • the PMT may include reproduction information indicating whether or not the one transmission stream can be reproduced independently.
  • the transmission apparatus since the transmission apparatus transmits reproduction information, when the reception side indicates that the reproduction information can be reproduced independently, information on other transmission streams is reproduced simultaneously. The information of the other transmission stream can be reproduced without any problem.
  • the one transmission stream is an MPEG2-TS (Moving Picture Experts Group 2-Transport Stream) format stream, and is associated with SI / PSI (Service Information / Program Specific Information).
  • the transmission unit may multiplex and transmit the one transmission stream and SI / PSI in which the stream specifying information is described.
  • the transmission apparatus since the transmission apparatus multiplexes and transmits the SI / PSI in which the stream specifying information is described and the other transmission stream, the reception side uses the SI / PSI to perform the transmission. It can be identified before receiving the stream.
  • the one transmission stream is a stream distributed in an IP (Internet Protocol) network, and is associated with a reproduction control metafile, and the transmission means stores the stream specifying information.
  • the playback control metafile that is included may be transmitted separately from the one transmission stream.
  • the transmission device since the transmission device transmits the reproduction control metafile in which the stream specifying information is described, the reception side uses the reproduction control metafile before the transmission stream is received. A transmission stream can be specified.
  • the one transmission stream is a stream in MPEG2-TS (Moving Picture Experts Group 2-Transport Stream) format, and is associated with a data broadcast content descriptor, and the transmission means is
  • the one transmission stream and the data broadcast content descriptor in which the stream specifying information is described may be multiplexed and transmitted.
  • the transmission device multiplexes and transmits the data broadcast content descriptor in which the stream specifying information is described and the other transmission stream, so that the reception side of the other transmission stream When reproducing the reproduction, the transmission stream can be specified using the data broadcast content.
  • the one transmission stream is transmitted in a server-type broadcast and is associated with metadata, and the transmission means includes the stream specifying information described in the program element information.
  • the metadata may be transmitted.
  • the transmitting device transmits metadata including program element information in which the stream specifying information is described, so that the receiving side can specify the transmission stream using the metadata.
  • a reception / playback apparatus for receiving and playing a program, wherein the first transmission stream constituting the program and the second transmission stream to be played back simultaneously with the first transmission stream are provided.
  • First receiving means for receiving transmission information indicating whether or not a transmission stream is transmitted; and determining means for determining whether or not the second transmission stream is transmitted using the transmission information;
  • the determination means determines that the second transmission stream is being transmitted, the second reception stream is received by the determination means and the second transmission stream is transmitted by the determination means. If it is determined that the first transmission stream and the second transmission stream are both reproduced, the determination unit determines that the second transmission stream is not transmitted.
  • a reproducing means for reproducing the first transmission stream.
  • the reception / playback apparatus can determine the presence / absence of the second transmission stream to be played back simultaneously with the first transmission stream by using the transmission information. Accordingly, when the reception / playback apparatus determines that the second transmission stream is present, the reception / playback apparatus plays back both of the two streams (the first transmission stream and the second transmission stream). Can receive.
  • the transmission information corresponds to the PMT, EIT, and playback control file shown in the above embodiment and modifications.
  • the first transmission stream is an MPEG2-TS (Moving Picture Experts Group 2-Transport Stream) format stream
  • the first receiving means is multiplexed with the first transmission stream.
  • the transmission information described in PMT may be received.
  • the reception / playback apparatus can specify the presence / absence of the second transmission stream using the PMT before decoding the first transmission stream.
  • the transmission information further includes synchronization information for synchronizing when the first transmission stream and the second transmission stream are reproduced at the same time
  • the reproduction means includes: Based on the synchronization information, synchronized playback may be performed on the information on the first transmission stream and the information on the second stream.
  • the reception / playback apparatus uses the synchronization information to simultaneously synchronize each piece of information included in each transmission stream when the first transmission stream and the second transmission stream are played back simultaneously. Can be played.
  • the reproduction unit may perform the synchronous reproduction using a PCR indicated by the synchronization information among a PCR (Program_Clock_Reference) of the first transmission stream and a PCR of the second transmission stream. Good.
  • the reception / playback apparatus can play back other transmission streams based on the playback timing of information included in the transmission stream corresponding to the designated PCR.
  • the playback means may perform the synchronized playback using a time stamp indicated by the synchronization information.
  • the reception / playback apparatus can simultaneously play back the first transmission stream and the second transmission stream based on the time stamp.
  • the first transmission stream is an MPEG2-TS (Moving Picture Experts Group 2-Transport Stream) format stream
  • the first receiving means is multiplexed with the first transmission stream.
  • the transmission information described in SI / PSI Service Information / Program Specific Information
  • SI / PSI Service Information / Program Specific Information
  • the reception / playback apparatus can be specified before receiving the second transmission stream using SI / PSI.
  • the first transmission stream is a stream distributed in an IP (Internet Protocol) network
  • the first receiving unit is configured to receive the first transmission stream prior to receiving the first transmission stream.
  • the transmission information included in the reproduction control metafile corresponding to the transmission stream may be received.
  • the reception / playback apparatus can specify the second transmission stream before receiving the first transmission stream using the playback control metafile.
  • At least one of the plurality of transmission streams is an MPEG2-TS (Moving Picture Experts Group 2-Transport Stream) format stream
  • the first receiving means includes the first receiving means
  • the reception / playback apparatus can specify the second transmission stream when playing back the first transmission stream using the data broadcast content.
  • the first transmission stream is transmitted in a server-type broadcast
  • the first receiving means includes program element information included in metadata corresponding to the first transmission stream.
  • the described transmission information may be received.
  • the reception / playback apparatus can specify the second transmission stream using the metadata.
  • the second receiving means receives the second transmission stream and reproduction information indicating whether or not the second transmission stream can be reproduced independently. Then, the determination means further determines whether or not the second transmission stream can be reproduced independently based on the reproduction information, and the reproduction means further performs the second transmission by the determination means. When it is determined that the first stream can be reproduced independently, the second transmission stream may be reproduced.
  • the reception / reproduction apparatus when the reception / reproduction apparatus indicates that the reproduction information can be reproduced independently, the reception / reproduction device does not reproduce the information of the first transmission stream at the same time. Playback can be performed.
  • the present invention can be applied not only to program videos but also to devices that transmit a wide variety of information such as caption data and videos from other viewpoints, and devices that receive and reproduce program videos and a variety of information. it can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 同時に再生すべき多種多様の情報の送信する送信装置を提供する。送信装置は、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持し、前記ストリーム特定情報を送信する。これにより、受信側では、受信側では、当該ストリーム特定情報を用いることで、前記一の伝送用ストリームと同時に再生すべき少なくとも1つの他の伝送用ストリームを特定することができる。

Description

送信装置、受信再生装置、送信方法及び受信再生方法
 本発明は、1つの番組の映像とともに表示される情報を送信、及び受信する技術に関するものである。
 従来の放送サービスでは、単一のトランスポートストリームで、データ放送、字幕サービス及び3D映像等の1つ又は複数の情報(映像やデータ)を送信している。例えば、特許文献1において、2Dのビデオストリームと、他視点のビデオ、視差情報及び奥行き情報などのような3Dビデオ付加データとを1つのトランスポートストリームとして送信する技術が開示されている。
 また、番組において日本語による音声及び字幕だけでなく、英語等の他の言語による音声や字幕、3D映像のように1つの視点からの映像だけでなく他の視点からの映像といった多種多様の情報の送信・再生が、視聴者から求められている。
特表2008-500790号公報
 しかしながら、放送では、1つのトランスポートストリームを送信するための電波帯域には制約があり、上記のような多種多様の情報の送信を実現しようとしても、各種情報のデータ量によっては全ての情報を1つのトランスポートストリームに含めることができないという問題がある。
 そこで、本発明は、同時に再生すべき多種多様の情報を送信し、受信・再生することのできる送信装置、受信再生装置、送信方法及び受信再生方法を提供することを目的とする。
 上記目的を達成するために、送信装置は、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、前記ストリーム特定情報を送信する送信手段とを備えることを特徴とする。
 上記構成によると、送信装置は、ストリーム特定情報を送信するので、受信側では、当該ストリーム特定情報を用いることで、各種情報が個別に伝送用ストリームで送信されても、同時に再生すべき伝送用ストリームを特定することができる。
番組配信システム10の構成を示す図である。 送信装置100の構成を示すブロック図である。 PMTのデータ構造の一例を示す図である。 external_ES_link_descriptor()のデータ構造の一例を示す図である。 view_selection_information()のデータ構造の一例を示す図である。 object_information()のデータ構造の一例を示す図である。 送信装置200の構成を示すブロック図である。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図9に続く。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図8から続き、図10に続く。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図9から続き、図11に続く。 service_subset_ES_descriptor()のデータ構造の一例を示す図である。図10から続く。 デジタルテレビ(受信再生装置)300の構成を示すブロック図である。 送信装置100の動作を示す流れ図である。 受信再生装置300の動作を示す流れ図である。 送信装置1100の構成を示すブロック図である。 external_ES_link_infoのデータ構造の一例を示す図である。 external_ES_link_infoの記述例を示す図である。 送信装置1200の構成を示すブロック図である。 subset_service_ES_infoのデータ構造の一例を示す図である。 subset_service_ES_infoの記述例を示す図である。 受信再生装置1300の構成を示すブロック図である。 第2の実施の形態における番組配信システムの動作概要を示す流れ図である。 受信再生装置1300の動作を示す流れ図である。 hyperlink_descriptor()のデータ構造の一例を示す図である。 link_external_component_info()のデータ構造の一例を示す図である。 (a)は、主ストリームを示すobject要素に対する、副ストリームを指定するための拡張属性を示す図であり、(b)は、拡張属性を用いて副ストリームを指定するデータ放送コンテンツの記述例を示す図である。 ExternalES要素を定義する構造の一例を示す図である。図28に続く。 ExternalES要素を定義する構造の一例を示す図である。図27から続く。 ExternalES要素を用いて副ストリームを指定するERIの記述例を示す図である。
 1.概要
 上述したように、今後の放送サービスにおいて、多種多様な情報の放送が期待されているが、トランスポートストリームを送信するための電波帯域には制約があり、各種情報のデータ量によっては、1つのトランスポートストリームで送信できない場合がある。
 そこで、複数のトランスポートストリームで、番組及び各種情報を送信することが考えられる。
 しかしながら、現在のところ、無数の放送波や複数のトランスポートストリームから、一の番組に対するサービス(他言語の字幕など)を含むストリームを特定し、視聴者が所望の情報を選択できる仕組みがない。
 そこで、発明者らは、鋭意検討し、複数のトランスポートストリームを用いて、同時に再生すべき多種多様の情報を送信し、受信・再生することのできる、本発明に至った。
 本発明の一態様によれば、送信装置は、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、前記ストリーム特定情報を送信する送信手段とを備えることを特徴とする。
 2.第1の実施の形態
 以下、図面を参照しながら、本実施の形態について詳細に説明する。
 2.1 概要
 本実施の形態に係る番組配信システム10は、図1に示すように、送信装置100、200と、デジタルテレビ(受信再生装置)300とから構成される。
 デジタルテレビ放送では、送信装置100、200からの放送信号は、MPEGシステム規格によって規定されるトランスポートストリーム(TS)形式で映像・音声ストリーム及び番組配列情報が多重化されて送出される。ここで、番組配列情報とは、TSの伝送ネットワーク情報、放送局、チャンネル(サービス)の詳細情報、及び番組詳細情報などが記載されたSI(Service Information)/PSI(Program Specific Information)のことである。
 送信装置100、200は、ビデオストリーム、オーディオストリーム等が多重化されたトランスポートストリーム(TS)を送信する。
 本実施の形態では、送信装置100、200から送出される各TSは、従来の2Dデジタル放送で運用されているようにMPEG2-TS(Moving Picture Experts Group 2-Transport Stream)に準拠したトランスポートストリームである。MPEG2-TSに準拠したトランスポートストリームは、1つ以上のビデオ・オーディオストリームと、各ビデオ・オーディオストリームストリームがどのプログラム(番組)に属するかを記したPSIを含んでいる。PSIには、TS内に含まれるプログラム一覧を示すPAT(Program Association Table)、あるプログラム内に属する映像・音声などのストリームのPID(パケットID)を格納したPMT(Program Map Table)などがある。
 さらにMPEG2-TSに準拠したトランスポートストリームには、ネットワーク情報や編成チャンネル情報・番組情報に関して記述されているSIが含まれる。
 SIには、NIT(Network Information Table:ネットワーク情報テーブル)、SDT(Service Description Table:サービス記述テーブル)及びEIT(Event Information Table:イベント情報テーブル)等のテーブルが含まれている。
 NITには、送出されたTSが経由するネットワークに関する情報(チャンネル番号、変調方式など)が記述されている。
 SDTには、送出されるTS内に存在する編成チャンネルに関する情報(チャンネル名称、番組情報の種類、デジタルコピー制御情報など)が記載されている。
 EITには、各編成チャンネルに含まれる番組に関する詳細情報(番組名称、放送日時、放送内容など)が記載されている。
 デジタルテレビ(受信再生装置)300は、SIに記載された情報を利用することによって、電子番組表(Electronic Program Guide:EPG)を作成することができる。
 送信装置100、200から送信される各TSには、一の番組について同時に再生されるべき情報が含まれている。例えば、送信装置100から送信されるTSには、3D番組における左目用の映像及び音声が含まれ、送信装置200から送信されるTSには、3D番組における右目用の映像が含まれている。そして送信装置100から送信されるTSは、単独で再生がされ、送信装置200から送信されるTSは、単独では原則再生ができないものとなっている。
 以下、送信装置100から送信されるTSに含まれる左目用映像のストリームを主ストリームと記述し、送信装置200から送信されるTSに含まれる右目用映像のストリームを副ストリームと記述する。
 受信再生装置300は、送信装置200が送出する副ストリームを含むTSを受信する前に送信装置100が送出する放送波から主ストリームを含むTSを受信した場合には、受信したTSに多重化されているビデオ・オーディオストリームと番組配列情報を含むSI等を分離する。受信再生装置300は、分離されたSI等のSI/PSIの各情報から、副ストリームが存在するか否かを判別し、存在する場合には当該副ストリームを含むTSの受信を行い、主ストリームと副ストリームとを同時に再生する。具体的は、主ストリームから左目映像を、副ストリームから右目映像を、それぞれ生成し、3D表示に係る再生を行う。
 受信再生装置300は、送信装置100が送出する主ストリームを含むTSを受信する前に送信装置200が送出する放送波から副ストリームを含むTSを受信した場合には、副ストリームでの単独再生の可否を判断し、判断結果に応じて副ストリームのみの再生、及び上記と同様に主ストリームと副ストリームとの同時再生を行う。
 2.2 送信装置100の構成
 送信装置100は、一の番組に対する主ストリームを含むTSを生成し、配信するものである。
 送信装置100は、図2に示すように、左目用ビデオエンコーダ101、オーディオエンコーダ102、左目用ビデオストリーム格納部103、オーディオストリーム格納部104、情報保持部105、多重化部106及び送信部107から構成されている。
 (1)左目用ビデオエンコーダ101
 左目用ビデオエンコーダ101は、一の番組について3D表示する際の左目の映像(ピクチャ)について、MPEG-2、MPEG-4などの方式を使って符号化して、左目用ビデオストリーム(つまり、主ストリーム)を生成し、左目用ビデオストリーム格納部103へ書き込む。
 (2)オーディオエンコーダ102
 オーディオエンコーダ102は、音声データを、リニアPCMなどの方式で圧縮・符号化して、オーディオストリームを生成し、オーディオストリーム格納部104へ書き込む。
 (3)左目用ビデオストリーム格納部103
 左目用ビデオストリーム格納部103は、左目用ビデオエンコーダ101で生成された左目用ビデオストリームを格納するための記憶領域である。
 (4)オーディオストリーム格納部104
 オーディオストリーム格納部104は、オーディオエンコーダ102で生成されたオーディオストリームを格納するための記憶領域である。
 (5)情報保持部105
 情報保持部105は、主ストリームとともに送信されるSI/PSIを格納する記憶領域である。なお、SI/PSIは、外部装置で作成されてもよいし、送信装置100で作成されてもよい。
 以下、SI/PSIに含まれるPMTについて説明する。
 図3は、PMTのデータ構造を示す図である。個々のパラメータの意味については、ISO/IEC13818-1(MPEG-2)にて規定されているため説明を省略する。PMTには記述子を配置可能な箇所が2箇所ある。
 1つ目はファーストループD100と呼ぶ部分である。ファーストループD100の「descriptor()」には記述子の配置が可能である。「descriptor()」部分は、複数の記述子を挿入可能である。ここには、番組全体に関わる記述子を配置する。
 2つ目は、ES情報記載箇所D101に含まれるセカンドループD102と呼ぶ部分である。ES情報記載箇所D101は、ファーストループD100の直後からfor文が始まっており、このfor文は番組に含まれるESの数だけ繰り返される。このfor文内のパラメータ、例えば、stream_typeやelementary_PIDなどは、当該ESに関するパラメータである。セカンドループD102は、このES情報記載箇所D101に含まれている。セカンドループD102の「descriptor()」には記述子の配置が可能である。「descriptor()」部分は、複数の記述子を挿入可能である。ここには、当該ESに関わる記述子を配置する。
 本実施の形態では、副ストリームの参照情報を記述する、external_ES_link_descriptor()を定義し、上記のセカンドループD102に配置する。
 なお、external_ES_link_descriptor()の記載内容は後述する。
 (6)多重化部106
 多重化部106は、左目用ビデオストリーム格納部103に格納されている左目用ビデオストリーム、オーディオストリーム格納部104に格納されているオーディオストリーム、情報保持部105に格納されているSI/PSIなどを多重化して、MPEG2-TS形式のTSを生成し、送信部107を介して送信する。
 なお予めビデオ、オーディオを圧縮・符号化して格納するのではなく、未圧縮のビデオ、オーディオをリアルタイムで符号化すると同時に多重化する構成としてもよい。
 (7)送信部107
 送信部107は、多重化部106で生成されたMPEG2-TS形式のTSを送信する。
 2.3 external_ES_link_descriptor()について
 ここでは、external_ES_link_descriptor()の具体的な記述内容について説明する。図4にexternal_ES_link_descriptor()の構造の一例を示す。
 以下、external_ES_link_descriptor()の記述要素について説明する。
 descriptor_tagには、他の記述子と本記述子を区別するための、一意な値が記述される。
 descriptor_lengthには、次のフィールドから本記述子末尾までのバイト数が記述される。
 Reservedは、将来拡張のための領域であり、二進数の“1”がビット数分記述される。
 TS_location_typeは、副ストリームが伝送されるネットワークの種別を示す。具体的には、値“00”は、副ストリームが、主ストリームと同じ放送ネットワークで伝送されることを示す。値“01”は、副ストリームが、後続のtransport_stream_locationにて示される、主ストリームと異なる放送ネットワークで伝送されることを示す。値“10”は、副ストリームが、後続のuri_charで示されるURIによってアクセス可能な、放送以外の媒体によりアクセス可能であることを示す。これにより、主STを受信したデジタルテレビ300は、副ストリームがどのようにアクセス可能かを知ることができる。
 stream_type_flagは、後続のstream_typeの記述の有無を示すフラグである。
 sync_reference_typeは、主ストリームと副ストリームの同期手段の有無及び方法を示す。値“00”は、受信機において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCR(Program_Clock_Reference)に従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従う。値“01”は、後続のPCR_location_flagで始まるPCR参照情報を用いて、PCRを用いた同期を行う。値“10”は、後続のmain_sync_PIDで始まる同期トラック参照情報を用いて、独立した同期トラックを用いた同期を行う。これにより、デジタルテレビ300は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
 transport_stream_idは、参照する副ストリームが伝送されるtransport_stream_idを示す。
 program_numberは、参照する副ストリームを含むプログラムのprogram_numberを示す。
 ES_PIDは、参照する副ストリームのPIDを示す。
 上記のtransport_stream_id、 program_number、ES_PIDを記述することにより、本記述子が配置されるPMTのセカンドループD102に対応するESの利用時に、同時に利用可能な副ストリームのESを特定することができる。なお、副ストリームが存在しない場合には、program_numberには、副ストリームが存在しない旨を示す“0x00”が記述される。
 transport_stream_locationは、参照する副ストリームが別の放送ネットワーク(例:地上波放送に対する衛星放送)で伝送される場合に、副ストリームの伝送されるネットワークを示す。例えば、transport_stream_locationに、副ストリームが伝送されるネットワークのnetwork_id(例:0x40f1)を記述する。これにより、副ストリームが主ストリームとは別の放送ネットワークで伝送される場合でも、デジタルテレビ300は、その伝送位置を知ることができる。
 uri_lengthは、後続のuri_charのバイト数を示す。
 uri_charは、参照する副ストリームが放送以外の媒体によってもアクセス可能な場合に、副ストリームにアクセスするためのURIを記述する。URIの記述例については、後述する。
 stream_typeは、副ストリームのstream_typeを示すものであり、「ISO/IEC 13818-1」にて定義される形式で表される。例えば、副ストリームがH.264AVCであれば、stream_typeには“0x1B”が記述される。これにより、デジタルテレビ300は、副ストリームが利用可能かどうか、副ストリームにアクセスする前に知ることができる。さらに、stream_typeを用いて副ストリームの用途を指定してもよい。stream_typeの具体例については、後述する。
 PCR_location_flagは、主ストリームならびに副ストリームを共通のPCRに従って同期して復号・表示を行う際に、主ストリームと副ストリームのどちらのPCR(Program Clock Reference)を参照すべきかを示す。“0”の場合は、主ストリームを含むプログラムのPCRを利用することを示す。“1”の場合は、副ストリームを含むプログラムのPCRを利用することを示す。これにより、伝送路の信頼性等に応じて、主ストリームと副ストリームどちらのPCRを参照すべきかを指定することができる。また、デジタルテレビは、PCRを用いて主ストリームと副ストリームとを同期させる場合に、どちらのPCRを参照すべきかを知ることができる。
 explicit_PCR_flagは、PCR_PIDを本記述子中で記述するかどうかを示す。“0”の場合は本記述子で記述されず、主ストリーム又は副ストリームのプログラムのPMT中のPCR_PIDで記述されたPCRを利用する。“1”の場合は、後続のPCR_PIDにて記述されたPCRを利用する。これにより、既存のPCRを利用するか、主ストリームと副ストリームの同期再生時に固有のPCRを利用するかを指定することができる。
 PCR_offset_flagは、主ストリームと副ストリームを指定されたPCRを用いて同期再生する場合に、オフセットの有無を指定する。“0”の場合は、オフセット値は指定されないことを示す。“1”の場合は、オフセット値が指定されることを示す。
 PCR_PIDは、主ストリームと副ストリームの同期再生時に、主ストリーム又は副ストリーム中の参照すべきPCRのPIDを指定する。これにより、受信機は同期再生時に固有のPCRを利用する場合に、そのPCRのPIDを知ることができる。
 PCR_polarityは、オフセット値の極性を示す。“0”の場合は後続のPCR_offset値を、PCR_locationで指定された側のストリーム内のPCRの値に加算して、PCR_locationで指定されなかった側のストリームを復号・表示を行う際のPCRとして利用する。“1”の場合は後続のPCR_offset値を、PCR_locationで指定された側のストリーム内のPCRの値より減算して、PCR_locationで指定されなかった側のストリームを復号・表示を行う際のPCRとして利用する。
 PCR_offsetは、オフセット値の絶対値を示す。例えば、PCR_location_flagが“0”であって主ストリーム内のPCRを利用する場合は、副ストリームの復号・表示を行うときに、PCR_polarityとPCR_offsetに従って主ストリーム内のPCRをオフセットした値を使用する。PCR_location_flagが“1”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、PCR_polarityとPCR_offsetに従って副ストリーム内のPCRをオフセットした値を使用する。このように、PCR_polarityとPCR_offsetを指定することによって、主ストリームと副ストリームとの間で参照するPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
 main_sync_PIDは、主ストリームの同期トラックのPIDを示す。
 sub_sync_PIDは、副ストリームの同期トラックのPIDを示す。
 main_sync_PIDとsub_sync_PIDを用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。なお、同期トラックは、ETSI TS 102 823(Specification for the carriage of synchronized auxiliary data in DVB transport streams)に規定されるsynchronised auxiliary dataを用いて、主/副ストリームそれぞれのタイムスタンプと主/副ストリームで共通なタイムコードとの関係を記載してもよいし、他の方法でもよい。
 以上が、新規の記述子“external_ES_link_descriptor()”について説明である。この記述子により、主ストリームの映像音声サービス視聴時に、同時に利用可能な副ストリームを特定し、同時に再生(同期して再生)することができる。
(URIの記述例について)
 ここでは、新規の記述子“external_ES_link_descriptor()”に記載されるuriの記述例について説明する。
 “http://aaa.sample.com/bbb.ts”と記述された場合には、httpプロトコルを用いて、aaa.sample.comサイトのbbb.tsファイルにアクセスすることを示す。ここで、bbb.tsは、副ストリームを格納したTSファイルの実体である。
 “http://aaa.sample.com/ccc.cpc”という記述は、aaa.sample.comサイトのccc.cpcファイルに、通信経由でhttpプロトコルを用いてアクセスすることを示すものである。ここで、ccc.cpcは、副ストリームを格納したTSファイルにアクセスするための、再生制御メタファイルである。
 “rtsp://aaa.sample.com/ddd.ts”という記載は、aaa.sample.comサイトのddd.tsファイルに、通信経由でrtspプロトコルを用いてアクセスすることを示す。ここで、ddd.tsは、副ストリームを格納したTSファイルの実体である。
 “arib-file://DirA/DirB/eee.ts”という記載は、あらかじめローカル蓄積媒体上に格納されたDirA/DirBフォルダ中のfff.tsファイルにアクセスすることを示す。ここで、fff.tsは、副ストリームを格納したTSファイルの実体である。
 “crid://aaa.sample.com/zzz”という記載は、aaa.sample.com/zzzで示されるCRID(Content Reference Identifier)を持つ映像にアクセスすることを示す。受信側の装置では、CRIDを用いて、「ETSI TS 102 822 Part4」、又は「ARIB STD-B38 4.1.3」で規定された記載方法によって、ロケーション解決を行う。
(stream_typeの具体例について)
 ここでは、新規の記述子“external_ES_link_descriptor()”で記載されるstream_typeに割り当てられる値について説明する。なお、下記の値は、stream_typeとは別のフィールドを設けて、記載するとしてもよい。
 本実施の形態では、stream_typeには、値“0x80”から“0x8A”までの何れかの値が割り当てられる。以下、各値について説明する。
 値“0x80”は、副ストリームが二眼式立体映像における、主ストリームと反対側のビュー(例:左眼視点に対する右眼視点)からなるものでることを示す。なお、本実施の形態の番組配信システム10では、stream_typeは“0x80”となる。
 値“0x81”は、副ストリームが0x80と同様の内容を、主ストリームとの差分で符号化したものであることを示す。
 値“0x82”は、副ストリームが主ストリームの映像を一次元方向に高精細化する差分成分(例:片目当たり960×1080ピクセルのSide-by-Side形式の二眼式立体映像を、片目当たり1920×1080ピクセルに高精細化)であることを示す。
 値“0x83”は、副ストリームが主ストリームの映像を二次元方向に高精細化する差分成分(例:1920×1080ピクセルの画像を、3840×2160ピクセルに高精細化)であることを示す。
 値“0x84”は、副ストリームが主ストリームの映像の色深度情報を追加する差分成分(例:RGBにおける各8bitの情報を各12bitに拡大)であることを示す。
 値“0x85”は、副ストリームが主ストリーム映像より立体映像を生成する際に利用する奥行きマップ(Depth Map)であることを示す。
 値“0x86”は、副ストリームが主ストリーム映像より立体映像を生成する際に利用する閉塞情報(Occlusion)であることを示す。
 値“0x87”は、副ストリームが主ストリーム映像より立体映像を生成する際に利用する透明度情報(Transparency)であることを示す。
 値“0x88”は、副ストリームが主ストリーム映像とは別視点の映像情報(例:MPEG-4 MVCのnon-base view)であることを示す。この場合、複数の視点映像がある場合には、視点ごとにユーザが視点選択する際に分り易いカメラ名称、位置情報(GPS)及びカメラの向きやズームなどの光学パラメータを記述しておくことが有用である。カメラ名称等の情報は、主/副ストリームの映像を格納するシステムストリーム内に新規descriptorやprivate streamの形式で記述してもよいし、ユーザ拡張領域のメタデータとして主/副ストリーム映像内に記述してもよいし、もしくは主/副ストリームとは別経路(当該ストリームと連動するHTML5形式など)にて伝送してもよい。図5にdescriptor形式のデータ構造(view_selection_information())の一例を示す。number_of_viewsは、別視点の数を示すものである。以下の要素は、別視点の数分、定義される。view_idは、対応する視点を識別するためのものである。view_name_lengthは、次に定義されるview_nameのバイト数が記述される。view_nameは、カメラの名称が記述される。GPS_information_lengthは、次に定義されるGPS_information()のバイト数が記述される。GPS_information()は、GPS情報が記述される。camera_information_lengthは、次に定義されるcamera_information()のバイト数が記述される。camera_information()には、カメラの向きやズームなどの光学パラメータの情報が記述される。
 例えば、野球中継の番組においては、一塁ベンチからの撮影、三塁ベンチからの撮影等といったいろいろな視点からカメラ撮影がされている。この場合、ユーザが一塁側ベンチから内野全体を見たい場合には、複数視点のうち「一塁側」などといった名称のカメラを指定することで、一塁側ベンチからの視点映像を視聴することができる。さらに、位置情報やカメラの向き・ズーム情報を組み合わせることで、カメラ名称による指定ではなく野球場の見取り図上に配置したカメラをグラフィカルに表示しながら、ユーザに複数視点から映像を視聴させることもできる。
 値“0x89”は、副ストリームが任意の視点映像を生成する際に利用するフリービュー映像情報であることを示す。複数の視点映像から生成された任意視点を生成可能な巨大な映像情報(例えば、サッカー中継におけるフィールド全体の映像)を伝送する際に、ユーザの興味・嗜好に応じて特定の領域を抽出して再生・表示できる機能は大変有用であると考えられる。そこで、巨大な映像情報に対して撮影された個々のオブジェクトに対する名称と位置情報(GPS情報や、符号化映像内の位置情報)及びカメラの位置情報と光学パラメータ情報をメタデータとして符号化して伝送することで、これを元に特定の領域を切り出して再生・表示することができる。このような情報は主/副ストリーム映像を格納するシステムストリーム内に新規descriptorやprivate streamの形式で記述してもよいし、ユーザ拡張領域のメタデータとして主/副ストリーム映像内に記述してもよいし、もしくは主/副ストリームとは別経路(当該ストリームと連動するHTML5形式など)にて伝送してもよい。図6において、ユーザ拡張領域のメタデータ構造(object_information())の一例を示す。名称と位置情報とを対応付けるオブジェクトの個数が“number_of_objects”で記述される。各オブジェクトを識別するための情報がobject_idに、オブジェクトの名前がobject_nameに、それぞれ記述される。そして、object_id、object_nameにて識別される撮影対象物のGPS位置情報はGPS_information()にて、符号化映像内の位置情報はその表示矩形領域をobject_upper_left_x/y、object_lower_right_x/yにて記述される。
 例えば、サッカー中継において特定の選手を中心に試合を視聴することも、選手名とその選手の映像内での位置情報がメタデータとして伝送されていれば、可能である。複数視点からのカメラ映像を組み合わせて任意の視点の映像を生成する際には、興味対象のオブジェクトのGPS情報と、組み合わせる複数視点のカメラのGPS情報(カメラの位置と向き情報)があることで任意視点からの映像生成精度を高めることができる。
 値“0x8A”は、副ストリームが主ストリームの映像に対して付加情報を重畳した映像であることを示す。例えば、MPEG-4 MVCを使って主ストリーム映像に対して付加情報を重畳した映像を伝送することが可能である。主ストリームはMVCのbaseビューであり、副ストリームはMVCのnon-baseビューとして符号化しておくことで、副ストリームは主ストリームの映像とは異なる映像情報(重畳した付加映像)のみを効率良く伝送できる。例えば、主ストリームの映像がサッカー中継である場合、副ストリームを主ストリーム映像内の選手の名前や走行距離などの属性情報をグラフィカルに各選手近辺に重畳するための映像(主ストリーム映像からの差分から構成される映像)とすることで、主ストリームに対して副ストリーム(stream_type=0x8A)で伝送される差分を適用する(つまりnon-baseビューを復号し再生する)ことで、付加情報が重畳されたサッカー中継映像を容易にユーザに提示することができる。
 以上が、stream_typeに割り当てられる値についての説明である。これにより、受信側の装置は、副ストリームがどのように利用可能か、副ストリームにアクセスする前に知ることができる。
 また、一の番組の映像(1つの視点からの映像)を含むトランスポートストリームとは異なるトランスポートストリームにより情報を送信する場合、例えば、異なるトランスポートストリームで他の視点からの映像を送信し、3D表示を行う場合には、双方のトランスポートストリームに含まれる両映像の同期をとる必要があるが、従来の技術では、同期をとる手段がない。そこで、上述したように、“external_ES_link_descriptor()”にsync_reference_typeなどの同期に係る情報を含めることで、双方のトランスポートストリームに含まれる両映像の同期をとることができる。
 2.4 送信装置200の構成
 送信装置200は、送信装置100で送信される主ストリームに対応する副ストリームを送信するものである。
 送信装置200は、図7に示すように、右目用ビデオエンコーダ201、右目用ビデオストリーム格納部203、情報保持部205、多重化部206及び送信部207から構成されている。
 (1)右目用ビデオエンコーダ201
 右目用ビデオエンコーダ201は、送信装置100から送信される左目の映像に対応する右目の映像(ピクチャ)について、MPEG-2、MPEG-4などの方式を使って符号化して、右目用ビデオストリーム(つまり、副ストリーム)を生成し、右目用ビデオストリーム格納部203へ書き込む。
 (2)右目用ビデオストリーム格納部203
 右目用ビデオストリーム格納部203は、右目用ビデオエンコーダ201で生成された右目用ビデオストリームを格納するための記憶領域である。
 (3)情報保持部205
 情報保持部205は、副ストリームともに送信されるSI/PSIを格納する記憶領域である。なお、SI/PSIは、外部装置で作成されてもよいし、送信装置200で作成されてもよい。
 情報保持部205で格納されているSI/PSIのデータ構造は、情報保持部105で格納されているSI/SPIと同様である。ただ、副ストリームを送信する装置では、主ストリームの参照情報を記述する、service_subset_ES_descriptor()を定義して、PMTのセカンドループに配置する。
 なお、service_subset_ES_descriptor()の記載内容は後述する。
 (4)多重化部206
 多重化部206は、右目用ビデオストリーム格納部203に格納されている右目用ビデオストリーム(副ストリーム)、情報保持部205に格納されているSI/PSIなどを多重化して、MPEG2-TS形式のTSを生成し、送信部207を介して送信する。
 (5)送信部207
 送信部207は、多重化部206で生成されたMPEG2-TS形式のTSを送信する。
 2.5 service_subset_ES_descriptor()について
 ここでは、service_subset_ES_descriptor()の具体的な記述内容について説明する。図8から図11に、service_subset_ES_descriptor()の構造の一例を示す。
 descriptor_tagには、他の記述子と本記述子を区別するための、一意な値が記述される。
 descriptor_lengthには、次のフィールドから本記述子末尾までのバイト数が記述される。
 Reservedは、将来拡張のための領域であり、二進数の“1”がビット数分記述される。
 TS_location_typeは、主ストリームが伝送されるネットワークの種別を示す。値“00”の場合は、主ストリームが、副ストリームと同じ放送ネットワークで伝送されることを示す。値“01”の場合は、主ストリームが、後続のtransport_stream_locationにて示される、副ストリームと異なる放送ネットワークで伝送されることを示す。値“10”の場合は、主ストリームが、後続のuri_charで示されるURIによってアクセス可能な、放送以外の媒体によりアクセス可能であることを示す。これにより、副ストリームを受信した装置(デジタルテレビ)は、主ストリームへのアクセス方法を知ることができる。
 stream_type_flagは、後続のstream_typeの記述の有無を示すフラグである。
 dependency_flagは、副ストリームが主ストリームに依存せずに再生可能かどうかを示す。値“0”の場合は、当該副ストリームを単独で再生することが可能であることを示す。値“1”の場合は、当該副ストリームが、主ストリームと同時に利用する場合のみ再生可能であることを示す。これにより、主ストリームと無関係に副ストリームがデジタルテレビで受信された場合に、送信側の意図に従って副ストリームの再生を許可/抑制することができる。
 sync_reference_typeは、図3で示すものと同様であるので、ここでの説明は省略する。
 transport_stream_idは、親となる主ストリームが伝送されるtransport_stream_idを示す。program_numberは、親となる主ストリームを含むプログラムのprogram_numberを示す。ES_PIDは、親となる主ストリームのPIDを示す。transport_stream_id、program_number、ES_PIDを記述することにより、本記述子が配置されるPMTのセカンドループに対応するESの利用時に、親となる主ストリームのESを特定することができる。なお特定のESではなく、親となるプログラムを指定する場合には、ES_PIDには無効値(NULLパケットを示す0x1FF)を記述する。
 transport_stream_locationは、親となる主ストリームが別の放送ネットワーク(例:地上波放送に対する衛星放送)で伝送される場合に、主ストリームの伝送されるネットワークを示す。例えば、transport_stream_locationに、主ストリームが伝送されるネットワークのnetwork_id(例:0x40f1)を記述する。これにより、主ストリームが副ストリームとは別の放送ネットワークで伝送される場合でも、デジタルテレビは、その伝送位置を知ることができる。
 uri_lengthは、後続のuri_charのバイト数を示す。
 uri_charは、親となる主ストリームが放送以外の媒体によりアクセス可能な場合に、主ストリームが含まれるTSにアクセスするためのURIを記述する。URIの記述例は、上記で示した具体例と同様であるので、ここでの具体例を用いた詳細な説明は省略する。
 stream_typeは、主ストリームのstream_typeを、ISO/IEC 13818-1にて定義される形式にて示す。例えば、主ストリームがH.264AVCであれば、0x1Bを記述する。これにより、主ストリームがデジタルテレビにおいて利用可能かどうか、主ストリームにアクセスする前に知ることができる。
 parent_CA_flagは、副ストリームが単独再生不可の場合に、親となる主ストリームのECMにて復号すべきかどうかを示す。値“0”の場合は、副ストリームは暗号化されていないか、副ストリームの情報を記載するPMTのセカンドループに配置されたCA_descriptor()の情報に従って復号することを示す。値“1”の場合は、副ストリームは主ストリームのECMを用いて復号することを示す。これにより、主ストリームと副ストリームを個別の鍵でスクランブルすることによる煩雑さや処理負荷を防ぐと同時に、主ストリームと無関係に副ストリームがデジタルテレビで受信された場合に送信側の意図しない形で再生されることを防ぐことができる。
 explicit_CA_flagは、副ストリームの復号に際して親となる主ストリームのECMを利用する場合に、ECM_PIDを本記述子中で記述するかどうかを示す。値“0”の場合は、主ストリームと同じECM、すなわち主ストリームの情報を記載するPMTのセカンドループに配置されたCA_descriptor()の情報に従って復号することを示す。値“1”の場合は、主ストリームを含むTS中の、後続のECM_PIDで記載されたECMを用いて復号することを示す。これにより、主ストリームと副ストリームを同じ課金としたり、副ストリームのみを別途追加購入可能としたりするなど、柔軟な課金体系が可能となる。
 ECM_PIDは、副ストリームの復号に際して親となる主ストリームのECMを明示的に指定する場合に記述する。
 PCR_location_flag以降の記述要素は、図3で示すものと同様であるので、ここでの説明は省略する。
 以上、説明したように、新規の記述子service_subset_ES_ descriptor()を追加することで、デジタルテレビ300は、副ストリームを受信した際に、受信した副ストリームを利用可能な主ストリームを特定することができる。
 また、 “service_subset_ES_descriptor()”にdependancy_flagなどの単独再生に係る情報を含めることで、受信側の装置が副ストリームを誤って単独で再生して、制作者の意図しない視聴が行われる可能性を回避することができる。
 2.6 デジタルテレビ(受信再生装置)300
 ここでは、受信再生装置300の構成について説明する。
 受信再生装置300は、図12に示すように、制御部301、受信処理部302、再生処理部303及び出力部304から構成されている。
 (1)制御部301
 制御部301は、受信再生装置300の全体の制御を行うものである。
 具体的には、制御部301は、UI及びブラウザ等を通じて、ユーザから特定のストリーム(放送チャンネル)の選局指示を受け付け、受け付けた選局指示に基づいて、受信処理部302に、選局・復調を指示する。その後、制御部301は、受信処理部302で受信したTSに含まれるPMTを再生処理部303から受け取る。制御部301は、PMTを解析し、再生すべき映像のPID及び音声のPID等を特定し、特定した各PIDを再生処理部303へ通知する。また、制御部301は、受け取ったPMTに上記の新規記述子の有無を判断することにより、受信したTSと同時に再生すべき情報を含む他のTSの存在の有無を判断する。例えば、受信したTSに含まれるPMTに新規記述子“external_ES_link_descriptor()”の存在の有無により、副ストリームの存在の有無を判断する。制御部301は、external_ES_link_descriptor()が存在すると判断する場合には副ストリームを特定し、特定した副ストリームを含むTSについて受信、復調するよう受信処理部302へ指示する。さらに、制御部301は、external_ES_link_descriptor()から同期に関する情報を取得し、取得した情報に基づいて、同期方法を特定し、その結果を再生処理部303へ通知する。
 なお、制御部301は、受信したTSに含まれるPMTにservice_subset_ES_ descriptor()が記述されている場合には、副ストリームのみでの再生の可否を判断する。副ストリームのみでの再生が不可であると判断した場合には、主ストリームの特定、同期情報の取得を行う。
 (2)受信処理部302
 受信処理部302は、図12に示すように、第1受信部310と第2受信部311とを有している。
 第1受信部310は、制御部301からの指示に従って指定されたトランスポートストリーム(ここでは、主ストリームを含むものとする。)を受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
 第2受信部311は、制御部301からの指示に従って、副ストリームを含むトランスポートストリームを受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
 (3)再生処理部303
 再生処理部303は、図12に示すように、第1多重化分離部320、第2多重化分離部321、同期制御部322、第1映像復号部323、第2映像復号部324、音声復号部325、映像処理部326を有している。
 (3-1)第1多重化分離部320
 第1多重化分離部320は、第1受信部310から受け取ったトランスポートストリームを多重分離し、ユーザから指定されたチャンネルの番組に係るPMTを抽出して、制御部301に出力する。
 第1多重化分離部320は、制御部301から特定された映像のPID及び音声のPID等を受け取ると、各PIDと一致する映像のES(ここでは、主ストリームである左目映像ストリーム)、及び音声のESを第1受信部310から受け取ったトランスポートストリームから抽出する。第1多重化分離部320は、抽出した主ストリームを第1映像復号部323へ、音声のESを音声復号部325へ、それぞれ逐次出力する。
 また、主ストリームと副ストリームとの同時再生が行われる場合において、同期の基準が主ストリームであるときには、制御部301からの指示に従って主ストリームからPCRを抽出して、同期制御部322へ逐次出力する。
 (3-2)第2多重化分離部321
 第2多重化分離部321は、制御部301から特定された映像のPID及び音声のPID等を受け取ると、各PIDと一致する映像のES(ここでは、副ストリームである右目映像ストリーム)を第2受信部311から受け取ったトランスポートストリームから抽出する。第2多重化分離部321は、抽出した映像のESを第2映像復号部324へ逐次出力する。
 また、主ストリームと副ストリームとの同時再生が行われる場合において、同期の基準が副ストリームであるときには、制御部301からの指示に従って副ストリームからPCRを抽出して、同期制御部322へ逐次出力する。
 なお、第2多重化分離部321は、制御部301から映像のPIDを受け取る前に、第2受信部311から受け取ったトランスポートストリームを受け取った場合には、受け取ったトランスポートストリームを多重分離し、ユーザから指定されたチャンネルの番組に係るPMTを抽出して、制御部301に出力する。
 (3-3)同期制御部322
 同期制御部322は、特定された同期方法を制御部301から受け取る。
 同期方法が主ストリームのPCRを用いるものである場合には、同期制御部322は、第1多重化分離部320からPCRを取得する。同期制御部322は、取得したPCRから主ストリーム用のシステムクロックを生成して、第1映像復号部323に逐次出力する。同期制御部322は、制御部301からの指示に従って、主ストリームのPCRを用いて副ストリーム用システムクロックを生成して、第2映像復号部324に逐次出力する。例えば、同期制御部322は、主ストリームのPCRを、オフセット値を用いて副ストリームにも適用する場合には、主ストリーム用システムクロックに指定されたオフセット値を加算もしくは減算して、副ストリーム用システムクロックを生成する。
 同期方法が副ストリームのPCRを用いるものである場合には、同期制御部322は、第2多重化分離部321からPCRを取得する。同期制御部322は、取得したPCRから副ストリーム用のシステムクロックを生成して、第2映像復号部324に逐次出力する。同期制御部322は、制御部301からの指示に従って、副ストリームのPCRを用いて主ストリーム用システムクロックを生成して、第1映像復号部323に逐次出力する。
 主ストリーム及び副ストリームのどちらとも用いることなく同期をとる場合には(例えば同期トラック情報を用いる場合)、同期制御部322は、制御部301からの指示に従って、主ストリーム用システムクロック及び副ストリーム用システムクロックを生成し、主ストリーム用システムクロックを第1映像復号部323に、副ストリーム用システムクロックを第2映像復号部324に、それぞれ逐次出力する。
 (3-4)第1映像復号部323
 第1映像復号部323は、同期制御部322から逐次出力される主ストリーム用システムクロックを参照して、第1多重化分離部320から逐次出力される映像ES(主ストリーム)を、当該主ストリーム中に記載された復号タイミングで復号して、当該主ストリーム中に記載された出力タイミングで映像処理部326に出力する。
 (3-5)第2映像復号部324
 第2映像復号部324は、同期制御部322から逐次出力される副ストリーム用システムクロックを参照して、第2多重化分離部321から逐次出力される映像ES(副ストリーム)を、当該副ストリーム中に記載された復号タイミングで復号して、当該副ストリーム中に記載された出力タイミングで映像処理部326に出力する。
 (3-6)音声復号部325
 音声復号部325は、第1多重化分離部320から逐次受け取った音声のESを復号して、音声データを生成する。そして、音声復号部325は、生成した音声データを音声として出力する。
 (3-7)映像処理部326
 映像処理部326は、制御部301から副ストリームの用途に応じた指示を受け取ると、受け取った指示に従って、第1映像復号部323及び第2映像復号部324より出力された映像の処理を行って、出力部304に出力する。
 例えば、各映像が二眼式立体の各ビューに対応するものである場合は、第1映像復号部323及び第2映像復号部324それぞれから出力された映像を合成する。合成の方法は、例えばアクティブシャッター方式の3Dディスプレイであれば、入力された両映像を交互に表示すると共に、3D眼鏡の左右眼に対応した液晶シャッターを表示に同期して交互に開閉させる。またパッシブ方式の3Dディスプレイであれば、ディスプレイ上でライン毎に左右眼に対応して交互に設定された偏光方向に合せて、入力された両映像をライン毎に交互に重ね合わせる。さらにHDMI等外部出力を行う前提であれば、出力先のディスプレイが受け付ける3Dフォーマットに従った合成を行う(例:左右交互にフル解像度で出力するFrame Packing、水平方向に圧縮合成したSide-by-Sideなど)。
 (4)出力部304
 出力部304は、映像処理部326から受け取った映像を、ディスプレイ(図示せず)へ出力する。
 2.7 動作
 ここでは、各装置の動作について説明する。なお、説明の便宜上、副ストリームについての種別を、stream_type=0x80(二眼式立体映像における、主ストリームと反対側のビュー)とする。
 (1)送信装置100の動作
 ここでは、送信装置100の動作について図13に示す流れ図を用いて説明する。
 左目用ビデオエンコーダ101は、一の番組についての複数の左目用映像(ピクチャ)について、MPEG-2、MPEG-4などの方式を使って符号化して、左目用ビデオストリームを生成し、左目用ビデオストリーム格納部103へ書き込む(ステップS5)。
 オーディオエンコーダ102は、音声データを圧縮・符号化して、オーディオストリームを生成し、オーディオストリーム格納部104へ書き込む(ステップS10)。
 多重化部106は、左目用ビデオストリーム、オーディオストリーム、及び情報保持部105で格納されているSI/PSIなどを多重化して、MPEG2-TS形式のトランスポートストリームを生成し(ステップS15)、送信部107を介して送信する(ステップS20)。
 (2)送信装置200の動作
 送信装置200の動作については、送信装置100の動作との変更点のみ説明する。
 ステップS5において、右目用ビデオエンコーダ201が右目用ビデオストリームを生成するように変更する。
 ステップS10は実行せず、ステップS10においてとランポートストリームを生成する際には、多重化部206が右目用ビデオストリームと、情報保持部205で格納されているSI/PSIなどを多重化するように変更する。
 (3)受信再生装置300の動作
 ここでは、受信再生装置300の動作について、図14に示す流れ図を用いて説明する。なお、説明の便宜上、主ストリームは第1受信部310で受信され、副ストリームは第2受信部311で受信されるものとする。
 受信処理部302は、ユーザから選局指示のあったトランスポートストリーム(TS)を受信する(ステップS100)。
 制御部301は、受信したTSに含まれるPMTを用いて、当該TSが主ストリームを含むものであるか、副ストリームを含むものであるか、若しくは双方とも含まないものであるかを判別する(ステップS105)。具体的には、制御部301は、受信したTSに含まれるPMTに、新規記述子“external_ES_link_descriptor()”が記載されている場合には当該TSには主ストリームが含まれると、新規記述子“service_subset_ES_descriptor()”が記載されている場合には当該TSには副ストリームが含まれると、判別する。また、上記新規記述子の何れも記載されていない場合には、通常のTSであると判別する。
 受信したTSに主ストリームが含まれると判別する場合(ステップS105における「主ストリーム」)、制御部301は、external_ES_link_descriptor()の記述内容を参照して、副ストリームを特定し、第2受信部311へ特定した副ストリームを含むTSを受信するよう指示し、第2受信部311は、制御部301の指示に基づいて副ストリームを含むTSを受信する(ステップS110)。具体的には、制御部301は、TS_location_type、transport_steram_id、program_number、ES_PID、transport_stream_location、uri_charを参照して、副ストリームの取得方法を得る。例えばTS_location_typeで示される値が“00”又は“01”である場合は、副ストリームが放送で伝送されているものと解釈して、第2受信部311にtransport_stream_id、transport_stream_locationを指定して、副ストリームを伝送する放送波を受信・復調するよう指示するとともに、第2多重化分離部321にprogram_number、ES_PIDを指定して、復調されたトランスポートストリームから副ストリーム(右目映像のES)を分離・抽出するよう指示を行う。また例えば、TS_location_typeで示される値が“10”である場合は、副ストリームが通信ネットワーク経由で得られるものと解釈して、第2受信部311にuri_charを指定して当該副ストリームを通信ネットワークから取得するよう指示するとともに、第2多重化分離部321にprogram_number、ES_PIDを指定して、取得されたトランスポートストリームから副ストリームを分離・抽出するよう指示を行う。制御部301からの指示に従い、第2受信部311は副ストリームの受信、復調し、第2多重化分離部321は、多重分離を行って映像のES(副ストリーム)を抽出して第2映像復号部324へ逐次出力する。なお、副ストリームが取得できるまでの間、主ストリーム単独で再生する構成としてもよい。また、副ストリームを取得して主ストリームと同時に利用するか、主ストリーム単独で利用するかを、事前設定、もしくはユーザに問合せを行った結果によって選択してもよい。
 再生処理部303は、制御部301の指示に基づいて、受信した主ストリーム及び副ストリームの同時再生を行う(ステップS115)。具体的には、先ず制御部301は、external_ES_link_descriptor()を取得している場合には、sync_reference_type、及びPCR_location_flag以降のフィールドを参照して、同期方法を特定する。例えば、sync_reference_type=01、PCR_location_flag=0、explicit_PCR_flag=0、PCR_offset_flag=1の場合は、主ストリームのPMT中に記載されたPCRを、オフセット値を用いて副ストリームにも適用すると解釈して、同期制御部に当該の処理を行うよう指示する。同期制御部322は、特定された同期方法に基づいて、PCR_PIDを参照して主ストリームに含まれるPCRを抽出し、抽出したPCRを用いて主ストリーム用システムクロック及び副ストリーム用システムクロックを生成し、主ストリーム用システムクロックを第1映像復号部323に、副ストリーム用システムクロックを第2映像復号部324に、それぞれ逐次出力する。また、制御部301は、第1受信部310で受信したTSから主ストリーム映像を抽出するよう、第1多重化分離部320に指示を行う。制御部301は、stream_type_flag及びstream_typeを参照して、副ストリームの用途に関する情報を得て、対応する処理を行うよう再生処理部303へ指示を行う。例えばstream_type=0x80の場合は、主ストリーム及び副ストリームが二眼式立体の各ビューに対応するものと解釈して、再生処理部303に処理を行うよう指示する。制御部301の指示により、再生処理部303の第1映像復号部323は主ストリームから左目用映像を生成し、第2映像復号部324は副ストリームから右目用映像を生成し、映像処理部326は、生成された左目用映像及び右目用映像を3D表示するための処理を行う。
 受信したTSに副ストリームが含まれると判別した場合(ステップS105における「副ストリーム」、制御部301は、service_subset_ES_descriptor()を参照して、副ストリームのみで再生可能であるか否かを判断する(ステップS120)。具体的には、制御部301は、service_subset_ES_descriptor()のdependency_flagを参照することで上記判断が可能である。
 単独で再生可能でないと判断する場合には(ステップS120における「No」)、制御部301は、service_subset_ES_descriptor()を参照して、主ストリームを特定し、第1受信部310へ特定した主ストリームを含むTSを受信するよう指示し、第1受信部310は、制御部301の指示に基づいて主ストリームを含むTSを受信する(ステップS125)。その後、処理はステップS115へ移行する。
 単独で再生可能であると判断する場合には(ステップS120における「Yes」)、再生処理部303は、副ストリームのみの再生を行う(ステップS130)。なお、主ストリームを取得して副ストリームと同時に利用するか、副ストリーム単独で利用するかを、事前設定、もしくはユーザに問合せを行った結果によって選択してもよい。
 受信したTSに主ストリーム及び副ストリームの何れともが含まれないと判別した場合(ステップS105における「その他」)、再生処理部303は、受信したTSから映像及び音声を生成し、出力部304へ出力、つまり受信したTSの再生を行う(ステップS135)。
 3.第2の実施の形態
 上記第1の実施の形態では、番組を放送波により送信するものとしたが、ここでは、IP(Internet Protocol)放送による送信の場合について説明する。
 本実施の形態における番組配信システムでは、第1の実施の形態と同様に、主ストリームを送信する送信装置1100と、副ストリームを送信する送信装置1200と、受信再生装置1300とから構成されている。
 なお、第1の実施の形態と同様に、主ストリームは左目用映像のストリーム、副ストリームは右目用映像のストリームである。
 以下、各装置の構成について、第1の実施の形態と異なる点を中心に説明する。第1の実施の形態の機能構成と同様の機能構成については、同一の符号を付し、説明を省略する。
 3.1 送信装置1100
 送信装置1100は、図15に示すように、左目用ビデオエンコーダ101、オーディオエンコーダ102、左目用ビデオストリーム格納部103、オーディオストリーム格納部104、ファイル保持部1105、多重化部1106及び送信部1107から構成されている。
 (1)ファイル保持部1105
 ファイル保持部1105は、IP上のビデオ・オン・デマンドサービス等における映像ストリーム等を送信するに先立って送信する再生制御メタファイルを保持している。再生制御メタファイルとは、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定されるものである。
 本実施の形態では、主ストリームの情報を記述した、再生制御メタファイル中のERI(Entry Resource Information)において、当該ストリームとは別TSで伝送される副ストリームの参照情報が記述された新規要素(external_ES_link_info)が追加されている。なお、新規要素(external_ES_link_info)については、後述する。また、再生制御メタファイルは、外部装置で作成されてもよいし、送信装置1100で作成されてもよい。
 これにより、IP上のビデオ・オン・デマンドサービス等における映像ストリーム視聴時に、主ストリームの内容を解析する前に、同時に利用可能な副ストリームを特定することができる。
 (2)多重化部1106
 多重化部1106は、左目用ビデオストリーム格納部103に格納されている左目用ビデオストリーム(主ストリーム)、オーディオストリーム格納部104に格納されているオーディオストリームなどを多重化して、MPEG2-TS形式のTSを生成し、送信部1107を介して送信する。
 (3)送信部1107
 送信部1107は、ファイル保持部1105で保持されている再生制御メタファイルを送信、及び多重化部1106で生成されたMPEG2-TS形式のTSを送信する。
 3.2 external_ES_link_infoについて
 図16に、external_ES_link_infoの項目を示す。
 external_ES_link_info要素は、一つ又は複数の、副ストリームに関する情報を示すものである。
 location要素は、副ストリームの、放送、通信又は蓄積媒体上での位置を示すものである。ここで、副ストリームの位置は、uri属性中にURI形式で記述される。これにより、受信側の装置は、副ストリームがどのようにアクセス可能であるかを知ることができる。例えば、副ストリームが放送で伝送される場合は、例えば「ARIB STD-B24」にて規定される表記に従い、値が“arib://0001.0002.0003.0004/05”であれば、副ストリームは、network_id=0x0001、transport_stream_id=0x0002、service_id=0x0003、event_id=0x0004、component_tag=0x05にて放送(伝送)されるESに含まれていることを示す。また副ストリームが放送以外の媒体によってもアクセス可能な場合は、第1の実施の形態で示すuri_charの記述と同様である。
 stream要素は、副ストリームの特性を示すものである。type属性には、副ストリームのstream_typeが、「ISO/IEC 13818-1」にて規定される値で記述される。例えば、H.264AVCの場合は、“1b”と記述される。これにより、副ストリームが受信側の装置において利用可能かどうか、副ストリームにアクセスする前に知ることができる。なおtype属性は、第1の実施の形態で示すstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
 sync要素は、主ストリームと副ストリームの同期に関する情報を示すものであり、type属性、pcr_pid属性、pcr_offset属性、main_sync_tag属性及びsub_sync_tag属性から構成される。
 sync要素におけるtype属性は、主ストリームと副ストリームの同期手段の有無及び方法を示すものである。値が“pcr_main”の場合は、主ストリームを含むプログラムのPCRを利用することを示す。値が“pcr_sub”の場合は、副ストリームを含むプログラムのPCRを利用することを示す。値が“independent”の場合は、独立した同期トラックを用いた同期を行うことを示す。値が記述されない場合は、受信側の装置において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCRに従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従う。これにより、受信側の装置は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
 pcr_pid属性は、type属性が“pcr_main”又は“pcr_sub”の場合に、PCR_PIDを明示的に指定するものである。例えば、値が“1db”であれば、PIDが0x01DBであるPCRを参照する。値が記述されない場合は、当該ストリームのPMTにて記述されたPCR_PIDを使用する。これにより、受信側の装置は、同期再生時に固有のPCRを利用するべきか否か、利用する場合にそのPCRのPIDを知ることができる。
 pcr_offset属性には、type属性が“pcr_main”又は“pcr_sub”であって、PCR参照時にオフセット値を加算する場合に、そのオフセット値が記述される。“-200000000”から“200000000”の間の一の値(16進整数値)がオフセット値として記述する。例えば、sync要素のtype属性が“pcr_main”であって主ストリーム内のPCRを利用する場合において、副ストリームの復号・表示を行うときに、受信側の装置は、pcr_offset属性の値に従って主ストリーム内のPCRをオフセットした値を使用する。sync要素のtype属性が“pcr_sub”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、pcr_offset属性の値に従って副ストリーム内のPCRをオフセットした値を使用する。pcr_offset属性を指定することによって、主ストリームと副ストリームの間でPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
 main_sync_tag属性は、type属性が“independent”の場合に、主ストリームの同期トラックのcomponent_tagの値を示すものである。
 sub_sync_tag属性は、type属性が“independent”の場合に、副ストリームの同期トラックのcomponent_tagの値を示すものである。
 main_sync_tag属性とsub_sync_tag属性を用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。
 ここで、図17にexternal_ES_link_info要素の記述例を示す。図17では、副ストリームは、location要素により、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。また、stream要素におけるtype属性が“1b”であるので、副ストリームは、H.264AVC形式であることが分かる。さらに、sync要素により、主ストリームと副ストリームとの同期は、主ストリームのPCRを用いること、PIDが0x01DBであるPCRであること、副ストリームでは、主ストリームのPCRにオフセット値“-100”を加算することが分かる。
 3.3 送信装置1200
 送信装置1200は、図18に示すように、右目用ビデオエンコーダ201、右目用ビデオストリーム格納部203、ファイル保持部1205、多重化部1206及び送信部1207から構成されている。
 (1)ファイル保持部1205
 ファイル保持部1205は、IP上のビデオ・オン・デマンドサービス等における映像ストリーム等を送信するに先立って送信する再生制御メタファイルを保持している。再生制御メタファイルとは、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定されるものである。
 本実施の形態では、副ストリームの情報を記述した、再生制御メタファイル中のERIにおいて、当該ストリームとは別TSで伝送される主ストリームの参照情報が記述された新規要素(subset_service_ES_info)が追加されている。なお、新規要素(subset_service_ES_info)については、後述する。
 これにより、IP上のビデオ・オン・デマンドサービス等における映像ストリーム視聴時に、副ストリームの内容を解析する前に、同時に利用可能な主ストリームを特定することができる。
 (2)多重化部1206
 多重化部1206は、右目用ビデオストリーム格納部203に格納されている右目用ビデオストリーム(副ストリーム)などを多重化して、MPEG2-TS形式のTSを生成し、送信部1207を介して送信する。
 (3)送信部1207
 送信部1207は、ファイル保持部1205で保持されている再生制御メタファイルを送信、及び多重化部1206で生成されたMPEG2-TS形式のTSを送信する。
 3.4 subset_service_ES_infoについて
 図19に、subset_service_ES_infoの項目を示す。
 subset_service_ES_info要素は、副ストリームと、主ストリームとの関係を示すものである。
 location要素は、主ストリームの、放送、通信又は蓄積媒体上での位置を示すものである。副ストリームの位置は、uri属性中にURI形式で記述される。uri属性の記述方法は、図16におけるlocation要素のuri属性と同様である。これにより、受信側の装置は、主ストリームがどのようしてアクセス可能であるかを知ることができる。
 stream要素は、主ストリームの特性を示すものであり、type属性、dependency属性及びparent_lli属性を含んでいる。
 stream要素のtype属性には、主ストリームのstream_typeが、ISO/IEC 13818-1にて規定される値で記述する。例えば、H.264AVCの場合は、“1b”が記述される。これにより、主ストリームが受信側の装置において利用可能かどうか、主ストリームにアクセスする前に知ることができる。
 dependency属性は、副ストリームが主ストリームに依存せずに再生可能かどうかを示すものである。値が“false”を示す場合は、当該副ストリームが単独で再生可能であることを示す。“true”を示す場合は、当該副ストリームが、主ストリームと同時に利用する場合のみ再生可能であることを示す。これにより、主ストリームと無関係に副ストリームが受信側の装置よりアクセスされた場合に、送信側の意図に従って副ストリームの再生を許可/抑制することができる。
 parent_lli属性には、DRMへの参照を記述するLLI(License Link Information)に関する情報を示すものである。値が“false”を示す場合は、副ストリームの再生制御メタファイル中のLLIを利用することを示す。値が“true”を示す場合は、主ストリームの再生制御メタファイル中のLLIを利用することを示す。これにより、主ストリームと副ストリームを個別の鍵で暗号化することによる煩雑さや処理負荷を防ぐと同時に、主ストリームと無関係に副ストリームが受信側の装置よりアクセスされた場合に、送信側の意図しない形で再生されることを防ぐことができる。
 sync要素は、図16に示すsync要素と同様であるので、ここでの説明は省略する。
 図20に、subset_service_ES_info要素の記述例を示す。図20では、主ストリームは、location要素により、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。また、stream要素のtype属性により、主ストリームはH.264AVC形式であること、dependency属性により、当該副ストリームは主ストリームと同時に利用する場合のみ再生可能であること、parent_lli属性により、DRMへの参照は、主ストリームの再生制御メタファイル中のLLIを利用することが分かる。さらに、sync要素により、主ストリームと副ストリームとの同期は、主ストリームのPCRを用いること、PIDが0x01DBであるPCRであること、副ストリームでは、主ストリームのPCRにオフセット値“-100”を加算することが分かる。
 3.5 受信再生装置1300
 ここでは、受信再生装置1300の構成について説明する。
 受信再生装置1300は、図21に示すように、制御部1301、受信処理部1302、再生処理部303、出力部304及び送信部1305から構成されている。
 (1)制御部1301
 制御部1301は、受信再生装置1300の全体の制御を行うものである。
 具体的には、制御部1301は、ユーザ(視聴者)の操作により、送信が要求されたコンテンツを識別する再生制御メタファイルURLを特定する。制御部1301は、特定した再生制御メタファイルURLを含むファイル要求情報を生成し、生成したファイル要求情報を、送信部1305を介して送信装置1100又は送信装置1200へ送信する。なお、ファイル要求情報の送信先は、ユーザ(視聴者)の操作により決定される。また、再生制御メタファイルURLの特定は、例えば、次のように行う。制御部1301は、送信装置1100又は送信装置1200からコンテンツ(番組)の送信を要求する際に、先ずコンテンツの送信側で管理されているコンテンツ(ストリーム)それぞれの再生制御メタファイルURLと、コンテンツの名称を送信装置から受け取ると、受信再生装置1300のディスプレイ(図示せず)にコンテンツの名称を一覧表示させる。制御部1301は、一覧表示されたコンテンツの名称から一の名称がユーザの操作により選択されると、選択されたコンテンツの名称に対応する再生制御メタファイルURLを特定する。
 また、制御部1301は、受信処理部1302から再生制御メタファイルを受け取る。制御部1301は、再生制御メタファイルを解析し、再生すべき映像のPID及び音声のPID等を特定し、特定した各PIDを再生処理部303へ通知する。また、制御部301は、受け取った再生制御メタファイルに上記の新規記述子の有無を判断することにより、受信した再生制御メタファイルに対応するTSと同時に再生すべき情報を含む他のTSの存在の有無を判断する。例えば、受信した再生制御メタファイルに新規要素“external_ES_link_info”の存在の有無により、副ストリームの存在の有無を判断する。制御部1301は、external_ES_link_info要素が存在すると判断する場合には副ストリームを特定する。制御部1301は、主ストリームを含むTSについての送信要求を、送信部1305を介して、送信装置1200へ送信するとともに、特定した副ストリームを含むTSについての送信要求を送信部1305を介して、送信装置1200へ送信する。さらに、副ストリームを含むTSを受信、復調するよう受信処理部302へ指示する。さらに、制御部1301は、external_ES_link_info要素から同期に関する情報を取得し、取得した情報に基づいて、同期方法を特定し、その結果を再生処理部303へ通知する。
 なお、制御部1301は、受信した再生制御メタファイルに新規要素“subset_service_ES_info”が記述されている場合には、副ストリームのみでの再生の可否を判断する。副ストリームのみでの再生が不可であると判断した場合には、主ストリームの特定、同期情報の取得を行う。
 (2)送信部1305
 送信部1305は、制御部1301からファイル要求情報を受け取ると、指定された送信先(送信装置1100又は送信装置1200)へ送信する。
 (3)受信処理部1302
 受信処理部1302は、図21に示すように、第1受信部1310と第2受信部1311とを有している。
 第1受信部1310は、送信装置1100から送信された再生制御メタファイルを受信する。また、第1受信部1310は、主ストリームを含むTSを受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
 第2受信部1311は、送信装置1200から送信された再生制御メタファイルを受信する。また、第2受信部1311は、副ストリームを含むTSを受信及び復調し、復調して得られたMPEG2形式のトランスポートストリームを再生処理部303へ出力する。
 3.6 動作
 ここでは、各装置の動作について説明する。なお、説明の便宜上、主ストリームは左目映像のストリーム、副ストリームは右目映像のストリームであるとする。
 (1)動作概要
 本実施の形態に係る番組配信システムの動作概要について、図22に示す流れ図を用いて説明する。
 受信再生装置1300の制御部1301は、送信が要求された番組(コンテンツ)を識別する再生制御メタファイルURLを含むファイル要求情報を生成し(ステップS200)、生成したファイル要求情報を、ユーザ操作により決定された送信装置(送信装置1100又は送信装置1200)へ送信する(ステップS205)。
 送信装置(例えば、送信装置1100)は、受信再生装置1300から受け取った再生制御メタファイルURLに対応する再生制御メタファイルを特定し(ステップS210)、特定した再生制御メタファイルを受信再生装置1300へ送信する(ステップS215)。
 受信再生装置1300は、再生制御メタファイルを受信すると、受信した再生制御メタファイルの内容を解釈し、解釈結果に応じた再生処理を行う(ステップS220)。
 (2)再生処理
 ここでは、図22に示すステップS220で行われる再生処理について、図23に示す流れ図を用いて説明する。
 受信再生装置1300の受信処理部1302は、ユーザ操作により決定された送信装置(例えば、送信装置1100)から再生制御メタファイルを受信する(ステップS300)。
 制御部1301は、受信した再生制御メタファイルを用いて、当該再生制御メタファイルに対応するTSが主ストリームを含むものであるか、副ストリームを含むものであるか、若しくは双方とも含まないものであるかを判別する(ステップS305)。具体的には、制御部301は、受信した再生制御メタファイルに、新規要素“external_ES_link_info”が記載されている場合には、対応するTSには主ストリームが含まれると、新規要素“subset_service_ES_info”が記載されている場合には、対応するTSには副ストリームが含まれると、判別する。また、上記新規要素の何れも記載されていない場合には、通常のTSであると判別する。
 TSに主ストリームが含まれると判別する場合(ステップS305における「主ストリーム」)、制御部1301は、external_ES_link_infoの記述内容を参照して、副ストリームを特定する(ステップS310)。具体的には、制御部301は、location要素のur属性を参照して、副ストリームの取得方法を特定する。
 制御部1301は、主ストリーム及び副ストリームそれぞれについての送信要求を、送信装置1100及び送信装置1200に対して行う(ステップS315)。
 再生処理部303は、制御部1301の指示に基づいて、受信した主ストリーム及び副ストリームの同時再生を行う(ステップS320)。具体的には、先ず制御部301は、external_ES_link_infoを取得している場合には、sync要素を参照して、同期方法を特定する。同期制御部322は、特定された同期方法に基づいて、PCR_PID属性を参照して、例えば主ストリームに含まれるPCRを抽出し、抽出したPCRを用いて主ストリーム用システムクロック及び副ストリーム用システムクロックを生成し、主ストリーム用システムクロックを第1映像復号部323に、副ストリーム用システムクロックを第2映像復号部324に、それぞれ逐次出力する。また、制御部1301は、第1受信部1310で受信したTSから主ストリーム映像を抽出するよう、第1多重化分離部320に指示を、第2受信部1311で受信したTSから副ストリーム映像を抽出するよう、第2多重化分離部321に指示を行う。制御部1301の指示により、再生処理部303の第1映像復号部323は主ストリームから左目用映像を生成し、第2映像復号部324は副ストリームから右目用映像を生成し、映像処理部326は、生成された左目用映像及び右目用映像を3D表示するための処理を行う。
 受信したTSに副ストリームが含まれると判別した場合(ステップS305における「副ストリーム」)、制御部1301は、subset_service_ES_info要素を参照して、副ストリームのみで再生可能であるか否かを判断する(ステップS325)。具体的には、制御部301は、subset_service_ES_infoのstream要素におけるdependency属性を参照することで上記判断が可能である。
 単独で再生可能でないと判断する場合には(ステップS325における「No」)、制御部1301は、subset_service_ES_info要素を参照して、主ストリームを特定する(ステップS330)。その後、処理はステップS315へ移行する。
 単独で再生可能であると判断する場合には(ステップS325における「Yes」)、制御部1301は、副ストリームについての送信要求を、送信装置1200に対して行う(ステップS335)。第2受信部1311が副ストリームを受信し、再生処理部303が副ストリームのみの再生を行う(ステップS340)。
 受信したTSに主ストリーム及び副ストリームの何れともが含まれないと判別した場合(ステップS305における「その他」)、制御部1301は、副ストリームについての送信要求を、送信装置(ユーザ操作により指定された装置)に対して行う(ステップS345)。第1受信部1310がストリームを受信し、再生処理部303が、受信したストリームのみの再生を行う(ステップS350)。
 4.変形例1
 上記各実施の形態では、主ストリームと副ストリームとのリンク付けを、番組の送信形態に応じて、PMTで行う場合、及びERIで行う場合について説明したが、これに限定されない。
 本変形例では、主ストリームが、副ストリームを特定する際の情報を、PMTではなく、「ARIB STD-B10」にて規定されるSI(Service Information)に記載する。具体的には、SIに含まれるSDT(Service Description Table)若しくはEIT(Event Information Table)の記述子ループに、当該ストリームとは別TSで伝送される副ストリームの参照情報が記述された、同じく「ARIB STD-B10」にて規定されたhyperlink_descriptor()を配置する。
 図24にhyperlink_descriptor()の構造の一例を示す。
 descriptor_tagには、他の記述子と本記述子を区別するための、一意な値が記述される。
 descriptor_lengthには、次のフィールドから本記述子末尾までのバイト数が記述される。
 hyper_linkage_typeは、リンクの形態を示す。ここでは新規に、synchronized_stream(0x0B)を定義して使用する。
 link_destination_typeは、リンク先種別を示す。ここでは新規に、link_to_external_component(0x08)を定義して使用する。
 selector_lengthは、後続のセレクタ領域のバイト長を示す。
 selector_byteには、リンク先種別毎に規定される形式によってリンク先が記述される。ここではlink_to_external_component(0x08)に対応して、新規にlink_external_component_info()を定義して使用する。link_external_component_info()の各フィールドの意味は後述する。
 private_dataは、将来拡張に用いるものである。
 図25にlink_external_component_info()の構造の一例を示す。
 Reservedは、将来拡張のための領域であり、二進数の“1”がビット数分記述される。
 TS_location_typeは、副ストリームが伝送されるネットワークの種別を示す。値“00”の場合は、副ストリームが、主ストリームと同じ放送ネットワークで伝送されることを示す。値“01”の場合は、副ストリームが、後続のtransport_stream_locationにて示される、主ストリームと異なる放送ネットワークで伝送されることを示す。値“10”の場合は、副ストリームが、後続のuri_charで示されるURIによってアクセス可能な、放送以外の媒体によってもアクセス可能であることを示す。これにより、受信側の装置は、副ストリームがどのようにアクセス可能かを知ることができる。
 component_type_flagは、後続のstream_content及びcomponent_typeの記述の有無を示すフラグである。
 sync_reference_typeは、図4と同様である。
 transport_stream_idは、参照する副ストリームが伝送されるtransport_stream_idを示す。
 service_idは、参照する副ストリームを含むプログラムのservice_idを示す。なおservice_idはprogram_numberと同義である。event_idは、参照する副ストリームを含むイベントのevent_idを示す。参照する副ストリームを含むイベントを特定しない場合は、event_idに無効値(0xffff)を格納する。
 component_tagは、参照する副ストリームのcomponent_tagを示す。transport_stream_id、service_id、component_tagを記述することにより、主ストリームの利用時に、同時に利用可能な副ストリームのESを特定することができる。さらにevent_idを指定することにより、主ストリームを含むイベントと異なる時間に放送される副ストリームを含むイベントを指定することができる。この場合、受信側の装置は、いずれか放送時間の早い方(もしくは双方)を録画後、蓄積した主ストリームもしくは副ストリームを用いて同期再生を行う。
 original_network_idは、参照する副ストリームが別の放送ネットワーク(例:地上波放送に対する衛星放送)で伝送される場合に、副ストリームの伝送されるネットワークを示すことができる。これにより、副ストリームが主ストリームとは別の放送ネットワークで伝送される場合でも、受信機はその伝送位置を知ることができる。
 uri_lengthは、後続のuri_charのバイト数を示す。
 uri_charは、参照する副ストリームが放送以外の媒体によってもアクセス可能な場合に、副ストリームが含まれるTSにアクセスするためのURIを記述する。URIの記述例は、第1の実施の形態と同様であるので、ここでの説明は省略する。
 stream_contentは、指定される副ストリームの種別(映像、音声、データ)を示す。
 component_typeは、指定される副ストリームのコンポーネントの詳細種別を示す。 stream_contentとcomponent_typeにより、副ストリームが受信機において利用可能かどうか、副ストリームにアクセスする前に知ることができる。 なおstream_contentとcomponent_typeは、図4におけるstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
 PCR_location_flag以降の記述は、図4と同様であるので、ここでの説明は省略する。ただし、主ストリームの同期トラックはmain_sync_PIDの代わりにmain_sync_tagを用いて記述する。また、副ストリームの同期トラックはsub_sync_PIDの代わりにsub_sync_tagを用いて記述する。
 以上が、新規記述子“hyperlink_descriptor()”及び“link_external_component_info()”の構造についての説明である。これらの記述子により、事前に放送番組の再生予約・録画予約を行う場合でも、受信側の装置(デジタルテレビ)は、あらかじめ利用可能な副ストリームを特定し、再生・記録するストリームの選択ができる。
 5.変形例2
 ここでは、主ストリームと連動した、「ARIB STD-B24」に規定されるデータ放送中のobject要素を用いて、当該ストリームとは別TSで伝送される副ストリームの参照情報を記述する場合について説明する。
 図26に、本変形例にて使用する拡張属性の一覧、及びそれらを用いて副ストリームを指定するデータ放送コンテンツの記述例を示す。
 図26(a)は、主ストリームを示すobject要素に対する、副ストリームを指定するための拡張属性を示すものである。
 substream_typeは、副ストリームのmime-typeを示す。例えば、放送波で伝送されるMPEG-4であれば、“video/X-arib-mpeg4”を指定する。これにより、副ストリームが受信側の装置において利用可能かどうか、副ストリームにアクセスする前に知ることができる。なお、substream_type属性は、図4におけるstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
 substream_dataは、副ストリームのURLを示す。uri属性の記述方法は、図16におけるlocation要素のuri属性と同様である。これにより、受信側の装置は、副ストリームの位置を知ることができる。
 substream_sync_typeは、主ストリームと副ストリームの同期手段の有無、及び方法を示す。値が“pcr_main”を示すものである場合は、主ストリームを含むプログラムのPCRを利用することを示す。値が“pcr_sub”を示すものである場合は、副ストリームを含むプログラムのPCRを利用することを示す。値が“independent”を示すものである場合は、独立した同期トラックを用いた同期を行う。値が記述されない場合は、受信側の装置において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCRに従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従う。これにより、受信側の装置は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
 substream_sync_pcr_pidは、substream_sync_type属性が“pcr_main”、又は“pcr_sub”の場合に、PCR_PIDを明示的に指定するものである。例えば、値が“1db”であれば、PIDが0x01DBであるPCRを参照する。値が記述されない場合は、当該ストリームのPMTにて記述されたPCR_PIDを使用する。これにより、受信側の装置は、同期再生時に固有のPCRを利用するべきか否か、利用する場合にそのPCRのPIDを知ることができる。
 substream_sync_pcr_offsetには、substream_sync_type属性が“pcr_main”、又は“pcr_sub”であって、PCR参照時にオフセット値を加算する場合に、そのオフセット値が記述される。オフセット値として、“-200000000”から“200000000”の間の一の値(16進整数値)が記述される。例えば、substream_sync_typeが“pcr_main”であって主ストリーム内のPCRを利用する場合は、副ストリームの復号・表示を行うときに、substream_sync_pcr_offsetの値に従って主ストリーム内のPCRをオフセットした値を使用する。substream_sync_typeが“pcr_sub”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、substream_sync_pcr_offsetの値に従って副ストリーム内のPCRをオフセットした値を使用する。substream_sync_pcr_offsetを指定することによって、主ストリームと副ストリームの間でPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
 substream_sync_main_tagには、substream_sync_type属性が“independent”の場合に、主ストリームの同期トラックを示すcomponent_tagが記述される。
 substream_sync_sub_tagには、substream_sync_type属性が“independent”の場合に、副ストリームの同期トラックを示すcomponent_tagが記述される。substream_sync_main_tag属性とsubstream_sync_sub_tag属性を用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。
 図26(b)は、上記の拡張属性を用いて副ストリームを指定するデータ放送コンテンツの記述例を示すものである。
 substream_typeの記述内容により、副ストリームは、MPEG-4形式により放送波で伝送されることが分かる。
 substream_dataの記述内容により、副ストリームは、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。
 substream_sync_type及びsubstream_sync_pcr_pidのそれぞれの記述により、主ストリームと副ストリームとの同期の際には、主ストリームを含むプログラムのPCRを利用し、利用するPCRはPIDが0x01DBであるものを参照することが分かる。
 また、substream_sync_pcr_offsetの記載により、主ストリームと副ストリームとの同期の際には、オフセット値“-100”を用いることが分かる。
 以上が、「ARIB STD-B24」に規定されるデータ放送中のobject要素を用いて、副ストリームの参照情報を記述する場合について説明である。これにより、データ放送コンテンツを用いて、主ストリームの映像音声サービス視聴時に、同時に利用可能な副ストリームを特定することができる。
 6.変形例3
 ここでは、サーバ型放送において主ストリームを含むコンテンツの情報を記述する、「ETSI TS 102 822 Part3-1」にて規定されるメタデータ中のProgramInformation要素中に、当該ストリームとは別TSで伝送される副ストリームの参照情報を記述する場合について説明する。具体的には、ProgramInformation要素に含まれるAVAttributes要素に記述されるVideoAttributes要素中に、新規要素“ExternalES”を定義し記述する。
 図27、及び図28において、VideoAttributes要素中にExternalES要素を定義する構造(スキーマ)の一例を示す。
 図27におけるブロックB500の記述は、LocationType型と呼ばれ、副ストリームの放送、通信又は蓄積媒体上での位置が記述される。副ストリームの位置は、LocationType型に含まれるuri属性中にURI形式で記述する。uri属性の記述方法は、図16におけるlocation要素のuri属性と同様であるので、ここでの説明は省略する。これにより、受信側の装置は、副ストリームがどのようにアクセス可能かを知ることができる。
 ブロックB501の記述は、StreamType型と呼ばれ、副ストリームの特性が記述される。StreamType型におけるtype属性では、副ストリームの属性を文字列で記述し、具体的には「ISO/IEC 13818-1」にて規定されるstream_typeの値が記述される。例えば、H.264AVCの場合は、“1b”が記述される。これにより、副ストリームが受信側の装置において利用可能かどうか、副ストリームにアクセスする前に知ることができる。なおtype属性は、図4におけるstream_typeと同様に、副ストリームの用途別に値を記述してもよい。
 ブロックB502の記述は、SyncType型と呼ばれ、主ストリームと副ストリームの同期に関する情報が記述される。
 SyncType型におけるtype属性は、主ストリームと副ストリームの同期手段の有無及び方法を示す。値が“pcr_main”を示すものである場合は、主ストリームを含むプログラムのPCRを利用することを示す。値が“pcr_sub”を示すものである場合は、副ストリームを含むプログラムのPCRを利用することを示す。値が“independent”を示すものである場合は、独立した同期トラックを用いた同期を行うことを示す。値が記述されない場合は、受信機において主ストリームと副ストリームの同期は行わず、主ストリームの復号・表示を行う際は主ストリーム内のPCRに従い、副ストリームの復号・表示を行う際は副ストリーム内のPCRに従うことを示す。これにより、受信側の装置は、主ストリームと副ストリームの間のクロック同期の有無及び方法を知ることができる。
 pcr_pid属性は、type属性が“pcr_main”、又は“pcr_sub”を示す場合に、PCR_PIDを明示的に指定するものである。例えば、値が“1db”であれば、PIDが0x01DBであるPCRを参照する。値が記述されない場合は、当該ストリームのPMTにて記述されたPCR_PIDを使用する。これにより、受信側の装置は、同期再生時に固有のPCRを利用するべきか否か、利用する場合にそのPCRのPIDを知ることができる。
 pcr_offset属性には、type属性が“pcr_main”、又は“pcr_sub”であって、PCR参照時にオフセット値を加算する場合に、そのオフセット値が記述される。オフセット値として、“-200000000”から“200000000”の間の一の値(16進整数値)が記述される。
 sync属性が“pcr_main”であって主ストリーム内のPCRを利用する場合は、副ストリームの復号・表示を行うときに、受信側の装置は、offset属性の値に従って主ストリーム内のPCRをオフセットした値を使用する。sync属性が“pcr_sub”であって副ストリーム内のPCRを利用する場合は、主ストリームの復号・表示を行うときに、受信側の装置は、pcr_offset属性の値に従って副ストリーム内のPCRをオフセットした値を使用する。
 pcr_offset属性を指定することによって、主ストリームと副ストリームの間でPCRの開始値を合わせることができない場合でも、同期再生を実現することができる。
 main_sync_tag属性は、type属性が“independent”の場合に、主ストリームの同期トラックのcomponent_tagの値を示す。
 sub_sync_tag属性は、type属性が“independent”の場合に、副ストリームの同期トラックのcomponent_tagの値を示す。main_sync_tag属性とsub_sync_tag属性を用いることにより、PCRの値によらず、主ストリームと副ストリームを同期させることが可能となる。
 ブロックB503の記述は、ExternalEsType型と呼ばれ、副ストリームに関する情報を示し、LocationType型のLocation要素、StreamType型のStream要素、SyncType型のSync要素を含む。これら要素は、上記にて説明しているので、ここでの説明は省略する。
 ブロックB504は、VideoAttributesType型と呼ばれ、新規要素である、ExternalEsType型のExternalEs要素が追加される。
 上記にて示す新規要素“ExternalEs”を用いて副ストリームを指定するERIの記述例を、図29に示す。
 図29において、<ExternalEs>から</ExternalEs>までの記述が新規要素の内容である。
 Location要素の記述により、副ストリームは、“arib://0001.0002.0003.0004/05”で示される位置に存在していることが分かる。
 Stream要素の記述により、ストリームのタイプがH.264AVCであることが分かる。
 Sync要素におけるtype属性、pcr_pid属性及びpcr_offset属性の記述により、主ストリームと副ストリームとの同期の際には、主ストリームを含むプログラムのPCRを利用し、利用するPCRはPIDが0x01DBであるものを参照し、オフセット値“-100”を用いることが分かる。
 以上が、VideoAttributes要素中にExternalES要素を定義し、副ストリームの参照情報を記述する場合の説明である。これにより、放送、通信を跨って共通なコンテンツ情報の記述を可能とするメタデータを用いて、利用可能な副ストリームを特定することができる。
 7.その他の変形例
 また、上記各実施の形態及び変形例に限らず、例えば、以下のような変形例が考えられる。
 (1)上記第1の実施の形態において、新規記述子“external_ES_link_descriptor()”をPMTのセカンドループD102に記述するものとしたが、これに限定されない。
 副ストリームが、特定の主ストリームESに対応するものではなく、プログラムに対して追加される場合(例:副ストリームが追加言語の字幕ESの場合など)は、external_ES_link_descriptor()を、PMTのファーストループD100に記載してもよい。
 これにより、プログラムに対応する副ストリームを容易に記述することができる。
 また、“external_ES_link_descriptor()”を新規に定義するのではなく、既存の一つ又は複数の記述子を拡張して“external_ES_link_descriptor()”に記載された各情報を追加するとしてもよいし、ユーザ拡張データとして、主ストリームESかつ/又は副ストリームES内に追加してもよい。
 (2)上記第2の実施の形態において、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定される再生制御メタファイルを例に説明したが、新規記述子“external_ES_link_info()”の追加は当該ファイルに限定されない。
 「Open IPTV Forum Specification Volume 5 - Declarative Application Environment」にて規定されるContent Access Descriptorや、「ISO/IEC 14496-12」(ISO Base Media File Format)におけるヘッダ等、映像音声ストリームの属性を記述するメタ情報に追加してもよい。
 また、新規記述子“subset_ervice_ES_ info”についても同様に、「デジタルテレビ情報化研究会 デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」にて規定される再生制御メタファイルに追加するだけでなく、 「Open IPTV Forum Specification Volume 5 - Declarative Application Environment」にて規定されるContent Access Descriptorや、「ISO/IEC 14496-12」(ISO Base Media File Format)におけるヘッダ等、映像音声ストリームの属性を記述するメタ情報に追加してもよい。
 また、上記の各新規記述子は、ERIに記述されるとしたが、これに限定されない。上記の各新規記述子は、再生制御ファイルに含まれていればよく、必ずしもERIに記載されている必要はない。
 (3)上記変形例1において、「ARIB STD-B10」にて規定されるSI情報を例に説明したが、他に「ETSI EN 300 468」(DVB-SI)、「ATSC A65」(ATSC Program and System Information Protocol)等、MPEG2 Private Section形式を用いる情報形式を利用してもよい。
 または、副ストリームの情報は、hyperlink_descriptor()に記述するのではなく、新規に記述子を定義して、同等の情報を記述してもよい。
 さらに、上記変形例2において、「ARIB STD-B24」にて規定されるデータ放送を例に説明したが、他に「ETSI ES 202 184」(MHEG-5 Broadcast Profile)、「ETSI TS 101 812」(Multimedia Home Platform)、「CEA-2014」(Web4CE)、「HTML-5」等、文書中より映像オブジェクトにアクセスできるマルチメディア方式を利用してもよい。
 (4)上記第1の実施の形態において、新規記述子“service_subset_ES_descriptor()”をPMTのセカンドループに記述するものとしたが、これに限定されない。
 副ストリームを含むプログラムを構成するESが、当該副ストリームのみである場合には、service_subset_ES_ descriptor()を、PMTのファーストループに記載してもよい。また、service_subset_ES_ descriptor ()を新規に定義するのではなく、既存の一つ又は複数の記述子を拡張して、service_subset_ES_ descriptor ()に記載された各情報を追加してもよい。
 (5)上記実施の形態等で示したexternal_ES_link_descriptor()、service_subset_ES_descriptor()、hyper_link_descriptor ()及びExternalES要素は、1つ記載された場合について説明したが、これに限定されない。
 これら情報は、複数個配置されてもよい。
 (6)上記各実施の形態では、主ストリームを左目映像のストリーム、副ストリームを右目映像のストリームとして説明したが、主ストリームと副ストリームとの組み合わせは、これに限定されない。
 stream_typeを用いて副ストリームの用途を特定したように、主ストリームと副ストリームとの組み合わせは、3D映像の制御(stream_typeの値“0x80”、“0x81”、“0x85”から“0x87”)、主ストリームの映像の高詳細化(stream_typeの値が“0x82”から“0x84”)、自由視点の切り替え(stream_typeの値が“0x88”から“0x8A”)といったように多種多様である。例えば、副ストリームが主ストリームの映像を高精細化するための差分成分である場合には、映像処理部は、第2映像復号部で生成された差分成分を、第1映像復号部で生成された映像に付加する。
 また、新たな値を定義して、副ストリームを字幕データや音声データとしてもよい。この場合、受信再生装置は、字幕データを復号する字幕データ復号部、及び副ストリームの音声データを復号する音声復号部を設ける。副ストリームが字幕データである場合には、映像処理部は、第1映像復号部で生成された映像に、字幕データ復号部で生成された字幕データを重畳する。また、副ストリームが音声データである場合には、受信再生装置は、副ストリームに含まれる音声データを復号し、出力する。なお、主ストリームにも音声データが含まれる場合には、ユーザ操作により、双方の音声を出力してもよいし、一方の音声のみを出力してもよい。
 (7)上記各実施の形態において、主ストリームの送信形態と副ストリームの送信形態とは、同一のものとしたが、これに限定されない。
 主ストリームの送信形態と、副ストリームの送信形態とは、互いに異なってもよい。例えば、主ストリームは、PMT等のSI/PSIを含むトランスポートストリームに含まれるとし、副ストリームは、IP放送で送信されるトランスポートストリームであってもよし、その逆であってもよい。
 (8)上記実施の形態において、PMT、再生制御ファイルの生成、特に新規記述子及び新規要素である、“external_ES_descriptor()”、“service_subset_ES_descriptor()”、“external_ES_link_info”、“subset_service_ES_info”、“hyper_link_descriptor ()”、link_external_component_info()、object要素及び“ExternalES要素”の生成は、例えば、送信装置100又は外部の装置において、パラメータ変数として、記述子等の記述要素をパラメータ変数として予め記憶しておき、これらパラメータ変数に対する情報をユーザから受け付けることで行ってもよい。また、上記生成の方法は、一例であり他の方法であってもよい。
 (9)上記各実施の形態では、受信再生装置の一例としてデジタルテレビであるとしたが、これに限定されない。受信再生装置を、DVDレコーダ、BD(Blu-ray Disc)レコーダやセットトップボックスに適用してもよい。
 (10)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 (11)上記の各装置を構成する構成要素の一部又は全部は、1個の集積回路から構成されているとしてもよい。
 (12)上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。
 (13)上記の実施の形態及び変形例で説明した手法の手順を記述したプログラムをメモリに記憶しておき、CPU(Central Processing Unit)などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
 また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。なお、上記プログラムを記憶する媒体としては、例えば、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等がある。
 (14)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
 8.補足
 以上説明したように、主ストリームとは異なる伝送路(TS)上の副ストリームを特定するための情報を、主ストリームへのアクセス情報に追加して記載することで、受信再生装置にて副ストリームの存在を認識し、取得し、主ストリームとの同期再生及び録画を実現することができる。
 以下、更に本発明の一実施形態としての送信装置、受信再生装置の構成及びその変形例と効果について説明する。
 (1)本発明の一態様は、送信装置であって、1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、前記ストリーム特定情報を送信する送信手段とを備えることを特徴とする。
 この構成によると、送信装置は、ストリーム特定情報を送信するので、受信側では、当該ストリーム特定情報を用いることで、各種情報が個別に伝送用ストリームで送信されても、同時に再生すべき伝送用ストリームを特定することができる。なお、ストリーム特定情報は、上記実施の形態及び変形例で記載した新規記述子及び新規要素である、“external_ES_descriptor()”、“service_subset_ES_descriptor()”、“external_ES_link_info”、“subset_service_ES_info”、“hyper_link_descriptor ()”、link_external_component_info()、object要素及び“ExternalES要素”に相当する。
 (2)ここで、前記一の伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであって、PMT(Program Map Table)が対応付けられており、前記送信手段は、前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記PMTとを多重化して送信するとしてもよい。
 この構成によると、送信装置は、前記ストリーム特定情報が記載されたPMTと前記別の伝送用ストリームとを多重化して送信するので、受信側は、PMTを用いて、当該別の伝送用ストリームと同時に再生すべき情報を含む前記伝送用ストリームを当該別の伝送用ストリームを復号する前に特定することができる。
 (3)ここで、前記ストリーム特定情報は、さらに、前記複数の伝送用ストリームを同時に再生する際に同期をとるための同期情報を含むとしてもよい。
 この構成によると、送信装置は、同期情報を含めて前記ストリーム特定情報を送信するので、受信側は、前記複数の伝送用ストリームを同時に再生する際には、同期情報を用いることで、各伝送用ストリームに含まれる情報それぞれについて同期をとりつつ再生することができる。
 (4)ここで、前記同期情報は、再生の同期の基準として、前記複数の伝送用ストリームそれぞれに含まれるPCR(Program_Clock_Reference)のうち何れかを指定するものであるとしてもよい。
 この構成によると、送信装置は、複数の伝送用ストリームそれぞれに含まれるPCRのうち1つのPCRを用いることを示す前記同期情報を送信するので、受信側は、指定されたPCR、つまり当該PCRを含む伝送用ストリームに含まれる情報の再生タイミングを基準として他の伝送用ストリームを再生することができる。
 (5)ここで、前記同期情報は、前記複数の伝送用ストリームそれぞれが同一のタイムスタンプを使用することを示すものであるとしてもよい。
 この構成によると、送信装置は、タイムスタンプを用いることを示す前記同情報を送信するので、受信側は、タイムスタンプを基準として前記複数の伝送用ストリームを再生することができる。
 (6)ここで、前記PMTには、前記一の伝送用ストリームが単独で再生可能であるか否かを示す再生情報が含まれるとしてもよい。
 この構成によると、送信装置は、再生情報を送信するので、受信側は、当該再生情報が単独で再生可能であることを示している場合には、他の伝送用ストリームの情報を同時再生することなく、当該別の伝送用ストリームの情報の再生を行うことができる。
 (7)ここで、前記一の伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであって、SI/PSI(Service Information/Program Specific Information)が対応付けられており、前記送信手段は、前記一の伝送用ストリームと、前記ストリーム特定情報が記載されたSI/PSIとを多重化して送信するとしてもよい。
 この構成によると、送信装置は、前記ストリーム特定情報が記載されたSI/PSIと前記別の伝送用ストリームとを多重化して送信するので、受信側は、SI/PSIを用いて、前記伝送用ストリームを受信する前に特定することができる。
 (8)ここで、前記一の伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであって、再生制御メタファイルが対応付けられており、前記送信手段は、前記ストリーム特定情報を含む前記再生制御メタファイルを、前記一の伝送用ストリームとは別に送信するとしてもよい。
 この構成によると、送信装置は、前記ストリーム特定情報が記載された再生制御メタファイルを送信するので、受信側は、再生制御メタファイルを用いて、前記伝送用ストリームを受信する前に前記別の伝送用ストリームを特定することができる。
 (9)ここで、前記一の伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであって、データ放送コンテンツ記述子が対応付けられており、前記送信手段は、前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記データ放送コンテンツ記述子とを多重化して送信するとしてもよい。
 この構成によると、送信装置は、前記ストリーム特定情報が記載されたデータ放送コンテンツ記述子と、前記別の伝送用ストリームとを多重化して送信するので、受信側は、当該別の伝送用ストリームの再生を再生する際に、データ放送コンテンツを用いて前記伝送用ストリームを特定することができる。
 (10)ここで、前記一の伝送用ストリームは、サーバ型放送において送信されるものであって、メタデータが対応付けられ、前記送信手段は、前記ストリーム特定情報が番組要素情報に記載された前記メタデータを送信するとしてもよい。
 この構成によると、送信装置は、前記ストリーム特定情報が記載された番組要素情報を含むメタデータを送信するので、受信側は、メタデータを用いて、前記伝送用ストリームを特定することができる。
 (11)また、本発明の一態様は、番組を受信し、再生する受信再生装置であって、番組を構成する第1伝送用ストリームと、前記第1伝送用ストリームと同時に再生すべき第2伝送用ストリームが送信されているか否かを示す送信情報とを受信する第1受信手段と、前記送信情報を用いて、前記第2伝送用ストリームが送信されているか否かを判断する判断手段と、前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合、前記第2伝送用ストリームを受信する第2受信手段と、前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合には、前記第1伝送用ストリーム及び前記第2伝送用ストリームの双方を再生し、前記判断手段で前記第2伝送用ストリームが送信されていないと判断される場合には、前記第1伝送用ストリームを再生する再生手段とを備えることを特徴とする。
 この構成によると、受信再生装置は、送信情報を用いることで、第1伝送用ストリームと同時に再生すべき第2伝送用ストリームの有無を判断することができる。これにより、受信再生装置は、第2伝送用ストリームが存在すると判断する場合には2つのストリーム(第1伝送用ストリームと第2伝送用ストリーム)双方を再生するので、視聴者は多種多様のサービスを受けることができる。ここで、送信情報は、上記実施の形態及び変形例で示すPMT、EIT、再生制御ファイルに相当する。
 (12)ここで、前記第1伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであり、前記第1受信手段は、 前記第1伝送用ストリームと多重化されたPMT(Program Map Table)に記述された前記送信情報を受信するとしてもよい。
 この構成によると、受信再生装置は、PMTを用いて、第1伝送用ストリーム復号する前に、第2伝送用ストリームの有無を特定することができる。
 (13)ここで、前記送信情報は、さらに、前記第1伝送用ストリームと前記第2伝送用ストリームとを同時に再生する際に同期をとるための同期情報を含んでおり、前記再生手段は、前記同期情報に基づいて、前記第1伝送用ストリームの情報と、前記第2ストリームの情報とについて同期再生を行うとしてもよい。
 この構成によると、受信再生装置は、第1伝送用ストリーム及び第2伝送用ストリームを同時に再生する際には、同期情報を用いることで、各伝送用ストリームに含まれる情報それぞれについて同期をとりつつ再生することができる。
 (14)ここで、前記再生手段は、前記第1伝送用ストリームのPCR(Program_Clock_Reference)及び前記第2伝送用ストリームのPCRのうち、前記同期情報が示すPCRを用いて前記同期再生を行うとしてもよい。
 この構成によると、受信再生装置は、指定されたPCRに応じた伝送用ストリームに含まれる情報の再生タイミングを基準として他の伝送用ストリームを再生することができる。
 (15)ここで、前記再生手段は、前記同期情報が示すタイムスタンプを用いて、前記同期再生を行うとしてもよい。
 この構成によると、受信再生装置は、タイムスタンプを基準として第1伝送用ストリーム及び第2伝送用ストリームを同時再生することができる。
 (16)ここで、 前記第1伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであり、前記第1受信手段は、前記第1伝送用トリームと多重化されたSI/PSI(Service Information/Program Specific Information)に記述された前記送信情報を受信するとしてもよい。
 この構成によると、受信再生装置は、SI/PSIを用いて、第2伝送用ストリームを受信する前に特定することができる。
 (17)ここで、前記第1伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであり、前記第1受信手段は、前記第1伝送用ストリームの受信に先立って、前記第1伝送用ストリームに対応する再生制御メタファイルに含まれる前記送信情報を受信するとしてもよい。
 この構成によると、受信再生装置は、再生制御メタファイルを用いて、第1伝送用ストリームを受信する前に第2伝送用ストリームを特定することができる。
 (18)ここで、前記複数の伝送用ストリームのうち少なくとも1つの伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであり、前記第1受信手段は、前記第1伝送用トリームと多重化されたデータ放送コンテンツ記述子に記述された前記送信情報を受信するとしてもよい。
 この構成によると、受信再生装置は、データ放送コンテンツを用いて、第1伝送用ストリームの再生する際に、第2伝送用ストリームを特定することができる。
 (19)ここで、前記第1伝送用ストリームは、サーバ型放送において送信されるものであり、前記第1受信手段は、前記第1伝送用ストリームに対応するメタデータに含まれる番組要素情報に記載された前記送信情報を受信するとしてもよい。
 この構成によると、受信再生装置は、メタデータを用いて、第2伝送用ストリームを特定することができる。
 (20)ここで、前記第2受信手段において、前記判断に先立って、前記第2伝送用ストリームと、当該第2伝送用ストリームが単独で再生可能であるか否かを示す再生情報とを受信すると、前記判断手段は、さらに、前記再生情報に基づいて当該第2伝送用ストリームが単独で再生可能であるか否かを判断し、前記再生手段は、さらに、前記判断手段で前記第2伝送用ストリームが単独で再生可能であると判断される場合には、前記第2伝送用ストリームを再生するとしてもよい。
 この構成によると、受信再生装置は、再生情報が単独で再生可能であることを示している場合には、第1伝送用ストリームの情報を同時再生することなく、第2伝送用ストリームの情報の再生を行うことができる。
 本発明は、番組の映像だけでなく、字幕データ、他視点の映像等の多種多様の情報を送信する装置、及び番組の映像及び多種多様の情報を受信し、再生する装置に適用することができる。
   10  番組配信システム
  100、200、1100、1200  送信装置
  101  左目用ビデオエンコーダ
  102  オーディオエンコーダ
  103  左目用ビデオストリーム格納部
  104  オーディオストリーム格納部
  105、205  情報保持部
  106、206、1106、1206  多重化部
  107、207、1107、1207  送信部
  201  右目用ビデオエンコーダ
  203  右目用ビデオストリーム格納部
  300、1300  デジタルテレビ(受信再生装置)
  301、1301  制御部
  302、1302  受信処理部
  303  再生処理部
  304  出力部
  310、1310  第1受信部
  311、1311  第2受信部
  320  第1多重化分離部
  321  第2多重化分離部
  322  同期制御部
  323  第1映像復号部
  324  第2映像復号部
  325  音声復号部
  326  映像処理部
 1105、1205  ファイル保持部
 1305  送信部

Claims (22)

  1.  1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段と、
     前記ストリーム特定情報を送信する送信手段とを備える
     ことを特徴とする送信装置。
  2.  前記一の伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであって、PMT(Program Map Table)が対応付けられており、
     前記送信手段は、
     前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記PMTとを多重化して送信する
     ことを特徴とする請求項1に記載の送信装置。
  3.  前記ストリーム特定情報は、さらに、
     前記複数の伝送用ストリームを同時に再生する際に同期をとるための同期情報を含む
     ことを特徴とする請求項2に記載の送信装置。
  4.  前記同期情報は、
     再生の同期の基準として、前記複数の伝送用ストリームそれぞれに含まれるPCR(Program_Clock_Reference)のうち何れかを指定するものである
     ことを特徴とする請求項3に記載の送信装置。
  5.  前記同期情報は、
     前記複数の伝送用ストリームそれぞれが同一のタイムスタンプを使用することを示すものである
     ことを特徴とする請求項3に記載の送信装置。
  6.  前記PMTには、前記一の伝送用ストリームが単独で再生可能であるか否かを示す再生情報が含まれる
     ことを特徴とする請求項2に記載の送信装置。
  7.  前記一の伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであって、SI/PSI(Service Information/Program Specific Information)が対応付けられており、
     前記送信手段は、
     前記一の伝送用ストリームと、前記ストリーム特定情報が記載されたSI/PSIとを多重化して送信する
     ことを特徴とする請求項1に記載の送信装置。
  8.  前記一の伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであって、再生制御メタファイルが対応付けられており、
     前記送信手段は、前記ストリーム特定情報を含む前記再生制御メタファイルを、前記一の伝送用ストリームとは別に送信する
     ことを特徴とする請求項1に記載の送信装置。
  9.  前記一の伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであって、データ放送コンテンツ記述子が対応付けられており、
     前記送信手段は、
     前記一の伝送用ストリームと、前記ストリーム特定情報が記載された前記データ放送コンテンツ記述子とを多重化して送信する
     ことを特徴とする請求項1に記載の送信装置。
  10.  前記一の伝送用ストリームは、サーバ型放送において送信されるものであって、メタデータが対応付けられ、
     前記送信手段は、
     前記ストリーム特定情報が番組要素情報に記載された前記メタデータを送信する
     ことを特徴とする請求項1に記載の送信装置。
  11.  番組を受信し、再生する受信再生装置であって、
     番組を構成する第1伝送用ストリームと、前記第1伝送用ストリームと同時に再生すべき第2伝送用ストリームが送信されているか否かを示す送信情報とを受信する第1受信手段と、
     前記送信情報を用いて、前記第2伝送用ストリームが送信されているか否かを判断する判断手段と、
     前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合、前記第2伝送用ストリームを受信する第2受信手段と、
     前記判断手段で前記第2伝送用ストリームが送信されていると判断される場合には、前記第1伝送用ストリーム及び前記第2伝送用ストリームの双方を再生し、前記判断手段で前記第2伝送用ストリームが送信されていないと判断される場合には、前記第1伝送用ストリームを再生する再生手段とを備える
     ことを特徴とする受信再生装置。
  12.  前記第1伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであり、
     前記第1受信手段は、
     前記第1伝送用ストリームと多重化されたPMT(Program Map Table)に記述された前記送信情報を受信する
     ことを特徴とする請求項11に記載の受信再生装置。
  13.  前記送信情報は、さらに、前記第1伝送用ストリームと前記第2伝送用ストリームとを同時に再生する際に同期をとるための同期情報を含んでおり、
     前記再生手段は、
     前記同期情報に基づいて、前記第1伝送用ストリームの情報と、前記第2ストリームの情報とについて同期再生を行う
     ことを特徴とする請求項12に記載の受信再生装置。
  14.  前記再生手段は、前記第1伝送用ストリームのPCR(Program_Clock_Reference)及び前記第2伝送用ストリームのPCRのうち、前記同期情報が示すPCRを用いて前記同期再生を行う
     ことを特徴とする請求項13に記載の受信再生装置。
  15.  前記再生手段は、前記同期情報が示すタイムスタンプを用いて、前記同期再生を行う
     ことを特徴とする請求項13に記載の受信再生装置。
  16.  前記第1伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであり、
     前記第1受信手段は、
     前記第1伝送用トリームと多重化されたSI/PSI(Service Information/Program Specific Information)に記述された前記送信情報を受信する
     ことを特徴とする請求項11に記載の受信再生装置。
  17.  前記第1伝送用ストリームは、IP(Internet Protocol)ネットワークで配信されるストリームであり、
     前記第1受信手段は、
     前記第1伝送用ストリームの受信に先立って、前記第1伝送用ストリームに対応する再生制御メタファイルに含まれる前記送信情報を受信する
     ことを特徴とする請求項11に記載の受信再生装置。
  18.  前記複数の伝送用ストリームのうち少なくとも1つの伝送用ストリームは、MPEG2-TS(Moving Picture Experts Group 2-Transport Stream)形式のストリームであり、
     前記第1受信手段は、
     前記第1伝送用トリームと多重化されたデータ放送コンテンツ記述子に記述された前記送信情報を受信する
     ことを特徴とする請求項11に記載の受信再生装置。
  19.  前記第1伝送用ストリームは、サーバ型放送において送信されるものであり、
     前記第1受信手段は、
     前記第1伝送用ストリームに対応するメタデータに含まれる番組要素情報に記載された前記送信情報を受信する
     ことを特徴とする請求項11に記載の受信再生装置。
  20.  前記第2受信手段において、前記判断に先立って、前記第2伝送用ストリームと、当該第2伝送用ストリームが単独で再生可能であるか否かを示す再生情報とを受信すると、
     前記判断手段は、さらに、前記再生情報に基づいて当該第2伝送用ストリームが単独で再生可能であるか否かを判断し、
     前記再生手段は、さらに、前記判断手段で前記第2伝送用ストリームが単独で再生可能であると判断される場合には、前記第2伝送用ストリームを再生する
     ことを特徴とする請求項11に記載の受信再生装置。
  21.  1台の受信再生装置で同時に再生すべき情報を各々が含む複数の伝送用ストリームのうち、一の伝送用ストリームに対応付けられ、且つ当該一の伝送用ストリームとは異なる少なくとも1つの伝送用ストリームを特定するストリーム特定情報を保持する保持手段を有する送信装置で用いられる送信方法であって、
     前記ストリーム特定情報を送信する送信ステップを含む
     ことを特徴とする送信方法。
  22.  番組を受信し、再生する受信再生装置で用いられる受信再生方法であって、
     番組を構成する第1伝送用ストリームと、前記第1伝送用ストリームと同時に再生すべき第2伝送用ストリームが送信されているか否かを示す送信情報とを受信する第1受信ステップと、
     前記送信情報を用いて、前記第2伝送用ストリームが送信されているか否かを判断する判断ステップと、
     前記判断ステップで前記第2伝送用ストリームが送信されていると判断される場合、前記第2伝送用ストリームを受信する第2受信ステップと、
     前記判断ステップで前記第2伝送用ストリームが送信されていると判断される場合には、前記第1伝送用ストリーム及び前記第2伝送用ストリームの双方を再生し、前記判断ステップで前記第2伝送用ストリームが送信されていないと判断される場合には、前記第1伝送用ストリームを再生する再生ステップとを含む
     ことを特徴とする受信再生方法。
PCT/JP2012/004616 2011-07-21 2012-07-20 送信装置、受信再生装置、送信方法及び受信再生方法 WO2013011696A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
MX2014000673A MX2014000673A (es) 2011-07-21 2012-07-20 Dispositivo de transmision, dispositivo de recepcion/ reproduccion, metodo de transmision y metodo de recepcion/reproduccion.
KR1020137035118A KR20140038482A (ko) 2011-07-21 2012-07-20 송신장치, 수신재생장치, 송신방법 및 수신재생방법
CA2841197A CA2841197A1 (en) 2011-07-21 2012-07-20 Transmission device, receiving/playing device, transmission method, and receiving/playing method
US14/233,515 US20140147088A1 (en) 2011-07-21 2012-07-20 Transmission device, receiving/playing device, transmission method, and receiving/playing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161510145P 2011-07-21 2011-07-21
US61/510,145 2011-07-21

Publications (1)

Publication Number Publication Date
WO2013011696A1 true WO2013011696A1 (ja) 2013-01-24

Family

ID=47557895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/004616 WO2013011696A1 (ja) 2011-07-21 2012-07-20 送信装置、受信再生装置、送信方法及び受信再生方法

Country Status (7)

Country Link
US (1) US20140147088A1 (ja)
JP (1) JPWO2013011696A1 (ja)
KR (1) KR20140038482A (ja)
CA (1) CA2841197A1 (ja)
MX (1) MX2014000673A (ja)
TW (1) TW201322767A (ja)
WO (1) WO2013011696A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053999A (ja) * 2019-12-11 2020-04-02 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
JP2020187530A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 画像処理装置、制御方法、および、プログラム
JP2021184641A (ja) * 2020-10-26 2021-12-02 ソニーグループ株式会社 送信方法及び送信装置、並びに受信方法及び受信装置
JP2022051796A (ja) * 2013-08-29 2022-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
US11765414B2 (en) 2013-08-29 2023-09-19 Panasonic Intellectual Property Corporation Of America Transmitting method, receiving method, transmitting apparatus, and receiving apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075281B (zh) * 2013-06-05 2019-01-01 太阳专利托管公司 数据解码方法、数据解码装置及数据发送方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053246A2 (en) * 2008-11-04 2010-05-14 Electronics And Telecommunications Research Institute Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080357A (ja) * 2005-09-13 2007-03-29 Toshiba Corp 情報記憶媒体、情報再生方法、情報再生装置
US7646828B2 (en) * 2007-08-24 2010-01-12 Lg Electronics, Inc. Digital broadcasting system and method of processing data in digital broadcasting system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053246A2 (en) * 2008-11-04 2010-05-14 Electronics And Telecommunications Research Institute Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022051796A (ja) * 2013-08-29 2022-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
US11765414B2 (en) 2013-08-29 2023-09-19 Panasonic Intellectual Property Corporation Of America Transmitting method, receiving method, transmitting apparatus, and receiving apparatus
JP7453266B2 (ja) 2013-08-29 2024-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信装置
JP2020187530A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 画像処理装置、制御方法、および、プログラム
JP7406882B2 (ja) 2019-05-14 2023-12-28 キヤノン株式会社 画像処理装置、制御方法、および、プログラム
JP2020053999A (ja) * 2019-12-11 2020-04-02 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
JP2021184641A (ja) * 2020-10-26 2021-12-02 ソニーグループ株式会社 送信方法及び送信装置、並びに受信方法及び受信装置
JP7160161B2 (ja) 2020-10-26 2022-10-25 ソニーグループ株式会社 送信方法及び送信装置、並びに受信方法及び受信装置

Also Published As

Publication number Publication date
TW201322767A (zh) 2013-06-01
KR20140038482A (ko) 2014-03-28
CA2841197A1 (en) 2013-01-24
MX2014000673A (es) 2014-03-21
JPWO2013011696A1 (ja) 2015-02-23
US20140147088A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
JP6034420B2 (ja) 3次元映像の再生のための付加情報が挿入された3次元映像データストリーム生成方法及びその装置、3次元映像の再生のための付加情報が挿入された3次元映像データストリーム受信方法及びその装置
JP5575949B2 (ja) 放送データ送信方法およびその装置
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
JP5595946B2 (ja) デジタルコンテンツ受信装置、デジタルコンテンツ受信方法、およびデジタルコンテンツ送受信方法
MX2012008816A (es) Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos.
KR101781887B1 (ko) 방송 신호 송수신 방법 및 장치
CN103168473B (zh) 数字接收机以及用于处理数字接收机中的3d 内容的方法
JPWO2013136754A1 (ja) 表示装置、及び送信装置
WO2013011696A1 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
CN103262549A (zh) 用于接收数字广播信号的设备和方法
KR20150004318A (ko) 3d 서비스를 위한 신호 처리 장치 및 방법
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
JP5957770B2 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
KR102016674B1 (ko) 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법
JP5933063B2 (ja) 受信装置および受信方法
JP5933062B2 (ja) 送受信システムおよび送受信方法
JP5980858B2 (ja) 受信装置および受信方法
JP2016226008A (ja) 受信装置および受信方法
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12815561

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013524615

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137035118

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2841197

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/000673

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 14233515

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12815561

Country of ref document: EP

Kind code of ref document: A1