WO2016084592A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2016084592A1
WO2016084592A1 PCT/JP2015/081524 JP2015081524W WO2016084592A1 WO 2016084592 A1 WO2016084592 A1 WO 2016084592A1 JP 2015081524 W JP2015081524 W JP 2015081524W WO 2016084592 A1 WO2016084592 A1 WO 2016084592A1
Authority
WO
WIPO (PCT)
Prior art keywords
view
stream
video
information
sound source
Prior art date
Application number
PCT/JP2015/081524
Other languages
English (en)
French (fr)
Inventor
高橋　和幸
北里　直久
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020177013143A priority Critical patent/KR102605480B1/ko
Priority to CN201580063452.7A priority patent/CN107004419B/zh
Priority to JP2016561483A priority patent/JP6624068B2/ja
Priority to US15/523,723 priority patent/US10880597B2/en
Priority to CA2967249A priority patent/CA2967249C/en
Priority to EP15862526.9A priority patent/EP3226241B1/en
Priority to MX2017006581A priority patent/MX2017006581A/es
Publication of WO2016084592A1 publication Critical patent/WO2016084592A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device that transmits an audio stream having audio data and position information of an object sound source together with a video stream.
  • the object sound source position information described above is based on one view.
  • the position and direction of the camera to be used differ for each camera. Therefore, when the view is switched on the receiving side, 3D audio rendering cannot be performed correctly except for the reference view.
  • the purpose of this technique is to enable 3D audio rendering to be performed correctly even when the view is switched on the receiving side.
  • the concept of this technology is Based on the first video stream having the video data of the first view, the second video stream having the video data of the second view, the audio data of the object sound source, and the first view of the object sound source.
  • a transmission unit for transmitting the container.
  • the encoding unit generates an audio stream together with a first video stream having video data of the first view and a second video stream having video data of the second view.
  • This audio stream has position information with reference to the audio data of the object sound source and the first view of the object sound source.
  • the transmission unit has a predetermined format including the first video stream, the second video stream, and the audio stream, and position correction information for correcting the position information of the object sound source to position information based on the second view.
  • a container is sent.
  • the position correction information may be a difference component between the positions and directions of the first view and the second view.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the position correction information may be inserted into the layer of the audio stream. In this case, the synchronization of the audio data and position information of the object sound source and the position correction information is guaranteed.
  • the position correction information may be inserted into a metadata area including the position information. In this case, for example, the position correction information may be inserted into the user data area.
  • a plurality of pieces of position correction information corresponding to the plurality of second views are inserted into the audio stream layer, and a plurality of positions are included in the container layer.
  • Information indicating the second video stream corresponding to each of the correction information may be inserted.
  • the position correction information may be inserted into the layer of the second video stream. In this case, it becomes easy to associate the position correction information with the second video stream. In this case, for example, the position correction information may be inserted into the user data area.
  • the position correction information may be inserted into the container layer.
  • the position correction information may be inserted as signaling information.
  • the receiving side it is possible to obtain position correction information at the system layer.
  • the container may be MPEG2-TS, and the position correction information may be inserted into a video elementary stream loop corresponding to the second video stream of the program map table.
  • an information stream including position correction information may be inserted.
  • the position correction information can be easily obtained from an information stream independent of the audio stream and the video stream.
  • the position correction information for correcting the position information of the object sound source to the position information based on the second view is transmitted together with the first video stream, the second video stream, and the audio stream. It is what is done. Therefore, when switching to the second view on the receiving side, the position information of the object sound source corrected with the position correction information so as to be based on the second view can be used, and 3D audio rendering can be performed. It can be done correctly.
  • a receiving unit that receives a container in a predetermined format including an audio stream having position information to be corrected, and position correction information for correcting the position information of the object sound source to position information based on the second view; And a processing unit that processes information included in the container.
  • the reception unit receives a first video stream having video data of the first view, a second video stream having video data of the second view, audio data of the object sound source, and the object sound source
  • a container having a predetermined format including an audio stream having position information based on the first view and position correction information for correcting the position information of the object sound source to position information based on the second view is received. The Then, the information included in the container is processed by the processing unit.
  • the processing unit obtains video data of the first view, video data of the second view, audio data of the object sound source, and position information from the first video stream, the second video stream, and the audio stream.
  • a selector that selectively outputs the video data of the first view or the video data of the second view, and a rendering unit that maps the audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source;
  • the rendering unit uses the position information corrected to be based on the second view based on the position correction information when the video data of the second view is selected by the selector. Also good.
  • the rendering is performed by using the position information corrected based on the position correction information so that the second view is used as a reference. Done. Therefore, even when view switching is performed, 3D audio rendering can be performed correctly.
  • a receiving unit that receives a container in a predetermined format including an audio stream having position information to be transmitted;
  • An acquisition unit for acquiring position correction information for correcting the position information of the object sound source to position information based on the second view;
  • a decoding unit for obtaining video data of the first view, video data of the second view, audio data of the object sound source, and position information from the first video stream, the second video stream, and the audio stream
  • a selector that selectively outputs the video data of the first view or the video data of the second view;
  • a rendering unit that maps the audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source;
  • the reception unit receives a first video stream having video data of the first view, a second video stream having video data of the second view, audio data of the object sound source, and the object sound source A container of a predetermined format including an audio stream having position information relative to the first view is received.
  • the acquisition unit acquires position correction information for correcting the position information of the object sound source to position information based on the second view.
  • the acquisition unit may acquire the position correction information from an audio stream layer, a second video stream layer, or a container layer.
  • the acquisition unit may acquire the position correction information from a server on the network.
  • the decoding unit obtains video data of the first view, video data of the second view, audio data of the object sound source, and position information from the first video stream, the second video stream, and the audio stream.
  • the selector selectively outputs video data of the first view or video data of the second view.
  • the rendering unit maps the audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source.
  • the position information corrected to be based on the second view based on the position correction information is used.
  • 3D audio rendering can be performed correctly even when the view is switched on the receiving side. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 10 is a diagram illustrating a configuration example of configuration information “userdataConfig ()”. It is a figure which shows the structural example of a component group descriptor (component_group_descriptor). It is a figure which shows the structural example of transport stream TS in case difference component VP2, VP3 is inserted in the layer of an audio stream. It is a figure which shows the structural example of a video sequence (Video_sequence). It is a figure which shows the structural example etc. of user data.
  • multiview position information 2 multiview position information 2 (multiview_Position_information2 ()). It is a figure which shows the structural example of the user data SEI in MPEG4-AVC or HEVC. It is a figure which shows the structural example of the transport stream TS in case the difference components VP2 and VP3 are inserted in the layer of a video stream. It is a figure which shows the structural example of a multi view position information descriptor. It is a figure which shows the structural example of transport stream TS in case the difference component VP2, VP3 is inserted as a signaling into the layer of a container (system). It is a block diagram which shows the other structural example of a transmitter.
  • FIG. 1 It is a figure which shows the structural example of a position correction information stream (elementary stream). It is a figure which shows the structural example of transport stream TS in case the difference components VP2 and VP3 are inserted as a position correction information stream. It is a figure which shows collectively the transmission system of position correction information. It is a block diagram which shows the structural example of a receiver. It is a block diagram which shows the other structural example of a receiver. It is a block diagram which shows the other structural example of a receiver.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a transmission device 100 and a reception device 200.
  • the transmission device 100 transmits the transport stream TS on a broadcast wave or a net packet.
  • the transport stream TS includes a plurality of video streams each having video data of a plurality of views, and an audio stream having audio data and position information of one or a plurality of object sound sources.
  • FIG. 2 shows an example of an assumed situation of view (video) shooting with a camera and audio listening with a microphone.
  • the transport stream TS includes a video stream and an audio stream corresponding to this assumed situation.
  • the transport stream TS includes a video stream having video data SV1 of view 1 (View1) obtained by shooting with the camera 11 and video data of view 2 (View2) obtained by shooting with the camera 12.
  • a video stream having SV2 and a video stream having video data SV3 of view 3 (View3) obtained by being photographed by the camera 13 are included.
  • the transport stream TS includes one audio stream.
  • This audio stream includes audio data obtained by the microphone 21 (audio data of the object sound source 1 (Object1)) and position information (position information of the object sound source 1) based on the view 1 of the microphone 21.
  • audio data obtained by the microphone 22 audio data of the object sound source 2 (Object 2)) and position information with reference to the view 1 of the microphone 22 (position information of the object sound source 2) Is included.
  • this transport stream TS has a difference component between the positions and directions of view 1 and view 2.
  • This difference component constitutes position correction information for correcting the position information of each object sound source to position information with view 2 as a reference.
  • the transport stream TS has a difference component between the positions and directions of the view 1 and the view 3.
  • This difference component constitutes position correction information for correcting the position information of each object sound source to position information with reference to the view 3.
  • the receiving device 200 receives the transport stream TS transmitted from the transmitting device 100 on broadcast waves or net packets.
  • this transport stream TS includes three video streams each having video data of view 1, view 2 and view 3, and one audio having audio data and position information of object sound source 1 and object sound source 2. Has a stream.
  • the transport stream TS includes a difference component between the positions and directions of the view 1 and the view 2 as position correction information for correcting the position information of each object sound source to position information with the view 2 as a reference.
  • the transport stream TS includes a difference component between the positions and directions of the views 1 and 3 as position correction information for correcting the position information of each object sound source into position information with the view 3 as a reference. ing.
  • the receiving apparatus 200 selectively presents images based on video data of view 1, view 2, and view 3. Further, the receiving apparatus 200 performs rendering by mapping audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source, and reproduces sound. At this time, when the view 2 or the view 3 is selected, the position information corrected by the difference component is used so that rendering can be performed correctly.
  • the position information corrected to be based on the second view based on the difference components between the positions and directions of the views 1 and 2 is used.
  • position information corrected so as to be based on the third view based on the difference components between the positions and directions of the views 1 and 3 is used.
  • FIG. 3 shows the relationship between the view 1 (View 1) and the position of the object sound source.
  • the position of the object sound source can be expressed by polar coordinates s (r, ⁇ , ⁇ ) with view 1 as a reference, and can also be expressed by orthogonal coordinates p (x, y, z).
  • s polar coordinates
  • p orthogonal coordinates
  • the transmission device 100 transmits an audio stream including audio data and position information of an object sound source.
  • This audio stream includes 3D audio metadata.
  • this metadata each coordinate value and gain value of the polar coordinates s (r, ⁇ , ⁇ ) of the object sound source are inserted.
  • FIG. 4 shows the positional relationship between View 2 (View 2) and the object sound source.
  • the position of the object sound source can be expressed by polar coordinates s ′ (r ′, ⁇ ′, ⁇ ′) with view 2 as a reference, and can be expressed by orthogonal coordinates p ′ (x ′, y ′, z ′).
  • the difference component between the positions and directions of the view 1 and the view 2 includes a spatial difference component ( ⁇ x, ⁇ y, ⁇ z) and a directional difference component ( ⁇ , ⁇ ).
  • the receiving apparatus 200 corrects the position information s (r, ⁇ , ⁇ ) of the object sound source to position information s ′ (r ′, ⁇ ′, ⁇ ′) based on the view 2.
  • FIG. 5 shows an example of the conversion formula in that case.
  • (x, y, z) corresponds to each coordinate value of the orthogonal coordinates p (x, y, z) of the object sound source, and (x1, y1, z1) represents the difference component ( ⁇ x, ⁇ y). , ⁇ z).
  • FIG. 6 shows a configuration example of the transmission device 100.
  • the transmission apparatus 100 includes a control unit 111, video encoders 112, 113, and 114, a 3D audio encoder 115, a system encoder 116, and a transmission unit 117.
  • the control unit 111 controls the operation of each unit of the transmission device 100.
  • the video encoders 112, 113, and 114 receive the video data SV1, SV2, and SV3 of the views 1, 2, and 3, respectively.
  • the 3D audio encoder 115 inputs object data related to the object sound sources 1 and 2 and performs encoding of, for example, MPEG-H 3D Audio on the object data to obtain an audio stream.
  • the object data related to the object sound source 1 includes object audio data SA1 and object metadata META1.
  • the object metadata META1 includes coordinate values and gain values of polar coordinates s (r, ⁇ , ⁇ ) of the object sound source 1.
  • the object data related to the object sound source 2 includes object audio data SA2 and object metadata META2.
  • the object metadata META2 includes the coordinate values and gain values of the polar coordinates s (r, ⁇ , ⁇ ) of the object sound source 2.
  • the system encoder 116 converts the video stream output from the video encoders 112, 113, and 114 and the audio stream output from the 3D audio encoder 115 into PES packets, further converts them into transport packets, multiplexes them, and converts them as a multiplexed stream.
  • a port stream TS is obtained.
  • the transmission unit 117 transmits the transport stream TS to a reception device 200 by placing it on a broadcast wave or a network packet.
  • the difference components VP2 ( ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇ ) between the positions and directions of the views 1 and 2 and the difference components VP3 between the positions and directions of the views 1 and 3 are displayed.
  • ( ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇ ) are inserted into (1) an audio stream layer, (2) a video stream layer, or (3) a container layer.
  • the difference component VP2 constitutes position correction information for correcting the position information of the object sound sources 1 and 2 to position information with the view 2 as a reference.
  • the difference component VP3 constitutes position correction information for correcting the position information of the object sound sources 1 and 2 to position information with the view 3 as a reference.
  • the 3D audio encoder 115 inserts difference components VP2 and VP3 as position correction information in the layer of the audio stream. In this case, it is inserted into the metadata area or the user data area.
  • FIG. 7 shows the structure of an audio frame of MPEG-H 3D Audio.
  • This audio frame is composed of a plurality of MPEG audio stream packets (mpeg
  • Each MPEG audio stream packet is composed of a header and a payload.
  • the header has information such as packet type (Packet type), packet label (Packet type Label), and packet length (Packet type Length).
  • Information defined by the packet type of the header is arranged in the payload.
  • the payload information includes “SYNC” corresponding to the synchronization start code, “Frame” that is actual data, and “Config” indicating the configuration of this “Frame”.
  • the object data related to the object sound source is composed of object audio data and object metadata as described above. These data are included in “Frame”.
  • the object audio data is included as encoded sample data of SCE (Single Channel Element).
  • the object metadata is included as an extension element (Ext_element).
  • an extension element (Ext_element) including user data can be defined.
  • the difference components VP2 and VP3 are inserted into the metadata area, the difference components VP2 and VP3 are inserted into the extension element (Ext_element) including the object metadata.
  • FIG. 8A shows a configuration example (Syntax) of object metadata (object_metadata ()).
  • FIG. 8B shows a configuration example (Syntax) of object metadata effective (object_metadata_efficient ()) included in the object metadata.
  • Multi-view position information 1 multiview_Position_information1 ()) having difference components VP2 and VP3 is arranged in the intra-coded metadata effective (intracoded_ object_metadata_efficient ()) of the object metadata effect.
  • FIG. 9 shows a configuration example (Syntax) of multiview position information 1 (multiview_Position_information1 ()).
  • a 1-bit field of “process_multiview” is a flag indicating multi-view.
  • multi-view there is an 8-bit field of “multiview_count”. This field indicates the total number of views. In the example illustrated in FIG. 2, the total number of views is “3”.
  • each view there is a field of difference component of each view except “total number ⁇ 1”, that is, view 1 (View1).
  • view 1 view 1
  • the difference component fields include an 8-bit field “ ⁇ x”, an 8-bit field “ ⁇ y”, an 8-bit field “ ⁇ z”, a 9-bit field “ ⁇ ”, and a 7-bit field “ ⁇ ”. Consists of.
  • the field of “ ⁇ x” indicates ⁇ x, that is, the value of the x coordinate of the target view (View) when View 1 (View1) is the origin.
  • the field “ ⁇ y” indicates ⁇ y, that is, the value of the y coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field “ ⁇ z” indicates ⁇ z, that is, the value of the z coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field of “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to View 1 (View 1).
  • the field “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to view 1 (View 1).
  • the difference components VP2 and VP3 are inserted into the user data area, the difference components VP2 and VP3 are inserted into extension elements (Ext_element) including user data.
  • an element (Ext_userdata) including user data (user_data ()) is newly defined as an extension element (Ext_element). Accordingly, the configuration information “userdataConfig ()” of the element (Ext_userdata) is newly defined in “Config”.
  • FIG. 10A shows a configuration example (syntax) of the configuration information “userdataConfig ()”.
  • a 32-bit field of “userdata_identifier” indicates that user data is set by setting a predetermined array value.
  • a 16-bit field of “userdata_frame_length” indicates the number of bytes of user data (user_data ()).
  • FIG. 10B shows a configuration example (syntax) of user data (user_data ()).
  • “GA94” By inserting “0x4741934” (“GA94”) into the 32-bit field of “user_data_identifier”, “ATSC_user_data ()” is included in the field of “user_structure ()”.
  • FIG. 10C illustrates a configuration example (syntax) of “ATSC_user_data ()”.
  • Multi-view position information 1 (multiview_Position_information1 ()), for example, “0x07” is inserted into the 8-bit field of “user_data_type_code”, so that the multi-view position information is inserted into the “user_data_type_structure ()” field.
  • 1 (multiview_Position_information1 ()) (see FIG. 9) is included.
  • the system encoder 116 inserts information indicating the video stream corresponding to each of the plurality of difference components into the container (system) layer. To do. For example, the system encoder 116 inserts a component group descriptor (component_group_descriptor) into an audio elementary stream loop corresponding to the audio stream.
  • component_group_descriptor component group descriptor
  • FIG. 11 shows a structural example (Syntax) of a component group descriptor.
  • An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates that it is a component group descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • the 4-bit field of “component_group_type” indicates the type of component group. Here, it is set to “0”, indicating that it is a video / audio component group related to multi-view of 3D audio.
  • a 4-bit field of “num_video” indicates the number of video streams (video elementary streams). Then, the 8-bit field of “component_tag” is repeated by this number in a for loop. This “component_tag” field indicates the value of the component tag (Component_tag) of the related video component.
  • component tag values of a video stream including video data of view 1 (View 1), view 2 (View 2), and view 3 (View 3) are described in order.
  • information such as a packet identifier (PID), a component tag (Component_tag), and a stream type (Stream_Type) is arranged in a video elementary stream loop corresponding to each video stream.
  • PID packet identifier
  • Component_tag component tag
  • Stream_Type stream type
  • the 8-bit field of“ num_audio ” indicates the number of audio streams (audio elementary streams). Then, the 8-bit field of “component_tag” is repeated by this number in a for loop. This “component_tag” field indicates the value of the component tag (Component_tag) of the related audio component.
  • FIG. 12 shows a configuration example of the transport stream TS when the difference components VP2 and VP3 are inserted into the audio stream layer.
  • the transport stream TS includes a PES packet “Video PES1” of the video stream including the video data of the view 1 (View1) and a PES packet “Video PES2” of the video stream including the video data of the view 2 (View2). Then, there is a PES packet “Video PES3” of a video stream including video data of View 3 (View 3).
  • multiview position information 1 (multiview_Position_information1 ()) (see FIG. 9) is inserted into the PES payload of the PES packet of this audio stream.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the PMT has a program descriptor (Program Descriptor) that describes information related to the entire program.
  • an elementary stream loop having information related to each elementary stream exists in the PMT.
  • video elementary stream loops Video ES loop
  • audio elementary stream loops Audio ES loop
  • each loop information such as a packet identifier (PID), a component tag (Component_tag), and a stream type (Stream_Type) is arranged.
  • PID packet identifier
  • Component_tag component tag
  • Stream_Type stream type
  • component_group_descriptor component group descriptor
  • the video encoder 113 inserts a difference component VP2 as position correction information into the layer of the video stream.
  • the video encoder 114 inserts a difference component VP3 as position correction information into the layer of the video stream. In this case, it is inserted into the user data area.
  • FIG. 13 shows a configuration example (Syntax) of a video sequence (Video_sequence).
  • This video sequence (Video_sequence) has a field of extension and user data (2) (extension_and_user_data (2)).
  • FIG. 14A shows a configuration example (Syntax) of the extension and user data (2).
  • the extension and user data (2) has a user data (user_data ()) field.
  • FIG. 14B shows a configuration example (Syntax) of this user data. By inserting “0x4741934” (“GA94”) into the 32-bit field of “user_data_identifier”, “ATSC_user_data ()” is included in the field of “user_structure ()”.
  • FIG. 14C illustrates a configuration example (syntax) of “ATSC_user_data ()”.
  • Multi-view position information 2 (multiview_Position_information2 ()), for example, “0x07” is inserted into the 8-bit field of “user_data_type_code”, so that the multi-view position information is inserted into the “user_data_type_structure ()” field.
  • 2 (multiview_Position_information2 ()) is included.
  • FIG. 15 shows a configuration example (Syntax) of multiview position information 2 (multiview_Position_information2 ()).
  • a 1-bit field of “process_multiview” is a flag indicating multi-view. When multi-view, there is a difference component field.
  • the multi-view position information 2 inserted in the layer of the video stream including the video data of View 2 (View 2) has a field of the difference component VP2, and the layer of the video stream including the video data of View 3 (View 3)
  • the field of the difference component VP3 exists in the multi-view position information 2 inserted into.
  • the difference component fields include an 8-bit field “ ⁇ x”, an 8-bit field “ ⁇ y”, an 8-bit field “ ⁇ z”, a 9-bit field “ ⁇ ”, and a 7-bit field “ ⁇ ”. Consists of.
  • the field of “ ⁇ x” indicates ⁇ x, that is, the value of the x coordinate of the target view (View) when View 1 (View1) is the origin.
  • the field “ ⁇ y” indicates ⁇ y, that is, the value of the y coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field “ ⁇ z” indicates ⁇ z, that is, the value of the z coordinate of the target view (View) when the view 1 (View1) is the origin.
  • the field of “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to View 1 (View 1).
  • the field “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to view 1 (View 1).
  • FIG. 16A shows a configuration example (syntax) of user data SEI.
  • GA94 0x47413934
  • ATSC1_data () is included in the field of “USER_structure ()”.
  • FIG. 16B shows a configuration example (syntax) of “ATSC1_data ()”.
  • Multi-view position information 2 (multiview_Position_information2 ()), for example, “0x07” is inserted into the 8-bit field of “user_data_type_code”, so that the multi-view position information is inserted into the “user_data_type_structure ()” field.
  • 2 (multiview_Position_information2 ()) is included.
  • FIG. 17 illustrates a configuration example of the transport stream TS when the difference components VP2 and VP3 are inserted into the video stream layer.
  • FIG. 17 portions corresponding to those in FIG.
  • the above-described multiview position information 2 (multiview_Position_information2 ()) (see FIG. 15) is inserted into the PES packet “Video PES2” of the video stream including the video data of View 2 (View 2). Further, the above-described multiview position information 2 (multiview_Position_information2 ()) (see FIG. 15) is inserted into the PES packet “Video PES3” of the video stream including the video data of the view 3 (View3).
  • the system encoder 116 inserts a multi-view position information descriptor (multiview_Position_information_descriptor) in the video elementary stream loop corresponding to the video streams of the view 2 (View2) and the view 3 (View3).
  • multiview position information descriptor multiview_Position_information_descriptor
  • FIG. 18 shows a configuration example (Syntax) of the multi-view position information descriptor.
  • An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates a multi-view position information descriptor.
  • the 8-bit field of “descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor.
  • the 1-bit field of “PTS_flag” is flag information indicating that there is time information (PTS) corresponding to the acquisition position information of the object sound source. When “1”, 33-bit time information exists. Further, this descriptor includes a field for a difference component.
  • the field of the difference component VP2 exists in the multi-view position information descriptor inserted in the video elementary stream loop corresponding to the video stream of View 2 (View 2). Further, the multi-view position information descriptor inserted in the video elementary stream loop corresponding to the video stream of View 3 (View 3) has a field of the difference component VP3.
  • the difference component fields include an 8-bit field “ ⁇ x”, an 8-bit field “ ⁇ y”, an 8-bit field “ ⁇ z”, a 9-bit field “ ⁇ ”, and a 7-bit field “ ⁇ ”. Consists of.
  • the field of “ ⁇ x” indicates ⁇ x, that is, the value of the x coordinate of the target view (View) when View 1 (View1) is the origin.
  • the field “ ⁇ y” indicates ⁇ y, that is, the value of the y coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field “ ⁇ z” indicates ⁇ z, that is, the value of the z coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field of “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to View 1 (View 1).
  • the field “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to view 1 (View 1).
  • FIG. 19 shows a configuration example of the transport stream TS when the difference components VP2 and VP3 are inserted as signaling into the container (system) layer.
  • the description of portions corresponding to those in FIG. 12 is omitted as appropriate.
  • the multi-view position information descriptor having the above-described difference component VP2 is inserted.
  • the multi-view position information descriptor in which the above-described difference component VP3 exists is inserted in the video elementary stream loop corresponding to the video stream of View 3 (View 3).
  • FIG. 20 illustrates a configuration example of the transmission device 100 in that case.
  • portions corresponding to those in FIG. 6 are denoted by the same reference numerals, and detailed description thereof will be omitted as appropriate.
  • the transmission device 100 includes position correction information encoders 118 and 119.
  • the position correction information encoder 118 encodes the difference component VP2 to generate a position correction information stream. Further, the position correction information encoder 118 encodes the difference component VP3 to generate a position correction information stream.
  • the system encoder 116 converts the video stream output from the video encoders 112, 113, and 114, the audio stream output from the 3D audio encoder 115, and the position correction information stream output from the position correction information encoders 118 and 119 into the PES. Packetized, further transport packetized and multiplexed to obtain a transport stream TS as a multiplexed stream
  • FIG. 21 shows a configuration example (Syntax) of the position correction information stream (elementary stream).
  • the 8-bit field of “data_identifier” is a value indicating PES data of position correction information.
  • the 4-bit field “PES_data_packet_header_length” indicates the length of the field “PES_Data_private_data_byte”. Service-dependent private data is inserted into the field “PES_Data_private_data_byte”.
  • the difference component fields include an 8-bit field “ ⁇ x”, an 8-bit field “ ⁇ y”, an 8-bit field “ ⁇ z”, a 9-bit field “ ⁇ ”, and a 7-bit field “ ⁇ ”. It consists of.
  • the field of “ ⁇ x” indicates ⁇ x, that is, the value of the x coordinate of the target view (View) when View 1 (View1) is the origin.
  • the field “ ⁇ y” indicates ⁇ y, that is, the value of the y coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field “ ⁇ z” indicates ⁇ z, that is, the value of the z coordinate of the target view (View) when view 1 (View1) is the origin.
  • the field “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to View 1 (View 1).
  • the field “ ⁇ ” indicates ⁇ , that is, the difference of ⁇ with respect to view 1 (View 1).
  • FIG. 22 shows a configuration example of the transport stream TS when the difference components VP2 and VP3 are inserted as position correction information streams.
  • FIG. 22 portions corresponding to those in FIG. 12 will not be described as appropriate.
  • the PES packet “Position PES1” of the position correction information stream including the difference component VP2 related to the view 2 (View2) and the PES of the position correction information stream including the difference component VP3 related to the view 3 (View3) are included.
  • the packet “Position PES2” exists.
  • the PMT includes position correction information / elementary stream loops (Position ES loop) corresponding to two position correction information streams, respectively.
  • FIG. 23 collectively shows the transmission method of the position correction information described above.
  • each position correction information is added for each video signal. Necessary information is transmitted for each video. It is not transmitted (the information to be transmitted is small) . When the video is selected by re-transmission, the position correction information is transmitted as it is, so that there is no need for extra processing.
  • Video data SV1, SV2, and SV3 of views 1, 2, and 3 are supplied to video encoders 112, 113, and 114, respectively.
  • the video data SV1, SV2, and SV3 are encoded by, for example, MPEG2, MPEG4-AVC, HEVC, or the like to obtain a video stream.
  • the object data SA1 and META1 related to the object sound source 1 and the object data SA2 and META2 related to the object sound source 2 are supplied to the 3D audio encoder 115.
  • the 3D audio encoder 115 for example, MPEG-H 3D Audio encoding is performed on the object data related to the object sound sources 1 and 2 to obtain an audio stream.
  • Video streams obtained by the video encoders 112, 113, and 114 are supplied to the system encoder 116.
  • the audio stream obtained by the 3D audio encoder 115 is supplied to the system encoder 116.
  • a stream supplied from each encoder is converted into a PES packet, further converted into a transport packet, and multiplexed to obtain a transport stream TS as a multiplexed stream.
  • the transport stream TS obtained by the system encoder 116 is supplied to the transmission unit 117.
  • the transport stream TS is transmitted to the reception device 200 on a broadcast wave or a net packet.
  • the difference component VP2 between the positions and directions of the views 1 and 2 and the difference component VP3 between the positions and directions of the views 1 and 3 are (1) an audio stream layer and (2) a video stream. Or (3) is inserted into the container layer and transmitted to the receiving apparatus 200.
  • FIG. 24 illustrates a configuration example of the receiving device 200.
  • the receiving apparatus 200 includes a control unit 211, a receiving unit 212, a system decoder 213, a selector 214, a video decoder 215, a display unit 216, a 3D audio decoder 217, a 3D audio renderer 218, and a speaker system 219. have.
  • the control unit 211 controls the operation of each unit of the receiving device 200.
  • the reception unit 212 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets.
  • This transport stream TS has three video streams each having video data of view 1, view 2 and view 3, and audio data having audio data and position information of object sound source 1 and object sound source 2 ( (See FIG. 2).
  • the system decoder 213 extracts three video stream packets each having video data of view 1, view 2 and view 3 from the transport stream TS, and reconstructs the three video streams. Further, the system decoder 213 extracts an audio stream packet from the transport stream TS, and reconstructs the audio stream.
  • the system decoder 213 extracts various information such as descriptor information from the transport stream TS, and sends it to the control unit 211.
  • the various information includes information of a multiview position information descriptor (multiview_Position_information_descriptor) (see FIG. 18) when the difference components VP2 and VP3 are inserted as signaling.
  • the various information includes information on a component group descriptor (component_group_descriptor) (see FIG. 11) when inserted in the layer of the audio stream.
  • the selector 214 selectively outputs one of the three video streams reconstructed by the system decoder 213 based on the selection control of the control unit 211 according to the user's view selection.
  • the video decoder 215 performs a decoding process on the video stream output from the selector 214 to obtain video data of a view selected by the user.
  • the video decoder 215 extracts various information inserted in the layer of the video stream and sends it to the control unit 211.
  • the various information includes information of multiview position information 2 (multiview_Position_information2 ()) (see FIG. 15) when the difference components VP2 and VP3 are inserted in the video stream layer.
  • the display unit 216 includes a display panel such as an LCD (Liquid Crystal Display) or an organic EL display (organic electroluminescence display).
  • the display unit 216 obtains display video data by performing scaling processing, image quality adjustment processing, and the like on the video data obtained by the video decoder 215, and displays an image based on the display video data on the display panel.
  • the 3D audio decoder 217 performs decoding processing on the audio stream reconstructed by the system decoder 213 to obtain object data related to the object sound sources 1 and 2.
  • the object data related to the object sound source 1 is composed of object audio data SA1 and object metadata META1, and the object metadata META1 includes coordinate values and gains of polar coordinates s (r, ⁇ , ⁇ ) of the object sound source 1. Gain) value is included.
  • the object data related to the object sound source 2 includes object audio data SA2 and object metadata META2.
  • the object metadata META2 includes coordinate values and gains (Gain) of polar coordinates s (r, ⁇ , ⁇ ) of the object sound source 2. ) Value is included.
  • the 3D audio decoder 217 extracts various information inserted in the layer of the audio stream and sends it to the control unit 211.
  • the various information includes information of multiview position information 1 (multiview_Position_information1 ()) (see FIG. 9) when the difference components VP2 and VP3 are inserted in the layer of the audio stream.
  • the 3D audio renderer 218 obtains audio data of a predetermined channel matched to the speaker system 219 based on the object data (audio data, position information) related to the object sound sources 1 and 2 obtained by the 3D audio decoder 217.
  • the 3D audio renderer 218 refers to the speaker arrangement information and maps the audio data of each object sound source to the speaker existing at an arbitrary position based on the position information.
  • the 3D audio renderer 218 includes a position correction calculation unit 218a.
  • the 3D audio renderer 218 uses the position information (r, ⁇ , ⁇ ) included in the object data (audio data, position information) related to the sound sources 1 and 2 obtained by the 3D audio decoder 217 as it is. use.
  • the 3D audio renderer 218 When the view 2 or the view 3 is selected, the 3D audio renderer 218 includes position information (r, ⁇ , ⁇ ) included in the object data (audio data, position information) related to the sound sources 1 and 2 obtained by the 3D audio decoder 217. ) Is corrected by the position correction calculation unit 218a using the conversion formula shown in FIG. 5, and the position information (r ′, ⁇ ′, ⁇ ′) is used.
  • the position correction calculation unit 218a uses the difference component VP2 ( ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇ ) between the positions and directions of the view 1 and the view 2 as a reference. Is corrected (converted) into position information (r ′, ⁇ ′, ⁇ ′) based on the view 2.
  • the position correction calculation unit 218a uses the difference component VP3 ( ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇ ) between the positions and directions of the view 1 and the view 1 as a reference.
  • the speaker system 219 obtains an acoustic output corresponding to the display image of the display unit 216 based on audio data of a predetermined channel obtained by the 3D audio renderer 218.
  • the reception unit 212 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets.
  • This transport stream TS includes three video streams having video data of view 1, view 2 and view 3, respectively, and audio data of object sound source 1 and object sound source 2 and an audio stream having position information. .
  • This transport stream TS is supplied to the system decoder 213.
  • system decoder 2113 three video stream packets each having video data of view 1, view 2 and view 3 are extracted from the transport stream TS, and the three video streams are reconstructed. Further, the system decoder 213 extracts audio stream packets from the transport stream TS, and reconfigures the audio stream.
  • the system decoder 213 extracts various information such as descriptor information from the transport stream TS and sends it to the control unit 211.
  • the various information includes information on the multi-view position information descriptor (see FIG. 18) when the difference components VP2 and VP3 are inserted as signaling.
  • the various types of information include information on component group descriptors (see FIG. 11) when inserted into the layer of the audio stream.
  • the three video streams reconstructed by the system decoder 213 are supplied to the selector 214.
  • the selector 214 selectively outputs one of the three video streams based on selection control of the control unit 211 according to the user's view selection.
  • the video stream output from the selector 214 is supplied to the video decoder 215.
  • the video decoder 215 performs a decoding process on the video stream, and obtains video data of a view selected by the user.
  • the video decoder 215 extracts various information inserted in the layer of the video stream and sends it to the control unit 211.
  • the various information includes information of multi-view position information 2 (see FIG. 15) when the difference components VP2 and VP3 are inserted in the layer of the video stream.
  • Video data obtained by the video decoder 215 is supplied to the display unit 216.
  • the video data obtained by the video decoder 215 is subjected to scaling processing, image quality adjustment processing, and the like to obtain display video data, and an image based on the display video data is displayed on the display panel. .
  • the audio stream reconstructed by the system decoder 213 is supplied to the 3D audio decoder 217.
  • the audio stream reconstructed by the system decoder 213 is subjected to decoding processing, and object data related to the object sound sources 1 and 2 is obtained.
  • various information inserted in the layer of the audio stream is extracted by the 3D audio decoder 217 and sent to the control unit 211.
  • the various information includes information of multi-view position information 1 (see FIG. 9) when the difference components VP2 and VP3 are inserted in the audio stream layer.
  • the object data related to the object sound sources 1 and 2 obtained by the 3D audio decoder 217 is supplied to the 3D audio renderer 218.
  • the 3D audio renderer 218 obtains audio data of a predetermined channel according to the speaker system 219 based on the object data (audio data, position information) related to the object sound sources 1 and 2.
  • the speaker arrangement information is referred to, and the audio data of each object sound source is mapped to the speaker existing at an arbitrary position based on the position information.
  • position information included in the object data (audio data, position information) related to the sound sources 1 and 2 obtained by the 3D audio decoder 217.
  • the differential components ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇
  • the audio data of a predetermined channel output from the 3D audio renderer 218 is supplied to the speaker system 219.
  • an acoustic output corresponding to the display image on the display unit 216 is obtained based on the audio data of the predetermined channel.
  • FIG. 25 shows a configuration example of the receiving apparatus 200 when the difference components VP2 and VP3 are inserted as position correction information streams in the container layer.
  • parts corresponding to those in FIG. 24 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • two position correction information streams each including the difference information VP2 and VP3 are obtained from the transport stream TS.
  • the position correction information stream including the difference information VP2 is supplied to the position correction information decoder 221.
  • the position correction information decoder 221 decodes the position correction information stream to obtain a difference component VP2.
  • the position correction information stream including the difference information VP3 is supplied to the position correction information decoder 222.
  • the position correction information stream is decoded to obtain a difference component VP3.
  • difference components VP2 and VP3 are supplied to the 3D audio renderer 218.
  • the speaker arrangement information is referred to, and the audio data of each object sound source is mapped to a speaker existing at an arbitrary position based on the position information (r, ⁇ , ⁇ ).
  • the position information (r ′, ⁇ ′, ⁇ ′) of the object sound sources 1 and 2 is corrected (converted) based on the difference components VP2 and VP3, respectively. Used.
  • the transmission device 100 uses the position information (r, ⁇ , ⁇ ) with respect to the view 1 of each object sound source as the position with respect to the view 2 and the view 3.
  • Position correction information (difference components VP2, VP3) for correction (conversion) to information (r ′, ⁇ ′, ⁇ ′) is inserted into the audio stream layer, video stream layer, or container layer and transmitted. Is. Therefore, on the receiving side, when switching to view 2 or view 3, the position information of the object sound source can be corrected and used, and 3D audio rendering can be performed correctly.
  • the position correction information is the difference component ( ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇ ) is shown.
  • the position correction information is not limited to the difference components ( ⁇ x, ⁇ y, ⁇ z, ⁇ , ⁇ ).
  • the receiving apparatus 200 has shown an example in which the difference components VP2 and VP3 are acquired from the audio stream layer, the video stream layer, or the container layer.
  • this difference component is acquired from a server connected to the network.
  • access information to the server may be transmitted from the transmission apparatus 100 to the reception apparatus 200 after being inserted into the audio stream layer, the video stream layer, or the container layer.
  • FIG. 26 shows a configuration example of the receiving apparatus 200 in that case.
  • portions corresponding to those in FIG. 24 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the difference components VP2 and VP3 are acquired by accessing a server connected to the network.
  • difference components VP2 and VP3 are supplied to the 3D audio renderer 218.
  • the speaker arrangement information is referred to, and the audio data of each object sound source is mapped to a speaker existing at an arbitrary position based on the position information (r, ⁇ , ⁇ ).
  • the position information (r ′, ⁇ ′, ⁇ ′) of the object sound sources 1 and 2 is corrected (converted) based on the difference components VP2 and VP3, respectively. Used.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system distributed in a container of MP4 or other formats.
  • MMT MPEG-Media-Transport
  • this technique can also take the following structures.
  • a first video stream having video data of a first view, a second video stream having video data of a second view, audio data of an object sound source, and the first view of the object sound source An encoding unit for generating an audio stream having position information based on A predetermined format including the first video stream, the second video stream, the audio stream, and position correction information for correcting the position information of the object sound source to position information based on the second view.
  • a transmission unit for transmitting the container of (2) The transmission device according to (1), wherein the position correction information is a difference component between a position and a direction of the first view and the second view.
  • the container is MPEG2-TS, The transmission apparatus according to (9), wherein the position correction information is inserted into a video elementary stream loop corresponding to the second video stream in the program map table.
  • an information stream including the position correction information is inserted.
  • a first video stream having video data of a first view, a second video stream having video data of a second view, audio data of an object sound source, and the first view of the object sound source An encoding step for generating an audio stream having position information based on Position correction information for correcting the first video stream, the second video stream, the audio stream, and the position information of the object sound source to position information based on the second view by the transmission unit; A transmission step of transmitting a container having a predetermined format including the transmission method.
  • a receiving unit for receiving a container in a predetermined format including an audio stream having position information with reference to the position and position correction information for correcting the position information of the object sound source to position information with reference to the second view
  • a receiving device comprising: a processing unit that processes information contained in the container.
  • the processing unit A decoding unit for obtaining video data of the first view, video data of the second view, audio data of the object sound source, and position information from the first video stream, the second video stream, and the audio stream
  • a selector that selectively outputs the video data of the first view or the video data of the second view
  • a rendering unit that maps the audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source;
  • the rendering unit uses the position information corrected to be based on the second view based on the position correction information.
  • the receiving unit By the receiving unit, the first video stream having the video data of the first view, the second video stream having the video data of the second view, the audio data of the object sound source, and the above of the object sound source
  • a container having a predetermined format including an audio stream having position information with reference to the first view and position correction information for correcting the position information of the object sound source to position information with reference to the second view.
  • a receiving unit for receiving a container in a predetermined format including an audio stream having position information based on An acquisition unit for acquiring position correction information for correcting the position information of the object sound source to position information based on the second view;
  • a decoding unit for obtaining video data of the first view, video data of the second view, audio data of the object sound source, and position information from the first video stream, the second video stream, and the audio stream
  • a selector that selectively outputs the video data of the first view or the video data of the second view;
  • a rendering unit that maps the audio data of the object sound source to an arbitrary speaker position based on the position information of the object sound source; When the video data of the second view is selected by the selector, the rendering unit uses position information corrected to be based on the second view based on the position correction information.
  • the receiving unit By the receiving unit, the first video stream having the video data of the first view, the second video stream having the video data of the second view, the audio data of the object sound source, and the above of the object sound source Receiving a container of a predetermined format including an audio stream having position information relative to the first view; An acquisition step of acquiring position correction information for correcting the position information of the object sound source to position information based on the second view; Decoding step of obtaining video data of the first view, video data of the second view, audio data of the object sound source and position information from the first video stream, the second video stream, and the audio stream When, A select step of selectively outputting the video data of the first view or the video data of the second view; A rendering step of obtaining audio data tailored to the speaker system based on the audio data and position information of the object sound source; In the rendering step, when video data of the second view is selected in the selection step, the position information corrected based on the position correction information so as to be based on the second view is used. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　受信側でビュー切り替えを行う場合であっても３Ｄオーディオレンダリングを正しく行い得るようにする。　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つオーディオストリームを生成する。第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームと、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、ビデオストリームと共にオブジェクト音源のオーディオデータおよび位置情報を持つオーディオストリームを送信する送信装置等に関する。
　従来、立体（３Ｄ）音響技術として、オブジェクト音源のオーディオデータをその位置情報に基づいて任意の位置に存在するスピーカにマッピングする３Ｄオーディオレンダリングの技術が提案されている（例えば、特許文献１参照）。
特表２０１４－５２０４９１号公報
　上述したオブジェクト音源の位置情報は、一つのビューを基準としている。同じコンテンツに対して複数のビューを撮影する場合、使用するカメラの位置や方向は、カメラごとに異なる。そのため、受信側でビューを切り替える場合、基準としたビュー以外では、３Ｄオーディオレンダリングを正しく行うことができなくなる。
　本技術の目的は、受信側でビュー切り替えを行う場合であっても３Ｄオーディオレンダリングを正しく行い得るようにすることにある。
　本技術の概念は、
　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコード部と、
　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信部とを備える
　送信装置にある。
　本技術において、エンコード部により、第１のビューのビデオデータを持つ第１のビデオストリームおよび第２のビューのビデオデータを持つ第２のビデオストリームと共に、オーディオストリームが生成される。このオーディオストリームは、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つものである。
　送信部により、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームと、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナが送信される。例えば、位置補正情報は、第１のビューと第２のビューの位置および方向の差分成分である、ようにされてもよい。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　例えば、位置補正情報は、オーディオストリームのレイヤに挿入される、ようにされてもよい。この場合、オブジェクト音源のオーディオデータおよび位置情報と位置補正情報との同期が保証される。この場合、例えば、位置補正情報は、位置情報が含まれるメタデータ領域に挿入される、ようにされてもよい。また、この場合、例えば、位置補正情報は、ユーザデータ領域に挿入される、ようにされてもよい。
　また、この場合、例えば、第２のビューが複数であるとき、オーディオストリームのレイヤに、複数の第２のビューに対応して複数の位置補正情報が挿入され、コンテナのレイヤに、複数の位置補正情報のそれぞれが対応する第２のビデオストリームを示す情報が挿入される、ようにされてもよい。
　また、例えば、位置補正情報は、第２のビデオストリームのレイヤに挿入される、ようにされてもよい。この場合、位置補正情報と第２のビデオストリームとの対応付けが容易となる。この場合、例えば、位置補正情報は、ユーザデータ領域に挿入される、ようにされてもよい。
　また、例えば、位置補正情報は、コンテナのレイヤに挿入される、ようにされてもよい。この場合、例えば、位置補正情報は、シグナリング情報として挿入される、ようにされてもよい。この場合、受信側では、システムのレイヤで位置補正情報を得ることが可能となる。
　この場合、コンテナは、ＭＰＥＧ２―ＴＳであり、位置補正情報は、プログラムマップテーブルの第２のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入される、ようにされてもよい。
　また、この場合、位置補正情報を含む情報ストリームが挿入される、ようにされてもよい。この場合、受信側では、オーディオストリームやビデオストリームとは独立した情報ストリームから位置補正情報を容易に取得可能となる。
　このように本技術においては、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームと共に、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報が送信されるものである。そのため、受信側で第２のビューに切り替えを行う場合、オブジェクト音源の位置情報としてこの位置補正情報で第２のビューを基準とするように補正されたものを用いることができ、３Ｄオーディオレンダリングを正しく行い得るようになる。
　また、本技術の他の概念は、
　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信部と、
　上記コンテナに含まれる情報を処理する処理部とを備える
　受信装置にある。
　本技術において、受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つオーディオストリームと共に、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナが受信される。そして、処理部により、コンテナに含まれる情報が処理される。
　例えば、処理部は、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームから、第１のビューのビデオデータ、第２のビューのビデオデータ、オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、第１のビューのビデオデータまたは第２のビューのビデオデータを選択的に出力するセレクタと、オブジェクト音源のオーディオデータをオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを有し、レンダリング部は、セレクタで第２のビューのビデオデータが選択されるとき位置補正情報に基づいて第２のビューを基準とするように補正された位置情報を用いる、ようにされてもよい。
　このように本技術においては、例えば、第２のビューのビデオデータが選択されるとき、位置補正情報に基づいて第２のビューを基準とするように補正された位置情報が用いられてレンダリングが行われる。そのため、ビュー切り替えが行われる場合であっても、３Ｄオーディオレンダリングを正しく行い得るようになる。
　また、本技術の他の概念は、
　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信部と、
　上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得部と、
　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
　上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを備え、
　上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
　受信装置にある。
　本技術において、受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナが受信される。
　取得部により、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報が取得される。例えば、取得部は、位置補正情報を、オーディオストリームのレイヤ、第２のビデオストリームのレイヤあるいはコンテナのレイヤから取得する、ようにされてもよい。また、例えば、取得部は、位置補正情報を、ネットワーク上のサーバから取得する、ようにされてもよい。
　デコード部により、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームから、第１のビューのビデオデータ、第２のビューのビデオデータ、オブジェクト音源のオーディオデータおよび位置情報が得られる。セレクタにより、第１のビューのビデオデータまたは第２のビューのビデオデータが選択的に出力される。
　レンダリング部により、オブジェクト音源のオーディオデータがオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングされる。このレンダリング部では、セレクタで第２のビューのビデオデータが選択されるとき、位置補正情報に基づいて第２のビューを基準とするように補正された位置情報が用いられる。
　このように本技術においては、第２のビューのビデオデータが選択されるとき、位置補正情報に基づいて第２のビューを基準とするように補正された位置情報が用いられてレンダリングが行われる。そのため、ビュー切り替えが行われる場合であっても、３Ｄオーディオレンダリングを正しく行い得るようになる。
　本技術によれば、受信側でビュー切り替えを行う場合であっても３Ｄオーディオレンダリングを正しく行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 カメラによるビュー（映像）撮影とマイクロホンによる音声聴取の想定される状況の一例を示す図である。 ビュー１（View1）とオブジェクト音源の位置関係を示す図である。 ビュー２（View2）とオブジェクト音源の位置関係を示す図である。 オブジェクト音源の位置情報ｓ（ｒ，θ，φ）を補正（変換）するための変換式の一例を示す図である。 送信装置の構成例を示すブロック図である。 ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏのオーディオフレームの構造を説明するための図である。 オブジェクトメタデータ（object_metadata()）の構成例などを示す図である。 マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）の構成例（Syntax）を示す図である。 構成情報「userdataConfig()」の構成例を示す図である。 コンポーネント・グループ・デスクリプタ（component_group_descriptor）の構造例を示す図である。 差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 ビデオシーケンス（Video_sequence）の構成例を示す図である。 ユーザデータの構成例などを示す図である。 マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）の構成例を示す図である。 ＭＰＥＧ４－ＡＶＣやＨＥＶＣにおけるユーザデータＳＥＩの構成例などを示す図である。 差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 マルチビュー・ポジション・インフォメーション・デスクリプタの構成例を示す図である。 差分成分ＶＰ２，ＶＰ３がコンテナ（システム）のレイヤにシグナリングとして挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 送信装置の他の構成例を示すブロック図である。 位置補正情報ストリーム（エレメンタリストリーム）の構成例を示す図である。 差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 位置補正情報の伝送方式をまとめて示す図である。 受信装置の構成例を示すブロック図である。 受信装置の他の構成例を示すブロック図である。 受信装置の他の構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と受信装置２００により構成されている。送信装置１００は、トランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて送信する。
　このトランスポートストリームＴＳは、複数のビューのビデオデータをそれぞれ持つ複数のビデオストリームと、一つまたは複数のオブジェクト音源のオーディオデータおよび位置情報を持つオーディオストリームを有している。図２は、カメラによるビュー（映像）撮影とマイクロホンによる音声聴取の想定される状況の一例を示している。この実施の形態において、トランスポートストリームＴＳには、この想定状況に対応したビデオストリームおよびオーディオストリームが含まれるものとする。
　すなわち、トランスポートストリームＴＳには、カメラ１１で撮影されて得られたビュー１（View1）のビデオデータＳＶ１を持つビデオストリームと、カメラ１２で撮影されて得られたビュー２（View2）のビデオデータＳＶ２を持つビデオストリームと、カメラ１３で撮影されて得られたビュー３（View3）のビデオデータＳＶ３を持つビデオストリームが含まれる。
　また、トランスポートストリームＴＳには、１つのオーディオストリームが含まれる。このオーディオストリームには、マイクロホン２１で得られたオーディオデータ（オブジェクト音源１（Object1）のオーディオデータ）と、このマイクロホン２１のビュー１を基準とする位置情報（オブジェクト音源１の位置情報）が含まれる。また、このオーディオストリームには、マイクロホン２２で得られたオーディオデータ（オブジェクト音源２（Object2）のオーディオデータ）と、このマイクロホン２２のビュー１を基準とする位置の情報（オブジェクト音源２の位置情報）が含まれる。
　また、このトランスポートストリームＴＳは、ビュー１とビュー２の位置および方向の差分成分を有している。この差分成分は、各オブジェクト音源の位置情報を、ビュー２を基準とする位置情報に補正するための位置補正情報を構成する。また、トランスポートストリームＴＳは、ビュー１とビュー３の位置および方向の差分成分を有している。この差分成分は、各オブジェクト音源の位置情報を、ビュー３を基準とする位置情報に補正するための位置補正情報を構成する。これらの差分成分は、オーディオストリームのレイヤ、あるいは第２のビューを構成するビュー２、ビュー３のビデオストリームのレイヤ、あるいはコンテナのレイヤに挿入される。
　受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、ビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームと、オブジェクト音源１およびオブジェクト音源２のオーディオデータおよび位置情報を持つ１つのオーディオストリームを有している。
　また、このトランスポートストリームＴＳは、各オブジェクト音源の位置情報を、ビュー２を基準とする位置情報に補正するための位置補正情報として、ビュー１とビュー２の位置および方向の差分成分を有している。また、このトランスポートストリームＴＳは、各オブジェクト音源の位置情報を、ビュー３を基準とする位置情報に補正するための位置補正情報として、ビュー１とビュー３の位置および方向の差分成分を有している。
　受信装置２００は、ビュー１、ビュー２、ビュー３のビデオデータによる画像を選択的に提示する。また、受信装置２００は、オブジェクト音源のオーディオデータをオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリングを行って、音声再生をする。この際、ビュー２やビュー３が選択される場合には、差分成分により補正された位置情報が用いられ、レンダリングが正しく行い得るようにされる。
　すなわち、ビュー２が選択されるとき、ビュー１とビュー２の位置および方向の差分成分に基づいて第２のビューを基準とするように補正された位置情報が用いられる。また、ビュー３が選択されるとき、ビュー１とビュー３の位置および方向の差分成分に基づいて第３のビューを基準とするように補正された位置情報が用いられる。
　図３は、ビュー１（View1）とオブジェクト音源の位置の関係を示している。オブジェクト音源の位置は、ビュー１を基準として、極座標ｓ（ｒ，θ，φ）で表記でき、また、直交座標ｐ（ｘ，ｙ，ｚ）で表記できる。ここで、“ｒ”はラジアス（Radius）を示し、“θ”はエレベーション（Elevation）を示し、“φ”はアジマス（Azimuth）を示している。
　上述したように、送信装置１００は、オブジェクト音源のオーディオデータおよび位置情報を含むオーディオストリームを送信する。このオーディオストリームには、３Ｄオーディオのメタデータが含まれる。このメタデータとして、オブジェクト音源の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が挿入される。
　図４は、ビュー２（View2）とオブジェクト音源の位置関係を示している。オブジェクト音源の位置は、ビュー２を基準として、極座標ｓ’（ｒ’，θ’，φ’）で表記でき、また、直交座標ｐ’（ｘ’，ｙ’，ｚ’）で表記できる。ここで、ビュー１とビュー２の位置および方向の差分成分は、空間的な位置の差分成分（Δｘ，Δｙ，Δｚ）と、方向の差分成分（Δθ，Δφ）とからなる。
　受信装置２００は、これらの差分成分を用いて、オブジェクト音源の位置情報ｓ（ｒ，θ，φ）を、ビュー２を基準とする位置情報ｓ’（ｒ’，θ’，φ’）に補正（変換）できる。図５は、その場合における変換式の一例を示している。なお、この変換式において、（ｘ，ｙ，ｚ）はオブジェクト音源の直交座標ｐ（ｘ，ｙ，ｚ）の各座標値に対応し、（ｘ1，ｙ1，ｚ1）は差分成分（Δｘ，Δｙ，Δｚ）に対応する。
　なお、詳細説明は省略するが、ビュー３とオブジェクト音源の位置関係についても同様である。
　［送信装置の構成例］
　図６は、送信装置１００の構成例を示している。この送信装置１００は、制御部１１１と、ビデオエンコーダ１１２，１１３，１１４と、３Ｄオーディオエンコーダ１１５と、システムエンコーダ１１６と、送信部１１７を有している。制御部１１１は、送信装置１００の各部の動作を制御する。
　ビデオエンコーダ１１２，１１３，１１４は、それぞれ、ビュー１，２，３のビデオデータＳＶ１，ＳＶ２，ＳＶ３を入力し、このビデオデータＳＶ１，ＳＶ２，ＳＶ３に対して、例えば、ＭＰＥＧ２、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化を施し、ビデオストリームを得る。３Ｄオーディオエンコーダ１１５は、オブジェクト音源１，２に係るオブジェクトデータを入力し、このオブジェクトデータに対して、例えばＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏの符号化を施し、オーディオストリームを得る。
　ここで、オブジェクト音源１に係るオブジェクトデータは、オブジェクトオーディオデータＳＡ１とオブジェクトメタデータＭＥＴＡ１とからなる。このオブジェクトメタデータＭＥＴＡ１には、オブジェクト音源１の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。また、オブジェクト音源２に係るオブジェクトデータは、オブジェクトオーディオデータＳＡ２とオブジェクトメタデータＭＥＴＡ２からなる。このオブジェクトメタデータＭＥＴＡ２には、オブジェクト音源２の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。
　システムエンコーダ１１６は、ビデオエンコーダ１１２，１１３，１１４から出力されるビデオストリームおよび３Ｄオーディオエンコーダ１１５から出力されるオーディオストリームを、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１１７は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
　この実施の形態において、送信装置１００では、ビュー１とビュー２の位置および方向の差分成分ＶＰ２（Δｘ，Δｙ，Δｚ，Δθ，Δφ）と、ビュー１とビュー３の位置および方向の差分成分ＶＰ３（Δｘ，Δｙ，Δｚ，Δθ，Δφ）が、（１）オーディオストリームのレイヤ、（２）ビデオストリームのレイヤ、あるいは（３）コンテナのレイヤに挿入される。ここで、差分成分ＶＰ２は、オブジェクト音源１，２の位置情報を、ビュー２を基準とする位置情報に補正するための位置補正情報を構成する。また、差分成分ＶＰ３は、オブジェクト音源１，２の位置情報を、ビュー３を基準とする位置情報に補正するための位置補正情報を構成する。
　「（１）オーディオストリームのレイヤに挿入される場合」
　差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合について説明する。この場合、３Ｄオーディオエンコーダ１１５は、オーディオストリームのレイヤに、位置補正情報としての差分成分ＶＰ２，ＶＰ３を挿入する。この場合、メタデータ領域あるいはユーザデータ領域に挿入される。
　図７は、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏのオーディオフレームの構造を示している。このオーディオフレームは、複数のＭＰＥＧオーディオストリームパケット（mpeg Audio Stream Packet）からなっている。各ＭＰＥＧオーディオストリームパケットは、ヘッダ（Header）とペイロード（Payload）により構成されている。
　ヘッダは、パケットタイプ（Packet Type）、パケットラベル（Packet Label）、パケットレングス（Packet Length）などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。このペイロード情報には、同期スタートコードに相当する“ＳＹＮＣ”と、実際のデータである“Ｆｒａｍｅ”と、この“Ｆｒａｍｅ”の構成を示す“Ｃｏｎｆｉｇ”が存在する。
　オブジェクト音源に係るオブジェクトデータは、上述したように、オブジェクトオーディオデータおよびオブジェクトメタデータとからなる。これらのデータは“Ｆｒａｍｅ”に含まれる。ここで、オブジェクトオーディオデータは、ＳＣＥ（Single Channel Element）の符号化サンプルデータとして含まれる。また、オブジェクトメタデータは、エクステンションエレメント（Ext_element）として含まれる。また、ユーザデータを含めるエクステンションエレメント（Ext_element）を定義することもできる。
　差分成分ＶＰ２，ＶＰ３がメタデータ領域に挿入される場合、この差分成分ＶＰ２，ＶＰ３は、オブジェクトメタデータが含まれるエクステンションエレメント（Ext_element）に挿入される。
　図８（ａ）は、オブジェクトメタデータ（object_metadata()）の構成例（Syntax）を示している。図８（ｂ）は、このオブジェクトメタデータに含まれる、オブジェクトメタデータ・エフィシェント（object_metadata_efficient()）の構成例（Syntax）を示している。このオブジェクト・メタデータ・エフィシェントのイントラコーデド・メタデータ・エフィシェント（intracoded_ object_metadata_efficient()）内に、差分成分ＶＰ２，ＶＰ３を持つマルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）が配置される。
　図９は、マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）の構成例（Syntax）を示している。「process_multiview」の１ビットフィールドは、マルチビューであることを示すフラグである。マルチビューであるとき、「multiview_count」の８ビットフィールドが存在する。このフィールドは、ビューの総数を示す。図２に示す例では、ビューの総数は「３」である。
　そして、“総数－１”だけ、つまりビュー１（View1）以外の各ビューの差分成分のフィールドが存在する。図２に示す例では、ビュー２（View2）、ビュー３（View3）の差分成分ＶＰ２，ＶＰ３のフィールドが存在することになる。差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
　「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
　差分成分ＶＰ２，ＶＰ３がユーザデータ領域に挿入される場合、この差分成分ＶＰ２，ＶＰ３は、ユーザデータを含めるエクステンションエレメント（Ext_element）に挿入される。
　この場合、エクステンションエレメント（Ext_element）としてユーザデータ（user_data()）が含まれるエレメント（Ext_userdata）が新たに定義される。これに伴って、“Ｃｏｎｆｉｇ”に、そのエレメント（Ext_userdata）の構成情報「userdataConfig()」が新たに定義される。
　図１０（ａ）は、構成情報「userdataConfig()」の構成例（syntax）を示している。「userdata_identifier」の３２ビットフィールドは、予め定義された配列の値がセットされることでユーザデータであることを示す。「userdata_frame_length」の１６ビットフィールドは、ユーザデータ（user_data()）のバイト数を示す。
　図１０（ｂ）は、ユーザデータ（user_data()）の構成例（syntax）を示している。「user_data_identifier」の３２ビットフィールドに“０ｘ４７４１３９３４”（“ＧＡ９４”）が挿入されることで、「user_structure()」のフィールドに、「ATSC_user_data()」が含まれる。図１０（ｃ）は、「ATSC_user_data()」の構成例（syntax）を示している。
　「user_data_type_code」の８ビットフィールドに、マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）を示す、例えば“０ｘ０７”が挿入されることで、「user_data_type_structure()」のフィールドに、マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）（図９参照）が含まれる。
　なお、このように差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合、システムエンコーダ１１６は、コンテナ（システム）のレイヤに、複数の差分成分のそれぞれが対応するビデオストリームを示す情報を挿入する。例えば、システムエンコーダ１１６は、オーディオストリームに対応したオーディオ・エレメンタリストリームループ内に、コンポーネント・グループ・デスクリプタ（component_group_descriptor）を用いて挿入する。
　図１１は、コンポーネント・グループ・デスクリプタの構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、コンポーネント・グループ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
　「component_group_type」の４ビットフィールドは、コンポーネント・グループのタイプを示す。ここでは、“０”とされ、３Ｄオーディオのマルチビューに関連する映像・音声のコンポーネント・グループであることが示される。「num_video」の４ビットフィールドは、ビデオストリーム（ビデオエレメンタリストリーム）の個数を示す。そして、この個数分だけフォーループ（for loop）で、「component_tag」の８ビットフィールドが繰り返えされる。この「component_tag」のフィールドは、関連する映像コンポーネントのコンポーネントタグ（Component_tag）の値を示す。
　この実施の形態において、ビュー１（View1）、ビュー２（View2）、ビュー３（View3）のビデオデータを含むビデオストリームのコンポーネントタグの値が順に記述される。因みに、各ビデオストリームに対応したビデオ・エレメンタリストリームループ内には、パケット識別子（PID）、コンポーネントタグ（Component_tag）、ストリームタイプ（Stream_Type）等の情報が配置されている。これにより、ビュー２（View2）、ビュー３（View3）のビデオデータを含むビデオストリームが特定され、従って、オーディオストリームのレイヤに挿入される差分成分ＶＰ２，ＶＰ３のそれぞれが対応するビデオストリームが特定される。
　「num_audio」の８ビットフィールドは、オーディオストリーム（オーディオエレメンタリストリーム）の個数を示す。そして、この個数分だけフォーループ（for loop）で、「component_tag」の８ビットフィールドが繰り返される。この「component_tag」のフィールドは、関連する音声コンポーネントのコンポーネントタグ（Component_tag）の値を示す。
　図１２は、差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合における、トランスポートストリームＴＳの構成例を示している。この場合、トランスポートストリームＴＳには、ビュー１（View1）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES1」と、ビュー２（View2）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES2」と、ビュー３（View3）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES3」が存在する。
　また、トランスポートストリームＴＳには、オーディオストリームのＰＥＳパケット「audio PES」が存在する。このオーディオストリームのＰＥＳパケットのＰＥＳペイロードには、上述したマルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）（図９参照）が挿入されている。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。
　また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、３つのビデオストリームにそれぞれ対応したビデオ・エレメンタリストリームループ（Video ES loop）が存在すると共に、オーディオストリームに対応したオーディオ・エレメンタリストリームループ（Audio ES loop）が存在する。
　各ループには、パケット識別子（PID）、コンポーネントタグ（Component_tag）、ストリームタイプ（Stream_Type）等の情報が配置されている。 また、オーディオ・エレメンタリストリームループには、上述したコンポーネント・グループ・デスクリプタ（component_group_descriptor）（図１１参照）が配置されている。
　「（２）ビデオストリームのレイヤに挿入される場合」
　差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合について説明する。この場合、ビデオエンコーダ１１３は、ビデオストリームのレイヤに、位置補正情報としての差分成分ＶＰ２を挿入する。また、この場合、ビデオエンコーダ１１４は、ビデオストリームのレイヤに、位置補正情報としての差分成分ＶＰ３を挿入する。この場合、ユーザデータ領域に挿入される。
　最初にＭＰＥＧ２の符号化が施される場合について説明する。図１３は、ビデオシーケンス（Video_sequence）の構成例（Syntax）を示している。このビデオシーケンス（Video_sequence）にエクステンション・アンド・ユーザデータ（２）（extension_and_user_data(2)）のフィールドが存在する。図１４（ａ）は、このエクステンション・アンド・ユーザ・データ（２）の構成例（Syntax）を示している。
　このエクステンション・アンド・ユーザデータ（２）にユーザデータ（user_data()）のフィールドが存在する。図１４（ｂ）は、このユーザデータの構成例（Syntax）を示している。「user_data_identifier」の３２ビットフィールドに“０ｘ４７４１３９３４”（“ＧＡ９４”）が挿入されることで、「user_structure()」のフィールドに、「ATSC_user_data()」が含まれる。
　図１４（ｃ）は、「ATSC_user_data()」の構成例（syntax）を示している。「user_data_type_code」の８ビットフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）を示す、例えば“０ｘ０７”が挿入されることで、「user_data_type_structure()」のフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）が含まれる。
　図１５は、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）の構成例（Syntax）を示している。「process_multiview」の１ビットフィールドは、マルチビューであることを示すフラグである。マルチビューであるとき、差分成分のフィールドが存在する。
　ビュー２（View2）のビデオデータを含むビデオストリームのレイヤに挿入されるマルチビュー・ポジション・インフォメーション２には差分成分ＶＰ２のフィールドが存在し、ビュー３（View3）のビデオデータを含むビデオストリームのレイヤに挿入されるマルチビュー・ポジション・インフォメーション２には差分成分ＶＰ３のフィールドが存在することになる。
　差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
　「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
　次に、ＭＰＥＧ４－ＡＶＣやＨＥＶＣの符号化が施される場合について説明する。図１６（ａ）は、ユーザデータＳＥＩの構成例（syntax）を示している。「USER_identifier」の３２ビットフィールドに“０ｘ４７４１３９３４”（“ＧＡ９４”）が挿入されることで、「USER_structure()」のフィールドに、「ATSC1_data()」が含まれる。
　図１６（ｂ）は、「ATSC1_data()」の構成例（syntax）を示している。「user_data_type_code」の８ビットフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）を示す、例えば“０ｘ０７”が挿入されることで、「user_data_type_structure()」のフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）が含まれる。
　図１７は、差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合における、トランスポートストリームＴＳの構成例を示している。この図１７において、図１２と対応する部分については、適宜、その説明は省略する。
　ビュー２（View2）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES2」には、上述したマルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）（図１５参照）が挿入される。また、ビュー３（View3）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES3」には、上述したマルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）（図１５参照）が挿入される。
　なお、このように差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合、差分成分とビデオストリームの対応関係は明白となる。そのため、この場合には、コンテナ（システム）のレイヤに、コンポーネント・グループ・デスクリプタ（component_group_descriptor）が挿入される必要はない。
　「（３）コンテナ（システム）のレイヤに挿入される場合」
　差分成分ＶＰ２，ＶＰ３がコンテナ（システム）のレイヤに挿入される場合について説明する。この場合、シグナリング情報として挿入されるか、あるいは位置補正情報ストリームとして挿入される。
　最初に、差分成分ＶＰ２，ＶＰ３がシグナリングとして挿入される場合について説明する。この場合、システムエンコーダ１１６は、ビュー２（View2）、ビュー３（View3）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に、マルチビュー・ポジション・インフォメーション・デスクリプタ（multiview_Position_information_descriptor）を挿入する。
　図１８は、マルチビュー・ポジション・インフォメーション・デスクリプタの構成例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、マルチビュー・ポジション・インフォメーション・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
　「PTS_flag」の１ビットフィールドは、オブジェクト音源の取得位置情報に対応する時刻情報（ＰＴＳ）があることを示すフラグ情報である。“１”であるとき、３３ビットの時刻情報が存在する。また、このデスクリプタには、差分成分のフィールドが存在する。
　ビュー２（View2）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入されるマルチビュー・ポジション・インフォメーション・デスクリプタには差分成分ＶＰ２のフィールドが存在する。また、ビュー３（View3）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入されるマルチビュー・ポジション・インフォメーション・デスクリプタには差分成分ＶＰ３のフィールドが存在する。
　差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
　「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
　図１９は、差分成分ＶＰ２，ＶＰ３がコンテナ（システム）のレイヤにシグナリングとして挿入される場合における、トランスポートストリームＴＳの構成例を示している。この図１９において、図１２と対応する部分については、適宜、その説明は省略する。
　ビュー２（View2）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に、上述した差分成分ＶＰ２が存在するマルチビュー・ポジション・インフォメーション・デスクリプタが挿入される。また、ビュー３（View3）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に、上述した差分成分ＶＰ３が存在するマルチビュー・ポジション・インフォメーション・デスクリプタが挿入される。
　次に、差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入される場合について説明する。図２０は、その場合における、送信装置１００の構成例を示している。この図２０において、図６と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
　この送信装置１００は、位置補正情報エンコーダ１１８，１１９を有している。位置補正情報エンコーダ１１８は、差分成分ＶＰ２に対して符号化を施し、位置補正情報ストリームを生成する。また、位置補正情報エンコーダ１１８は、差分成分ＶＰ３に対して符号化を施し、位置補正情報ストリームを生成する。
　システムエンコーダ１１６は、ビデオエンコーダ１１２，１１３，１１４から出力されるビデオストリーム、３Ｄオーディオエンコーダ１１５から出力されるオーディオストリーム、さらには位置補正情報エンコーダ１１８，１１９から出力される位置補正情報ストリームを、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る
　図２１は、位置補正情報ストリーム（エレメンタリストリーム）の構成例（Syntax）を示している。「data_identifier」の８ビットフィールドは、位置補正情報のＰＥＳデータであることを示す値とされる。「PES_data_packet_header_length」の４ビットフィールドは、「PES_Data_private_data_byte」のフィールドの長さを示す。「PES_Data_private_data_byte」のフィールドにサービス依存のプライベートデータが挿入される。
　そして、この位置補正情報ストリームには、対応するビューの差分成分のフィールドが存在する。この差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
　「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
　図２２は、差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入される場合における、トランスポートストリームＴＳの構成例を示している。この図２２において、図１２と対応する部分については、適宜、その説明は省略する。
　トランスポートストリームＴＳには、ビュー２（View2）に係る差分成分ＶＰ２を含む位置補正情報ストリームのＰＥＳパケット「Position PES1」と、ビュー３（View3）に係る差分成分ＶＰ３を含む位置補正情報ストリームのＰＥＳパケット「Position PES2」が存在する。また、ＰＭＴには、２つの位置補正情報ストリームにそれぞれ対応した位置補正情報・エレメンタリストリームループ（Position ES loop）が存在する。
　図２３は、上述した位置補正情報の伝送方式をまとめて示したものである。（１）オーディオストリームのレイヤに挿入される場合、例えば、「音声信号に、音声の聴取位置情報と、位置補正情報が付加される。音声信号のみから位置補正演算回路へ情報伝達すればよい。同一の音声信号に包含されているので、これらの信号の同期が保証される。」などの特徴がある。
　また、（２）ビデオストリームのレイヤに挿入される場合、例えば、「映像信号ごとに、それぞれの位置補正情報を付加する。それぞれの映像ごとに必要な情報が伝送されるので、余分な情報が伝送されない（伝送する情報が少ない）。再送信で映像を選択する場合、位置補正情報がそのまま伝送されるため、余分な処理が不要となる。」などの特徴がある。
　また、（３）コンテナ（システム）のレイヤに挿入される場合、シグナリングとして挿入するときには、例えば、「記述子として伝送することにより、システムレイヤで必要な情報が判別できる。」などの特徴があり、位置補正情報ストリームとして挿入するときには、例えば、「映像信号に対応した独立したストリームとして、タイムラインと共に位置補正情報を伝送する。再送信で映像を選択する場合、対応する位置補正情報を選択して伝送することができる。」などの特徴がある。
　図６に示す送信装置１００の動作を簡単に説明する。ビュー１，２，３のビデオデータＳＶ１，ＳＶ２，ＳＶ３はそれぞれビデオエンコーダ１１２，１１３，１１４に供給される。ビデオエンコーダ１１２，１１３，１１４では、それぞれ、ビデオデータＳＶ１，ＳＶ２，ＳＶ３に対して、例えば、ＭＰＥＧ２、ＭＰＥＧ４－ＡＶＣあるいはＨＥＶＣなどの符号化が施され、ビデオストリームが得られる。
　オブジェクト音源１に係るオブジェクトデータＳＡ１，ＭＥＴＡ１と、オブジェクト音源２に係るオブジェクトデータＳＡ２，ＭＥＴＡ２は、３Ｄオーディオエンコーダ１１５に供給される。３Ｄオーディオエンコーダ１１５では、オブジェクト音源１，２に係るオブジェクトデータに対して、例えばＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏの符号化が施され、オーディオストリームが得られる。
　ビデオエンコーダ１１２，１１３，１１４で得られるビデオストリームは、システムエンコーダ１１６に供給される。３Ｄオーディオエンコーダ１１５で得られるオーディオストリームは、システムエンコーダ１１６に供給される。システムエンコーダ１１６では、各エンコーダから供給されるストリームが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
　システムエンコーダ１１６で得られるトランスポートストリームＴＳは、送信部１１７に供給される。送信部１１７では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
　また、送信装置１００では、ビュー１とビュー２の位置および方向の差分成分ＶＰ２と、ビュー１とビュー３の位置および方向の差分成分ＶＰ３が、（１）オーディオストリームのレイヤ、（２）ビデオストリームのレイヤ、あるいは（３）コンテナのレイヤに挿入されて、受信装置２００に送信される。
　［受信装置の構成例］
　図２４は、受信装置２００の構成例を示している。この受信装置２００は、制御部２１１と、受信部２１２と、システムデコーダ２１３と、セレクタ２１４と、ビデオデコーダ２１５と、表示部２１６と、３Ｄオーディオデコーダ２１７と、３Ｄオーディオレンダラ２１８と、スピーカシステム２１９を有している。制御部２１１は、受信装置２００の各部の動作を制御する。
　受信部２１２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、ビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームと、オブジェクト音源１およびオブジェクト音源２のオーディオデータおよび位置情報を持つオーディオストリームを有している（図２参照）。
　システムデコーダ２１３は、トランスポートストリームＴＳからビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームのパケットを抽出し、当該３つのビデオストリームを再構成する。また、システムデコーダ２１３は、トランスポートストリームＴＳからオーディオストリームのパケットを抽出し、当該オーディオストリームを再構成する。
　システムデコーダ２１３は、トランスポートストリームＴＳからデスクリプタ情報などの各種情報を抽出し、制御部２１１に送る。各種情報には、差分成分ＶＰ２，ＶＰ３がシグナリングとして挿入されている場合におけるマルチビュー・ポジション・インフォメーション・デスクリプタ（multiview_Position_information_descriptor）（図１８参照）の情報も含まれる。また、この各種情報には、オーディオストリームのレイヤに挿入されている場合におけるコンポーネント・グループ・デスクリプタ（component_group_descriptor）（図１１参照）の情報も含まれる。
　セレクタ２１４は、ユーザのビュー選択に応じた制御部２１１の選択制御に基づいて、システムデコーダ２１３で再構成された３つのビデオストリームのうちのいずれかを選択的に出力する。ビデオデコーダ２１５は、セレクタ２１４から出力されるビデオストリームに対して復号化処理を施し、ユーザが選択したビューのビデオデータを得る。
　また、ビデオデコーダ２１５は、ビデオストリームのレイヤに挿入されている各種情報を抽出し、制御部２１１に送る。各種情報には、差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）（図１５参照）の情報も含まれる。
　表示部２１６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などの表示パネルを備えている。表示部２１６は、ビデオデコーダ２１５で得られたビデオデータに対してスケーリング処理、画質調整処理などを行って表示用ビデオデータを得、当該表示用ビデオデータによる画像を表示パネルに表示する。
　３Ｄオーディオデコーダ２１７は、システムデコーダ２１３で再構成されたオーディオストリームに対して復号化処理を施し、オブジェクト音源１，２に係るオブジェクトデータを得る。
　ここで、オブジェクト音源１に係るオブジェクトデータはオブジェクトオーディオデータＳＡ１とオブジェクトメタデータＭＥＴＡ１とからなり、オブジェクトメタデータＭＥＴＡ１にはオブジェクト音源１の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。また、オブジェクト音源２に係るオブジェクトデータはオブジェクトオーディオデータＳＡ２とオブジェクトメタデータＭＥＴＡ２からなり、このオブジェクトメタデータＭＥＴＡ２にはオブジェクト音源２の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。
　また、３Ｄオーディオデコーダ２１７は、オーディオストリームのレイヤに挿入されている各種情報を抽出し、制御部２１１に送る。各種情報には、差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）（図９参照）の情報も含まれる。
　３Ｄオーディオレンダラ２１８は、３Ｄオーディオデコーダ２１７で得られるオブジェクト音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に基づいて、スピーカシステム２１９に合わせた所定チャネルのオーディオデータを得る。この場合、３Ｄオーディオレンダラ２１８は、スピーカ配置情報を参照して、各オブジェクト音源のオーディオデータをその位置情報に基づいて任意の位置に存在するスピーカにマッピングする。
　３Ｄオーディオレンダラ２１８は、位置補正演算部２１８ａを備えている。ビュー１が選択される場合、３Ｄオーディオレンダラ２１８は、３Ｄオーディオデコーダ２１７で得られる音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に含まれる位置情報（ｒ，θ，φ）をそのまま使用する。
　ビュー２あるいはビュー３が選択される場合、３Ｄオーディオレンダラ２１８は、３Ｄオーディオデコーダ２１７で得られる音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に含まれる位置情報（ｒ，θ，φ）を位置補正演算部２１８ａで、図５に示す変換式を用いて補正した後の位置情報（ｒ’，θ’，φ’）を使用する。
　ここで、ビュー２が選択される場合、位置補正演算部２１８ａは、ビュー１とビュー２の位置および方向の差分成分ＶＰ２（Δｘ，Δｙ，Δｚ，Δθ，Δφ）を用いて、ビュー１を基準とする位置情報（ｒ，θ，φ）を、ビュー２を基準とする位置情報（ｒ’，θ’，φ’）に補正（変換）する。また、ビュー３が選択される場合、位置補正演算部２１８ａは、ビュー１とビュー３の位置および方向の差分成分ＶＰ３（Δｘ，Δｙ，Δｚ，Δθ，Δφ）を用いて、ビュー１を基準とする位置情報（ｒ，θ，φ）を、ビュー３を基準とする位置情報（ｒ’，θ’，φ’）に補正（変換）する。
　スピーカシステム２１９は、３Ｄオーディオレンダラ２１８で得られた所定チャネルのオーディオデータに基づいて、表示部２１６の表示画像に対応した音響出力を得る。
　図２４に示す受信装置２００の動作を簡単に説明する。受信部２１２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームと、オブジェクト音源１およびオブジェクト音源２のオーディオデータおよび位置情報を持つオーディオストリームが含まれている。このトランスポートストリームＴＳは、システムデコーダ２１３に供給される。
　システムデコーダ２１３では、トランスポートストリームＴＳからビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームのパケットが抽出され、当該３つのビデオストリームが再構成される。また、システムデコーダ２１３では、トランスポートストリームＴＳからオーディオストリームのパケットが抽出され、当該オーディオストリームが再構成される。
　また、システムデコーダ２１３では、トランスポートストリームＴＳからデスクリプタ情報などの各種情報が抽出され、制御部２１１に送られる。各種情報には、差分成分ＶＰ２，ＶＰ３がシグナリングとして挿入されている場合におけるマルチビュー・ポジション・インフォメーション・デスクリプタ（図１８参照）の情報も含まれる。また、この各種情報には、オーディオストリームのレイヤに挿入されている場合におけるコンポーネント・グループ・デスクリプタ（図１１参照）の情報も含まれる。
　システムデコーダ２１３で再構成された３つのビデオストリームは、セレクタ２１４に供給される。セレクタ２１４では、ユーザのビュー選択に応じた制御部２１１の選択制御に基づいて、３つのビデオストリームのうちのいずれかが選択的に出力される。セレクタ２１４から出力されるビデオストリームは、ビデオデコーダ２１５に供給される。ビデオデコーダ２１５では、ビデオストリームに対して復号化処理が施され、ユーザが選択したビューのビデオデータが得られる。
　また、ビデオデコーダ２１５では、ビデオストリームのレイヤに挿入されている各種情報が抽出され、制御部２１１に送られる。各種情報には、差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション２（図１５参照）の情報も含まれる。
　ビデオデコーダ２１５で得られるビデオデータは、表示部２１６に供給される。表示部２１６では、ビデオデコーダ２１５で得られたビデオデータに対してスケーリング処理、画質調整処理などが行われて表示用ビデオデータが得られ、当該表示用ビデオデータによる画像が表示パネルに表示される。
　また、システムデコーダ２１３で再構成されたオーディオストリームは、３Ｄオーディオデコーダ２１７に供給される。３Ｄオーディオデコーダ２１７では、システムデコーダ２１３で再構成されたオーディオストリームに対して復号化処理が施され、オブジェクト音源１，２に係るオブジェクトデータ得られる。
　また、３Ｄオーディオデコーダ２１７で、オーディオストリームのレイヤに挿入されている各種情報が抽出され、制御部２１１に送られる。各種情報には、差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション１（図９参照）の情報も含まれる。
　３Ｄオーディオデコーダ２１７で得られるオブジェクト音源１，２に係るオブジェクトデータは、３Ｄオーディオレンダラ２１８に供給される。３Ｄオーディオレンダラ２１８では、オブジェクト音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に基づいて、スピーカシステム２１９に合わせた所定チャネルのオーディオデータが得られる。この場合、３Ｄオーディオレンダラ２１８では、スピーカ配置情報が参照されて、各オブジェクト音源のオーディオデータがその位置情報に基づいて任意の位置に存在するスピーカにマッピングされる。
　この際、３Ｄオーディオレンダラ２１８では、ビュー２が選択される場合、３Ｄオーディオデコーダ２１７で得られる音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に含まれる位置情報（ｒ，θ，φ）が、上述したようにコンテナのレイヤ、ビデオストリームのレイヤ、あるいはオーディオストリームのレイヤから抽出された差分成分（Δｘ，Δｙ，Δｚ，Δθ，Δφ）により補正されて用いられる。詳細説明は省略するが、ビュー３が選択される場合でも同様である。
　３Ｄオーディオレンダラ２１８から出力される所定チャネルのオーディオデータは、スピーカシステム２１９に供給される。スピーカシステム２１９では、この所定チャネルのオーディオデータに基づいて、表示部２１６の表示画像に対応した音響出力が得られる。
　図２５は、コンテナのレイヤに差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入されている場合における受信装置２００の構成例を示している。この図２５において、図２４と対応する部分には、同一符号を付し、その詳細説明は省略する。
　システムデコーダ２１３では、トランスポートストリームＴＳから差分情報ＶＰ２，ＶＰ３をそれぞれ含む２つの位置補正情報ストリームが得られる。差分情報ＶＰ２を含む位置補正情報ストリームは位置補正情報デコーダ２２１に供給される。位置補正情報デコーダ２２１では、位置補正情報ストリームに対して復号化が施され、差分成分ＶＰ２が得られる。また、差分情報ＶＰ３を含む位置補正情報ストリームは位置補正情報デコーダ２２２に供給される。位置補正情報デコーダ２２２では、位置補正情報ストリームに対して復号化が施され、差分成分ＶＰ３が得られる。
　これらの差分成分ＶＰ２，ＶＰ３は、３Ｄオーディオレンダラ２１８に供給される。３Ｄオーディオレンダラ２１８では、スピーカ配置情報が参照されて、各オブジェクト音源のオーディオデータがその位置情報（ｒ，θ，φ）に基づいて任意の位置に存在するスピーカにマッピングされる。ここで、ビュー２、ビュー３が選択される場合、それぞれ、差分成分ＶＰ２，ＶＰ３に基づいて、オブジェクト音源１，２の位置情報（ｒ’，θ’，φ’）が補正（変換）されて用いられる。
　上述したように、図１に示す送受信システム１０において、送信装置１００は、各オブジェクト音源のビュー１を基準とする位置情報（ｒ，θ，φ）を、ビュー２、ビュー３を基準とする位置情報（ｒ’，θ’，φ’）に補正（変換）するための位置補正情報（差分成分ＶＰ２，ＶＰ３）を、オーディオストリームのレイヤ、ビデオストリームのレイヤあるいはコンテナのレイヤに挿入して送信するものである。そのため、受信側では、ビュー２やビュー３に切り替えを行う場合、オブジェクト音源の位置情報を補正して用いることができ、３Ｄオーディオレンダリングを正しく行い得るようになる。
　＜２．変形例＞
　なお、上述実施の形態においては、ビュー１の他にビュー２、ビュー３が存在し、またオブジェクト音源１，２が存在する例を示した。本技術において、ビューの数およびオブジェクト音源の数は、この例に限定されない。
　また、上述実施の形態においては、位置補正情報が差分成分（Δｘ，Δｙ，Δｚ，Δθ，Δφ）である例を示した。しかし、本技術において、位置補正情報は、差分成分（Δｘ，Δｙ，Δｚ，Δθ，Δφ）に限定されない。
　また、上述実施の形態において、受信装置２００は、差分成分ＶＰ２，ＶＰ３を、オーディオストリームのレイヤ、ビデオストリームのレイヤあるいはコンテナのレイヤから取得する例を示した。しかし、この差分成分を、ネットワークに接続されたサーバから取得する構成も考えられる。この場合、送信装置１００から受信装置２００にサーバへのアクセス情報がオーディオストリームのレイヤ、ビデオストリームのレイヤあるいはコンテナのレイヤに挿入されて送られるようにされてもよい。
　図２６は、その場合における受信装置２００の構成例を示している。この図２６において、図２４と対応する部分には、同一符号を付し、その詳細説明は省略する。通信インタフェース２３１では、ネットワークに接続されたサーバにアクセスすることで、差分成分ＶＰ２，ＶＰ３が取得される。
　これらの差分成分ＶＰ２，ＶＰ３は、３Ｄオーディオレンダラ２１８に供給される。３Ｄオーディオレンダラ２１８では、スピーカ配置情報が参照されて、各オブジェクト音源のオーディオデータがその位置情報（ｒ，θ，φ）に基づいて任意の位置に存在するスピーカにマッピングされる。ここで、ビュー２、ビュー３が選択される場合、それぞれ、差分成分ＶＰ２，ＶＰ３に基づいて、オブジェクト音源１，２の位置情報（ｒ’，θ’，φ’）が補正（変換）されて用いられる。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、ＭＰ４やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システム、あるいは、ＭＭＴ（MPEG Media Transport）構造伝送ストリームを扱う送受信システムなどである。
　なお、本技術は、以下のような構成もとることができる。
　（１）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコード部と、
　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信部とを備える
　送信装置。
　（２）上記位置補正情報は、上記第１のビューと上記第２のビューの位置および方向の差分成分である
　前記（１）に記載の送信装置。
　（３）上記位置補正情報は、上記オーディオストリームのレイヤに挿入される
　前記（１）または（２）に記載の送信装置。
　（４）上記位置補正情報は、上記位置情報が含まれるメタデータ領域に挿入される
　前記（３）に記載の送信装置。
　（５）上記位置補正情報は、ユーザデータ領域に挿入される
　前記（３）に記載の送信装置。
　（６）上記第２のビューが複数であるとき、上記オーディオストリームのレイヤに、上記複数の第２のビューに対応して複数の上記位置補正情報が挿入され、
　上記コンテナのレイヤに、上記複数の位置補正情報のそれぞれが対応する上記第２のビデオストリームを示す情報が挿入される
　前記（３）に記載の送信装置。
　（７）上記位置補正情報は、上記第２のビデオストリームのレイヤに挿入される
　前記（１）または（２）に記載の送信装置。
　（８）上記位置補正情報は、上記コンテナのレイヤに挿入される
　前記（１）または（２）に記載の送信装置。
　（９）上記位置補正情報は、シグナリング情報として挿入される
　前記（８）に記載の送信装置。
　（１０）上記コンテナは、ＭＰＥＧ２―ＴＳであり、
　上記位置補正情報は、プログラムマップテーブルの上記第２のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入される
　前記（９）に記載の送信装置。
　（１１）上記位置補正情報を含む情報ストリームが挿入される
　前記（８）に記載の送信装置。
　（１２）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコードステップと、
　送信部により、上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信ステップとを有する
　送信方法。
　（１３）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信部と、
　上記コンテナに含まれる情報を処理する処理部とを備える
　受信装置。
　（１４）上記処理部は、
　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
　上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを有し、
　上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
　前記（１３）に記載の受信装置。
　（１５）受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信ステップと、
　上記コンテナに含まれる情報を処理する処理ステップとを有する
　受信方法。
　（１６）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信部と、
　上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得部と、
　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
　上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを備え、
　上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
　受信装置。
　（１７）上記取得部は、上記位置補正情報を、上記オーディオストリームのレイヤ、上記第２のビデオストリームのレイヤあるいは上記コンテナのレイヤから取得する
　前記（１６）に記載の受信装置。
　（１８）上記取得部は、上記位置補正情報を、ネットワーク上のサーバから取得する
　前記（１６）に記載の受信装置。
　（１９）受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
　上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得ステップと、
　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコードステップと、
　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクトステップと、
　上記オブジェクト音源のオーディオデータおよび位置情報に基づいて、スピーカシステムに合わせたオーディオデータを得るレンダリングステップとを有し、
　上記レンダリングステップでは、上記セレクトステップで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
　受信方法。
　１０・・・送受信システム
　１００・・・送信装置
　１１１・・・制御部
　１１２，１１３，１１４・・・ビデオエンコーダ
　１１５・・・３Ｄオーディオエンコーダ
　１１６・・・システムエンコーダ
　１１７・・・送信部
　１１８，１１９・・・位置補正情報エンコーダ
　２００・・・受信装置
　２１１・・・制御部
　２１２・・・受信部
　２１３・・・システムデコーダ
　２１４・・・セレクタ
　２１５・・・ビデオデコーダ
　２１６・・・表示部
　２１７・・・３Ｄオーディオデコーダ
　２１８・・・３Ｄオーディオレンダラ
　２１８ａ・・・位置補正演算部
　２１９・・・スピーカシステム
　２２１，２２２・・・位置補正情報デコーダ
　２３１・・・通信インタフェース

Claims (19)

  1. 　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコード部と、
    　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信部とを備える
    　送信装置。
  2. 　上記位置補正情報は、上記第１のビューと上記第２のビューの位置および方向の差分成分である
    　請求項１に記載の送信装置。
  3. 　上記位置補正情報は、上記オーディオストリームのレイヤに挿入される
    　請求項１に記載の送信装置。
  4. 　上記位置補正情報は、上記位置情報が含まれるメタデータ領域に挿入される
    　請求項３に記載の送信装置。
  5. 　上記位置補正情報は、ユーザデータ領域に挿入される
    　請求項３に記載の送信装置。
  6. 　上記第２のビューが複数であるとき、上記オーディオストリームのレイヤに、上記複数の第２のビューに対応して複数の上記位置補正情報が挿入され、
    　上記コンテナのレイヤに、上記複数の位置補正情報のそれぞれが対応する上記第２のビデオストリームを示す情報が挿入される
    　請求項３に記載の送信装置。
  7. 　上記位置補正情報は、上記第２のビデオストリームのレイヤに挿入される
    　請求項１に記載の送信装置。
  8. 　上記位置補正情報は、上記コンテナのレイヤに挿入される
    　請求項１に記載の送信装置。
  9. 　上記位置補正情報は、シグナリング情報として挿入される
    　請求項８に記載の送信装置。
  10. 　上記コンテナは、ＭＰＥＧ２―ＴＳであり、
    　上記位置補正情報は、プログラムマップテーブルの上記第２のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入される
    　請求項９に記載の送信装置。
  11. 　上記位置補正情報を含む情報ストリームが挿入される
    　請求項８に記載の送信装置。
  12. 　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコードステップと、
    　送信部により、上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信ステップとを有する
    　送信方法。
  13. 　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信部と、
    　上記コンテナに含まれる情報を処理する処理部とを備える
    　受信装置。
  14. 　上記処理部は、
    　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
    　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
    　上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを有し、
    　上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
    　請求項１３に記載の受信装置。
  15. 　受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信ステップと、
    　上記コンテナに含まれる情報を処理する処理ステップとを有する
    　受信方法。
  16. 　第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信部と、
    　上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得部と、
    　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
    　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
    　上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを備え、
    　上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
    　受信装置。
  17. 　上記取得部は、上記位置補正情報を、上記オーディオストリームのレイヤ、上記第２のビデオストリームのレイヤあるいは上記コンテナのレイヤから取得する
    　請求項１６に記載の受信装置。
  18. 　上記取得部は、上記位置補正情報を、ネットワーク上のサーバから取得する
    　請求項１６に記載の受信装置。
  19. 　受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
    　上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得ステップと、
    　上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコードステップと、
    　上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクトステップと、
    　上記オブジェクト音源のオーディオデータおよび位置情報に基づいて、スピーカシステムに合わせたオーディオデータを得るレンダリングステップとを有し、
    　上記レンダリングステップでは、上記セレクトステップで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
    　受信方法。
PCT/JP2015/081524 2014-11-28 2015-11-09 送信装置、送信方法、受信装置および受信方法 WO2016084592A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020177013143A KR102605480B1 (ko) 2014-11-28 2015-11-09 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN201580063452.7A CN107004419B (zh) 2014-11-28 2015-11-09 发送装置、发送方法、接收装置和接收方法
JP2016561483A JP6624068B2 (ja) 2014-11-28 2015-11-09 送信装置、送信方法、受信装置および受信方法
US15/523,723 US10880597B2 (en) 2014-11-28 2015-11-09 Transmission device, transmission method, reception device, and reception method
CA2967249A CA2967249C (en) 2014-11-28 2015-11-09 Transmission device, transmission method, reception device, and reception method
EP15862526.9A EP3226241B1 (en) 2014-11-28 2015-11-09 Transmission device, transmission method, reception device, and reception method
MX2017006581A MX2017006581A (es) 2014-11-28 2015-11-09 Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014241953 2014-11-28
JP2014-241953 2014-11-28

Publications (1)

Publication Number Publication Date
WO2016084592A1 true WO2016084592A1 (ja) 2016-06-02

Family

ID=56074162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081524 WO2016084592A1 (ja) 2014-11-28 2015-11-09 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (1) US10880597B2 (ja)
EP (1) EP3226241B1 (ja)
JP (1) JP6624068B2 (ja)
KR (1) KR102605480B1 (ja)
CN (1) CN107004419B (ja)
CA (1) CA2967249C (ja)
MX (1) MX2017006581A (ja)
WO (1) WO2016084592A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187434A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020153092A1 (ja) * 2019-01-25 2020-07-30 ソニー株式会社 情報処理装置及び情報処理方法
JPWO2019187430A1 (ja) * 2018-03-29 2021-04-08 ソニー株式会社 情報処理装置、方法、及びプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10820034B2 (en) 2017-05-26 2020-10-27 At&T Intellectual Property I, L.P. Providing streaming video from mobile computing nodes
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
GB2574238A (en) * 2018-05-31 2019-12-04 Nokia Technologies Oy Spatial audio parameter merging
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
CN110858925B (zh) * 2018-08-22 2021-10-15 华为技术有限公司 一种实现视频流切换的方法、设备、系统和存储介质
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US12096081B2 (en) 2020-02-18 2024-09-17 JBF Interlude 2009 LTD Dynamic adaptation of interactive video players using behavioral analytics
US12047637B2 (en) 2020-07-07 2024-07-23 JBF Interlude 2009 LTD Systems and methods for seamless audio and video endpoint transitions
EP3968643A1 (en) * 2020-09-11 2022-03-16 Nokia Technologies Oy Alignment control information for aligning audio and video playback
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229618A (ja) * 2004-02-13 2005-08-25 Texas Instruments Inc 動的音源とリスナーの位置による音声レンダリング
JP2012004835A (ja) * 2010-06-16 2012-01-05 Canon Inc 再生装置及びその制御方法及びプログラム
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
US5823786A (en) * 1993-08-24 1998-10-20 Easterbrook; Norman John System for instruction of a pupil
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
CA2269778A1 (en) * 1996-09-16 1998-03-19 Advanced Research Solutions, Llc Data correlation and analysis tool
US6353461B1 (en) * 1997-06-13 2002-03-05 Panavision, Inc. Multiple camera video assist control system
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US6750919B1 (en) * 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
KR100324512B1 (ko) * 1998-07-14 2002-06-26 구자홍 실시간데이터기록및재생장치와그제어방법
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6266100B1 (en) * 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6229550B1 (en) * 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
US6825875B1 (en) * 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device
US6466275B1 (en) * 1999-04-16 2002-10-15 Sportvision, Inc. Enhancing a video of an event at a remote location using data acquired at the event
EP1275247A2 (en) * 2000-03-31 2003-01-15 United Video Properties, Inc. Personal video recording system with home surveillance feed
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
US6537076B2 (en) * 2001-02-16 2003-03-25 Golftec Enterprises Llc Method and system for presenting information for physical motion analysis
US20020170068A1 (en) * 2001-03-19 2002-11-14 Rafey Richter A. Virtual and condensed television programs
US7203693B2 (en) * 2001-06-12 2007-04-10 Lucent Technologies Inc. Instantly indexed databases for multimedia content analysis and retrieval
US20030033602A1 (en) * 2001-08-08 2003-02-13 Simon Gibbs Method and apparatus for automatic tagging and caching of highlights
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
DE102005008369A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems
US8306131B2 (en) * 2005-02-25 2012-11-06 Kyocera Corporation Communications systems
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP4683227B2 (ja) 2006-05-30 2011-05-18 日本電気株式会社 映像音声ファイルシステム
EP2092409B1 (en) * 2006-12-01 2019-01-30 LG Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
KR101461958B1 (ko) * 2007-06-29 2014-11-14 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP5593596B2 (ja) * 2008-02-04 2014-09-24 ソニー株式会社 映像信号送信装置および映像信号送信方法
JP4557035B2 (ja) * 2008-04-03 2010-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
US20110052155A1 (en) * 2009-09-02 2011-03-03 Justin Desmarais Methods for producing low-cost, high-quality video excerpts using an automated sequence of camera switches
US8749609B2 (en) * 2009-09-03 2014-06-10 Samsung Electronics Co., Ltd. Apparatus, system and method for video call
US8370358B2 (en) * 2009-09-18 2013-02-05 Microsoft Corporation Tagging content with metadata pre-filtered by context
EP2346028A1 (en) * 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
KR101090356B1 (ko) * 2009-12-28 2011-12-13 주식회사 더블유코퍼레이션 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치
US9699431B2 (en) * 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US9704393B2 (en) * 2011-01-11 2017-07-11 Videonetics Technology Private Limited Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
WO2012103649A1 (en) * 2011-01-31 2012-08-09 Cast Group Of Companies Inc. System and method for providing 3d sound
EP2541547A1 (en) 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
KR101843834B1 (ko) 2011-07-01 2018-03-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
US8867886B2 (en) * 2011-08-08 2014-10-21 Roy Feinson Surround video playback
US8917877B2 (en) * 2011-10-12 2014-12-23 Sony Corporation Distance-based rendering of media files
JP2013090016A (ja) 2011-10-13 2013-05-13 Sony Corp 送信装置、送信方法、受信装置および受信方法
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
WO2013149672A1 (en) 2012-04-05 2013-10-10 Huawei Technologies Co., Ltd. Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US8929573B2 (en) * 2012-09-14 2015-01-06 Bose Corporation Powered headset accessory devices
KR20140102386A (ko) * 2013-02-13 2014-08-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN104023265A (zh) * 2013-03-01 2014-09-03 联想(北京)有限公司 一种音频信息流的切换方法、装置及电子设备
US9282399B2 (en) * 2014-02-26 2016-03-08 Qualcomm Incorporated Listen to people you recognize
US9693009B2 (en) * 2014-09-12 2017-06-27 International Business Machines Corporation Sound source selection for aural interest
US9930405B2 (en) * 2014-09-30 2018-03-27 Rovi Guides, Inc. Systems and methods for presenting user selected scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229618A (ja) * 2004-02-13 2005-08-25 Texas Instruments Inc 動的音源とリスナーの位置による音声レンダリング
JP2012004835A (ja) * 2010-06-16 2012-01-05 Canon Inc 再生装置及びその制御方法及びプログラム
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Information technology - Coding of audio-visual objects -Part 1: Systems", INTERNATIONAL STANDARD ISO/IEC14496-1, June 2010 (2010-06-01), pages 158, XP082004073 *
See also references of EP3226241A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7314929B2 (ja) 2018-03-29 2023-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11533348B2 (en) 2018-03-29 2022-12-20 Sony Group Corporation Information processing apparatus, information processing method, and program
JP7396267B2 (ja) 2018-03-29 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019187437A1 (ja) * 2018-03-29 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019187434A1 (ja) * 2018-03-29 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019187430A1 (ja) * 2018-03-29 2021-04-08 ソニー株式会社 情報処理装置、方法、及びプログラム
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11323757B2 (en) 2018-03-29 2022-05-03 Sony Group Corporation Information processing apparatus, information processing method, and program
US11743520B2 (en) 2018-03-29 2023-08-29 Sony Group Corporation Information processing apparatus, information processing method, and program
WO2019187434A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2020153092A1 (ja) * 2019-01-25 2021-12-02 ソニーグループ株式会社 情報処理装置及び情報処理方法
WO2020153092A1 (ja) * 2019-01-25 2020-07-30 ソニー株式会社 情報処理装置及び情報処理方法
JP7415954B2 (ja) 2019-01-25 2024-01-17 ソニーグループ株式会社 情報処理装置及び情報処理方法
US12073841B2 (en) 2019-01-25 2024-08-27 Sony Group Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
US10880597B2 (en) 2020-12-29
KR20170088843A (ko) 2017-08-02
CA2967249C (en) 2023-03-14
KR102605480B1 (ko) 2023-11-24
MX2017006581A (es) 2017-09-01
EP3226241B1 (en) 2022-08-17
CN107004419A (zh) 2017-08-01
JPWO2016084592A1 (ja) 2017-09-07
CA2967249A1 (en) 2016-06-02
JP6624068B2 (ja) 2019-12-25
EP3226241A4 (en) 2018-06-20
EP3226241A1 (en) 2017-10-04
US20180310049A1 (en) 2018-10-25
CN107004419B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
JP6624068B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20210243463A1 (en) Transmission device, transmitting method, reception device, and receiving method
CN105981391B (zh) 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
JP6908168B2 (ja) 受信装置、受信方法、送信装置および送信方法
CN110622516B (zh) 用于鱼眼视频数据的高级发信号
KR20200024829A (ko) Dash 에서 피쉬아이 가상 현실 비디오에 대한 강화된 하이레벨 시그널링
WO2017006948A1 (ja) 受信装置、受信方法、送信装置および送信方法
JP2021105735A (ja) 受信装置および受信方法
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
WO2017104519A1 (ja) 送信装置、送信方法、受信装置および受信方法
CA3071560A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
KR20150045869A (ko) 전송 스트림 시스템 타겟 디코더 모델에 기초한 하이브리드 서비스를 제공하는 영상 수신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15862526

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016561483

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15523723

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2967249

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20177013143

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/006581

Country of ref document: MX

REEP Request for entry into the european phase

Ref document number: 2015862526

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE