WO2016129412A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2016129412A1
WO2016129412A1 PCT/JP2016/052610 JP2016052610W WO2016129412A1 WO 2016129412 A1 WO2016129412 A1 WO 2016129412A1 JP 2016052610 W JP2016052610 W JP 2016052610W WO 2016129412 A1 WO2016129412 A1 WO 2016129412A1
Authority
WO
WIPO (PCT)
Prior art keywords
packet
audio
stream
data
information
Prior art date
Application number
PCT/JP2016/052610
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16749056.4A priority Critical patent/EP3258467B1/en
Priority to JP2016574724A priority patent/JP6699564B2/ja
Priority to CN201680008488.XA priority patent/CN107210041B/zh
Priority to US15/540,306 priority patent/US10475463B2/en
Publication of WO2016129412A1 publication Critical patent/WO2016129412A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and particularly to a transmission device that handles an audio stream.
  • object data composed of encoded sample data and metadata is transmitted together with channel data such as 5.1 channel and 7.1 channel so that sound reproduction with enhanced realism can be performed on the receiving side.
  • channel data such as 5.1 channel and 7.1 channel
  • 3D audio MPEG-H 3D Audio
  • the audio frame constituting the audio stream includes, as payload information, a “Frame” packet (first packet) having encoded data as payload information, and configuration information indicating the configuration of the payload information of the “Frame” packet. It is configured to include a “Config” packet (second packet).
  • the association information with the corresponding “Config” packet has not been inserted into the “Frame” packet.
  • the order of a plurality of “Frame” packets included in an audio frame is restricted depending on the type of encoded data included in the payload in order to appropriately perform the decoding process. Therefore, for example, when a plurality of audio streams are integrated on the receiving side and integrated into one audio stream, it is necessary to observe this restriction, and the processing load increases.
  • the purpose of this technology is to reduce the processing load when integrating multiple audio streams on the receiving side.
  • the concept of this technology is An encoding unit for generating a predetermined number of audio streams; A transmission unit for transmitting a container in a predetermined format including the predetermined number of audio streams;
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information. Common index information is inserted into the payloads of the related first packet and the second packet in the transmitting apparatus.
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information.
  • the encoded data that the first packet has as payload information may be channel encoded data or object encoded data. Common index information is inserted into the payloads of the associated first packet and second packet.
  • the transmission unit transmits a container of a predetermined format including the predetermined number of audio streams.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • MPEG-2 TS transport stream
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the order of the plurality of first packets included in the audio frame is not limited by the order definition according to the type of encoded data included in the payload. Therefore, for example, when a single audio stream is generated by integrating a plurality of audio streams on the receiving side, it is not necessary to observe the order definition, and the processing load can be reduced.
  • a receiving unit for receiving a container in a predetermined format including a predetermined number of audio streams The audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information. Common index information is inserted in the payloads of the related first packet and the second packet, A part or all of the first packet and the second packet are extracted from the predetermined number of audio streams, and the index information inserted in the payload portion of the first packet and the second packet is used.
  • a stream integration unit that integrates into one audio stream The receiving apparatus further includes a processing unit that processes the one audio stream.
  • a container having a predetermined format including a predetermined number of audio streams is received by the receiving unit.
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information. Then, common index information is inserted in the payloads of the related first packet and second packet.
  • the stream integration unit extracts part or all of the first packet and the second packet from a predetermined number of audio streams, and uses the index information inserted in the payload part of the first packet and the second packet. And integrated into one audio stream.
  • the order of the plurality of first packets included in the audio frame is the encoded data of the payload.
  • the order of the types is not limited, and the configurations of the audio streams are integrated without being decomposed.
  • One audio stream is processed by the processing unit.
  • the processing unit may perform a decoding process on one audio stream.
  • the processing unit may be configured to transmit one audio stream to an external device.
  • the present technology a part or all of the first packet and the second packet extracted from the predetermined number of audio streams are inserted in the payload portions of the first packet and the second packet. Index information is used and integrated into one audio stream. Therefore, the configurations of the audio streams can be integrated without being decomposed, and the processing load can be reduced.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a service transmitter 100 and a service receiver 200.
  • the service transmitter 100 transmits the transport stream TS on a broadcast wave or a net packet.
  • the transport stream TS has a predetermined number, that is, one or a plurality of audio streams in addition to the video stream.
  • the audio stream includes a first packet (packet of “Frame”) having encoded data as payload information, and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information. It is composed of an audio frame including a packet (a “Config” packet), and common index information is inserted into the payloads of the related first packet and second packet.
  • FIG. 2 shows an example of the structure of an audio frame (1024 samples) in 3D audio transmission data handled in this embodiment.
  • This audio frame is composed of a plurality of MPEG audio stream packets (mpeg
  • Each MPEG audio stream packet is composed of a header and a payload.
  • the header has information such as packet type (Packet type), packet label (Packet type Label), and packet length (Packet type Length).
  • Packet type packet type
  • Packet type Label packet label
  • Packet type Length packet length
  • payload information defined by the packet type of the header is arranged.
  • the payload information includes “SYNC” corresponding to the synchronization start code, “Frame” that is actual data of 3D audio transmission data, and “Config” indicating the configuration of this “Frame”.
  • “Frame” includes channel encoded data and object encoded data constituting 3D audio transmission data. Note that there are cases where only channel encoded data is included, or only object encoded data is included.
  • the channel encoded data is composed of encoded sample data such as SCE (Single Channel Element), CPE (Channel Pair Element), and LFE (Low Frequency Element).
  • the object encoded data is composed of SCE (Single Channel Element) encoded sample data and metadata for rendering it by mapping it to a speaker located at an arbitrary position. This metadata is included as an extension element (Ext_element).
  • identification information for identifying the related “Config” is inserted into each “Frame”. That is, common index information is inserted into the related “Frame” and “Config”.
  • FIG. 3A shows a configuration example of a conventional audio stream.
  • configuration information “SCE_config” corresponding to an element of “Frame” of SCE exists.
  • configuration information “CPE_config” corresponding to “Frame” of CPE.
  • configuration information “EXE_config” corresponding to “Frame” of EXE exists as “Config”.
  • the order of elements is defined as SCE ⁇ CPE ⁇ EXE so that the decoding process is appropriately performed. That is, the order of CPE ⁇ SCE ⁇ EXE as shown in FIG.
  • FIG. 3B shows a configuration example of an audio stream in this embodiment.
  • Config configuration information “SCE_config” corresponding to an element of “Frame” of SCE exists, and “Id0” is added as an element index to this configuration information “SCE_config”.
  • configuration information “CPE_config” corresponding to “Frame” of CPE exists as “Config”, and “Id1” is added as an element index to this configuration information “CPE_config”. Also, as “Config”, there is configuration information “EXE_config” corresponding to EXE “Frame”, and “Id2” is added as an element index to this configuration information “EXE_config”.
  • an element index common to the related “Config” is added to each “Frame”. That is, “Id0” is added as an element index to “Frame” of SCE. Also, “Id1” is added as an element index to “Frame” of CPE. In addition, “Id2” is added to the “Frame” of EXE as an element index.
  • FIG. 4A schematically shows a configuration example of “Config”.
  • “Mpeg3daConfig ()” is the highest-level concept, and below it is “mpeg3daDecoderConfig ()” for decoding. Furthermore, there is “Config ()” corresponding to each element stored in “Frame”, and an element index (Element_index) is inserted into each of them.
  • mpegh3daSingleChannelElementConfig () corresponds to an SCE element
  • mpegh3daChannelPairElementConfig () corresponds to a CPE element
  • mpegh3daLfeElementConfig () corresponds to an LFE element
  • mpegh3daExtElementConfig () corresponds to an EXE element. It corresponds to.
  • FIG. 4B schematically shows a configuration example of “Frame”.
  • “Mpeg3daFrame ()” is the highest concept, below which “Element ()” that is the entity of each element exists, and an element index (Element_index) is inserted into each.
  • “mpegh3daSingleChannelElement ()” is an SCE element
  • “mpegh3daChannlePairElement ()” is a CPE element
  • mpegh3daLfeElement () is an LFE element
  • “mpegh3daExtElement ()” is an EXE element.
  • FIG. 5 shows a configuration example of 3D audio transmission data.
  • it consists of first data consisting only of channel encoded data, second data consisting only of object encoded data, and third data consisting of channel encoded data and object encoded data. Yes.
  • the channel encoded data of the first data is 5.1 channel channel encoded data, and is composed of encoded sample data of SCE1, CPE1, CPE2, and LFE1.
  • the object encoded data of the second data is encoded data of an immersive audio object (Immersive audio object).
  • This immersive audio object encoded data is object encoded data for immersive sound, and includes encoded sample data SCE2 and metadata EXE1 for rendering by mapping it to a speaker located at an arbitrary position. It has become.
  • the channel encoded data included in the third data is 2-channel (stereo) channel encoded data, and is composed of encoded sample data of CPE3.
  • the object encoded data included in the third data is speech language object encoded data, and is encoded meta data SCE3 and a meta for rendering it by mapping it to a speaker existing at an arbitrary position. It consists of data EXE2.
  • Encoded data is distinguished by the concept of group by type.
  • the 5.1 channel encoded channel data is group 1
  • the immersive audio object encoded data is group 2
  • the 2 channel (stereo) channel encoded data is group 3
  • the speech language is group 4.
  • group 1 group 1 and group 2 are bundled to form preset group 1
  • group 1 and group 4 are bundled to form preset group 2.
  • the service transmitter 100 transmits 3D audio transmission data including encoded data of a plurality of groups in one stream or a plurality of streams (Multiple stream) as described above.
  • transmission is performed with three streams.
  • FIG. 6 schematically shows a configuration example of an audio frame in the case of transmitting with 3 streams in the configuration example of 3D audio transmission data in FIG.
  • the first stream identified by PID1 includes the first data consisting only of the channel encoded data together with “SYNC” and “Config”.
  • the second stream identified by PID2 includes the second data consisting only of the object encoded data together with “SYNC” and “Config”.
  • the third stream identified by PID3 includes the third data including channel encoded data, offject and encoded data, together with “SYNC” and “Config”.
  • the service receiver 200 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • the transport stream TS has a predetermined number, in this embodiment, three audio streams in addition to the video stream.
  • the audio stream includes the first packet having the encoded data as payload information (packet of “Frame”) and the configuration information indicating the configuration of the payload information of the first packet as payload information. It consists of an audio frame including two packets ("Config" packet), and common index information is inserted into the payloads of the related first packet and second packet.
  • the service receiver 200 extracts part or all of the first packet and the second packet from the three audio streams, and uses the index information inserted in the payload portion of the first packet and the second packet. Integrated into one audio stream. Then, the service receiver 200 processes this one audio stream. For example, a decoding process is performed on this one audio stream to obtain an audio output of 3D audio. For example, this one audio stream is transmitted to an external device.
  • FIG. 7 illustrates a configuration example of the stream generation unit 110 included in the service transmitter 100.
  • the stream generation unit 110 includes a video encoder 112, a 3D audio encoder 113, and a multiplexer 114.
  • the video encoder 112 receives the video data SV, encodes the video data SV, and generates a video stream (video elementary stream).
  • the 3D audio encoder 113 inputs necessary channel data and object data as the audio data SA.
  • the 3D audio encoder 113 performs encoding on the audio data SA to obtain 3D audio transmission data.
  • the 3D audio transmission data includes first data (group 1 data) consisting only of channel encoded data and second data (group 2 data) consisting only of object encoded data. Data), channel encoded data, and third data (data of groups 3 and 4) including offject and encoded data.
  • the 3D audio encoder 113 includes a first audio stream (Stream 1) including the first data, a second audio stream (Stream 2) including the second data, and a third data including the third data. Audio stream (Stream 3) is generated (see FIG. 6).
  • FIG. 8A shows the configuration of an audio frame (Audio Frame) that constitutes the first audio stream (Stream 1).
  • “Id0” is inserted as a common element index into “Frame” of SCE1 and “Config” corresponding thereto.
  • “Id1” is inserted and added as a common element index into “Frame” of CPE1 and “Config” corresponding thereto.
  • “Id2” is inserted as a common element index into “Frame” of CPE2 and “Config” corresponding thereto.
  • “Id3” is inserted as a common element index into “Frame” of LFE1 and “Config” corresponding thereto. Note that the values of the “Config” and “Frame” packet labels (PL) are all “PL1” in the first audio stream (Stream 1).
  • FIG. 8B shows the configuration of an audio frame (Audio frame) that constitutes the second audio stream (Stream 2).
  • “Frame” and “Config” “Id4” is inserted as a common element index.
  • the values of the “Config” and “Frame” packet labels (PL) are all “PL2” in the second audio stream (Stream 2).
  • FIG. 8C shows the configuration of an audio frame (Audio Frame) that constitutes the third audio stream (Stream 3).
  • “Id5” is inserted as a common element index into “Frame” of CPE3 and “Config” corresponding thereto.
  • the multiplexer 114 multiplexes the video stream output from the video encoder 112 and the three audio streams output from the audio encoder 113 into PES packets, further transport packets and multiplexes, respectively.
  • a transport stream TS as a stream is obtained.
  • the video data is supplied to the video encoder 112.
  • the video data SV is encoded, and a video stream including the encoded video data is generated.
  • the audio data SA is supplied to the 3D audio encoder 113.
  • the audio data SA includes channel data and object data.
  • the 3D audio encoder 113 encodes the audio data SA to obtain 3D audio transmission data.
  • the 3D audio transmission data includes first data (group 1 data) consisting only of channel encoded data, second data (group 2 data) consisting only of object encoded data, and channel encoding. Data and third data (data of groups 3 and 4) composed of off-ject and encoded data are included (see FIG. 5).
  • the 3D audio encoder 113 generates three audio streams (see FIGS. 6 and 8). In this case, in each audio stream, common index information is inserted into “Frame” and “Config” related to the same element. As a result, “Frame” and “Config” are associated with the index information for each element.
  • the video stream generated by the video encoder 112 is supplied to the multiplexer 114. Further, the three audio streams generated by the audio encoder 113 are supplied to the multiplexer 114. In the multiplexer 114, a stream supplied from each encoder is converted into a PES packet, further converted into a transport packet, and multiplexed to obtain a transport stream TS as a multiplexed stream.
  • FIG. 9 shows a configuration example of the service receiver 200.
  • the service receiver 200 includes a CPU 221, a flash ROM 222, a DRAM 223, an internal bus 224, a remote controller receiver 225, and a remote controller transmitter 226.
  • the service receiver 200 includes a receiving unit 201, a demultiplexer 202, a video decoder 203, a video processing circuit 204, a panel driving circuit 205, and a display panel 206.
  • the service receiver 200 includes multiplexing buffers 211-1 to 211 -N, a combiner 212, a 3D audio decoder 213, an audio output processing circuit 214, a speaker system 215, and a distribution interface 232. Yes.
  • the CPU 221 controls the operation of each unit of service receiver 200.
  • the flash ROM 222 stores control software and data.
  • the DRAM 223 constitutes a work area for the CPU 221.
  • the CPU 221 develops software and data read from the flash ROM 222 on the DRAM 223 to activate the software, and controls each unit of the service receiver 200.
  • the remote control receiving unit 225 receives the remote control signal (remote control code) transmitted from the remote control transmitter 226 and supplies it to the CPU 221.
  • the CPU 221 controls each part of the service receiver 200 based on this remote control code.
  • the CPU 221, flash ROM 222, and DRAM 223 are connected to the internal bus 224.
  • the receiving unit 201 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • the transport stream TS includes three audio streams that constitute 3D audio transmission data in addition to the video stream (see FIGS. 6 and 8).
  • the demultiplexer 202 extracts a video stream packet from the transport stream TS and sends it to the video decoder 203.
  • the video decoder 203 reconstructs a video stream from the video packets extracted by the demultiplexer 202 and performs decoding processing to obtain uncompressed video data.
  • the video processing circuit 204 performs scaling processing, image quality adjustment processing, and the like on the video data obtained by the video decoder 203 to obtain video data for display.
  • the panel drive circuit 205 drives the display panel 206 based on the display image data obtained by the video processing circuit 204.
  • the display panel 206 includes, for example, an LCD (Liquid Crystal Display), an organic EL display (organic electroluminescence display), and the like.
  • the demultiplexer 202 includes one piece of encoded data of a group that conforms to the speaker configuration and the viewer (user) selection information out of a predetermined number of audio streams included in the transport stream TS under the control of the CPU 221. Alternatively, a plurality of audio stream packets are selectively extracted by a PID filter.
  • the multiplexing buffers 211-1 to 211 -N take in the respective audio streams extracted by the demultiplexer 202.
  • the number N of the multiplexing buffers 211-1 to 211-N is set to a necessary and sufficient number. However, in actual operation, only the number of audio streams extracted by the demultiplexer 202 is used.
  • the combiner 212 performs a part or all of “Config”, “for each audio frame from the multiplexing buffer in which the audio streams extracted by the demultiplexer 202 are taken out of the multiplexing buffers 211-1 to 211 -N. Frame “packets” are extracted and integrated into one audio stream.
  • FIG. 10 shows an example of the integration process when “Frame” and “Config” are not linked by index information for each element.
  • the data of group 1 included in the first audio stream (Stream ⁇ 1)
  • the data of group 2 included in the second audio stream (Stream 2)
  • the third audio stream (Stream 3) It is an example which integrates the data of the group 3 contained.
  • the synthesized stream in FIG. 10A1 is an example in which the configurations of the audio streams are integrated without being decomposed. In this case, the element order is violated at the locations of LFE1 and CPE3 indicated by arrows. In this case, each element is analyzed, and the configuration of the first audio stream is decomposed and the elements of the third audio stream are interrupted as shown in the composite stream of FIG. 10 (a2), so that CPE3 ⁇ LFE1 It is necessary to be in order.
  • FIG. 11 shows an example of the integration process when “Frame” and “Config” are linked by index information for each element. Also in this example, the data of group 1 included in the first audio stream (Stream 1), the data of group 2 included in the second audio stream (Stream 2), and the third audio stream (Stream 3) It is an example which integrates the data of the group 3 contained.
  • the composite stream in FIG. 11A1 is an example in which the configurations of the audio streams are integrated without being decomposed.
  • the composite stream in FIG. 11A1 is another example in which the configurations of the audio streams are integrated without being decomposed.
  • the 3D audio decoder 213 performs decoding processing on one audio stream obtained by integration by the combiner 212 to obtain audio data for driving each speaker.
  • the audio output processing circuit 214 performs necessary processing such as D / A conversion and amplification on the audio data for driving each speaker and supplies the audio data to the speaker system 215.
  • the speaker system 215 includes a plurality of speakers such as a plurality of channels, for example, two channels, 5.1 channels, 7.1 channels, 22.2 channels, and the like.
  • the distribution interface 232 distributes (transmits) one audio stream obtained by integration by the combiner 212 to, for example, the device 300 connected to the local area network.
  • This local area network connection includes an Ethernet connection, a wireless connection such as “WiFi” or “Bluetooth”. “WiFi” and “Bluetooth” are registered trademarks.
  • the device 300 includes a surround speaker, a second display, and an audio output device attached to the network terminal.
  • the device 300 performs the same decoding process as the 3D audio decoder 213 to obtain audio data for driving a predetermined number of speakers.
  • the receiving unit 201 receives the transport stream TS transmitted from the service transmitter 100 on broadcast waves or net packets.
  • the transport stream TS includes three audio streams that constitute 3D audio transmission data (see FIGS. 6 and 8). This transport stream TS is supplied to the demultiplexer 202.
  • the demultiplexer 202 extracts a video stream packet from the transport stream TS and supplies it to the video decoder 203.
  • the video decoder 203 a video stream is reconstructed from the video packets extracted by the demultiplexer 202, and decoding processing is performed to obtain uncompressed video data. This video data is supplied to the video processing circuit 204.
  • the video processing circuit 204 performs scaling processing, image quality adjustment processing, and the like on the video data obtained by the video decoder 203 to obtain video data for display.
  • This display video data is supplied to the panel drive circuit 205.
  • the panel drive circuit 205 drives the display panel 206 based on the display video data. As a result, an image corresponding to the video data for display is displayed on the display panel 206.
  • the demultiplexer 202 includes one or a plurality of pieces of encoded data including a group that matches a speaker configuration and viewer selection information among a predetermined number of audio streams included in the transport stream TS under the control of the CPU 221. Audio stream packets are selectively extracted by a PID filter.
  • the audio stream taken out by the demultiplexer 202 is taken into the corresponding multiplexing buffer among the multiplexing buffers 211-1 to 211 -N.
  • the combiner 212 a part or all of the “Config” and “All” for each audio frame from the multiplexing buffer in which the audio streams taken out by the demultiplexer 202 of the multiplexing buffers 211-1 to 211-N are taken. Frame "packets are extracted and integrated into one audio stream.
  • One audio stream obtained by integration by the combiner 212 is supplied to the 3D audio decoder 213.
  • the audio stream is subjected to decoding processing, and audio data for driving each speaker constituting the speaker system 215 is obtained.
  • the audio data is supplied to the audio output processing circuit 214.
  • the audio output processing circuit 214 performs necessary processing such as D / A conversion and amplification on the audio data for driving each speaker.
  • the processed audio data is supplied to the speaker system 215.
  • a sound output corresponding to the display image on the display panel 206 is obtained from the speaker system 215.
  • the audio stream obtained by integration by the combiner 212 is supplied to the distribution interface 232.
  • this audio stream is distributed (transmitted) to the device 300 connected to the local area network.
  • the audio stream is decoded, and audio data for driving a predetermined number of speakers is obtained.
  • the service transmitter 100 inserts index information common to “Frame” and “Config” related to the same element when generating an audio stream by 3D audio encoding. To do. Therefore, when a plurality of audio streams are integrated into one audio stream on the receiving side, it is not necessary to observe the order definition, and the processing load can be reduced.
  • this technique can also take the following structures.
  • an encoding unit that generates a predetermined number of audio streams;
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information. Common index information is inserted into the payloads of the related first packet and the second packet in the transmitting apparatus.
  • the encoded data included in the first packet as payload information is channel encoded data or object encoded data.
  • the transmission unit has a transmission step of transmitting a container of a predetermined format including the predetermined number of audio streams
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information. Common index information is inserted into the payloads of the related first packet and the second packet.
  • a receiving unit that receives a container in a predetermined format including a predetermined number of audio streams;
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information.
  • Common index information is inserted in the payloads of the related first packet and the second packet, A part or all of the first packet and the second packet are extracted from the predetermined number of audio streams, and the index information inserted in the payload portion of the first packet and the second packet is used.
  • a stream integration unit that integrates into one audio stream, A receiving apparatus further comprising a processing unit for processing the one audio stream. (5) The receiving device according to (4), wherein the processing unit performs a decoding process on the one audio stream. (6) The receiving device according to (4) or (5), wherein the processing unit transmits the one audio stream to an external device.
  • the reception unit includes a reception step of receiving a container of a predetermined format including a predetermined number of audio streams,
  • the audio stream is composed of an audio frame including a first packet having encoded data as payload information and a second packet having configuration information indicating the configuration of the payload information of the first packet as payload information.
  • Common index information is inserted in the payloads of the related first packet and the second packet, A part or all of the first packet and the second packet are extracted from the predetermined number of audio streams, and the index information inserted in the payload portion of the first packet and the second packet is used.
  • Stream integration step to integrate into one audio stream,
  • a receiving method further comprising processing steps for processing the one audio stream.
  • the main feature of the present technology is that, when generating an audio stream by 3D audio encoding, by inserting common index information into “Frame” and “Config” related to the same element, processing of stream integration processing on the receiving side The load can be reduced (see FIGS. 3 and 8).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　受信側で複数のオーディオストリームを統合する際の処理負荷の軽減を図る。　所定数のオーディオストリームを生成し、この所定数のオーディオストリームを含む所定フォーマットのコンテナを送信する。オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、この第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなる。関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報が挿入される。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、オーディオストリームを取り扱う送信装置等に関する。
　従来、立体（３Ｄ）音響技術として、符号化サンプルデータをメタデータに基づいて任意の位置に存在するスピーカにマッピングさせてレンダリングする技術が提案されている（例えば、特許文献１参照）。
特表２０１４－５２０４９１号公報
　例えば、５．１チャネル、７．１チャネルなどのチャネルデータと共に、符号化サンプルデータおよびメタデータからなるオブジェクトデータを送信し、受信側において臨場感を高めた音響再生を可能とすることが考えられる。従来、チャネルデータおよびオブジェクトデータを３Ｄオーディオ（MPEG-H 3D Audio）の符号化方式で符号化して得られた符号化データを含むオーディオストリームを受信側に送信することが提案されている。
　このオーディオストリームを構成するオーディオフレームは、符号化データをペイロード情報として持つ“Ｆｒａｍｅ”のパケット（第１のパケット）と、この“Ｆｒａｍｅ”のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ“Ｃｏｎｆｉｇ”のパケット（第２のパケット）を含む構成とされている。
　従来、“Ｆｒａｍｅ”のパケットに、対応する“Ｃｏｎｆｉｇ”のパケットとの関連づけ情報が挿入されていない。そのため、オーディオフレームに含める複数の“Ｆｒａｍｅ”のパケットの順番には、デコード処理を適切に行うために、ペイロードが持つ符号化データの種類に応じた制約がある。従って、例えば、受信側で複数のオーディオストリームを統合して１つのオーディオストリームに統合する際、この制約を守る必要があり、処理負荷は大きくなる。
　本技術の目的は、受信側で複数のオーディオストリームを統合する際の処理負荷の軽減を図ることにある。
　本技術の概念は、
　所定数のオーディオストリームを生成するエンコード部と、
　上記所定数のオーディオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入される
　送信装置にある。
　本技術において、エンコード部により、所定数のオーディオストリームが生成される。オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、この第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなっている。例えば、第１のパケットがペイロード情報として持つ符号化データは、チャネル符号化データまたはオフジェクト符号化データである、ようにされてもよい。関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報が挿入される。
　送信部により、この所定数のオーディオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　このように本技術においては、関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報が挿入されるものである。そのため、オーディオフレームに含める複数の第１のパケットの順番が、ペイロードが持つ符号化データの種類に応じた順番の規定によって制限されなくなる。従って、例えば、受信側で複数のオーディオストリームを統合して１つのオーディオストリームを生成する際、順番の規定を守る必要がなく、処理負荷の軽減を図ることが可能となる。
　また、本技術の他の概念は、
　所定数のオーディオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入されており、
　上記所定数のオーディオストリームから一部または全部の上記第１のパケットおよび上記第２のパケットを取り出し、上記第１のパケットおよび上記第２のパケットのペイロード部に挿入されている上記インデックス情報を利用して１つのオーディオストリームに統合するストリーム統合部と、
　上記１つのオーディオストリームを処理する処理部をさらに備える
　受信装置にある。
　本技術において、受信部により、所定数のオーディオストリームを含む所定フォーマットのコンテナが受信される。オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、この第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなっている。そして、関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報が挿入されている。
　ストリーム統合部により、所定数のオーディオストリームから一部または全部の第１のパケットおよび第２のパケットが取り出され、第１のパケットおよび第２のパケットのペイロード部に挿入されているインデックス情報が利用されて１つのオーディオストリームに統合される。この場合、関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報の挿入があることから、オーディオフレームに含める複数の第１のパケットの順番が、ペイロードが持つ符号化データの種類に応じた順番の規定に制限されず、各オーディオストリームの構成を分解することなく統合される。
　処理部により、１つのオーディオストリームが処理される。例えば、処理部は、１つのオーディオストリームに対してデコード処理を施す、ようにされてもよい。また、処理部は、１つのオーディオストリームを外部機器に送信する、ようにされてもよい。
　このように本技術においては、所定数のオーディオストリームから取り出された一部または全部の第１のパケットおよび第２のパケットが、第１のパケットおよび第２のパケットのペイロード部に挿入されているインデックス情報が利用されて１つのオーディオストリームに統合される。そのため、各オーディオストリームの構成を分解することなく統合でき、処理負荷の軽減を図ることが可能となる。
　本技術によれば、受信側で複数のオーディオストリームを統合する際の処理負荷の軽減を図ることができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 ３Ｄオーディオの伝送データにおけるオーディオフレーム（１０２４サンプル）の構造を示す図である。 従来および実施の形態におけるオーディオストリームの構成例を説明するための図である。 “Ｃｏｎｆｉｇ”および“Ｆｒａｍｅ”の構成例を概略的に示す図である。 ３Ｄオーディオの伝送データの構成例を示す図である。 ３ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示す図である。 サービス送信機が備えるストリーム生成部の構成例を示すブロック図である。 各オーディオストリームを構成するオーディオフレームを説明するための図である。 サービス受信機の構成例を示すブロック図である。 エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされていない場合の統合処理の一例を説明するための図である。 エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされている場合の統合処理の一例を説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信機１００とサービス受信機２００により構成されている。サービス送信機１００は、トランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳは、ビデオストリームの他に、所定数、つまり１つまたは複数のオーディオストリームを有している。
　ここで、オーディオストリームは、符号化データをペイロード情報として持つ第１のパケット（“Ｆｒａｍｅ”のパケット）と、この第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケット（“Ｃｏｎｆｉｇ”のパケット）を含むオーディオフレームからなり、関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報が挿入されている。
　図２は、この実施の形態で取り扱う３Ｄオーディオの伝送データにおけるオーディオフレーム（１０２４サンプル）の構造例を示している。このオーディオフレームは、複数のＭＰＥＧオーディオストリームパケット（mpeg Audio Stream Packet）からなっている。各ＭＰＥＧオーディオストリームパケットは、ヘッダ（Header）とペイロード（Payload）により構成されている。
　ヘッダは、パケットタイプ（Packet Type）、パケットラベル（Packet Label）、パケットレングス（Packet Length）などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義されたペイロード情報が配置される。このペイロード情報には、同期スタートコードに相当する“ＳＹＮＣ”と、３Ｄオーディオの伝送データの実際のデータである“Ｆｒａｍｅ”と、この“Ｆｒａｍｅ”の構成を示す“Ｃｏｎｆｉｇ”が存在する。
　“Ｆｒａｍｅ”には、３Ｄオーディオの伝送データを構成するチャネル符号化データとオブジェクト符号化データが含まれる。なお、チャネル符号化データのみが含まれる場合、あるいはオブジェクト符号化データのみが含まれる場合もある。
　ここで、チャネル符号化データは、ＳＣＥ（Single Channel Element）、ＣＰＥ（Channel Pair Element）、ＬＦＥ（Low Frequency Element）などの符号化サンプルデータで構成される。また、オブジェクト符号化データは、ＳＣＥ（Single Channel Element）の符号化サンプルデータと、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータにより構成される。このメタデータは、エクステンションエレメント（Ext_element）として含まれる。
　この実施の形態において、“Ｆｒａｍｅ”のそれぞれに、関連する“Ｃｏｎｆｉｇ”を識別するための識別情報が挿入される。すなわち、関連する“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”には、共通のインデックス情報が挿入される。
　図３（ａ）は、従来のオーディオストリームの構成例を示している。“Ｃｏｎｆｉｇ”として、ＳＣＥの“Ｆｒａｍｅ”のエレメントに対応する構成情報“ＳＣＥ＿ｃｏｎｆｉｇ”が存在する。また、“Ｃｏｎｆｉｇ”として、ＣＰＥの“Ｆｒａｍｅ”に対応する構成情報“ＣＰＥ＿ｃoｎｆｉｇ”が存在する。さらに、“Ｃｏｎｆｉｇ”として、ＥＸＥの“Ｆｒａｍｅ”に対応する構成情報“ＥＸＥ＿ｃoｎｆｉｇ”が存在する。
　この場合、各エレメントに対応した“Ｃｏｎｆｉｇ”と、各エレメントの“Ｆｒａｍｅ”を関連づける情報が、当該“Ｃｏｎｆｉｇ”や“Ｆｒａｍｅ”には挿入されていない。そのため、デコード処理が適切に行われるようにするために、エレメントの順番が、ＳＣＥ→ＣＰＥ→ＥＸＥのように規定される。つまり、図３（ａ´）に示すようなＣＰＥ→ＳＣＥ→ＥＸＥのような順番とすることはできない。
　図３（ｂ）は、この実施の形態におけるオーディオストリームの構成例を示している。“Ｃｏｎｆｉｇ”として、ＳＣＥの“Ｆｒａｍｅ”のエレメントに対応する構成情報“ＳＣＥ＿ｃｏｎｆｉｇ”が存在し、この構成情報“ＳＣＥ＿ｃｏｎｆｉｇ”には、エレメントインデックスとして“Ｉｄ０”が付加される。
　また、“Ｃｏｎｆｉｇ”として、ＣＰＥの“Ｆｒａｍｅ”に対応する構成情報“ＣＰＥ＿ｃｏｎｆｉｇ”が存在し、この構成情報“ＣＰＥ＿ｃｏｎｆｉｇ”には、エレメントインデックスとして“Ｉｄ１”が付加される。また、“Ｃｏｎｆｉｇ”として、ＥＸＥの“Ｆｒａｍｅ”に対応する構成情報“ＥＸＥ＿ｃｏｎｆｉｇ”が存在し、この構成情報“ＥＸＥ＿ｃoｎｆｉｇ”には、エレメントインデックスとして“Ｉｄ２”が付加される。
　また、各“Ｆｒａｍｅ”には、関連する“Ｃｏｎｆｉｇ”と共通のエレメントインデックスが付加される。すなわち、ＳＣＥの“Ｆｒａｍｅ”には、エレメントインデックスとして“Ｉｄ０”が付加される。また、ＣＰＥの“Ｆｒａｍｅ”には、エレメントインデックスとして“Ｉｄ１”が付加される。また、また、ＥＸＥの“Ｆｒａｍｅ”には、エレメントインデックスとして“Ｉｄ２”が付加される。
　この場合、エレメント毎に“Ｃｏｎｆｉｇ”と“Ｆｒａｍｅ”がインデックス情報で紐づけされるので、エレメントの順番が、順番の規定によって制限されることがなくなる。したがって、ＳＣＥ→ＣＰＥ→ＥＸＥのような順番とするだけでなく、図３（ｂ´）に示すようなＣＰＥ→ＳＣＥ→ＥＸＥのような順番とすることも可能となる。
　図４（ａ）は、“Ｃｏｎｆｉｇ”の構成例を概略的に示している。“mpeg3daConfig()”が最上位の概念で、その下にデコードするための“mpeg3daDecoderConfig()”がある。さらに、その下に、“Ｆｒａｍｅ”に格納される各エレメントに対応した“Config()”が存在し、それぞれにエレメントインデックス（Element_index）が挿入される。
　例えば、“mpegh3daSingleChannelElementConfig()”はＳＣＥのエレメントに対応し、“mpegh3daChannelPairElementConfig()”はＣＰＥのエレメントに対応し、“mpegh3daLfeElementConfig()”はＬＦＥのエレメントに対応し、“mpegh3daExtElementConfig()”はＥＸＥのエレメントに対応している。
　図４（ｂ）は、“Ｆｒａｍｅ”の構成例を概略的に示している。“mpeg3daFrame()”が最上位の概念で、その下に、各エレメントの実体である“Element()”が存在し、それぞれにエレメントインデックス（Element_index）が挿入される。例えば、“mpegh3daSingleChannelElement()”はＳＣＥのエレメントであり、“mpegh3daChannlePairElement()”はＣＰＥのエレメントであり、“mpegh3daLfeElement()”はＬＦＥのエレメントであり、“mpegh3daExtElement()”はＥＸＥのエレメントである。
　図５は、３Ｄオーディオの伝送データの構成例を示している。この例では、チャネル符号化データのみからなる第１のデータと、オブジェクト符号化データのみからなる第２のデータと、チャネル符号化データおよびオフジェクト符号化データからなる第３のデータとからなっている。
　第１のデータのチャネル符号化データは、５．１チャネルのチャネル符号化データであり、ＳＣＥ１，ＣＰＥ１，ＣＰＥ２，ＬＦＥ１の各符号化サンプルデータからなっている。
　第２のデータのオブジェクト符号化データは、イマーシブオーディオオブジェクト（Immersive audio object）の符号化データである。このイマーシブオーディオオブジェクト符号化データは、イマーシブサウンドのためのオブジェクト符号化データであり、符号化サンプルデータＳＣＥ２と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータＥＸＥｌとからなっている。
　第３のデータに含まれるチャネル符号化データは、２チャネル（ステレオ）のチャネル符号化データであり、ＣＰＥ３の符号化サンプルデータからなっている。また、この第３のデータに含まれるオブジェクト符号化データは、スピーチランゲージオブジェクト符号化データであり、符号化サンプルデータＳＣＥ３と、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータＥＸＥ２とからなっている。
　符号化データは、種類別にグループ（Group）という概念で区別される。図示の例では、５．１チャネルの符号化チャネルデータはグループ１とされ、イマーシブオーディオオブジェクト符号化データはグループ２とされ、２チャネル（ステレオ）のチャネル符号化データはグループ３とされ、スピーチランゲージオブジェクト符号化データはグループ４とされている。
　また、受信側においてグループ間で選択できるものはスイッチグループ（SW Group）に登録されて符号化される。また、グループを束ねてプリセットグループ（preset Group）とされ、ユースケースに応じた再生が可能とされる。図示の例では、グループ１、グループ２およびグループ３が束ねられてプリセットグループ１とされ、グループ１、グループ２およびグループ４が束ねられてプリセットグループ２とされている。
　図１に戻って、サービス送信機１００は、上述したように複数のグループの符号化データを含む３Ｄオーディオの伝送データを、１ストリーム、あるいは複数ストリーム（Multiple stream）で送信する。この実施の形態では、３ストリームで送信する。
　図６は、図５の３Ｄオーディオの伝送データの構成例において、３ストリームで送信する場合におけるオーディオフレームの構成例を概略的に示している。この場合、ＰＩＤ１で識別される第１のストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、チャネル符号化データのみからなる第１のデータが含まれる。
　また、ＰＩＤ２で識別される第２のストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、オブジェクト符号化データのみからなる第２のデータが含まれる。また、ＰＩＤ３で識別される第３のストリームに、“ＳＹＮＣ”および“Ｃｏｎｆｉｇ”と共に、チャネル符号化データおよびオフジェクと符号化データからなる第３のデータが含まれる。
　図１に戻って、サービス受信機２００は、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、ビデオストリームの他に、所定数、この実施の形態では、３つのオーディオストリームを有している。
　上述したように、オーディオストリームは、符号化データをペイロード情報として持つ第１のパケット（“Ｆｒａｍｅ”のパケット）と、この第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケット（“Ｃｏｎｆｉｇ”のパケット）を含むオーディオフレームからなり、関連する第１のパケットおよび第２のパケットのペイロードには共通のインデックス情報が挿入されている。
　サービス受信機２００は、３つのオーディオストリームから一部または全部の第１のパケットおよび第２のパケットを取り出し、第１のパケットおよび第２のパケットのペイロード部に挿入されているインデックス情報を利用して１つのオーディオストリームに統合する。そして、サービス受信機２００は、この１つのオーディオストリームを処理する。例えば、この１つのオーディオストリームに対してデコード処理を施し、３Ｄオーディオのオーディオ出力を得る。また、例えば、この１つのオーディオストリームを外部機器に送信する。
　［サービス送信機のストリーム生成部］
　図７は、サービス送信機１００が備えるストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、ビデオエンコーダ１１２と、３Ｄオーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
　ビデオエンコーダ１１２は、ビデオデータＳＶを入力し、このビデオデータＳＶに対して符号化を施し、ビデオストリーム（ビデオエレメンタリストリーム）を生成する。３Ｄオーディオエンコーダ１１３は、オーディオデータＳＡとして、必要とするチャネルデータおよびオブジェクトデータを入力する。
　３Ｄオーディオエンコーダ１１３は、オーディオデータＳＡに対して符号化を施し、３Ｄオーディオの伝送データを得る。この３Ｄオーディオの伝送データには、図５に示すように、チャネル符号化データのみからなる第１のデータ（グループ１のデータ）と、オブジェクト符号化データのみからなる第２のデータ（グループ２のデータ）と、チャネル符号化データおよびオフジェクと符号化データからなる第３のデータ（グループ３，４のデータ）が含まれる。
　そして、３Ｄオーディオエンコーダ１１３は、第１のデータを含む第１のオーディオストリーム（Stream 1）と、第２のデータを含む第２のオーディオストリーム（Stream 2）と、第３のデータを含む第３のオーディオストリーム（Stream 3）を生成する（図６参照）。
　図８（ａ）は、第１のオーディオストリーム（Stream 1）を構成するオーディオフレーム（Audio Frame）の構成を示している。ＳＣＥ１，ＣＰＥ１，ＣＰＥ２，ＬＦＥ１の“Ｆｒａｍｅ”と、各“Ｆｒａｍｅ”に対応した“Ｃｏｎｆｉｇ”が存在する。ＳＣＥ１の“Ｆｒａｍｅ”と、それに対応した“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ０”が挿入される。ＣＰＥ１の“Ｆｒａｍｅ”と、それに対応した“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ１”が挿入付加される。
　また、ＣＰＥ２の“Ｆｒａｍｅ”と、それに対応した“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ２”が挿入される。また、ＬＦＥ１の“Ｆｒａｍｅ”と、それに対応した“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ３”が挿入される。なお、“Ｃｏｎｆｉｇ”および“Ｆｒａｍｅ”のパケットラベル（ＰＬ）の値は、この第１のオーディオストリーム（Stream 1）では全て“ＰＬ１”とされる。
　図８（ｂ）は、第２のオーディオストリーム（Stream 2）を構成するオーディオフレーム（Audio Frame）の構成を示している。ＳＣＥ２，ＥＸＥ１の“Ｆｒａｍｅ”と、それらの“Ｆｒａｍｅ”に対応した“Ｃｏｎｆｉｇ”が存在する。これらの“Ｆｒａｍｅ”、“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ４”が挿入される。なお、“Ｃｏｎｆｉｇ”および“Ｆｒａｍｅ”のパケットラベル（ＰＬ）の値は、この第２のオーディオストリーム（Stream 2）では全て“ＰＬ２”とされる。
　図８（ｃ）は、第３のオーディオストリーム（Stream 3）を構成するオーディオフレーム（Audio Frame）の構成を示している。ＣＰＥ３，ＳＣＥ３，ＥＸＥ２の“Ｆｒａｍｅ”と、ＣＰＥ３の“Ｆｒａｍｅ”に対応した“Ｃｏｎｆｉｇ”と、ＳＣＥ３，ＥＸＥ２の“Ｆｒａｍｅ”に対応した“Ｃｏｎｆｉｇ”が存在する。ＣＰＥ３の“Ｆｒａｍｅ”と、それに対応した“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ５”が挿入される。
　また、ＳＣＥ３，ＥＸＥ２“Ｆｒａｍｅ”と、それらの“Ｆｒａｍｅ”に対応した“Ｃｏｎｆｉｇ”には、共通のエレメントインデックスとして“Ｉｄ６”が挿入される。なお、“Ｃｏｎｆｉｇ”および“Ｆｒａｍｅ”のパケットラベル（ＰＬ）の値は、この第３のオーディオストリーム（Stream 3）では全て“ＰＬ３”とされる。
　図７に戻って、マルチプレクサ１１４は、ビデオエンコーダ１１２から出力されるビデオストリームおよびオーディオエンコーダ１１３から出力される３つのオーディオストリームを、それぞれ、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
　図７に示すストリーム生成部１１０の動作を簡単に説明する。ビデオデータは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、ビデオデータＳＶに対して符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。
　オーディオデータＳＡは、３Ｄオーディオエンコーダ１１３に供給される。このオーディオデータＳＡには、チャネルデータと、オブジェクトデータが含まれる。３Ｄオーディオエンコーダ１１３では、オーディオデータＳＡに対して符号化が施され、３Ｄオーディオの伝送データが得られる。
　この３Ｄオーディオの伝送データには、チャネル符号化データのみからなる第１のデータ（グループ１のデータ）と、オブジェクト符号化データのみからなる第２のデータ（グループ２のデータ）と、チャネル符号化データおよびオフジェクと符号化データからなる第３のデータ（グループ３，４のデータ）が含まれる（図５参照）。
　そして、この３Ｄオーディオエンコーダ１１３では、３つのオーディオストリームが生成される（図６、図８参照）。この場合、各オーディオストリームにおいて、同一のエレメントに係る“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”に共通のインデックス情報が挿入される。これにより、エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされる。
　ビデオエンコーダ１１２で生成されたビデオストリームは、マルチプレクサ１１４に供給される。また、オーディオエンコーダ１１３で生成された３つのオーディオストリームは、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるストリームがＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
　［サービス受信機の構成例］
　図９は、サービス受信機２００の構成例を示している。このサービス受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６を有している。
　また、このサービス受信機２００は、受信部２０１と、デマルチプレクサ２０２と、ビデオデコーダ２０３と、映像処理回路２０４と、パネル駆動回路２０５と、表示パネル２０６を有している。また、このサービス受信機２００は、多重化バッファ２１１-1～２１１-Nと、コンバイナ２１２と、３Ｄオーディオデコーダ２１３と、音声出力処理回路２１４と、スピーカシステム２１５と、配信インタフェース２３２を有している。
　ＣＰＵ２２１は、サービス受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、サービス受信機２００の各部を制御する。
　リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、サービス受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２およびＤＲＡＭ２２３は、内部バス２２４に接続されている。
　受信部２０１は、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、ビデオストリームの他に、３Ｄオーディオの伝送データを構成する３つのオーディオストリームを有している（図６、図８参照）。
　デマルチプレクサ２０２は、トランスポートストリームＴＳからビデオストリームのパケットを抽出し、ビデオデコーダ２０３に送る。ビデオデコーダ２０３は、デマルチプレクサ２０２で抽出されたビデオのパケットからビデオストリームを再構成し、デコード処理を行って非圧縮のビデオデータを得る。
　映像処理回路２０４は、ビデオデコーダ２０３で得られたビデオデータに対してスケーリング処理、画質調整処理などを行って、表示用のビデオデータを得る。パネル駆動回路２０５は、映像処理回路２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
　また、デマルチプレクサ２０２は、ＣＰＵ２２１の制御のもと、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者（ユーザ）選択情報に適合するグループの符号化データを含む一つまたは複数のオーディオストリームのパケットをＰＩＤフィルタで選択的に取り出す。
　多重化バッファ２１１-1～２１１-Nは、それぞれ、デマルチプレクサ２０２で取り出される各オーディオストリームを取り込む。ここで、多重化バッファ２１１-1～２１１-Nの個数Ｎとしては必要十分な個数とされるが、実際の動作では、デマルチプレクサ２０２で取り出されるオーディオストリームの数だけ用いられることになる。
　コンバイナ２１２は、多重化バッファ２１１-1～２１１-Nのうちデマルチプレクサ２０２で取り出される各オーディオストリームがそれぞれ取り込まれた多重化バッファから、オーディオフレーム毎に、一部または全部の“Ｃｏｎｆｉｇ”、“Ｆｒａｍｅ”のパケットを取り出し、１つのオーディオストリームに統合する。
　この場合、各オーディオストリームにおいて、同一のエレメントに係る“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”に共通のインデックス情報が挿入されている、つまりエレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされている。そのため、エレメントの順番が規定によって制限されることがなくなることから、コンバイナ２１２は、エレメントの順番が規定通りとするためにオーディオストリームの構成を分解するということが必要なく、簡便なストリーム合成が可能となる。
　図１０は、エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされていない場合の統合処理の一例を示している。この例は、第１のオーディオストリーム（Stream 1）に含まれるグループ１のデータと、第２のオーディオストリーム（Stream 2）に含まれるグループ２のデータと、第３のオーディオストリーム（Stream 3）に含まれるグループ３のデータを統合する例である。
　この場合、エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”が紐づけされていないので、エレメントの順番が、順番の規定に制限される。図１０（a１）の合成ストリームは、各オーディオストリームの構成を分解することなく統合した例である。この場合、矢印で示したＬＦＥ１とＣＰＥ３の箇所で、エレメントの順番の規定に違反したものとなる。この場合には、各エレメントを解析し、図１０（a２）の合成ストリームに示すように、第１のオーディオストリームの構成を分解し、第３のオーディオストリームのエレメントを割り込ませて、ＣＰＥ３→ＬＦＥ１の順番とされる必要がある。
　図１１は、エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされている場合の統合処理の一例を示している。この例も、第１のオーディオストリーム（Stream 1）に含まれるグループ１のデータと、第２のオーディオストリーム（Stream 2）に含まれるグループ２のデータと、第３のオーディオストリーム（Stream 3）に含まれるグループ３のデータを統合する例である。
　この場合、エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされているので、エレメントの順番が、順番の規定に制限されない。図１１（a１）の合成ストリームは、各オーディオストリームの構成を分解することなく統合した一例である。図１１（a１）の合成ストリームは、各オーディオストリームの構成を分解することなく統合した他の一例である。
　図９に戻って、３Ｄオーディオデコーダ２１３は、コンバイナ２１２で統合して得られた１つのオーディオストリームにデコード処理を施し、各スピーカを駆動するためのオーディオデータを得る。音声出力処理回路２１４は、各スピーカを駆動するためのオーディオデータに対して、Ｄ／Ａ変換や増幅等の必要な処理を行って、スピーカシステム２１５に供給する。スピーカシステム２１５は、複数チャネル、例えば２チャネル、５．１チャネル、７．１チャネル、２２．２チャネルなどの複数のスピーカを備える。
　配信インタフェース２３２は、コンバイナ２１２で統合して得られた１つのオーディオストリームを、例えば、構内ネットワーク接続されたデバイス３００に配信（送信）する。この構内ネットワーク接続は、イーサネット接続、“ＷｉＦｉ”あるいは“Ｂｌｕｅｔｏｏｔｈ”などのワイヤレス接続を含む。なお、「ＷｉＦｉ」、「Ｂｌｕｅｔｏｏｔｈ」は、登録商標である。
　また、デバイス３００は、サラウンドスピーカ、セカンドディスプレイ、ネットワーク端末に付属のオーディオ出力装置を含む。このデバイス３００は、３Ｄオーディオデコーダ２１３と同様のデコード処理を行って、所定数のスピーカを駆動するためのオーディオデータを得る。
　図９に示すサービス受信機２００の動作を簡単に説明する。受信部２０１では、サービス送信機１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビデオストリームの他に、３Ｄオーディオの伝送データを構成する３つのオーディオストリームが含まれている（図６、図８参照）。このトランスポートストリームＴＳは、デマルチプレクサ２０２に供給される。
　デマルチプレクサ２０２では、トランスポートストリームＴＳからビデオストリームのパケットが抽出され、ビデオデコーダ２０３に供給される。ビデオデコーダ２０３では、デマルチプレクサ２０２で抽出されたビデオのパケットからビデオストリームが再構成され、デコード処理が行われて、非圧縮のビデオデータが得られる。このビデオデータは、映像処理回路２０４に供給される。
　映像処理回路２０４では、ビデオデコーダ２０３で得られたビデオデータに対してスケーリング処理、画質調整処理などが行われて、表示用のビデオデータが得られる。この表示用のビデオデータはパネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用のビデオデータに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には、表示用のビデオデータに対応した画像が表示される。
　また、デマルチプレクサ２０２では、ＣＰＵ２２１の制御のもと、トランスポートストリームＴＳが有する所定数のオーディオストリームのうち、スピーカ構成および視聴者選択情報に適合するグループの符号化データを含む１つまたは複数のオーディオストリームのパケットがＰＩＤフィルタで選択的に取り出される。
　デマルチプレクサ２０２で取り出されたオーディオストリームは、多重化バッファ２１１-1～２１１-Nのうち対応する多重化バッファに取り込まれる。コンバイナ２１２では、多重化バッファ２１１-1～２１１-Nのうちデマルチプレクサ２０２で取り出される各オーディオストリームがそれぞれ取り込まれた多重化バッファから、オーディオフレーム毎に、一部または全部の“Ｃｏｎｆｉｇ”、“Ｆｒａｍｅ”のパケットが取り出されて、１つのオーディオストリームに統合される。
　この場合、各オーディオストリームにおいて、エレメント毎に“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”がインデックス情報で紐づけされているので、エレメントの順番が規定によって制限されない。そのため、コンバイナ２１２では、エレメントの順番を規定通りとするためにオーディオストリームの構成を分解するということが必要なく、簡便なストリーム合成が行われる（図１１（ｂ１），（ｂ２）参照）。
　コンバイナ２１２で統合して得られた１つのオーディオストリームは、３Ｄオーディオデコーダ２１３に供給される。３Ｄオーディオデコーダ２１３では、このオーディオストリームにデコード処理が施されて、スピーカシステム２１５を構成する各スピーカを駆動するためのオーディオデータが得られる。
　このオーディオデータは、音声出力処理回路２１４に供給される。この音声出力処理回路２１４では、各スピーカを駆動するためのオーディオデータに対して、Ｄ／Ａ変換や増幅等の必要な処理が行われる。そして、処理後のオーディオデータはスピーカシステム２１５に供給される。これにより、スピーカシステム２１５からは表示パネル２０６の表示画像に対応した音響出力が得られる。
　また、コンバイナ２１２で統合して得られたオーディオストリームは配信インタフェース２３２に供給される。配信インタフェース２３２では、このオーディオストリームが、構内ネットワーク接続されたデバイス３００に配信（送信）される。デバイス３００では、オーディオストリームに対してデコード処理が施され、所定数のスピーカを駆動するためのオーディオデータが得られる。
　上述したように、図１に示す送受信システム１０において、サービス送信機１００は、３Ｄオーディオエンコードでオーディオストリームを生成するに当たって、同一のエレメントに係る“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”に共通のインデックス情報を挿入するものである。そのため、受信側で複数のオーディオストリームを統合して１つのオーディオストリームにする際、順番の規定を守る必要がなく、処理負荷の軽減を図ることが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、ＭＰ４やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、ＭＰＥＧ－ＤＡＳＨベースのストリーム配信システム、あるいは、ＭＭＴ（MPEG Media Transport）構造伝送ストリームを扱う送受信システムなどである。
　なお、本技術は、以下のような構成もとることができる。
　（１）所定数のオーディオストリームを生成するエンコード部と、
　上記所定数のオーディオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入される
　送信装置にある。
　（２）上記第１のパケットがペイロード情報として持つ符号化データは、チャネル符号化データまたはオブジェクト符号化データである
　前記（１）に記載の送信装置。
　（３）所定数のオーディオストリームを生成するエンコードステップと、
　送信部により、上記所定数のオーディオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入される
　送信方法。
　（４）所定数のオーディオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入されており、
　上記所定数のオーディオストリームから一部または全部の上記第１のパケットおよび上記第２のパケットを取り出し、上記第１のパケットおよび上記第２のパケットのペイロード部に挿入されている上記インデックス情報を利用して１つのオーディオストリームに統合するストリーム統合部と、
　上記１つのオーディオストリームを処理する処理部をさらに備える
　受信装置。
　（５）上記処理部は、上記１つのオーディオストリームに対してデコード処理を施す
　前記（４）に記載の受信装置。
　（６）上記処理部は、上記１つのオーディオストリームを外部機器に送信する
　前記（４）または（５）に記載の受信装置。
　（７）受信部により、所定数のオーディオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入されており、
　上記所定数のオーディオストリームから一部または全部の上記第１のパケットおよび上記第２のパケットを取り出し、上記第１のパケットおよび上記第２のパケットのペイロード部に挿入されている上記インデックス情報を利用して１つのオーディオストリームに統合するストリーム統合ステップと、
　上記１つのオーディオストリームを処理する処理ステップをさらに有する
　受信方法。
　本技術の主な特徴は、３Ｄオーディオエンコードでオーディオストリームを生成するに当たって、同一のエレメントに係る“Ｆｒａｍｅ”と“Ｃｏｎｆｉｇ”に共通のインデックス情報を挿入することで、受信側のストリーム統合処理の処理負荷を軽減可能としたことである（図３、図８参照）。
　１０・・・送受信システム
　１００・・・サービス送信機
　１１０・・・ストリーム生成部
　１１２・・・ビデオエンコーダ
　１１３・・・３Ｄオーディオエンコーダ
　１１４・・・マルチプレクサ
　２００・・・サービス受信機
　２０１・・・受信部
　２０２・・・デマルチプレクサ
　２０３・・・ビデオデコーダ
　２０４・・・映像処理回路
　２０５・・・パネル駆動回路
　２０６・・・表示パネル
　２１１-1～２１１-N・・・多重化バッファ
　２１２・・・コンバイナ
　２１３・・・３Ｄオーディオデコーダ
　２１４・・・音声出力処理回路
　２１５・・・スピーカシステム
　２２１・・・ＣＰＵ
　２２２・・・フラッシュＲＯＭ
　２２３・・・ＤＲＡＭ
　２２４・・・内部バス
　２２５・・・リモコン受信部
　２２６・・・リモコン送信機
　２３２・・・配信インタフェース
　３００・・・デバイス

Claims (7)

  1. 　所定数のオーディオストリームを生成するエンコード部と、
    　上記所定数のオーディオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
    　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入される
    　送信装置。
  2. 　上記第１のパケットがペイロード情報として持つ符号化データは、チャネル符号化データまたはオブジェクト符号化データである
    　請求項１に記載の送信装置。
  3. 　所定数のオーディオストリームを生成するエンコードステップと、
    　送信部により、上記所定数のオーディオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
    　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入される
    　送信方法。
  4. 　所定数のオーディオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
    　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入されており、
    　上記所定数のオーディオストリームから一部または全部の上記第１のパケットおよび上記第２のパケットを取り出し、上記第１のパケットおよび上記第２のパケットのペイロード部に挿入されている上記インデックス情報を利用して１つのオーディオストリームに統合するストリーム統合部と、
    　上記１つのオーディオストリームを処理する処理部をさらに備える
    　受信装置。
  5. 　上記処理部は、上記１つのオーディオストリームに対してデコード処理を施す
    　請求項４に記載の受信装置。
  6. 　上記処理部は、上記１つのオーディオストリームを外部機器に送信する
    　請求項４に記載の受信装置。
  7. 　受信部により、所定数のオーディオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    　上記オーディオストリームは、符号化データをペイロード情報として持つ第１のパケットと、該第１のパケットのペイロード情報の構成を示す構成情報をペイロード情報として持つ第２のパケットを含むオーディオフレームからなり、
    　関連する上記第１のパケットおよび上記第２のパケットのペイロードには共通のインデックス情報が挿入されており、
    　上記所定数のオーディオストリームから一部または全部の上記第１のパケットおよび上記第２のパケットを取り出し、上記第１のパケットおよび上記第２のパケットのペイロード部に挿入されている上記インデックス情報を利用して１つのオーディオストリームに統合するストリーム統合ステップと、
    　上記１つのオーディオストリームを処理する処理ステップをさらに有する
    　受信方法。
PCT/JP2016/052610 2015-02-10 2016-01-29 送信装置、送信方法、受信装置および受信方法 WO2016129412A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16749056.4A EP3258467B1 (en) 2015-02-10 2016-01-29 Transmission and reception of audio streams
JP2016574724A JP6699564B2 (ja) 2015-02-10 2016-01-29 送信装置、送信方法、受信装置および受信方法
CN201680008488.XA CN107210041B (zh) 2015-02-10 2016-01-29 发送装置、发送方法、接收装置以及接收方法
US15/540,306 US10475463B2 (en) 2015-02-10 2016-01-29 Transmission device, transmission method, reception device, and reception method for audio streams

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015024240 2015-02-10
JP2015-024240 2015-02-10

Publications (1)

Publication Number Publication Date
WO2016129412A1 true WO2016129412A1 (ja) 2016-08-18

Family

ID=56614657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052610 WO2016129412A1 (ja) 2015-02-10 2016-01-29 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (1) US10475463B2 (ja)
EP (1) EP3258467B1 (ja)
JP (1) JP6699564B2 (ja)
CN (1) CN107210041B (ja)
WO (1) WO2016129412A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168032B (zh) * 2018-11-12 2021-08-27 广州酷狗计算机科技有限公司 视频数据的处理方法、终端、服务器及存储介质
CN113724717B (zh) * 2020-05-21 2023-07-14 成都鼎桥通信技术有限公司 车载音频处理系统、方法、车机控制器和车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997044955A1 (en) * 1996-05-17 1997-11-27 Matsushita Electric Industrial Co., Ltd. Data multiplexing method, method and device for reproducing multiplexed data, and recording medium containing the data multiplexed by said method
JP2001292432A (ja) * 2000-04-05 2001-10-19 Mitsubishi Electric Corp 限定受信制御方式
WO2004066303A1 (ja) * 2003-01-20 2004-08-05 Pioneer Corporation 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2009177706A (ja) * 2008-01-28 2009-08-06 Funai Electric Co Ltd 放送受信装置
JP2012033243A (ja) * 2010-08-02 2012-02-16 Sony Corp データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6385704B1 (en) * 1997-11-14 2002-05-07 Cirrus Logic, Inc. Accessing shared memory using token bit held by default by a single processor
CA2553708C (en) * 2004-02-06 2014-04-08 Sony Corporation Information processing device, information processing method, program, and data structure
CN101479787B (zh) * 2006-09-29 2012-12-26 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
JP5258967B2 (ja) * 2008-07-15 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR101742136B1 (ko) * 2011-03-18 2017-05-31 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
JP5798247B2 (ja) 2011-07-01 2015-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した３ｄオーディオ作成および表現のためのシステムおよびツール
BR122021021503B1 (pt) * 2012-09-12 2023-04-11 Fraunhofer - Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d
EP2757558A1 (en) * 2013-01-18 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Time domain level adjustment for audio signal decoding or encoding
RU2630754C2 (ru) * 2013-05-24 2017-09-12 Долби Интернешнл Аб Эффективное кодирование звуковых сцен, содержащих звуковые объекты
WO2015180866A1 (en) * 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Data processor and transport of user control data to audio decoders and renderers
RU2698779C2 (ru) * 2014-09-04 2019-08-29 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
WO2016039287A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016052191A1 (ja) * 2014-09-30 2016-04-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3208801A4 (en) * 2014-10-16 2018-03-28 Sony Corporation Transmitting device, transmission method, receiving device, and receiving method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997044955A1 (en) * 1996-05-17 1997-11-27 Matsushita Electric Industrial Co., Ltd. Data multiplexing method, method and device for reproducing multiplexed data, and recording medium containing the data multiplexed by said method
JP2001292432A (ja) * 2000-04-05 2001-10-19 Mitsubishi Electric Corp 限定受信制御方式
WO2004066303A1 (ja) * 2003-01-20 2004-08-05 Pioneer Corporation 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2009177706A (ja) * 2008-01-28 2009-08-06 Funai Electric Co Ltd 放送受信装置
JP2012033243A (ja) * 2010-08-02 2012-02-16 Sony Corp データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEVE VERNON ET AL.: "An Integrated Multichannel Audio Coding System for Digital Television Distribution and Emission", PROC. 108TH CONVENTION OF THE AES, 19 February 2000 (2000-02-19), pages 1 - 12, XP009121840 *

Also Published As

Publication number Publication date
US20180005640A1 (en) 2018-01-04
CN107210041B (zh) 2020-11-17
JP6699564B2 (ja) 2020-05-27
EP3258467A4 (en) 2018-07-04
JPWO2016129412A1 (ja) 2017-11-24
CN107210041A (zh) 2017-09-26
EP3258467A1 (en) 2017-12-20
US10475463B2 (en) 2019-11-12
EP3258467B1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6908168B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP6904463B2 (ja) 送信装置および送信方法
JP7529013B2 (ja) 送信装置および送信方法
US20240089534A1 (en) Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
WO2016129412A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP6876924B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16749056

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016574724

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15540306

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016749056

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE